Je to až dětinsky jednoduché, ale přesně takové dobré útoky bývají. Někdo vám pošle pozvánku do kalendáře, která vypadá úplně normálně. Uvnitř se však skrývají neviditelné pokyny. Když Gemini požádáte o shrnutí kalendáře nebo přečtení e-mailu, zpracuje tyto skryté příkazy a bude se jimi řídit. Vy tyto zákeřné pokyny nikdy neuvidíte, ale Gemini je přesto přečte a splní.
Bezpečnostní výzkumník Viktor Markopoulos ze společnosti FireTail (firetail.ai) objevil bezpečnostní chybu Gemini a v září kontaktoval společnost Google. Markopoulos ukázal, že tuto zranitelnost lze zneužít prostřednictvím jednoduchých textových vstupů, jako jsou pozvánky do kalendáře nebo e-maily. Například e-mail, který vypadá zcela neškodně, by mohl obsahovat skryté instrukce, což by způsobilo, že by Gemini při shrnutí nebo interakci s tímto textem nesprávně interpretoval nebo přepsal data. V jeho testech bylo možné Gemini přimět ke změně detailů schůzky nebo ke generování zavádějících výstupů, a to vše vyvolané znaky, o kterých by člověk ani nevěděl.
Ještě znepokojivější je, že když byl stejný útok testován proti jiným významným systémům umělé inteligence, jako je ChatGPT společnosti OpenAI, Claude společnosti Anthropic a Copilot společnosti Microsoft, tyto modely skryté vstupy buď odstranily, nebo odmítly. Gemini spolu s Grokem Elona Muska a čínským DeepSeekem je však zablokovat nedokázaly.

Google: to není chyba, ale vlastnost
Navzdory jasným bezpečnostním důsledkům se Google rozhodl tento problém neřešit. V reakci na zprávu FireTailu společnost klasifikovala pašování skrytých příkazů jako problém sociálního inženýrství, nikoli jako technickou chybu. Zjednodušeně řečeno, Google naznačuje, že problém vzniká tím, že uživatelé jsou podvedeni, nikoliv chybou v návrhu modelu. Jinými slovy, asi bude potřeba nějaký závažnější bezpečnostní incident, aby Google přehodnotil svůj přístup.