I když při použití skoro každého chatbota postaveného na velkých jazykových modelech máte v zorném poli upozornění, že nemusí poskytovat vždy přesné informace, a proto je nutné je ověřit, řada lidí jej používá jako jediný zdroj, který má vždy pravdu. A to samozřejmě vytváří prostor pro to, aby byli tito chatboti ovlivňováni zevnitř nebo zvenčí, aby podívali různě zkreslené informace.
Společnosti, které tyto jazykové modely provozují, tvrdí, že vůči něčemu takovému jejich výtvory chrání řada bezpečnostních opatření. Ty je však poměrně snadné obejít, o čemž informuje článek na BBC (bbc.com). Podle něj lze bástroje umělé inteligence „hacknout“ během několika minut pouhým zadáním nově zveřejněného online obsahu. V uvedeném příkladu se blogový příspěvek, který se prohlašoval za odborný zdroj v velmi úzce specializované oblasti, později objevil i v odpovědích systémů, jako je ChatGPT od OpenAI a výstupy umělé inteligence od Googlu, když byly zadány úzce související dotazy.
Další podobný pokus provedl technologický novinář Thomas Germain, který své postřehy zveřejnil na webu (schneier.com). Na svém blogu (tomgermain.com) sepsal kompletně smyšlený článek o tom, jak on a jeho kolegové soutěží v pojídání hot dogů. Každé slovo bylo lež. V něm novinář tvrdil, že soutěžní pojídání hot dogů je mezi technologickými reportéry oblíbeným koníčkem, zveřejnil výsledky na Mezinárodním šampionátu v pojídání hot dogů v Jižní Dakotě v roce 2026, který ale neexistuje).
Ani ne za 24 hodin už přední světoví chatboti mluvili o špičkových schopnostech Thomase Germaina v pojídání hot dogů. Papouškovali nesmysly z webu, a to jak v aplikaci Gemini, tak v AI Overviews, což jsou AI odpovědi v horní části vyhledávače Google. ChatGPT udělal totéž, ale Claude od Anthropicu se nenechal oklamat.
Tato událost neprokazuje, že by umělá inteligence byla ze své podstaty hloupá. Namísto toho poukazuje na to, jak systémy umělé inteligence reagují, když jsou konfrontovány s velmi specifickými otázkami, k nimž je k dispozici pouze jediný zdroj. A i na to je potřeba při jejich používání neustále myslet.
