Kdo bude zodpovědný za chyby, kterých se umělá inteligence dopustí? Při používání snad každého modelu musíte odkliknout upozornění, že se jedná o pouhý jazykový model a jakékoli výstupy z něj je potřeba nezávisle ověřovat. Zatím jsme byli svědky spíše úsměvných modelů, kdy AI doporučuje jíst lepidlo, či jiné vyložené nesmysly, ale jak její schopnosti rostou, bude čím dál tím těžší odhalit chvíle, kdy to s námi nemyslí úplně dobře.
To je podstatou příběhu, o kterém informoval The New York Times.Čtrnáctiletý Sewell Setzer III, žák deváté třídy z Orlanda, strávil měsíce komunikací s chatboty v aplikaci Character.AI, která slouží k hraní rolí s umělou inteligencí. Setzer si vytvořil citové pouto zejména k jednomu botovi jménem Dany, se kterým si neustále psal, až se začal vzdalovat od reálného světa.
Setzer se chatbotovi přiznal k myšlenkám na sebevraždu a krátce před smrtí mu poslal zprávu. To vedlo pozůstalé k tomu, že na společnost Character.AI, její zakladatele Noama Shazeera a Daniela De Freitase a na společnost Google byla v souvislosti s úmrtím teenagera podána žaloba, v níž jsou obviněni z protiprávního jednání, nedbalosti, klamavých obchodních praktik a odpovědnosti za výrobek. Žalobu podala matka teenagera Megan Garciaová a tvrdí v ní, že platforma pro vlastní chatboty s umělou inteligencí byla nepřiměřeně nebezpečná a postrádala bezpečnostní zábrany, přičemž byla prodávána dětem.
Obvinění se týkají například toho, že stránka antropomorfizuje postavy s umělou inteligencí a že chatboti platformy nabízejí „psychoterapii bez licence“. Na Character.AI jsou umístěni chatboti se zaměřením na duševní zdraví, například Terapeut a „Cítíš se sám“, se kterými Setzer komunikoval.
Character.AI uvedla, že zavede řadu nových bezpečnostních funkcí, včetně lepší detekce, reakce a zásahu v případě chatů, které porušují podmínky služby, a upozornění, když uživatel stráví v chatu vyhrazený čas.
