Negativní případy z poslední doby, v čele s tím, kdy ChatGPT pomohl mladíkovi z Floridy naplánovat sebevraždu, podnítily zájem o to, jak OpenAI (openai.com) přistupuje k ochraně svých klientů, kteří se potýkají s psychickými problémy. v Společnost uvádí, že 0,15 % aktivních uživatelů ChatGPT v daném týdnu vede konverzace, které obsahují „explicitní ukazatele potenciálního plánování nebo úmyslu spáchat sebevraždu.“ Vzhledem k tomu, že ChatGPT má více než 800 milionů aktivních uživatelů týdně, znamená to více než milion lidí týdně.
Stejně vysoké a podobně zneklidňující číslo zahrnuje „zvýšenou míru citové vazby na ChatGPT“ a že stovky tisíc lidí vykazují v týdenních konverzacích s chatbotem s umělou inteligencí známky psychózy nebo mánie. I přes vysoká absolutí čísla jde však o počet uživatelů na celém světě, a tak jsou tyto případy „extrémně vzácné“. Přesto generální prokurátoři států Kalifornie a Delaware, kteří by mohli zablokovat plánovanou restrukturalizaci společnosti, rovněž varovali společnost OpenAI, že musí chránit mladé lidi, kteří používají její produkty.
We made ChatGPT pretty restrictive to make sure we were being careful with mental health issues. We realize this made it less useful/enjoyable to many users who had no mental health problems, but given the seriousness of the issue we wanted to get this right.
— Sam Altman (@sama) October 14, 2025
Now that we have…
Společnost OpenAI se o tyto informace podělila v rámci širšího oznámení o svém nedávném úsilí zlepšit způsob, jakým modely reagují na uživatele s duševními problémy. Podle zprávy poslední práce na ChatGPT zahrnovala konzultace s více než 170 odborníky na duševní zdraví. OpenAI tvrdí, že tito lékaři vypozorovali, že nejnovější verze ChatGPT reaguje vhodněji a konzistentněji než předchozí verze.
Tato náprava ale přichází až jako reakce na potíže, které mohou končit lidskou tragédií. V posledních měsících se objevilo několik příběhů o tom, jak mohou chatboti s umělou inteligencí negativně ovlivnit uživatele, kteří se potýkají s problémy v oblasti duševního zdraví. Výzkumníci již dříve zjistili, že chatboti s umělou inteligencí mohou některé uživatele zavést do bludných deziluzí, a to převážně tím, že posilují nebezpečná přesvědčení prostřednictvím pochlebování. I přesto se však OpenAI rozhodlo uvolnit některé restrikce pro chování svého chatbota a zavede možnost erotických konverzací.
