Další smutný případ připomíná, proč se chatboty založenými na velkých jazykových modelech nebavit o ničem, co může nějak negativně ovlivnit váš život. Leila Turner-Scottová a Angus Scott podali na společnost žalobu (arstechnica.net) s tvrzením, že navrhla a distribuovala „vadný výrobek“, který vedl k úmrtí jejich syna Sama Nelsona v důsledku náhodného předávkování. Konkrétně tvrdí, že Sam zemřel poté, co se řídil „přesnými lékařskými radami, které mu poskytl a schválil systém GPT-4o“.
V žalobě žalobci popsali, jak Sam, devatenáctiletý student třetího ročníku Kalifornské univerzity v Mercedu, začal ChatGPT používat v roce 2023, když ještě chodil na střední školu, aby mu pomáhal s domácími úkoly a řešil problémy s počítačem. Sam se pak začal chatbota ptát na bezpečné užívání drog, ale ChatGPT zpočátku odmítl na jeho otázku odpovědět, s tím, že mu nemůže pomoci, a varoval ho, že užívání drog může mít vážné důsledky pro jeho zdraví a pohodu. Žaloba tvrdí, že se vše změnilo s uvedením GPT-4o v roce 2024.
Jeden příklad ukázal, jak mu chatbot vysvětloval rizika spojená s rychlým požitím difenhydraminu, kokainu a alkoholu v krátkém časovém odstupu. V jiném případě chatbot Samovi sdělil, že díky jeho vysoké toleranci vůči bylinnému přípravku zvanému kratom by i velká dávka tohoto přípravku působila na plný žaludek jen velmi mírně. Následně mu poradil, jak postupným snižováním dávky opět snížit svou toleranci vůči této látce.
V žalobě se uvádí, že dne 31. května 2025 „ChatGPT aktivně radil Samovi, aby smíchal kratom a Xanax“. Sam chatbotu sdělil, že se mu po požití kratomu dělá špatně, a ChatGPT mu údajně navrhl, že užití 0,25 až 0,5 mg Xanaxu by bylo v dané chvíli jedním z „nejlepších řešení“, jak nevolnost zmírnit. Podle žaloby ChatGPT tento návrh učinil z vlastní iniciativy. Přestože se ChatGPT prezentoval jako odborník na dávkování a interakce a přestože si byl vědom Samova stavu opojení, neřekl Samovi, že tato doporučená kombinace by ho pravděpodobně zabila, což se nakonec stalo.
Kromě žaloby za způsobení smrti žalobci žalují společnost OpenAI také za neoprávněné poskytování lékařských služeb. Požadují finanční odškodnění a aby soudy nařídily pozastavení provozu služby ChatGPT Health.
