Nejspíše to autoři současných velkých jazykových modelů neplánovali, jejich chatboti si našli využití i jako „psychoterapeuti“. Trpělivě „vyslechnou“, co dotyčného trápí a na oplátku ho podpoří laskavým slovem, obecnou radou nebo se jej snaží dostat do péče opravdového odborníka. Pokud něco takového zvažujete, pak byste ale měli zpozornět.
Podle generálního ředitele společnosti OpenAI Sama Altmana odvětví umělé inteligence dosud nepřišlo na to, jak chránit soukromí uživatelů, pokud jde o tyto citlivější konverzace, protože když je váš doktor umělou inteligencí, neexistuje žádné lékařské tajemství. Uvedl to v rozhovoru v jednom z podcastů (plný záznam výše) a v odpovědi na otázku, jak funguje umělá inteligence v dnešním právním systému, Altman uvedl, že jedním z problémů dosud neexistujícího právního nebo politického rámce pro umělou inteligenci je, že neexistuje zákonná důvěrnost konverzací uživatelů.
„Lidé na ChatGPT mluví o těch nejosobnějších věcech ze svého života,“ řekl Altman. „Lidé ji používají – zejména mladí lidé – jako terapeuta, životního kouče; mají problémy ve vztazích a ptají se: Co mám dělat? A právě teď, když o těchto problémech mluvíte s terapeutem, právníkem nebo lékařem, existuje na to právní výsada. Existuje lékařské tajemství, právní tajemství, něco takového. A my jsme to ještě nevyřešili, když mluvíte s ChatGPT.“
Altman dodal, že v případě soudního sporu by to pro uživatele mohlo znamenat problém s ochranou soukromí, protože společnost OpenAI by dnes byla ze zákona povinna tyto konverzace předložit. To se Ale Altmanovi nelíbí: „Myslím, že je to velmi špatné. Myslím, že bychom měli mít stejný koncept soukromí pro vaše rozhovory s umělou inteligencí jako s terapeutem nebo kýmkoli jiným – a na to ještě před rokem nikdo nemusel myslet,“ řekl Altman.