Beperelték az OpenAI-t és Sam Altmant annak a tinédzsernek a szülei, aki öngyilkos lett, miután a ChatGPT tanította őt arról, hogyan bánthatja magát, végezhet magával. A szülők szerint a cég szándékosan a profitot helyezi a biztonság elé.

A 16 éves Adam Raine április 11-én halt meg, miután hónapokon át öngyilkosságról beszélgetett a ChatGPT-vel. A chatbot nem csak bátorította Raine öngyilkos gondolatait, hanem részletes információt adott a végzetes megoldásokról, öngyilkossági módszerekről, de arról is, hogyan lopjon alkoholt a szülők italos szekrényéből vagy tüntesse el a sikertelen öngyilkossági kísérlet nyomait. A ChatGPT állítólag még a búcsúlevél megírását is felajánlotta.

A per felelősségre vonná az OpenAI-t a haláleset és a termékbiztonság miatt.

Az OpenAI közölte: elszomorítja őket a haláleset, a ChatGPT ugyanakkor olyan biztonsági rétegeket tartalmaz, ami az embereket krízisvonalakra irányítja. Hozzátették, ezek általában jól működnek, de kiderült, hogy idővel és hosszú beszélgetések során kevésbé megbízhatóak, a modell biztonsági tréningezése leromlik. Az OpenAI javítana ezen.

Mivel a chatbotok egyre életszerűbb beszélgetéseket folytatnak, a cégek reklámozzák is mindezt, sajnos a felhasználók pedig egyre többször érzelmi támogatást keresnek ezekben. A szakértők szerint súlyos veszélyt rejt magában, hogy automatizálják a mentális egészséggel kapcsolatos tanácsadást.

Az OpenAI szülői felügyeletei eszközök bevetését tervezi, továbbá valódi kríziskezelőkkel való összekapcsolást. Akár licencelt szakembereket is bevetnének, akik a ChatGPT-n keresztül válaszolnának.

A per vádjai szerint az OpenAI tudta, hogy a GPT-4o veszélybe sodorja a sérülékeny felhasználókat, mivel nincsenek védőgátak, de a rendszer emlékszik a korábbi beszélgetésekre, emberi empátiát utánoz és hízelgően bátorítja a felhasználót. Követelik azt is, hogy ezentúl hitelesítsék a felhasználók életkorát, utasítsák vissza az öngyilkossággal kapcsolatos válaszokat és figyelmeztessék a felhasználókat pszichológiai függőségre.