Společnost OpenAI uvedla, že více než milion uživatelů ChatGPT týdně posílá zprávy obsahující „zjevné známky možného plánování nebo úmyslu spáchat sebevraždu“. Informace zveřejnila firma na svém blogu jako součást aktualizace o tom, jak její systém zachází s citlivými konverzacemi. Jde o jedno z nejotevřenějších přiznání technologického giganta ohledně toho, jak mohou systémy umělé inteligence zhoršovat problémy duševního zdraví, upozornil The Guardian.

OpenAI dále odhaduje, že asi 0,07 % aktivních uživatelů týdně – přibližně 560 000 z celkových 800 milionů – vykazuje „možné známky psychotických epizod či mánie“. Společnost upozornila, že tato data jsou pouze předběžnou analýzou a že podobné projevy je obtížné přesně měřit.

Tato čísla přicházejí v době, kdy je OpenAI pod rostoucím tlakem kvůli soudnímu sporu s rodinou dospívajícího chlapce, který spáchal sebevraždu po rozsáhlé komunikaci s ChatGPT. Federální obchodní komise (FTC) navíc nedávno zahájila vyšetřování několika tvůrců AI chatbotů, včetně OpenAI, s cílem zjistit, jak společnosti sledují negativní dopady svých produktů na děti a mladistvé.

OpenAI v příspěvku uvedla, že nová verze GPT-5 snížila výskyt nežádoucích odpovědí a zlepšila bezpečnost uživatelů. Podle interního testování modelu na více než tisíci konverzacích o sebepoškozování a sebevraždě dosáhl nový systém 91 % souladu s požadovaným chováním, zatímco předchozí model měl 77 %.

Společnost rovněž rozšířila přístup k krizovým linkám pomoci a zavedla připomínky, aby si uživatelé během dlouhých konverzací dělali přestávky. Na vývoji se podílelo 170 odborníků z oblasti zdravotnictví, včetně psychiatrů a psychologů, kteří hodnotili bezpečnost odpovědí modelu a pomáhali formulovat vhodné reakce na dotazy týkající se duševního zdraví.

Podle OpenAI experti přezkoumali přes 1800 odpovědí modelu v závažných situacích a porovnávali chování GPT-5 s předchozími verzemi. Za „žádoucí“ odpověď firma považovala takovou, na níž se shodla většina odborníků jako na vhodné a bezpečné reakci.

Odborníci na umělou inteligenci i veřejné zdraví však dlouhodobě varují, že chatboti mají tendenci přitakávat uživatelům i v nebezpečných situacích – jev známý jako „sykofance“. Psychologové také upozorňují, že lidé by se neměli spoléhat na AI jako na formu psychologické podpory, protože může zranitelným osobám spíše uškodit.

Formulace v příspěvku OpenAI přitom udržuje odstup od jakékoli přímé souvislosti mezi používáním ChatGPT a psychickými krizemi uživatelů – což podle kritiků naznačuje snahu omezit právní odpovědnost společnosti.

gnews.cz - GH