OpenAI a déclaré que plus d'un million d'utilisateurs de ChatGPT envoient chaque semaine des messages contenant des "signes évidents de planification ou d'intention de suicide". L'entreprise a publié ces informations sur son blog dans le cadre d'une mise à jour sur la manière dont son système traite les conversations sensibles. Il s'agit de l'un des aveux les plus ouverts du géant technologique sur la manière dont les systèmes d'IA peuvent exacerber les problèmes de santé mentale, souligne The Guardian.

L'OpenAI estime en outre que environ 0,07 % utilisateurs actifs par semaine - environ 560 000 sur 800 millions - présentent des "signes possibles d'épisodes psychotiques ou de manie". L'entreprise précise que ces données ne constituent qu'une analyse préliminaire et que ces manifestations sont difficiles à mesurer avec précision.

Ces chiffres interviennent à un moment où l'OpenAI fait l'objet d'une surveillance accrue. rostoucím tlakem a intenté un procès à la famille d'un adolescent qui s'est suicidé après avoir beaucoup communiqué avec ChatGPT. En outre, la Commission fédérale du commerce (FTC) a récemment a ouvert une enquête plusieurs fabricants de chatbots d'IA, dont OpenAI, pour voir comment les entreprises suivent les effets négatifs de leurs produits sur les enfants et les adolescents.

OpenAI a indiqué dans un message que la nouvelle version GPT-5 a réduit l'incidence des réponses non désirées et a amélioré la sécurité des utilisateurs. D'après les tests internes effectués sur plus de 1 000 conversations sur l'automutilation et le suicide, le nouveau système a permis d'obtenir les résultats suivants 91 % respect du comportement requisLe modèle précédent comptait 77 %.

L'entreprise a également élargi l'accès aux lignes d'assistance téléphonique en cas de crise et a introduit des rappels pour que les utilisateurs fassent des pauses pendant les longues conversations. L'équipe de développement a impliqué 170 professionnels de la santéy compris des psychiatres et des psychologues qui ont évalué la sécurité des réponses du modèle et ont aidé à formuler des réponses appropriées aux questions de santé mentale.

Selon OpenAI, les experts ont examiné plus de 1800 odpovědí dans des situations graves et a comparé le comportement du GPT-5 avec celui des versions précédentes. L'entreprise a considéré que la réponse "souhaitable" était celle que la plupart des experts jugeaient appropriée et sûre.

Cependant, les experts en intelligence artificielle et en santé publique dlouhodobě varujíque les chatbots ont tendance à rejoindre les utilisateurs dans des situations dangereuses - un phénomène connu sous le nom de "flagornerie". Les psychologues mettent également en garde contre le fait que les gens devraient ils ne devraient pas s'appuyer sur l'IA comme une forme de soutien psychologique, car elle est plus susceptible de nuire aux personnes vulnérables.

La formulation de la contribution de l'OpenAI se tient à l'écart de toute connexion directe entre l'utilisation du ChatGPT et les crises psychologiques des utilisateurs - ce qui, selon les critiques, suggère un effort pour limiter la responsabilité juridique de l'entreprise.

gnews.cz - GH