San Francisco Frontiers - OpenAI incluirá controles parentales en ChatGPT tras la muerte de un adolescente

"El próximo mes los padres podrán (...) vincular su cuenta con la cuenta de su adolescente" y "controlar cómo ChatGPT responde al adolescente con reglas de comportamiento de modelos apropiadas para la edad", explicó la empresa de IA generativa en su blog.

Los padres también recibirán notificaciones de ChatGPT "cuando el sistema detecte que el adolescente está en un momento de angustia aguda", agregó OpenAI.

Matthew y Maria Raine aseguran en la causa presentada el lunes ante una corte del estado de California que ChatGPT cultivó una relación íntima con su hijo Adam por varios meses entre 2024 y 2025, antes de su muerte.

La demanda alega que en su conversación final, el 11 de abril de 2025, ChatGPT ayudó a Adam a robarle vodka a sus padres y le proporcionó un análisis técnico sobre un nudo corredizo con el que le confirmó se "podría potencialmente colgar a un ser humano".

Adam fue hallado muerto horas después usando ese método.

"Cuando una persona usa ChatGPT realmente siente que está hablando con algo al otro lado", dijo la abogada Melodi Dincer del Proyecto de Justicia Tecnológica, que ayudó a preparar la denuncia legal.

"Estas son las mismas características que podrían llevar a alguien como Adam, con el tiempo, a comenzar a compartir más y más sobre su vida personal y, en última instancia, a buscar consejos y orientación de este producto que básicamente parece tener todas las respuestas", afirmó Dincer.

La abogada dijo que la publicación de blog de OpenAI anunciando los controles parentales y otras medidas de seguridad parecía "genérica" y carecía de detalles.

"Realmente es lo mínimo, y definitivamente sugiere que había muchas medidas de seguridad (simples) que podrían haberse implementado", añadió.

"Está por verse si harán lo que dicen que harán y qué tan efectivo será en general".

El caso de los Raine fue solo el más reciente en una serie de incidentes en los que personas son alentadas por chatbots de IA a seguir pensamientos delirantes o dañinos, lo que llevó a OpenAI a anunciar que reduciría la "adulación" de los modelos hacia los usuarios.

"Continuamos mejorando en cómo nuestros modelos reconocen y responden a señales de angustia mental y emocional", dijo OpenAI el martes.

P.Adams--SFF