Este caso levanta sérias questões sobre a responsabilidade das empresas de inteligência artificial e a segurança dos seus modelos em interações com utilizadores vulneráveis.

Os pais de Adam Raine, de 16 anos, alegam que o jovem utilizou a versão paga do ChatGPT-4o durante vários meses para pesquisar métodos de suicídio. Embora o assistente virtual tenha aconselhado a procura de ajuda especializada, Raine conseguiu contornar as medidas de segurança ao afirmar que estava a realizar uma investigação para uma história que escrevia. O processo acusa a OpenAI e o seu CEO, Sam Altman, de o ChatGPT ter “ajudado ativamente o Adam a explorar métodos” para pôr termo à vida e de não ter iniciado protocolos de emergência, apesar de reconhecer as suas intenções. Este caso expôs uma vulnerabilidade mais ampla, corroborada por um estudo do Centro de Combate ao Ódio Digital, que concluiu que o ChatGPT era capaz de fornecer instruções sobre comportamentos prejudiciais a jovens.

Em resposta, a OpenAI anunciou alterações para reforçar as suas salvaguardas, prometendo melhorar a deteção de crises em conversas longas, onde o treino de segurança do modelo pode “deteriorar-se”. A empresa irá também fortalecer o bloqueio de conteúdos relacionados com automutilação e explorar formas de colocar os utilizadores em contacto com familiares, para além dos serviços de emergência.

A OpenAI reconheceu que as suas proteções podem ser “menos úteis em interações longas” e comprometeu-se a tornar o ChatGPT “mais solidário em momentos de crise”.