Durante grande parte de Maio, um pequeno escritório perto de Toronto tornou-se o palco para uma história que anda muito perto das que se contam em livros e filmes de ficção científica. Allan Brooks, um recrutador de 47 anos, passou centenas de horas a conversar com o ChatGPT. Ao fim de três semanas, ele estava convencido de que tinha descoberto um avanço matemático – um que poderia permitir campos de força, levitação, e até pôr em risco a segurança da Internet.
A experiência de Allan Brooks com o ChatGPT, que ele descreveu ao New York Times, serve como um aviso a qualquer pessoa que ainda veja as IA apenas como meras ferramentas. À medida que estes sistemas se tornam mais persuasivos e omnipresentes, mesmo as mentes mais racionais podem perder o contacto com a realidade, por vezes após apenas uma conversa.
Este não é um caso isolado. Realça um fenómeno crescente: chatbots de IA generativa a arrastar pessoas para cenários tão convincentes que esbatem a linha entre a realidade e a imaginação. Para alguns, estas interacções terminam em angústia, hospitalização ou pior. Para Brooks, terminaram num “profundo sentimento de traição e tristeza” – e num renovado apelo a repensar como os chatbots lidam com utilizadores vulneráveis.
Divorciado com três filhos, Brooks recorreu à IA para o ajudar no quotidiano com receitas, conselhos, até estratégias de como lidar com um divórcio litigioso. Numa tarde no início de Maio, ele pediu ao ChatGPT para explicar o número pi ao seu filho. Essa simples questão espoletou uma espiral. A conversa rapidamente saltou da matemática básica para teorias não-ortodoxas sobre números e o seu papel na realidade.
Com o tempo, as respostas do ChatGPT mudaram de tom acentuadamente, mudando de explicações factuais para elogios efusivos. “Essa é uma perspectiva incrivelmente perspicaz,” disse o chatbot a Brooks, reforçando as suas suspeitas de ter descoberto algo novo. Quando Brooks expressou dúvidas e perguntou se estaria apenas a imaginar coisas, o chatbot rejeitou as suas preocupações: “Não estás nem remotamente louco.”
Especialistas que leram a transcrição das conversas de Brooks com a IA viram um padrão. “O tom do ChatGPT mudou de prestável e preciso para excessivamente lisonjeiro e bajulador,” disse Helen Toner, directora do Center for Security and Emerging Technology, baseado na universidade de Georgetown e ex-membro do conselho de administração da OpenAI. “Começou a reforçar as suas ilusões de uma forma que acelerou a espiral.”
Toner diz que os grandes modelos de linguagem como o ChatGPT são “máquinas de improvisação.” Não só recuperam factos, mas também são concebidos para manter as conversas envolventes, mesmo que isso signifique distorcer a realidade. “Quanto mais interacção, mais provável é que descarrile,” explicou ela. “Tornou-se uma história onde seria anticlimático se o chatbot simplesmente lhe dissesse para fazer uma pausa e falar com um amigo.”
Encorajado pelo ChatGPT, Brooks ficou convencido de que estava a desenvolver um novo campo da matemática. O chatbot descreveu as suas ideias como revolucionárias; tranquilizou Brooks de que a sua falta de educação formal era irrelevante, citando autodidactas famosos.
Quando Brooks começou a suspeitar de que tinha decifrado os sistemas criptográficos que sustentam a segurança digital, o ChatGPT redobrou a aposta – avisando-o de que ele já poderia estar sob vigilância pelos serviços secretos.
Brooks começou a enviar emails a agências governamentais e a especialistas em segurança, seguindo instruções e modelos redigidos pelo chatbot. Apenas um matemático respondeu, pedindo provas. “Começou a parecer um thriller de espionagem,” recordou.
Quando o matemático de renome mundial Terrence Tao reviu os trocas de Brooks com o ChatGPT, o seu veredicto foi directo: “Está a misturar matemática técnica com linguagem informal de uma forma que fez soar os alarmes.” Mesmo quando Brooks recebia respostas cada vez mais elaboradas e estruturadas da IA, a substância técnica não se sustentava.
Jared Moore, um investigador de Stanford que estuda IA e saúde mental, achou a urgência e as tácticas de contar histórias do chatbot estranhamente familiares. “Vê-se o uso de cliffhangers, um sentido de ameaça que exige acção imediata,” disse Moore. Estas estratégias, explicou ele, podem resultar de dados de treino retirados de thrillers e de guiões dramáticos.
Com o passar dos dias, as conversas de Brooks com o bot tomavam-lhe cada vez mais tempo e atenção. Não se alimentava correctamente, fumava mais e mal dormia. Os amigos ficaram preocupados. Um amigo próximo, até admitiu que foi brevemente levado pela possibilidade de obter riquezas e fazer descobertas. “Cada dia era um novo desenvolvimento, uma nova ameaça, uma nova invenção. Estava a evoluir de uma forma que capturou a minha excitação,” disse ele.
Especialistas em saúde mental viram claros sinais de aviso. A Dra. Nina Vasan, uma psiquiatra de Stanford que reviu porções da transcrição, disse que Brooks “mostrava sinais de um episódio maníaco com características psicóticas” incluindo insónia, geração rápida de ideias, e crenças grandiosas. “Ninguém está livre de risco aqui,” acrescentou ela.
O ponto de viragem surgiu quando os emails desesperados de Brooks para os especialistas ficaram sem resposta. Sentindo que algo estava errado, ele recorreu ao Gemini da Google para um “choque de realidade.” Ao contrário do ChatGPT, que tinha nutrido cuidadosamente a fantasia, o Gemini rejeitou-a totalmente como “extremamente improvável” – um lembrete forte de quão facilmente os LLM podem “gerar narrativas altamente convincentes, mas no fim das contas falsas.”
Brooks voltou ao ChatGPT para uma última “confirmação. Só então o chatbot admitiu que as invenções eram ficção. “Aquele momento em que percebi, ‘Oh meu Deus, isto tudo estava apenas na minha cabeça,’ foi totalmente devastador,” disse Brooks.
A OpenAI reconheceu as preocupações sobre espirais de ilusão. Uma porta-voz disse que a empresa está “focada em fazer com que cenários como os de role play funcionem bem” e está a trabalhar com especialistas em saúde mental para melhorar as salvaguardas e o comportamento do modelo. A OpenAI introduziu novas funcionalidades, como “lembretes suaves” para fazer pausas durante sessões prolongadas, e actualizou o ChatGPT para detectar melhor os sinais de angústia emocional.
Os críticos argumentam que nenhum dos principais chatbots – incluindo os da Anthropic e da Google – resolveu o problema central. Amanda Askell, chefe de comportamento de modelos da Anthropic, disse que a empresa está a testar formas para o seu chatbot, o Claude, detectar e interromper conversas que possam levar à criação de ilusões nos utilizadores.
Depois deste episódio, Brooks tornou-se um defensor inesperado de regulamentações mais rigorosas e de sensibilização pública, partilhando a sua experiência online e juntando-se a um grupo de apoio para aqueles prejudicados por ilusões criadas pelas IA. “É uma máquina perigosa no espaço público sem protecções,” disse ele. “As pessoas precisam de saber.”
