Apesar de serem anunciados como o próximo passo na evolução da inteligência artificial, actualmente os grandes modelos de linguagem não são lá muito inteligentes. De vez em quando, são feitas experiências que nos lembram que a chamada IA “inteligente” na realidade não existe.
Uma emulação exacta do CPU da Atari 2600, a funcionar a uns míseros 1,19 MHz, é mais do que suficiente para humilhar completamente o ChatGPT num jogo de xadrez. O engenheiro da Citrix, Robert Jr. Caruso, conduziu a pequena e “engraçada” experiência durante o fim-de-semana, opondo o poderoso chatbot da OpenAI a uma consola Atari 2600 virtual emulada através do Stella que não acabou bem para o chatbot.
Foi o próprio ChatGPT que sugeriu a ideia a Caruso, depois de ele conversar com o bot sobre a história da Inteligência Artificial e do xadrez. O serviço da OpenAI ofereceu-se para jogar “Atari Chess”, que Caruso assumiu referir-se ao Video Chess, o único título de xadrez alguma vez lançado para a Atari 2600.
De acordo com Caruso, Apesar de ter sido dado ao modelo de IA um esquema básico do tabuleiro para identificar as peças, o ChatGPT teve dificuldades em fazê-lo. Confundiu torres com bispos, perdeu jogadas óbvias com peões, e cometeu uma série de erros desconcertantes. A certa altura, o ChatGPT até culpou factores externos, como os símbolos abstractos usados pelo Video Chess para representar as peças, pela sua incapacidade de acompanhar o estado do jogo.
“Durante 90 minutos, tive de impedi-lo de fazer jogadas terríveis e corrigir a sua percepção do tabuleiro várias vezes por turno”, disse o engenheiro sobre o desempenho do ChatGPT contra uma consola dos anos 70 a correr num emulador.
O bot aparentemente continuou a pedir para reiniciar o jogo na esperança de melhorar o seu desempenho, mas acabou por ser derrotado por um motor de xadrez de 8 bits. Um CPU de 1 MHz deveria, na melhor das hipóteses, ser capaz de pensar uma ou duas jogadas à frente, enquanto o ChatGPT depende de um exército interminável de GPU modernos e que consomem muita energia para manter o serviço de chat a funcionar. E, no entanto, o CPU de 1 MHz venceu, esmagando o chatbot no nível de principiante.
A experiência de Caruso é um lembrete útil sobre o que os modelos LLM realmente são: um motor de busca complexo, baseado em heurísticas, concebido para agradar constantemente ao utilizador final com algum tipo de resultado cativante. Eles não “sabem” nada, não têm capacidades de raciocínio ou dedução, e certamente não têm inteligência própria.
