A Anthropic anunciou ter feito uma experiência interna que colocou agentes de IA a representar compradores e vendedores num mercado com «transacções reais». A iniciativa, designada ‘Project Deal’, envolveu colaboradores da empresa e permitiu a «realização de negócios com bens reais e dinheiro efectivo».
Segundo a empresa, participaram 69 colaboradores, cada um com um orçamento de cem dólares (cerca de 85 euros), disponibilizado através de cartões-presente. No total, foram concretizados 186 negócios, correspondendo a «mais de 4000 dólares [3400 euros] em valor transacionado».
A empresa criou quatro versões distintas deste mercado. Numa delas, considerada “real”, todos os participantes foram representados pelo modelo mais avançado da empresa, sendo que as transacções foram «posteriormente cumpridas». As restantes versões tiveram como objectivo analisar comportamentos e resultados com «diferentes configurações de agentes».
Os resultados indicam que os utilizadores representados por modelos mais avançados obtiveram resultados «objectivamente melhores». No entanto, a empresa destaca que os participantes «não demonstraram perceber essas diferenças», levantando a hipótese de existirem «discrepâncias de qualidade entre agentes sem que os utilizadores tenham consciência disso».
Outro dos dados relevantes da experiência mostra que as instruções iniciais dadas aos agentes «não tiveram impacto significativo na probabilidade de venda nem nos preços negociados», o que sugere que o desempenho dos modelos de IA pode ter um peso mais determinante do que a configuração inicial das interacções.
