Um grupo de investigadores da Faculdade de Ciências da Universidade de Lisboa criou e colocou em funcionamento o «primeiro comparador de desempenho de modelos de IA generativa especificamente dedicado ao português europeu» (PT-EU).
A ‘Leaderboard de LLM para Português‘, permite «avaliar e comparar diferentes modelos de forma transparente» para criar um ranking «acessível a empresas, investigadores e ao público». Desta forma, pode ser uma base importante para ao «facilitar a escolha de soluções de inteligência artificial mais adequadas ao contexto nacional».
Até agora, as principais plataformas deste tipo «estavam centradas no inglês ou noutras línguas com maior tradição tecnológica», lembra António Branco, director-geral da infraestrutura. Para que os modelos de IA sejam avaliados é preciso que os seus criadores, ou qualquer pessoa, os adicionem a esta plataforma.
Cada sistema é, depois, avaliado de «forma independente», através de testes automáticos com dados concebidos para «medir vários critérios, como qualidade da linguagem, adequação cultural e civilidade». Os resultados são publicados online, o que permite a «comparação directa entre diferentes modelos», desde que sejam open source.
Este projecto surge no âmbito da Portulan Clarin (o ‘nó’ nacional da rede europeia Clarin Eric), uma infraestrutura nacional coordenada pela Ciências ULisboa e integrada no roteiro estratégico da Fundação para a Ciência e a Tecnologia.
Segundo António Branco, este leaderboard «colmata uma lacuna importante e permite avaliar, de forma rigorosa e comparável, o desempenho de modelos de IA para português europeu, algo que até agora não existia».
