Durante a apresentação dos resultados do segundo trimestre da Meta, Mark Zuckerberg assumiu que treinar o Llama 4 (o modelo de IA da dona do Facebook) vai exigir «dez vezes mais poder de computação» que a versão anterior, ao Llama 3.
Associado a este incremento tecnológico está, claro, a subida dos com a infraestrutura de servidores necessária para servir de base ao Llama. Para termos uma ideia de quanto custa desenvolver um modelo de IA, basta olhar para os os números apresentados pela empresa de Zuckerberg.
Neste anúncio da Meta, foi anunciado um aumento de 33% nos investimentos em «servidores, centros de dados e infra-estruturas de rede»: de 5,9 passou para 7,9 mil milhões de euros. Com esta revelação de Mark Zuckerberg, é natural que, em 2025, a despesa seja ainda mais elevada, provavelmente na ordem dos dez mil milhões de euros.
«É difícil prever qual será a tendência de desenvolver modelos de IA, no futuro. Mas, neste momento, prefiro arriscar na criação de capacidade antes de ser necessária que fazê-lo quando for demasiado tarde, tendo em conta os longos prazos de execução de novos projectos», disse o CEO.
O Llama 3, lançado em Abril, é um LLM de IA com oitenta mil milhões de parâmetros. Na semana passada, a Meta anunciou um update, o Llama 3.1 405B, com 405 mil milhões de parâmetros (nenhum está disponível em Portugal).
Neste momento, não é conhecida a capacidade prevista do Llama 4, mas atendendo a esta evolução, podemos estar a falar de um LLM com perto de 900 mil milhões de parâmetros.
