Na conferência Vision 2024, a Intel revelou o novo chip acelerador para tarefas de inteligência artificial Gaudi 3. A empresa diz que o novo chip é 50% mais rápido que o H100 da Nvidia em tarefas de inferência. O chip Gaudi 3 já tinha sido mencionado no evento Ai Everywhere, que se realizou em Dezembro do ano passado, em que o CEO da Intel, Pat Gelsinger, disse que estaria disponível em breve para concorrer com os chips semelhantes da Nvidia e AMD.
O novo chip que, como o nome indica, sucede ao Gaudi 2, combina dois dies de 5 nm fabricados pela TSMC e inclui 64 núcleos Tensor de quinta geração, 128 GB de memória RAM HBM2e com uma velocidade de 3,7 Gbps e uma largura de banda máxima de 3,7 TB por segundo. Estes valores são substancialmente superiores aos do Gaudi 2, que tinha 24 núcleos Tensor, 96 Gb de memória HBM2e a 3,27 Gbps e uma largura de banda de 2,45 TB por segundo. O Gaudi 3 também inclui 96 MB de memória SRAM com uma largura de banda máxima de 12,8 TB por segundo.
Outras especificações incluem 128 GB de VRAM, um desempenho máximo de 1835 TFLOPS em matrizes FP8 e BF16 e um consumo de 900 W. Em comparação, o Gaudi 2 tem 96 GB de VRAM, oferece 835 TFLOPS na matriz FP8, 432 TFLOPS na matriz BF16 e consome 600 W.
Para além disto, todos os modelos Gaudi 3 incluem 25 ligações Ethernet a 200 Gb e uma placa PCIe que, segundo a Intel, serve para ajudar em tarefas como afinações, inferências e retrieval-augmented generation (RAG).
De acordo com a Intel, os chips Gaudi de terceira geração têm um desempenho 4 x superior em BF16, um aumento de 1,5 x na largura de banda da memória e 2 x mais largura de banda no que toca às ligações de rede, quando comparados com os antecessores.
Em comparação com com H100 da Nvidia, a Intel diz que o Gaudi 3 é 50 por cento mais rápido nos parâmetros dos modelos Llama2 7B e 13B e também no GPT-3. A empresa também diz que as inferências são 50 por cento mais rápidas e que a eficiência é 40 por cento maior nos modelos Llama 7B, 70B e Flacon 180B.
Os resultados de testes de benchmark fornecidos pela Intel sugerem que o Gaudi 3 é entre 40 e 70 por cento mais rápido no treino de inteligência artificial que o H100, dependendo do modelo utilizado. Mas ainda não se sabe como é que se vai portar num cenário de utilização real.
As primeiras amostras do Gaudi 3 já estão a ser distribuídos aos parceiros da Intel e a produção em grande escala só vai começar na segunda metade do ano. De acordo com os planos da Intel, as versões do Gaudi 3 arrefecidas a ar vão começar a ser distribuída no terceiro trimestre de 2024 e as versões arrefecidas a liquido no quarto trimestre.
