A criadora do ChatGPT continua a expandir os horizontes no mundo do hardware e acaba de dar um passo de gigante na optimização da sua infra-estrutura. O novo processador Jalapeño promete revolucionar a forma como os modelos de linguagem operam ao oferecer um desempenho por watt muito superior ao da concorrência. Segundo o site Interesting Engineering, a empresa testou este componente em três modelos públicos distintos e registou um aumento de produtividade que varia entre uma vez e meia e quase o dobro do trabalho de inteligência artificial por watt no pico de processamento. Estes números colocam o novo hardware numa posição de destaque face aos sistemas aceleradores disponíveis comercialmente no mercado actual.
Para além da eficiência energética, a redução do tempo de resposta foi um dos grandes focos da equipa de engenharia. Os testes demonstraram uma latência ponto a ponto até três vezes e meia inferior aos sistemas de comparação, algo que se torna crucial para tarefas altamente interactivas onde o desempenho chegou a ser quatro vezes superior. O facto de a OpenAI ter desenhado o seu próprio processador de inteligência artificial permite combinar uma elevada capacidade de transferência de dados com uma baixa latência numa única arquitectura. Esta abordagem ajuda a diminuir a quantidade de equipamento e a energia necessária para servir os modelos mais exigentes, sendo que o chip tem uma potência nominal de setecentos watts, embora o consumo sustentado medido se tenha mantido abaixo dos quinhentos e cinquenta watts durante as avaliações.
O fim do compromisso entre velocidade e latência
O desenho do Jalapeño resolve um dos maiores dilemas da inferência de inteligência artificial ao evitar a habitual escolha forçada entre o volume de dados processados e a rapidez de resposta. O processamento do pedido inicial de um utilizador exige um enorme poder de cálculo, enquanto a geração da resposta palavra a palavra depende fortemente da largura de banda da memória. A nova arquitectura consegue lidar com ambas as fases de mais eficientemente ao manter o estado do modelo e a memória cache muito mais perto dos recursos de processamento. O próprio sistema de rede está integrado na estrutura para reduzir a quantidade de dados que precisa de viajar entre diferentes chips, a limitar assim os atrasos de comunicação que costumam deixar os recursos de computação à espera de informação.
Esta estratégia de integração torna-se particularmente relevante para os agentes de inteligência artificial que executam múltiplos passos de inferência em sequência. Um pequeno atraso em cada etapa pode acumular-se e resultar numa tarefa global muito mais demorada, algo que a empresa quer evitar a todo o custo. A fluidez destas interacções será fundamental para o futuro do ecossistema da marca, especialmente se pensarmos que a eventual chegada de um dispositivo móvel próprio poderá ditar o fim das aplicações convencionais ao colocar a inteligência artificial no centro de todas as tarefas diárias.
A inteligência artificial a desenhar o próprio futuro
O desenvolvimento do Jalapeño teve a particularidade de usar os próprios modelos da empresa para ajudar os engenheiros a explorar implementações e a encurtar os ciclos de verificação. A equipa conseguiu passar do desenho inicial para a fase de produção em apenas nove meses, a optimizar circuitos aritméticos com a ajuda de algoritmos avançados. Em certos blocos específicos, as implementações geradas por inteligência artificial chegaram a ser quase duas vezes mais rápidas do que as versões escritas por especialistas humanos. A empresa planeia começar a implementar o Jalapeño na sua infra-estrutura até ao final de dois mil e vinte e seis, de forma a antecipar-se aos planos da concorrência, como os da Google que também está a desenhar um componente focado na redução do consumo energético em tarefas de IA. Este é apenas o primeiro passo de um roteiro multigeracional que já tem as segundas e terceiras gerações em fase de desenvolvimento para garantir que a inferência se torna cada vez mais rápida e eficiente para as empresas clientes.
