«Identificar a pega da chávena que está à direita» parece um prompt bastante banal para dar a uma IA, mas o pedido pode ser mais complicado que parece. Um robô que receba esta instrução tem de distinguir a chávena das restantes e localizar a pega com «precisão suficiente» para lhe tocar.
É isto que o GroundingPI quer aprimorar: este modelo, apresentado esta semana, foi desenvolvido por investigadores ligados à Xpeng, às universidades de Pequim e de Hong Kong e a outras instituições académicas. A tecnologia associada «traduz a informação em coordenadas que indicam um ponto da imagem ou delimitam a área ocupada pelo objecto».
O modelo tem cerca de «quatro mil milhões de parâmetros» e foi treinado para executar tarefas como «localizar pequenos objectos numa imagem, reconhecer texto ou identificar um elemento de uma interface a partir de uma descrição».
A equipa comparou o GroundingPI com 44 modelos de referência e as onze categorias avaliadas «tiveram o mesmo peso no resultado final», que diz respeito apenas à percepção visual. Segundo os investigadores, o modelo distinguiu-se sobretudo nas imagens em que «era necessário localizar elementos de pequenas dimensões» ou «reconhecer um objecto específico entre muitos outros».
Na vertente de condução autónoma, o sistema registou um «erro médio de 29,6 centímetros» na previsão de trajectórias a partir de dados de circulação previamente recolhidos. A avaliação decorreu fora de estrada, com recurso ao conjunto de dados nuScenes. O artigo científico, o código e os pesos do modelo estão disponíveis no GitHub.
