Modelo de inteligência artificial Amália apresenta o melhor desempenho em português europeu

Um novo modelo de inteligência artificial português, denominado Amália, está a superar outros modelos abertos no que diz respeito ao português europeu. De acordo com um relatório técnico, o Amália demonstra um domínio robusto das especificidades linguísticas de Portugal.

O modelo de inteligência artificial (IA) Amália demonstra um desempenho superior em português europeu em comparação com outros modelos de código aberto, segundo um relatório técnico divulgado recentemente.

Os resultados indicam que o Amália atinge a melhor performance por uma margem considerável, destacando-se em categorias como lexicologia e semântica, o que evidencia um profundo conhecimento das particularidades da língua portuguesa.

Desenvolvido por um consórcio de instituições portuguesas que inclui a Universidade Nova de Lisboa, o Instituto Superior Técnico, a Universidade de Coimbra, a Universidade do Porto, a Universidade do Minho e a Fundação para a Ciência e Tecnologia, o projeto é coordenado por João Magalhães (UNL) e André Martins (IST).

Para o seu treino, foram utilizados dados em larga escala do Arquivo.pt, especificamente selecionados pela sua relevância e qualidade linguística, bem como dados de pós-treino preparados para o português europeu.

O processo recorreu a supercomputadores nacionais, como o Mare Nostrum 5 e o Deucalion, e europeus da rede EuroHPC.

Na avaliação do seu desempenho, o Amália obteve a pontuação mais alta entre todos os modelos de código aberto em questões de resposta longa dos exames nacionais portugueses, demonstrando uma boa compreensão de enunciados complexos e a capacidade de produzir texto coerente e gramaticalmente correto. Um dos principais desafios no desenvolvimento foi a falta de referências ('benchmarks') para monitorizar o progresso em português europeu.

Para contornar esta limitação, a equipa utilizou os exames nacionais, criou um 'benchmark' linguístico próprio e traduziu outros conjuntos de dados.

Os resultados mostram que o Amália não só supera os modelos de código aberto anteriores, mas também muitos modelos 'open-weight'.

As experiências de segurança também indicam que o modelo está alinhado com o estado da arte. Para o futuro, a equipa planeia explorar novos métodos de aprendizagem e combinações de dados para melhorar as capacidades de raciocínio do modelo, consolidando o Amália como um assistente fiável em português europeu.