Uma pergunta simples, uma resposta em camadas
O AMALIA foi criado de raiz? Ou é uma evolução de modelos existentes? Esta é uma das perguntas mais frequentes sobre o modelo português, e a resposta é mais interessante do que um simples ‘sim’ ou ‘não’. O AMALIA representa o culminar de vários projetos de investigação que o antecederam, aproveitando trabalho, conhecimento e infraestrutura já existentes, mas acrescentando desenvolvimento original significativo.
EuroLLM: a base europeia
O EuroLLM é um modelo de linguagem multilingue desenvolvido pelo Instituto de Telecomunicações e pelo Instituto Superior Técnico, no âmbito de um projeto de investigação europeu. Na sua génese, o EuroLLM foi concebido para processar múltiplas línguas europeias, mas não era especificamente otimizado para o português de Portugal. O AMALIA aproveitou os dados de pré-treino do EuroLLM e seguiu grande parte dos seus hiperparâmetros, aumentando o comprimento máximo de sequência para 32 mil tokens.
GlórIA e v-Glória: o português entra em cena
O GlórIA, desenvolvido pelo NOVA LINCS da Universidade Nova de Lisboa, foi um passo crucial: um modelo orientado especificamente para o português, já treinado com dados da língua portuguesa. A sua evolução multimodal, o v-Glória, estendeu essa capacidade a múltiplos formatos. Ambos os projetos utilizaram a infraestrutura europeia de computação de alta-performance EuroHPC e representaram o primeiro investimento sério em LLM para português de Portugal.
O AMALIA beneficiou diretamente destes projetos: «Numa fase inicial, o AMALIA será criado através da conjugação dos esforços realizados no desenvolvimento do EuroLLM, do GlórIA e do v-Glória», confirmou o Governo no anúncio oficial do projeto. Isto significa que o AMALIA não começou do zero — começou sobre os ombros de gigantes da investigação nacional.
AMALIA: o salto final
O AMALIA pega nos alicerces do EuroLLM, GlórIA e v-Glória e desenvolve-os especificamente para o português europeu e para o contexto cultural português. O modelo foi afinado com dados curados da língua, cultura e história de Portugal, incluindo fontes como o Arquivo.pt — o arquivo da web portuguesa — e informação sobre literatura, história e cultura nacionais.
A arquitetura de treino do AMALIA incluiu três fases:
- Pré-treino: com dados do Arquivo.pt, dados do EuroLLM, dados de contexto longo (Stack-v2) e dados sintéticos para melhorar a retenção em contexto longo.
- Supervised Fine-Tuning (SFT): com uma mistura de dados criados manualmente, gerados sinteticamente e obtidos de datasets públicos, focados em quatro categorias: seguimento de instruções, raciocínio conversacional, matemática e segurança.
- Direct Preference Optimization (DPO): para alinhar o comportamento do modelo com preferências humanas, refinando as respostas através de comparações de pares e minimizando alucinações, toxicidade e desvios.
A data de corte dos dados de treino foi junho de 2024, garantindo que o modelo não incorpora informação posterior ao seu treino.
Benchmarks especificamente portugueses
Um dos aspetos mais inovadores do AMALIA é o desenvolvimento de benchmarks especificamente desenhados para avaliar o desempenho em português europeu:
- ALBA (Automated Linguistics Benchmark for Baseline Assessment) — avalia o desempenho em oito dimensões linguísticas: fonética, sintaxe, morfologia, lexicologia, semântica cultural, jogos de palavras, análise do discurso e variedade linguística.
- P3B3 (pt-PT/pt-BR Bias Benchmark) — avalia o viés dos modelos para as variantes de português europeu e brasileiro.
- PHEB (Portuguese High School Exams Benchmark) — baseado nos Exames Nacionais do Ensino Secundário.
- CulturaVivaPT — focado na compreensão cultural e conhecimento específico de Portugal.
- SAUDADE — mede a compreensão de eventos históricos e culturais portugueses numa perspetiva temporal.
No ecossistema de modelos totalmente abertos (fully open-source), o AMALIA posiciona-se entre os modelos de referência para o português europeu, demonstrando um desempenho ao nível do estado da arte.
Então, foi criado de raiz ou não?
A resposta honesta é: o AMALIA não foi criado de raiz no sentido de ter partido de código e arquitetura zero — isso seria um desperdício de recursos e conhecimento. Aproveitou o trabalho do EuroLLM como base arquitetural, os dados do GlórIA e v-Glória como ponto de partida para o português, e desenvolveu a partir daí: adaptação específica para português europeu, treino adicional massivo, alinhamento por preferências humanas, benchmarks nacionais e disponibilização em código aberto. É uma história de evolução inteligente, não de reinvenção desnecessária — e isso é uma história de sucesso.
