O ‘cérebro’ do AMALIA: dois supercomputadores, 64 GPUs H100 e milhares de horas de computação
Treinar um modelo de linguagem de grande escala como o AMALIA não é como treinar um algoritmo normal. Exige uma quantidade colossal de poder computacional, memória e tempo. Onde e como foi feito este treino é uma parte fascinante da história da IA portuguesa — e revela a importância da cooperação europeia em computação de alta-performance.
MareNostrum 5: o supercomputador espanhol que ajudou Portugal
O MareNostrum 5, instalado no Barcelona Supercomputing Center, é um dos supercomputadores mais potentes da Europa. Com capacidade para realizar 314 petaflops (milhões de milhões de operações por segundo), foi um dos dois sistemas utilizados para treinar o AMALIA. A sua utilização resultou do acesso europeu à infraestrutura EuroHPC, a entidade europeia de computação de alta-performance que permite a países como Portugal aceder a capacidade computacional que individualmente não teriam escala para manter.
DEUCALION: a supercomputação nacional no Minho
O DEUCALION, alojado no Centro Avançado de Computação do Minho, é o maior supercomputador de Portugal. Faz parte da Rede Nacional de Computação Avançada (RNCA), gerida pela FCCN (Fundação para a Computação Científica Nacional). Com uma arquitetura baseada em GPUs NVIDIA, o DEUCALION tem sido fundamental para projetos de investigação nacionais, incluindo o treino de modelos de IA.
A existência do DEUCALION foi um dos fatores que tornou o AMALIA possível sem depender exclusivamente de infraestrutura estrangeira.
Os números concretos do treino
A documentação técnica do AMALIA, disponível na ficha do modelo (model card), revela números impressionantes:
- Fase de Supervised Fine-Tuning (SFT): 64 GPUs NVIDIA H100 durante 76 horas, totalizando 14 mil steps de treino.
- Fase de Direct Preference Optimization (DPO): novamente 64 NVIDIA H100 durante 12 horas.
As GPUs NVIDIA H100 são atualmente o estado da arte em hardware para treino de IA, cada uma custando dezenas de milhares de euros. O simples aluguer de 64 H100 durante 88 horas representa um investimento significativo — daí a importância do financiamento público do PRR e do acesso a infraestrutura europeia.
O processo de treino explicado de forma acessível
Para quem não é especialista, o treino de um LLM pode ser entendido em cinco etapas:
- Dados: Recolha e curadoria de milhões de documentos em português europeu, incluindo o Arquivo.pt, livros, artigos científicos e dados sintéticos.
- Pré-treino: O modelo aprende padrões linguísticos a partir dos dados brutos, sem supervisão direta. Esta fase consome a maior parte do poder computacional.
- SFT (Supervised Fine-Tuning): O modelo é afinado com exemplos de perguntas e respostas cuidadosamente criados por humanos, aprendendo a seguir instruções e a ter conversas naturais.
- DPO (Direct Preference Optimization): O modelo aprende a distinguir entre respostas boas e más, otimizando-se para gerar outputs úteis, seguros e alinhados com valores desejados.
- Avaliação: O modelo é testado em benchmarks como o ALBA, P3B3, PHEB, CulturaVivaPT e SAUDADE para validar o seu desempenho.
Porque é que Portugal precisou de duas infraestruturas?
A resposta é simultaneamente prática e estratégica. O DEUCALION, apesar de ser o maior supercomputador nacional, não teria capacidade isolada para realizar todo o treino do AMALIA nos prazos pretendidos. O acesso ao MareNostrum 5 através do EuroHPC permitiu complementar a capacidade nacional com a infraestrutura europeia.
Por outro lado, a utilização do DEUCALION garantiu que parte crítica do processo — nomeadamente o alojamento e a disponibilização futura do modelo — permanece sob controlo nacional. Esta dualidade entre infraestrutura nacional e europeia é um modelo que Portugal pretende replicar noutros projetos de IA.
E o futuro?
Com o anúncio de uma nova fase de financiamento de 1,5 milhões de euros até 2027, a questão da infraestrutura continuará a ser central. O Governo português prevê a evolução da infraestrutura soberana, o que pode incluir a expansão do DEUCALION ou a criação de novos clusters de computação especificamente dedicados à IA. A aposta na computação de alta-performance é, cada vez mais, uma aposta na soberania tecnológica nacional.
