Allen Institute for AI

A Ai2 (Allen Institute for AI) é um laboratório que publica modelos de IA abertos, como os modelos de linguagem Olmo e os modelos multimodais Molmo, junto com dados de treinamento, código e checkpoints.

Segundo o site da Ai2, a linha principal é:

• Olmo: modelos de linguagem. A Ai2 chama de "model flow" o ciclo completo de um modelo, com cada etapa, checkpoint, conjunto de dados e dependência necessários para criá-lo e modificá-lo. O blog do Olmo 3 descreve uma família de modelos densos de 7B e 32B parâmetros.
• Molmo: família de modelos multimodais abertos, apoiada no conjunto de dados Pixmo. O Molmo 2 inclui modelos de 4B e 8B e o Molmo 2-O, de 7B, que une a compreensão de imagem e vídeo do Molmo 2 ao Olmo.
• Tülu: família de modelos que seguem instruções, com dados, código e receitas totalmente abertos. A Ai2 aplicou os métodos do Tülu 3 para criar os modelos Olmo 2 Instruct.

A Ai2 afirma compartilhar os dados de treinamento, o código, os métodos, os checkpoints, as avaliações e a documentação por trás dos modelos. Os modelos Olmo 3.1 podem ser testados no Ai2 Playground ou baixados no Hugging Face.

A Ai2 é indicada para pesquisadores, equipes de ML e instituições de ensino que querem estudar, reproduzir ou adaptar modelos de IA com acesso a dados de treinamento, código, checkpoints e documentação.

Casos de uso que o site e as páginas de modelos da Ai2 sustentam:

• Pesquisa sobre como um modelo de linguagem é treinado, usando o "model flow" do Olmo, com pré-treinamento, dados de meio de treinamento e checkpoints. O artigo do Olmo 2 cita milhares de checkpoints intermediários.
• Adaptação de modelos a uma tarefa, a partir das versões base, Think (raciocínio) e Instruct (conversa) do Olmo 3, ou das receitas e dados do Tülu.
• Aplicações com imagem, vídeo e múltiplas imagens, com os modelos Molmo 2.
• Teste rápido no Ai2 Playground, sem baixar os pesos.

O que ter antes de começar:

• Atenção ao uso previsto. Os cartões do Olmo no Hugging Face indicam uso para pesquisa e educação, de acordo com as Diretrizes de Uso Responsável da Ai2, mesmo com o rótulo Apache 2.0.
• Para o Molmo 2, leia o aviso do cartão: os modelos foram treinados com conjuntos de dados de terceiros sujeitos a termos de pesquisa acadêmica e não comercial.
• Infraestrutura própria para executar os pesos baixados.

Os principais recursos da Ai2 são os modelos de linguagem Olmo, os modelos multimodais Molmo e as receitas de pós-treinamento Tülu, todos publicados com dados, código e documentação.

• Olmo 3: família de modelos densos de 7B e 32B parâmetros, segundo o blog da Ai2. O Hugging Face lista versões Base, Think e Instruct, e o Olmo 3.1 traz checkpoints Think e Instruct de 32B.
• Model flow: a Ai2 publica cada etapa, checkpoint, conjunto de dados e dependência do ciclo de vida do modelo, incluindo misturas de pré-treinamento e de meio de treinamento.
• Olmo 2: modelos de 7B, 13B e 32B publicados com pesos, dados de treinamento, código, receitas, logs e milhares de checkpoints intermediários, segundo a Ai2.
• Molmo 2: modelos abertos de visão e linguagem com suporte a imagem, vídeo e múltiplas imagens. O Molmo 2-O, de 7B, é construído sobre o Olmo 3 Instruct de 7B.
• Pixmo: conjunto de dados multimodal que sustenta o Molmo.
• Tülu: dados, código e receitas abertos para modelos que seguem instruções.
• Ai2 Playground: ambiente para testar os checkpoints do Olmo 3.1 no navegador.

A Ai2 também publica a documentação dos modelos em docs.allenai.org.

A Ai2 vale a pena para quem precisa enxergar dentro do modelo: dados, código, checkpoints e documentação são publicados junto com os pesos. Para quem precisa de uso comercial sem ressalvas, vale ler antes os avisos dos cartões de modelo.

Prós:

• A Ai2 publica o "model flow" completo do Olmo: etapas, checkpoints, conjuntos de dados e dependências.
• O Olmo 2 saiu com pesos, dados de treinamento, código, receitas, logs e milhares de checkpoints intermediários, o que permite reproduzir etapas do treinamento.
• O Olmo 3 tem versões Base, Think e Instruct, para ajustar, raciocinar ou conversar.
• O Molmo 2 aceita imagem, vídeo e múltiplas imagens, e o Molmo 2-O é construído sobre um modelo Olmo.

Contras:

• Os cartões do Olmo no Hugging Face indicam uso para pesquisa e educação, conforme as Diretrizes de Uso Responsável da Ai2, além do rótulo Apache 2.0.
• Os cartões do Molmo 2 avisam que o treinamento usou conjuntos de dados de terceiros sujeitos a termos acadêmicos e não comerciais.
• O Olmo 3 tem dois tamanhos, 7B e 32B, segundo o blog da Ai2.

As principais alternativas à Ai2 como fornecedora de modelos de IA abertos são NVIDIA, IBM Granite, AI21 Labs e Amazon Nova.

• NVIDIA: família de modelos abertos Nemotron, com pesos no Hugging Face, e o NeMo, conjunto para curar dados, ajustar modelos, recuperar informação e aplicar guardrails. A NVIDIA publica também artigos sobre modelos, dados e receitas abertos do Nemotron.
• IBM Granite: modelos de linguagem, visão, fala, embeddings e guardrails com licença Apache 2.0, segundo a IBM. A IBM afirma que as versões divulgam fontes dos dados de treinamento, metodologias e decisões de arquitetura.
• AI21 Labs: modelos Jamba de arquitetura híbrida Transformer-Mamba, com o Jamba2 3B e o Jamba2 Mini sob Apache 2.0, e o Maestro para agentes. Oferece implantação privada em VPC ou no local.
• Amazon Nova: modelos de texto, imagem, vídeo, fala e embeddings acessados pelo Amazon Bedrock.