Allen Institute for AI

Ai2 (Allen Institute for AI) es un laboratorio que publica modelos de IA abiertos, como los modelos de lenguaje Olmo y los modelos multimodales Molmo, junto con datos de entrenamiento, código y checkpoints.

Según el sitio de Ai2, la línea principal es:

• Olmo: modelos de lenguaje. Ai2 llama "model flow" al ciclo completo de un modelo, con cada etapa, checkpoint, conjunto de datos y dependencia necesarios para crearlo y modificarlo. El blog de Olmo 3 describe una familia de modelos densos de 7B y 32B parámetros.
• Molmo: familia de modelos multimodales abiertos, apoyada en el conjunto de datos Pixmo. Molmo 2 incluye modelos de 4B y 8B y Molmo 2-O, de 7B, que une la comprensión de imagen y video de Molmo 2 con Olmo.
• Tülu: familia de modelos que siguen instrucciones, con datos, código y recetas totalmente abiertos. Ai2 aplicó los métodos de Tülu 3 para crear los modelos Olmo 2 Instruct.

Ai2 afirma compartir los datos de entrenamiento, el código, los métodos, los checkpoints, las evaluaciones y la documentación detrás de los modelos. Los modelos Olmo 3.1 se pueden probar en el Ai2 Playground o descargar en Hugging Face.

Ai2 es para investigadores, equipos de ML e instituciones educativas que quieren estudiar, reproducir o adaptar modelos de IA con acceso a datos de entrenamiento, código, checkpoints y documentación.

Casos de uso que sustentan el sitio y las páginas de modelos de Ai2:

• Investigación sobre cómo se entrena un modelo de lenguaje, usando el "model flow" de Olmo, con preentrenamiento, datos de mid-training y checkpoints. El artículo de Olmo 2 cita miles de checkpoints intermedios.
• Adaptación de modelos a una tarea, a partir de las versiones base, Think (razonamiento) e Instruct (conversación) de Olmo 3, o de las recetas y datos de Tülu.
• Aplicaciones con imagen, video y múltiples imágenes, con los modelos Molmo 2.
• Prueba rápida en el Ai2 Playground, sin descargar los pesos.

Qué tener antes de empezar:

• Atención al uso previsto. Las fichas de Olmo en Hugging Face indican uso para investigación y educación, de acuerdo con las Directrices de Uso Responsable de Ai2, aun con la etiqueta Apache 2.0.
• Para Molmo 2, lee el aviso de la ficha: los modelos se entrenaron con conjuntos de datos de terceros sujetos a términos de investigación académica y no comercial.
• Infraestructura propia para ejecutar los pesos descargados.

Las principales ofertas de Ai2 son los modelos de lenguaje Olmo, los modelos multimodales Molmo y las recetas de postentrenamiento Tülu, todos publicados con datos, código y documentación.

• Olmo 3: familia de modelos densos de 7B y 32B parámetros, según el blog de Ai2. Hugging Face lista versiones Base, Think e Instruct, y Olmo 3.1 trae checkpoints Think e Instruct de 32B.
• Model flow: Ai2 publica cada etapa, checkpoint, conjunto de datos y dependencia del ciclo de vida del modelo, incluidas las mezclas de preentrenamiento y de mid-training.
• Olmo 2: modelos de 7B, 13B y 32B publicados con pesos, datos de entrenamiento, código, recetas, logs y miles de checkpoints intermedios, según Ai2.
• Molmo 2: modelos abiertos de visión y lenguaje con soporte para imagen, video y múltiples imágenes. Molmo 2-O, de 7B, se construye sobre Olmo 3 Instruct de 7B.
• Pixmo: conjunto de datos multimodal que respalda a Molmo.
• Tülu: datos, código y recetas abiertos para modelos que siguen instrucciones.
• Ai2 Playground: entorno para probar los checkpoints de Olmo 3.1 en el navegador.

Ai2 también publica la documentación de los modelos en docs.allenai.org.

Ai2 vale la pena para quien necesita ver dentro del modelo: datos, código, checkpoints y documentación se publican junto con los pesos. Para quien necesita uso comercial sin reservas, conviene leer antes los avisos de las fichas de modelo.

Pros:

• Ai2 publica el "model flow" completo de Olmo: etapas, checkpoints, conjuntos de datos y dependencias.
• Olmo 2 salió con pesos, datos de entrenamiento, código, recetas, logs y miles de checkpoints intermedios, lo que permite reproducir etapas del entrenamiento.
• Olmo 3 tiene versiones Base, Think e Instruct, para ajustar, razonar o conversar.
• Molmo 2 acepta imagen, video y múltiples imágenes, y Molmo 2-O se construye sobre un modelo Olmo.

Contras:

• Las fichas de Olmo en Hugging Face indican uso para investigación y educación, según las Directrices de Uso Responsable de Ai2, además de la etiqueta Apache 2.0.
• Las fichas de Molmo 2 avisan que el entrenamiento usó conjuntos de datos de terceros sujetos a términos académicos y no comerciales.
• Olmo 3 tiene dos tamaños, 7B y 32B, según el blog de Ai2.

Las principales alternativas a Ai2 como proveedor de modelos de IA abiertos son NVIDIA, IBM Granite, AI21 Labs y Amazon Nova.

• NVIDIA: familia de modelos abiertos Nemotron, con pesos en Hugging Face, y NeMo, conjunto para curar datos, ajustar modelos, recuperar información y aplicar guardrails. NVIDIA también publica artículos sobre los modelos, datos y recetas abiertos de Nemotron.
• IBM Granite: modelos de lenguaje, visión, voz, embeddings y guardrails con licencia Apache 2.0, según IBM. IBM afirma que los lanzamientos divulgan las fuentes de los datos de entrenamiento, las metodologías y las decisiones de arquitectura.
• AI21 Labs: modelos Jamba de arquitectura híbrida Transformer-Mamba, con Jamba2 3B y Jamba2 Mini bajo Apache 2.0, y Maestro para agentes. Ofrece despliegue privado en VPC o en instalaciones propias.
• Amazon Nova: modelos de texto, imagen, video, voz y embeddings a los que se accede por Amazon Bedrock.