Together AI

Together AI

by Together AI

Cloud platform optimized to run open-source AI models at scale, with high performance and low cost. Hosts 100+ models including Llama 3, Mixtral, and DBRX. Offers inference, fine-tuning, and custom training with enterprise SLAs and zero data retention.

Vendor
Together AI
Category
Artificial Intelligence
Department
Engineering

Solution Overview

Cloud platform optimized to run open-source AI models at scale, with high performance and low cost. Hosts 100+ models, including Llama 3, Mixtral, and DBRX. Offers inference, fine-tuning, and custom training with enterprise SLAs and zero data retention.

Learn about Together AI

5 topics · 4 min read
Read guide
01What is Together AI and what is it used for?02Who is Together AI for?03What are the main features of Together AI?04Is Together AI worth it? Pros and cons05What are the alternatives to Together AI?

What is Together AI and what is it used for?

Together AI is a cloud for generative AI that presents itself as an AI Native Cloud and offers three main services: serverless inference, model fine-tuning and GPU clusters.

With serverless inference, you call open models through an API, without managing infrastructure. The site lists chat, image, video and audio among the available modalities. For asynchronous workloads there is batch inference.

With fine-tuning, the company trains customized versions of models from your data. The GPU clusters run on NVIDIA hardware with InfiniBand networking and can be taken on demand or reserved, from 8 to more than 4,000 GPUs, according to the site.

Together AI therefore serves teams that want to use open models without building their own GPU fleet, and also teams that need to train or adapt models at scale. The inference API uses the OpenAI-compatible format, which makes it easier to bring existing code over.

Model names and the model list change often, so the models page in the documentation is the current reference.

Who is Together AI for?

Together AI is for engineering and data teams that want to run open models through an API, adapt them with their own data, or rent NVIDIA GPUs to train and serve models.

According to the documentation, there are three clear profiles. The first uses serverless inference for applications with chat, images, video or audio, without looking after servers. The second processes large volumes with no urgency through the Batch API, which accepts up to 50,000 requests per batch and usually finishes within 24 hours. The third trains and serves its own models: fine-tuning produces a model that can be deployed on a dedicated endpoint, or downloaded for local use in the case of a full fine-tune.

Dedicated endpoints suit teams that need a single model running on reserved GPUs. The site also mentions a Together Enterprise Platform, presented as a way to run generative AI in any environment.

To start, you need an account, an API key and someone who can call an OpenAI-compatible API. For fine-tuning, you also need a training dataset that you prepare yourself.

What are the main features of Together AI?

The main features of Together AI are serverless inference, dedicated endpoints, batch inference, fine-tuning and NVIDIA GPU clusters.

  • Serverless inference: open models through an API per request, with chat, images, video and audio. According to the documentation, most chat models have function calling and structured outputs.
  • Dedicated endpoints: a single model on GPUs reserved for you, with the same OpenAI-compatible API. The endpoint name goes in the model parameter.
  • Batch API: you upload a JSONL file, create the batch, check the status and download the results.
  • Fine-tuning: supervised fine-tuning and direct preference optimization (DPO). LoRA is the default, and a full fine-tune is an option of the lora parameter.
  • Deployment of fine-tuned models: LoRA adapters are served on dedicated endpoints, and a full fine-tune model can be deployed or downloaded.
  • GPU clusters: NVIDIA hardware from the H100, H200, B200 and GB200 line with InfiniBand networking, on demand or reserved.
  • A command line interface and SDKs to operate all of this.

The available models page in the documentation lists what is active now in each category.

Is Together AI worth it? Pros and cons

Together AI is worth it for teams that want to run and adapt open models on one platform, from the serverless test to the GPU cluster. The restrictions appear when serving fine-tuned models and in model categories that do not run serverless.

Pros:

  • Three stages under the same account: serverless inference, fine-tuning and GPU clusters.
  • An OpenAI-compatible API, the same on serverless and dedicated endpoints, where only the model name changes.
  • Several modalities on serverless: chat, images, video and audio.
  • Fine-tuning with LoRA or full, and the full model can be downloaded for local use.
  • Batch API for non-urgent workloads, with up to 50,000 requests per batch.

Cons:

  • LoRA adapters run only on dedicated endpoints, because serverless LoRA inference was discontinued, according to the documentation.
  • Rerank models require a dedicated endpoint, according to the documentation.
  • The catalog changes and models are deprecated: the changelog records recommended replacements.
  • The GPU clusters are for teams able to operate distributed training infrastructure.
  • According to the models page in the documentation, there are no embedding models on serverless.

What are the alternatives to Together AI?

The main alternatives to Together AI are other platforms that host AI models through an API or rent GPUs.

  • Groq: an inference company with its own LPU chip, whose API follows the OpenAI format.
  • Fireworks AI: an inference platform for open models, also through an API.
  • Amazon Web Services: offers models from several providers through Amazon Bedrock and its own GPUs, inside the cloud account the company already uses.
  • Hugging Face: hosts the weights of open models and offers inference services on top of them.

What sets Together AI apart is bringing serverless inference, fine-tuning and NVIDIA GPU clusters with InfiniBand networking under the same provider. Teams that only want to call a model through an API, without fine-tuning, have leaner options in the list above.

Key Benefits

Core capabilities that drive results for your business

Inferência por API

Acesse modelos de IA por interfaces de programação para incorporar geração e interpretação de conteúdo às aplicações.

Catálogo de modelos

Compare modelos disponíveis para escolher opções adequadas ao tipo de tarefa e aos requisitos de implantação.

Ajuste de modelos

Adapte modelos com dados e exemplos específicos quando o caso de uso exigir comportamento especializado.

Infraestrutura de treinamento

Avalie os recursos computacionais oferecidos para treinar modelos e conduzir experimentos de inteligência artificial.

Implantação dedicada

Considere alternativas de execução dedicadas quando o volume ou os requisitos operacionais justificarem essa escolha.

Gestão do consumo

Acompanhe os parâmetros de utilização e os custos da infraestrutura para dimensionar a operação de IA.

Documents & Terms

Support materials and legal terms for this solution

Introdução à plataforma de modelos

External Link

Open

Opções de suporte técnico

External Link

Open

Terms of Use

Review the terms of use and privacy policy for Together AI.

View terms

Similar Solutions

TypeSafe AI logo

TypeSafe AI desenvolve modelos voltados a decisões estruturadas e saídas tipadas que podem ser utilizadas por sistemas automatizados.

Artificial Intelligence
Upstage logo

Upstage oferece modelos de linguagem Solar e ferramentas de processamento de documentos para aplicações empresariais.

Artificial Intelligence
Writer logo

Writer reúne modelos e ferramentas de IA generativa para construir aplicações conectadas ao contexto das empresas.

Artificial Intelligence
SpaceXAI logo

A SpaceXAI, antes xAI, desenvolve a família Grok e oferece APIs para incorporar recursos de inteligência artificial às aplicações.

Artificial Intelligence
Xiaomi MiMo logo

Xiaomi MiMo desenvolve a família MiMo de modelos de inteligência artificial, com pesquisas e variantes de pesos abertos para raciocínio e programação.

Artificial Intelligence
Z AI (Zhipu) logo

Z AI (Zhipu) oferece modelos da família GLM e interfaces de desenvolvimento para construir aplicações de inteligência artificial.

Artificial Intelligence

Frequently Asked Questions

Together AI oferece infraestrutura em nuvem para executar, adaptar e treinar modelos de inteligência artificial. Seu uso atende principalmente desenvolvedores e equipes responsáveis por aplicações de IA; a escolha deve considerar o processo que será apoiado e as condições documentadas do serviço.

Together AI is a cloud platform optimized to run open-source AI models at scale, with high performance and low cost. It hosts 100+ models including Llama 3, Mixtral, and DBRX. Offers inference, fine-tuning, and custom training with enterprise SLAs and zero data retention.

Features listed in the catalog include 100+ Open Source Models, Inference API, Fine-Tuning, and Custom Training.

Cost is determined by your plan and usage volume contracted. Via Nexforce, a quote is provided on the product page and your invoice is issued in BRL, with Nota Fiscal (Brazilian tax invoice).

Together AI is contracted in Brazil through the Nexforce Marketplace. Start by requesting a quote on the product page; billing is in BRL, with Nota Fiscal (Brazilian tax invoice), and Nexforce handles the import tax chain.

Ready to save up to 50% on Together AI?

Simulate your savings or talk to our specialists for a quote.

Solution Reviews

2.1

7 reviews

5
29%
4
0%
3
0%
2
0%
1
71%

Top Reviews

View All Reviews

Together AI na prática: API confiável e eficiente no dia a dia

Minha experiência com a Together AI foi positiva desde o primeiro uso: o produto funciona muito bem, a API é confiável e eficiente, e a interface de pagamento é limpa e intuitiva. Os resultados entregam um valor excepcional em comparação com outras opções do mercado, o que torna a recomendação fácil para quem precisa de uma API direta e de um pagamento sem complicação. API confiável e eficiente no uso real Quando coloco a API da Together AI em uso real, a sensação é de que ela foi pensada para ser direta. Não encontrei barreiras para começar a fazer chamadas; a estrutura é simples e o retorno vem como esperado, sem exigir ajustes constantes. Isso importa porque uma API confiável reduz o tempo gasto com testes e retrabalho, e eu pude focar no que realmente precisava entregar. A eficiência também aparece na constância: as respostas mantêm o padrão ao longo do uso, e eu não precisei ficar alternando configurações para obter o resultado que buscava. Comparada a outras opções que já testei, a Together AI se destacou justamente por essa previsibilidade. O produto funciona muito bem no dia a dia, e a combinação de uma API eficiente com uma interface de pagamento limpa torna a experiência completa mais tranquila. Para mim, confiabilidade aqui não é um detalhe, é o que permite recomendar a ferramenta sem ressalvas. Interface de pagamento limpa e intuitiva na prática A interface de pagamento da Together AI é um dos pontos que mais me agradaram. Ela é limpa, com informações organizadas de forma intuitiva, e eu não precisei procurar muito para entender o que estava contratando ou como concluir a etapa. Isso pode parecer pequeno, mas um pagamento claro evita dúvidas e torna a experiência mais profissional. Também gostei porque a simplicidade não compromete a clareza. A tela de pagamento não tem excesso de elementos, e o fluxo parece desenhado para quem quer resolver rápido. Em ferramentas técnicas, é comum encontrar áreas de pagamento confusas, mas aqui o processo foi direto. Como eu já estava satisfeito com a API, essa parte só reforçou a percepção de que a Together AI cuida bem de cada etapa. O resultado é uma experiência coerente, em que o produto funciona bem e o pagamento acompanha esse mesmo padrão de qualidade. Valor competitivo e recomendação para quem busca confiabilidade O valor entregue pela Together AI se sobressai quando comparado a outras opções do mercado. Os resultados têm qualidade e a API confiável e eficiente sustenta o uso contínuo, o que faz diferença para quem não quer trocar de ferramenta toda hora. Na minha avaliação, o custo-benefício é excelente, porque a ferramenta entrega o que promete sem exigir complexidade extra. Por isso, recomendo a Together AI sem hesitação. A combinação de produto estável, API direta, interface de pagamento limpa e resultados com valor excepcional forma um conjunto difícil de superar. Se você busca uma API confiável e eficiente, com pagamento intuitivo e boa relação custo-benefício, vale conhecer. Minha experiência foi muito positiva e a recomendação vem tanto pelo desempenho técnico quanto pela simplicidade nas etapas de pagamento. No fim, minha avaliação da Together AI é a mais positiva possível porque a ferramenta cumpriu o que eu esperava: produto funcionando muito bem, API confiável e eficiente, pagamento limpo e intuitivo, e resultados com valor excepcional. A recomendação é sincera e baseada no uso real, não em promessas. Para quem procura confiabilidade e simplicidade, a Together AI é uma escolha segura.

Together AI: transparência na inferência cloud

Depois de rodar modelos open source em produção por quase dois anos, posso afirmar com tranquilidade: Together AI entrega resultado em suporte e estabilidade para quem precisa de uma API estável e de um fornecedor que responde de fato. Não estou falando de benchmark bonito em blog, estou falando de abrir um chamado, receber um ETA com data e ver a correção chegar dentro do prazo. Essa mistura de serviço e inovação é bem mais rara no mercado de inferência do que o material de marketing sugere. Transparência de Verdade: O Que Acontece Quando Você Envia Feedback Já mandei sugestão e relato de bug para vários provedores de inferência e o roteiro costuma ser sempre igual: uma resposta automática dizendo que meu feedback é importante e, depois disso, silêncio absoluto. Com o Together AI o caminho foi outro desde o primeiro contato. Abri um chamado sobre um comportamento inesperado em uma rota de completions, recebi confirmação de recebimento no mesmo dia e, junto com ela, um prazo estimado para o retorno. Não era uma promessa vaga de "vamos avaliar com o time", era um ETA com data. O segundo ponto que construiu confiança foi o acompanhamento. Quando o prazo se aproximou, veio uma atualização explicando o que já estava sendo feito e o que ainda faltava investigar. Pode parecer detalhe pequeno, mas para quem mantém produto no ar isso muda o planejamento da semana inteira. Como usuário, prefiro mil vezes um fornecedor que diz o que ainda não sabe a um que promete tudo e entrega nada. Essa honestidade no atendimento é o motivo central pelo qual Together AI entrega resultado em suporte e estabilidade no meu stack hoje, mais até do que o preço por token. SLA Assinado Muda a Conversa Sobre Risco Em contextos de negócio e tecnologia, SLA é a sigla de Service-Level Agreement, ou acordo de nível de serviço. Na prática, é um contrato formal entre fornecedor e cliente que define os padrões de desempenho esperados, deixa claro quem responde por cada parte e estabelece as consequências caso esses padrões não sejam cumpridos. Muita gente assina esse documento sem ler. Eu leio com atenção, porque é ali que descubro se o fornecedor está disposto a colocar o próprio nome em um compromisso público. O que me chamou atenção no Together AI é que o suporte a SLA não ficou apenas no papel. As respostas que recebi citavam prazos compatíveis com o que estava documentado no contrato e o time não tentou contornar o escopo quando questionei um caso limítrofe de latência. Isso é raro. No geral, o fornecedor empurra a explicação para o limite do contrato e desaparece. Aqui houve transparência na ação, e não só no discurso de abertura de ticket. Para uma equipe pequena como a minha, que não tem advogado dedicado a revisar cada cláusula, esse tipo de postura reduz bastante o risco percebido. Somei esse fator ao histórico de estabilidade dos endpoints e cheguei à conclusão de que o custo de troca de provedor não se paga. Ficar onde o contrato é respeitado sai mais barato do que economizar centavos por milhão de tokens e perder duas noites de sono. Together AI com API: Onde a Previsibilidade Entra no Orçamento Uso o Together AI nas duas frentes, no chat e via API, e a diferença de comportamento entre elas é menor do que eu esperava. A parte de chat resolve bem as consultas do dia a dia, com respostas diretas e sem aquele excesso de rodeio que costuma vir junto. A API, por sua vez, é onde o valor aparece no longo prazo: chamadas previsíveis, latência estável e nenhuma surpresa na fatura do fim do mês. Para quem precisa colocar um modelo em produção e explicar o gasto para a diretoria, isso pesa mais do que qualquer tabela comparativa. Tem uma frase que carrego desde que comecei a avaliar fornecedores de infraestrutura: você não pode olhar para a concorrência e dizer que vai fazer melhor, você precisa olhar para a concorrência e dizer que vai fazer diferente. É exatamente isso que vejo aqui. Outros provedores copiam a mesma estrutura, o mesmo modelo de cobrança e a mesma resposta genérica de suporte. O Together AI escolheu fazer diferente no ponto que mais dói para quem opera: tratar o feedback do cliente como um compromisso com prazo, e não como uma caixa de sugestões que ninguém abre. Foi essa coerência entre o que está escrito e o que acontece na prática que me fez parar de testar alternativas. Continuo acompanhando o mercado por curiosidade profissional, mas hoje não tenho motivo real para migrar. A combinação de boas práticas de serviço com inovação técnica constante é o que separa o fornecedor que resolve do fornecedor que só vende. No fim, o que ficou da minha experiência é simples: serviço bom não é aquele que nunca falha, é aquele que te conta o que aconteceu, quando vai resolver e o que você pode esperar enquanto isso. O Together AI fez isso mais de uma vez, com prazo na mesa e sem enrolação. Para quem trabalha com inferência em produção todos os dias, essa previsibilidade vale muito mais do que desconto promocional. Recomendo sem ressalvas e continuo renovando.

CL
Christian Løvgren Jensen·via trustpilot
View review

Together AI cobra no cartão e deixa suporte ausente

Minha experiência com Together AI foi curta e preocupante. O serviço fez cobranças no cartão de crédito em intervalos de segundos, com valores estranhos, e eu precisei bloquear o cartão por emergência para conter o problema. O suporte não estava acessível quando tentei resolver. O caso segue pendente de investigação, mas o conjunto me deixou com impressão de risco e de possível fraude. Não recomendo avançar sem cautela. Cobranças no cartão em intervalos de segundos e valores estranhos Assim que percebi a movimentação, tentei entender o padrão. Eram cobranças no cartão de crédito em sequência, separadas por intervalos de segundos, e cada uma vinha com um valor que não fazia sentido para o meu uso. Não havia uma compra clara ou um histórico que justificasse aquilo. A urgência foi tanta que bloqueei o cartão por emergência, porque não queria descobrir depois que novos valores tinham entrado. Não estou dizendo que toda cobrança do Together AI seja fraude, mas o comportamento que vi foi estranho o suficiente para eu parar tudo e tratar como potencial fraude. O caso ficou pendente de investigação, e eu preferi não continuar usando enquanto não houvesse uma explicação. O que mais pesou foi a falta de previsibilidade: eu não sabia se a próxima cobrança viria em segundos, se o valor mudaria de novo, nem como interromper aquilo sem falar com alguém. Bloquear o cartão foi a única medida imediata que consegui tomar. Suporte inacessível quando precisei resolver o problema Tentei contato com o suporte e não consegui falar com ninguém. Para mim, esse foi o ponto que transformou uma cobrança estranha em um problema maior, porque eu precisava de uma resposta rápida justamente enquanto o cartão recebia cobranças em intervalos de segundos. A ausência de suporte acessível me deixou sem canal para contestar, pedir explicação ou orientar o bloqueio de forma menos drástica. Como não havia resposta, optei pela medida de emergência no cartão. Não tenho como avaliar a causa interna, mas a experiência prática foi de falta de amparo. Em um serviço que lida com cobrança no cartão de crédito, esperar acesso ao suporte não é um detalhe, é o mínimo para resolver um incidente. O relato que faço é o de quem ficou sem resposta e precisou agir por conta própria. Por que bloqueei o cartão e recomendo cautela com Together AI Bloqueei o cartão por emergência porque as cobranças no cartão de crédito apareceram em intervalos de segundos, com valores estranhos, e eu não tinha suporte acessível para confirmar o que estava acontecendo. Diante disso, a decisão mais segura foi interromper a fonte do risco e depois buscar entender. O caso segue pendente de investigação, então não trato a situação como conclusão judicial nem como acusação fechada, mas o relato é suficiente para eu recomendar cautela. Para quem está pensando em usar Together AI, eu diria para ficar atento à forma de cobrança, guardar registros e não ignorar movimentações repetidas. A minha experiência foi negativa o bastante para eu evitar o serviço e alertar outras pessoas. Não é uma questão de opinião sobre recursos, é de confiança no processo de cobrança e no atendimento. No fim, o que ficou da minha passagem pelo Together AI foi desconfiança. Cobranças no cartão de crédito em intervalos de segundos, valores estranhos, bloqueio emergencial do cartão e suporte inacessível formam um conjunto que eu não consigo recomendar. O caso ainda está pendente de investigação, e eu respeito essa etapa, mas o meu relato serve de alerta para quem valoriza previsibilidade e atendimento. Se você busca segurança na cobrança, eu recomendaria cautela e, se algo parecido acontecer, aja rápido para proteger o cartão.

MO
Michael Osterrieder·via trustpilot
View review
Together AI