O que é o LangSmith e para que serve?
O LangSmith é a plataforma da LangChain para observar, avaliar e melhorar aplicações e agentes baseados em modelos de linguagem. Serve para ver o que o agente fez em cada passo, medir a qualidade das respostas e testar mudanças de prompt antes de ir para produção.
O ponto de partida é o trace: o registro de uma execução completa, com cada chamada ao modelo, ferramenta acionada, entrada, saída, latência e custo. Com os traces, a equipe encontra onde um agente errou ou ficou lento sem reproduzir o problema na mão.
O LangSmith não depende do framework LangChain. Ele registra aplicações feitas com o SDK da OpenAI, o SDK da Anthropic, o Vercel AI SDK, o LlamaIndex ou código próprio, e aceita traces via OpenTelemetry.
Sobre os traces ficam as avaliações. Dá para rodar avaliações em datasets antes do deploy, avaliar tráfego real de produção, usar um modelo como juiz, escrever avaliadores em código e mandar execuções para revisão humana em filas de anotação. O Playground testa um prompt contra vários exemplos sem escrever código.
O público são times de engenharia que colocam agentes e aplicações de IA em produção e precisam de evidência de qualidade, não só de impressão.






