Orquestração e Avaliação de LLMs

ML

MLflow

4.7/5.01 avaliação verificada

Gratuito·Código Aberto·Apache-2.0

Plataforma de engenharia de IA de código aberto para agentes, LLMs e modelos de machine learning.

• Plataforma de código aberto com mais de 30 milhões de downloads mensais e ampla adoção na indústria.
• Suporte nativo ao OpenTelemetry e compatibilidade com qualquer provedor de LLM ou framework de agentes.
• Recursos integrados para avaliação sistemática usando juízes LLM e gerenciamento de prompts.

28.6kestrelas no GitHub

LA

Langfuse

4.7/5.01 avaliação verificada

Freemium

Plataforma open source para observabilidade, avaliação e depuração de aplicações LLM.

• Arquitetura de código aberto que permite auto-hospedagem completa sem lock-in de fornecedor.
• Integração nativa entre rastreamento, avaliação e gerenciamento de prompts em um fluxo unificado.
• Alto desempenho na ingestão e análise de grandes volumes de observações mensais.

37.0kestrelas no GitHub

OP

OpenRouter

4.6/5.01 avaliação verificada

Pago

Interface de API unificada compatível com OpenAI para centenas de modelos LLM com roteamento e controle de custos.

• Ponto de extremidade de API único compatível com o formato de solicitação da OpenAI para centenas de modelos.
• Roteamento de failover automatizado quando os provedores principais sofrem indisponibilidade.
• Políticas de privacidade de dados personalizáveis para restringir o envio de prompts a provedores confiáveis.

AF

Aigenos Flow

4.5/5.01 avaliação verificada

Gratuito

Framework de código aberto para fluxos de agentes de IA determinísticos usando campos tipados.

• Arquitetura determinística separando o controle de fluxo do raciocínio do LLM.
• Definição centralizada de fluxo e políticas via arquivos de configuração Markdown.
• Licenciamento de código aberto sob Apache-2.0 sem restrições comerciais centrais.

HE

Helicone

4.5/5.01 avaliação verificada

Freemium·Código Aberto·Apache-2.0

Plataforma de observabilidade e gateway LLM de código aberto para aplicações de IA.

• Monitoramento granular de custos de tokens e latência por modelo
• Cache de respostas para minimizar chamadas de API redundantes
• Integração leve via SDK para serviços de backend

6.3kestrelas no GitHub

CL

Click

4.5/5.01 avaliação verificada

Freemium

API de agentes gerenciados com sessões duráveis e sandboxes isolados.

• Arquitetura orientada a API para execução de agentes serverless.
• Suporte a qualquer modelo de linguagem via BYOK (Bring Your Own Key).
• Sandboxes isolados e ferramentas integradas como navegador e ambiente de código.

DA

Daily

4.5/5.01 avaliação verificada

Pago·Código Aberto·BSD-2-Clause

Infraestrutura global WebRTC para áudio, vídeo e agentes de IA conversacional em tempo real.

• Latência ultra baixa via infraestrutura WebRTC otimizada globalmente.
• Framework Pipecat especializado para orquestração de agentes de IA conversacional.
• Documentação técnica profunda com contribuições de autores de padrões WebRTC.

627estrelas no GitHub

UC

UniverLab Canopy

4.4/5.01 avaliação verificada

Gratuito·Código Aberto·Apache-2.0

Um motor de grafos DAG em Rust para agentes de IA que unifica múltiplos harnesses e fluxos.

• Motor de grafos DAG de alto desempenho escrito em Rust para uso mínimo de recursos.
• Arquitetura agnóstica que suporta múltiplos harnesses de IA e provedores de modelos.
• Software totalmente de código aberto, sem taxas de licenciamento ou restrições proprietárias.

4estrelas no GitHub

OP

OpenLLM

4.4/5.01 avaliação verificada

Freemium

Camada de roteamento local para modelos de linguagem em ferramentas de desenvolvimento

• Unifica múltiplos provedores de IA e modelos locais sob uma única interface de roteamento
• Inclui inferência inicial pronta para uso sem necessidade de credenciais externas
• Suporta correntes de fallback configuráveis para garantir disponibilidade contínua

RA

Raweki

4.4/5.01 avaliação verificada

Gratuito

Sistema de registro e governança para a força de trabalho de agentes de inteligência artificial

• Controle de versão dedicado para alterações de configuração de agentes
• Portões de implantação automatizados para evitar regressões
• Inventário centralizado e rastreamento de propriedade por equipe

TE

telemetry.dev

4.4/5.01 avaliação verificada

Freemium

Observabilidade nativa OpenTelemetry para aplicações de IA e agentes.

• Integração nativa com OpenTelemetry para rastrear modelos e agentes.
• Suporte oficial a SDKs em TypeScript e Python.
• Inspeção detalhada de latência, custos e uso de tokens.

CO

Count

4.4/5.01 avaliação verificada

Freemium

Plataforma impulsionada por IA para auditoria de análises e validação de raciocínio.

• Descompõe respostas de IA em cadeias de raciocínio verificáveis.
• Detecta alucinações e premissas implícitas automaticamente.
• Tela analítica colaborativa integrada a fontes de dados externas.