Pipelines de Dados e ETL

AA

Apache Airflow

4.7/5.01 avaliação verificada

Gratuito

Plataforma open-source para programar, orquestrar e monitorar fluxos de trabalho complexos em Python.

• Definição de pipelines usando código Python puro sem arquivos XML.
• Arquitetura modular altamente escalável com suporte a múltiplos executores.
• Interface web completa para inspecionar logs, repetir tarefas e monitorar estados.

176estrelas no GitHub

PR

Prefect

4.6/5.01 avaliação verificada

Gratuito·Código Aberto·Apache-2.0

Orquestração de fluxos de trabalho com Python para engenharia de dados e IA.

• Definição de fluxos usando código Python nativo sem linguagens específicas de domínio complexas.
• Arquitetura de execução durável com novas tentativas automáticas e recuperação de falhas.
• Núcleo open source sólido com opções de auto-hospedagem e nuvem.

24.1kestrelas no GitHub

DA

Dagster

4.6/5.01 avaliação verificada

Freemium·Código Aberto·Apache-2.0

Plataforma de orquestração de dados baseada em ativos para engenharia moderna e pipelines de IA.

• Abordagem centrada em ativos de dados em vez de simples tarefas agendadas
• Excelente visibilidade de linhagem de dados e qualidade de ponta a ponta
• Núcleo de código aberto sólido com opções de nuvem gerenciada

16.4kestrelas no GitHub

AI

Airbyte

4.6/5.01 avaliação verificada

Freemium

Plataforma de movimentação de dados de código aberto para pipelines ELT e agentes de IA

• Extenso catálogo com mais de 700 conectores prontos para produção
• Versão de código aberto disponível para implantação auto-hospedada sem restrições
• Arquitetura extensível que simplifica a criação de conectores personalizados

22.3kestrelas no GitHub

AS

Astronomer

4.5/5.01 avaliação verificada

Pago·$250/mês·Apache-2.0

Plataforma de orquestração de dados e pipelines de IA baseada no Apache Airflow.

• Runtime otimizado que supera o desempenho do escalonador padrão do Apache Airflow.
• Suporte integrado para fluxos de trabalho orientados a inteligência artificial.
• Capacidades de recuperação de desastres com RPO inferior a 15 minutos.

459estrelas no GitHub

DL

dbt Labs

4.5/5.01 avaliação verificada

Freemium·Código Aberto·Apache-2.0

O padrão aberto para transformação de dados moderna e pronta para IA usando fluxos SQL.

• Transformação de dados em SQL com controle de versão nativo
• Testes integrados e validação local antes da implantação
• Linhagem interativa e visualização clara de dependências entre modelos

14.1kestrelas no GitHub

PO

Polar

4.5/5.01 avaliação verificada

Freemium

Plataforma de faturamento e Merchant of Record criada para empresas de IA.

• Arquitetura focada em métricas de IA, como tokens e uso de GPU.
• Status de Merchant of Record gerencia conformidade fiscal complexa.
• Fluxos de migração simplificados a partir de setups do Stripe.

DA

DataHub

4.5/5.01 avaliação verificada

Freemium·Código Aberto·Apache-2.0

Plataforma de contexto de dados e governança para equipes de engenharia e inteligência artificial

• Grafo de contexto unificado conectando linhagem, qualidade e metadados em tempo real
• Forte adoção pela comunidade de código aberto com milhares de organizações ativas
• Arquitetura extensível projetada para integrar com fluxos de agentes de inteligência artificial

12.9kestrelas no GitHub

FI

Fivetran

4.4/5.01 avaliação verificada

Freemium

Plataforma automatizada de movimento e sincronização de dados para análise e operações.

• Extenso catálogo com centenas de conectores nativos para fontes SaaS e bancos de dados.
• Gerenciamento automatizado de alterações de esquema nas origens.
• Arquitetura totalmente gerenciada que reduz o esforço de engenharia em pipelines.

GE

Great Expectations

4.4/5.01 avaliação verificada

Gratuito·Código Aberto·Apache-2.0

Framework de código aberto para validação, teste e documentação de pipelines.

• Geração automática de documentação visual de dados em HTML.
• Integração nativa com Python e ambientes de notebook como Jupyter.
• Amplo suporte a vários backends de armazenamento e motores SQL.

11.9kestrelas no GitHub

WI

Windsor.ai

4.4/5.01 avaliação verificada

Freemium

Plataforma de integração de dados sem código conectando mais de 350 fontes a destinos de BI e IA.

• Suporta mais de 350 fontes de dados e vários destinos analíticos
• Integração nativa com assistentes de IA através de protocolos padrão
• Permite usuários ilimitados em todos os planos de assinatura

CO

Coupler.io

4.4/5.01 avaliação verificada

Freemium

Plataforma de integração de dados sem código e análise de IA para sincronizar fontes empresariais.

• Conectividade com mais de 400 fontes de dados corporativos.
• Recursos de transformação e mesclagem de dados sem código.
• Integração nativa com ferramentas de IA e armazenamento moderno.