Pipelines de Dados e ETL

PR

Prefect

4.6/5.01 avaliação verificada

Gratuito·Código Aberto·Apache-2.0

Orquestração de fluxos de trabalho com Python para engenharia de dados e IA.

• Definição de fluxos usando código Python nativo sem linguagens específicas de domínio complexas.
• Arquitetura de execução durável com novas tentativas automáticas e recuperação de falhas.
• Núcleo open source sólido com opções de auto-hospedagem e nuvem.

24.1kestrelas no GitHub

DA

Dagster

4.6/5.01 avaliação verificada

Freemium·Código Aberto·Apache-2.0

Plataforma de orquestração de dados baseada em ativos para engenharia moderna e pipelines de IA.

• Abordagem centrada em ativos de dados em vez de simples tarefas agendadas
• Excelente visibilidade de linhagem de dados e qualidade de ponta a ponta
• Núcleo de código aberto sólido com opções de nuvem gerenciada

16.4kestrelas no GitHub

AS

Astronomer

4.5/5.01 avaliação verificada

Pago·$250/mês·Apache-2.0

Plataforma de orquestração de dados e pipelines de IA baseada no Apache Airflow.

• Runtime otimizado que supera o desempenho do escalonador padrão do Apache Airflow.
• Suporte integrado para fluxos de trabalho orientados a inteligência artificial.
• Capacidades de recuperação de desastres com RPO inferior a 15 minutos.

459estrelas no GitHub

DL

dbt Labs

4.5/5.01 avaliação verificada

Freemium·Código Aberto·Apache-2.0

O padrão aberto para transformação de dados moderna e pronta para IA usando fluxos SQL.

• Transformação de dados em SQL com controle de versão nativo
• Testes integrados e validação local antes da implantação
• Linhagem interativa e visualização clara de dependências entre modelos

14.1kestrelas no GitHub

DA

DataHub

4.5/5.01 avaliação verificada

Freemium·Código Aberto·Apache-2.0

Plataforma de contexto de dados e governança para equipes de engenharia e inteligência artificial

• Grafo de contexto unificado conectando linhagem, qualidade e metadados em tempo real
• Forte adoção pela comunidade de código aberto com milhares de organizações ativas
• Arquitetura extensível projetada para integrar com fluxos de agentes de inteligência artificial

12.9kestrelas no GitHub

GE

Great Expectations

4.4/5.01 avaliação verificada

Gratuito·Código Aberto·Apache-2.0

Framework de código aberto para validação, teste e documentação de pipelines.

• Geração automática de documentação visual de dados em HTML.
• Integração nativa com Python e ambientes de notebook como Jupyter.
• Amplo suporte a vários backends de armazenamento e motores SQL.

11.9kestrelas no GitHub

AT

AtroPIM

4.1/5.01 avaliação verificada

Freemium·Código Aberto·GPL-3.0

Sistema PIM de código aberto altamente configurável, modular e com capacidades headless.

• Arquitetura altamente modular e extensível.
• Flexibilidade total de implantação (nuvem ou on-premises).
• API REST completa cobrindo todas as configurações personalizadas.

211estrelas no GitHub