Pipelines de Datos y ETL

PR

Prefect

4.6/5.01 evaluación verificada

Gratis·Código Abierto·Apache-2.0

Orquestación de flujos de trabajo con Python para ingeniería de datos e IA.

• Definición de flujos utilizando código Python nativo sin sobrecarga de DSL complejo.
• Arquitectura de ejecución duradera con recuperación automática ante fallos y reintentos.
• Versión open source sólida con opción de despliegue autogestionado o en la nube.

24.1kestrellas en GitHub

DA

Dagster

4.6/5.01 evaluación verificada

Freemium·Código Abierto·Apache-2.0

Plataforma de orquestación de datos basada en activos para ingeniería moderna y pipelines de IA.

• Enfoque centrado en activos de datos en lugar de simples tareas programadas
• Excelente visibilidad del linaje y calidad de los datos de extremo a extremo
• Núcleo de código abierto sólido con opción de gestión cloud

16.4kestrellas en GitHub

AS

Astronomer

4.5/5.01 evaluación verificada

De Pago·$250/mes·Apache-2.0

Plataforma de orquestación de datos y flujos de IA basada en Apache Airflow.

• Runtime optimizado que supera el rendimiento del scheduler estándar de Apache Airflow.
• Soporte para flujos de trabajo orientados a inteligencia artificial y agentes de datos.
• Capacidades de recuperación ante desastres con RPO menor a 15 minutos.

459estrellas en GitHub

DL

dbt Labs

4.5/5.01 evaluación verificada

Freemium·Código Abierto·Apache-2.0

El estándar abierto para la transformación de datos moderna y lista para inteligencia artificial mediante SQL.

• Transformación de datos basada en SQL con control de versiones nativo
• Validación local y pruebas integradas antes de la producción
• Linaje interactivo y visualización clara de dependencias entre modelos

14.1kestrellas en GitHub

DA

DataHub

4.5/5.01 evaluación verificada

Freemium·Código Abierto·Apache-2.0

Plataforma de contexto de datos y gobernanza para equipos de ingeniería e inteligencia artificial

• Grafo de contexto unificado que conecta linaje, calidad y metadatos en tiempo real
• Fuerte adopción en la comunidad de código abierto con miles de organizaciones activas
• Arquitectura extensible diseñada para integrarse con flujos de agentes de inteligencia artificial

12.9kestrellas en GitHub

GE

Great Expectations

4.4/5.01 evaluación verificada

Gratis·Código Abierto·Apache-2.0

Framework de código abierto para validación, pruebas y documentación de pipelines.

• Generación automática de documentación visual de datos en HTML.
• Integración nativa con Python y entornos de cuaderno como Jupyter.
• Amplio soporte para diversos backends de almacenamiento y motores SQL.

11.9kestrellas en GitHub

AT

AtroPIM

4.1/5.01 evaluación verificada

Freemium·Código Abierto·GPL-3.0

Sistema PIM de código abierto altamente configurable, modular y con capacidad headless.

• Arquitectura altamente modular y extensible.
• Flexibilidad total de despliegue (nube u on-premises).
• API REST completa que expone todas las configuraciones personalizadas.

211estrellas en GitHub