Pipelines de Données et ETL

PR

Prefect

4.6/5.01 évaluation vérifiée

Gratuit·Open Source·Apache-2.0

Orchestration de flux de travail avec Python pour l'ingénierie des données et l'IA.

• Définition native des flux en Python sans langages spécifiques complexes.
• Architecture d'exécution durable avec nouvelles tentatives automatiques et récupération d'erreurs.
• Noyau open-source solide avec options d'auto-hébergement et de déploiement cloud.

24.1kétoiles sur GitHub

DA

Dagster

4.6/5.01 évaluation vérifiée

Freemium·Open Source·Apache-2.0

Plateforme d'orchestration de données axée sur les actifs pour l'ingénierie moderne et l'IA.

• Approche centrée sur les actifs de données plutôt que sur de simples tâches planifiées
• Excellente visibilité de bout en bout sur le lignage et la qualité des données
• Noyau open source solide avec options cloud gérées

16.4kétoiles sur GitHub

AS

Astronomer

4.5/5.01 évaluation vérifiée

Payant·$250/mois·Apache-2.0

Plateforme d'orchestration de données et de pipelines IA propulsée par Apache Airflow.

• Runtime optimisé surpassant les performances du planificateur standard d'Apache Airflow.
• Prise en charge intégrée des flux de travail orientés intelligence artificielle.
• Capacités de reprise après sinistre avec un RPO inférieur à 15 minutes.

459étoiles sur GitHub

DL

dbt Labs

4.5/5.01 évaluation vérifiée

Freemium·Open Source·Apache-2.0

Le standard ouvert pour la transformation de données moderne et prête pour l'IA via SQL.

• Transformation de données en SQL avec contrôle de version natif
• Tests intégrés et validation locale avant le déploiement en production
• Traçabilité interactive et visualisation claire des dépendances entre modèles

14.1kétoiles sur GitHub

DA

DataHub

4.5/5.01 évaluation vérifiée

Freemium·Open Source·Apache-2.0

Plateforme de contexte de données et de gouvernance pour les équipes d'ingénierie et d'IA

• Graphe de contexte unifié connectant traçabilité, qualité et métadonnées en temps réel
• Forte adoption par la communauté open-source avec des milliers d'organisations actives
• Architecture extensible conçue pour s'intégrer aux flux de travail des agents d'IA

12.9kétoiles sur GitHub

GE

Great Expectations

4.4/5.01 évaluation vérifiée

Gratuit·Open Source·Apache-2.0

Framework open source de qualité des données pour tester et documenter les pipelines.

• Génération automatique de documentation visuelle des données au format HTML.
• Intégration native avec Python et des environnements de type notebook comme Jupyter.
• Support étendu pour divers moteurs de stockage et moteurs SQL.

11.9kétoiles sur GitHub

AT

AtroPIM

4.1/5.01 évaluation vérifiée

Freemium·Open Source·GPL-3.0

Système PIM open-source hautement configurable, modulaire et compatible headless.

• Architecture hautement modulaire et extensible.
• Flexibilité totale de déploiement (cloud ou sur site).
• API REST complète exposant toutes les configurations personnalisées.

211étoiles sur GitHub