Pipelines de données
Orchestration et transformation de donnees : Airflow, dbt, Astronomer, ETL et ELT.
| # | Skill | Source | Description | Maj | |
|---|---|---|---|---|---|
| 1 | hf-cli | huggingface/skills | Gérer dépôts, fichiers et authentification sur le Hub Hugging Face via CLI. | 10 498 | 1h |
| 2 | deepstream-dev | nvidia/skills | Développer des pipelines DeepStream SDK avec les bonnes pratiques et règles d'architecture NVIDIA. | 87 | 6h |
| 3 | delegating-to-otto | astronomer/agents | Déléguer des tâches complexes Airflow à l'agent Otto via l'Astro CLI. | 364 | 6j |
| 4 | cuopt-routing-api-python | nvidia/skills | Résoudre des problèmes de routage VRP/TSP/PDP avec l'API Python cuOpt. | 87 | 7j |
| 5 | using-dbt-index | dbt-labs/dbt-agent-skills | Interroger localement les artefacts dbt via une base DuckDB sans connexion entrepôt. | 501 | 10j |
| 6 | running-dbt-commands | dbt-labs/dbt-agent-skills | Exécuter des commandes dbt efficacement avec sélecteurs, prévisualisation et variables. | 501 | 10j |
| 7 | mini-context-graph | github/awesome-copilot | Construire et interroger un graphe de connaissances persistant combinant wiki, entités et sources brutes. | 33 040 | 10j |
| 8 | setting-up-astro-project | astronomer/agents | Initialiser et configurer un projet Airflow avec l'Astro CLI. | 364 | 10j |
| 9 | airflow | astronomer/agents | Gérer, diagnostiquer et opérer des workflows Airflow via des commandes CLI dédiées. | 364 | 10j |
| 10 | data-analytics | elophanto/elophanto | Analyser des données, créer des dashboards et automatiser des rapports décisionnels. | 72 | 12j |
| 11 | data-engineering | elophanto/elophanto | Concevoir et opérer des pipelines de données fiables, scalables et observables à grande échelle. | 72 | 12j |
| 12 | sales-data-extraction | elophanto/elophanto | Surveiller des répertoires Excel et extraire automatiquement les métriques de vente normalisées. | 72 | 12j |
| 13 | airflow-hitl | astronomer/agents | Intégrer des points de validation humaine dans un DAG Airflow via des opérateurs déférables. | 364 | 14j |
| 14 | authoring-dags | astronomer/agents | Créer et valider des DAGs Airflow via le CLI af en suivant les bonnes pratiques. | 364 | 14j |
| 15 | debugging-dags | astronomer/agents | Diagnostiquer et résoudre les échecs de DAGs Airflow avec des actions correctives ciblées. | 364 | 14j |
| 16 | testing-dags | astronomer/agents | Tester, déboguer et corriger des DAGs Airflow via des cycles trigger-wait itératifs. | 364 | 14j |
| 17 | migrating-ai-sdk-to-common-ai | astronomer/agents | Migrer un projet Airflow de airflow-ai-sdk vers apache-airflow-providers-common-ai. | 364 | 15j |
| 18 | dag-factory | astronomer/agents | Générer des DAGs Apache Airflow déclarativement depuis des fichiers YAML avec dag-factory. | 364 | 17j |
| 19 | omni-to-databricks-metric-view | exploreomni/omni-agent-skills | Convertir un topic Omni en Databricks Metric View via CLI et YAML. | 16 | 21j |
| 20 | creating-mermaid-dbt-dag | dbt-labs/dbt-agent-skills | Générer un diagramme Mermaid visuel du DAG dbt d'un modèle donné. | 501 | 22j |
| 21 | migrating-dbt-core-to-fusion | dbt-labs/dbt-agent-skills | Trier et classer les erreurs de migration dbt pour guider leur résolution. | 501 | 22j |
| 22 | migrating-dbt-project-across-platforms | dbt-labs/dbt-agent-skills | Migrer un projet dbt entre plateformes de données avec validation automatisée. | 501 | 22j |
| 23 | chdb-datastore | clickhouse/agent-skills | Remplacer pandas par une alternative ClickHouse-backed, plus rapide et sans changer son code. | 428 | 1mo |
| 24 | chdb-sql | clickhouse/agent-skills | Exécuter des requêtes SQL ClickHouse en Python sans serveur sur fichiers, bases et cloud. | 428 | 1mo |
| 25 | dagster-expert | dagster-io/skills | Gérer des pipelines Dagster via CLI, assets, automatisation et intégrations externes. | 148 | 1mo |
| 26 | migrating-airflow-2-to-3 | astronomer/agents | Migrer des DAGs Airflow 2.x vers Airflow 3.x en corrigeant imports et API. | 364 | 1mo |
| 27 | logs-python | posthog/skills | Intégrer la collecte de logs PostHog dans des applications Python via OpenTelemetry. | 37 | 1mo |
| 28 | geofeed-tuner | github/awesome-copilot | Créer et optimiser des feeds de géolocalisation IP au format CSV selon RFC 8805. | 33 040 | 1mo |
| 29 | tinybird-python-sdk-guidelines | tinybirdco/tinybird-agent-skills | Définir et déployer des ressources Tinybird en Python via le SDK officiel. | 16 | 1mo |
| 30 | ml-pipeline-workflow | wshobson/agents | Orchestrer un pipeline MLOps complet de l'ingestion des données au déploiement en production. | 35 424 | 2mo |
| 31 | create-viz | anthropics/knowledge-work-plugins | Générer des visualisations de données professionnelles avec Python selon les meilleures pratiques. | 12 182 | 2mo |
| 32 | using-dbt-for-analytics-engineering | dbt-labs/dbt-agent-skills | Construire, modifier et tester des modèles dbt avec rigueur et bonnes pratiques. | 501 | 2mo |
| 33 | risk-metrics-calculation | wshobson/agents | Calculer la VaR, CVaR et métriques de risque pour la gestion de portefeuille. | 35 424 | 2mo |
| 34 | projection-patterns | wshobson/agents | Construire des projections et read models pour systèmes event-sourced en CQRS. | 35 424 | 2mo |
| 35 | airflow-dag-patterns | wshobson/agents | Orchestrer des pipelines de données Apache Airflow avec patterns, opérateurs et déploiement. | 35 424 | 2mo |
| 36 | data-quality-frameworks | wshobson/agents | Implémenter des frameworks de qualité de données avec Great Expectations, dbt et contrats. | 35 424 | 2mo |
| 37 | spark-optimization | wshobson/agents | Optimiser les jobs Apache Spark avec partitionnement, mémoire et gestion des shuffles. | 35 424 | 2mo |
| 38 | deep-agents-memory | langchain-ai/langchain-skills | Gérer la persistance de fichiers pour agents IA avec backends modulaires éphémères ou permanents. | 689 | 2mo |
| 39 | airflow-adapter | astronomer/agents | Assurer la compatibilité automatique entre les API Airflow 2.x et 3.x. | 364 | 2mo |
| 40 | bigquery-pipeline-audit | github/awesome-copilot | Auditer un pipeline BigQuery pour coûts, sécurité et fiabilité en production. | 33 040 | 2mo |
| 41 | annotating-task-lineage | astronomer/agents | Annoter la lignée des tâches Airflow via les paramètres inlets et outlets. | 364 | 2mo |
| 42 | creating-openlineage-extractors | astronomer/agents | Créer des extracteurs OpenLineage personnalisés pour capturer la lignée des opérateurs Airflow. | 364 | 2mo |
| 43 | tracing-downstream-lineage | astronomer/agents | Cartographier l'impact en aval d'une modification pour éviter les ruptures en production. | 364 | 2mo |
| 44 | tracing-upstream-lineage | astronomer/agents | Retracer l'origine d'une donnée en cartographiant ses sources et dépendances upstream. | 364 | 2mo |
| 45 | dataverse-python-advanced-patterns | github/awesome-copilot | Générer du code Python production-ready pour interagir avec l'API Dataverse via son SDK. | 33 040 | 2mo |
| 46 | dataverse-python-production-code | github/awesome-copilot | Générer du code Python production-ready pour interagir avec l'API Dataverse. | 33 040 | 2mo |
| 47 | cosmos-dbt-fusion | astronomer/agents | Intégrer dbt Fusion avec Cosmos dans Airflow en suivant une checklist d'implémentation structurée. | 364 | 2mo |
| 48 | cosmos-dbt-core | astronomer/agents | Intégrer dbt Core dans Airflow via Cosmos avec la configuration optimale. | 364 | 2mo |
| 49 | analyzing-data | astronomer/agents | Interroger un entrepôt de données pour répondre à des questions métier. | 364 | 3mo |
| 50 | instrument-data-to-allotrope | anthropics/knowledge-work-plugins | Convertir des fichiers instruments au format standardisé Allotrope Simple Model pour LIMS. | 12 182 | 3mo |
À propos de cette sélection
L'orchestration de données a longtemps reposé sur des scripts fragiles qu'on ne touchait plus par peur de tout casser. Des acteurs comme Astronomer et dbt Labs ont depuis industrialisé la discipline : DAGs versionnés, transformations testables, lignage de bout en bout. Les skills pipelines de données rassemblés ici couvrent des cas concrets, auditer un pipeline BigQuery pour détecter des dérives de coût ou de fraîcheur, modéliser un dataset pour l'exposer proprement à une couche BI sans multiplier les joins à la main. L'outillage disponible est solide, majoritairement Python, et couvre le spectre du prototypage local au déploiement en production supervisé. Ça parle autant aux data engineers qu'aux ML engineers qui branchent des flux en amont de leurs modèles.