Pipelines de données
Orchestration et transformation de donnees : Airflow, dbt, Astronomer, ETL et ELT.
| # | Skill | Source | Description | ||
|---|---|---|---|---|---|
| 1 | airflow-dag-patterns | wshobson/agents | Orchestrer des pipelines de données Apache Airflow avec patterns, opérateurs et déploiement. | 35 416 | |
| 2 | data-quality-frameworks | wshobson/agents | Implémenter des frameworks de qualité de données avec Great Expectations, dbt et contrats. | 35 416 | |
| 3 | dbt-transformation-patterns | wshobson/agents | Structurer et optimiser des pipelines de transformation dbt en couches analytiques. | 35 416 | |
| 4 | ml-pipeline-workflow | wshobson/agents | Orchestrer un pipeline MLOps complet de l'ingestion des données au déploiement en production. | 35 416 | |
| 5 | projection-patterns | wshobson/agents | Construire des projections et read models pour systèmes event-sourced en CQRS. | 35 416 | |
| 6 | risk-metrics-calculation | wshobson/agents | Calculer la VaR, CVaR et métriques de risque pour la gestion de portefeuille. | 35 416 | |
| 7 | spark-optimization | wshobson/agents | Optimiser les jobs Apache Spark avec partitionnement, mémoire et gestion des shuffles. | 35 416 | |
| 8 | arize-dataset | github/awesome-copilot | Gérer et exporter des datasets versionnés dans l'espace Arize via CLI. | 33 028 | |
| 9 | bigquery-pipeline-audit | github/awesome-copilot | Auditer un pipeline BigQuery pour coûts, sécurité et fiabilité en production. | 33 028 | |
| 10 | dataverse-python-advanced-patterns | github/awesome-copilot | Générer du code Python production-ready pour interagir avec l'API Dataverse via son SDK. | 33 028 | |
| 11 | dataverse-python-production-code | github/awesome-copilot | Générer du code Python production-ready pour interagir avec l'API Dataverse. | 33 028 | |
| 12 | geofeed-tuner | github/awesome-copilot | Créer et optimiser des feeds de géolocalisation IP au format CSV selon RFC 8805. | 33 028 | |
| 13 | mini-context-graph | github/awesome-copilot | Construire et interroger un graphe de connaissances persistant combinant wiki, entités et sources brutes. | 33 028 | |
| 14 | power-bi-model-design-review | github/awesome-copilot | Auditer et optimiser la conception d'un modèle de données Power BI. | 33 028 | |
| 15 | powerbi-modeling | github/awesome-copilot | Concevoir et optimiser des modèles sémantiques Power BI selon les bonnes pratiques Microsoft. | 33 028 | |
| 16 | analyze | anthropics/knowledge-work-plugins | Analyser des données et répondre à toute question métrique, de la simple requête au rapport formel. | 12 181 | |
| 17 | create-viz | anthropics/knowledge-work-plugins | Générer des visualisations de données professionnelles avec Python selon les meilleures pratiques. | 12 181 | |
| 18 | data-context-extractor | anthropics/knowledge-work-plugins | Extraire le contexte métier d'analystes et générer des skills d'analyse de données sur mesure. | 12 181 | |
| 19 | explore-data | anthropics/knowledge-work-plugins | Profiler un dataset pour révéler sa structure, qualité et patterns clés. | 12 181 | |
| 20 | instrument-data-to-allotrope | anthropics/knowledge-work-plugins | Convertir des fichiers instruments au format standardisé Allotrope Simple Model pour LIMS. | 12 181 | |
| 21 | knowledge-synthesis | anthropics/knowledge-work-plugins | Synthétiser des résultats multi-sources en réponse cohérente, sourcée et fiable. | 12 181 | |
| 22 | nextflow-development | anthropics/knowledge-work-plugins | Déployer et exécuter des pipelines bioinformatiques nf-core sur données locales ou publiques. | 12 181 | |
| 23 | search-strategy | anthropics/knowledge-work-plugins | Transformer une question en recherches parallèles multi-sources et synthétiser les résultats. | 12 181 | |
| 24 | single-cell-rna-qc | anthropics/knowledge-work-plugins | Automatiser le contrôle qualité de données single-cell RNA-seq selon les bonnes pratiques scverse. | 12 181 | |
| 25 | sql-queries | anthropics/knowledge-work-plugins | Écrire des requêtes SQL performantes et lisibles pour tous les grands entrepôts de données. | 12 181 | |
| 26 | validate-data | anthropics/knowledge-work-plugins | Valider une analyse de données pour détecter erreurs, biais et incohérences avant partage. | 12 181 | |
| 27 | write-query | anthropics/knowledge-work-plugins | Générer des requêtes SQL optimisées à partir d'une description en langage naturel. | 12 181 | |
| 28 | hf-cli | huggingface/skills | Gérer dépôts, fichiers et authentification sur le Hub Hugging Face via CLI. | 10 497 | |
| 29 | huggingface-tool-builder | huggingface/skills | Créer des scripts CLI réutilisables pour interagir avec l'API Hugging Face. | 10 497 | |
| 30 | azure-ai-document-intelligence-dotnet | microsoft/skills | Extraire texte, tableaux et données structurées depuis des documents Azure. | 2 315 | |
| 31 | deep-agents-memory | langchain-ai/langchain-skills | Gérer la persistance de fichiers pour agents IA avec backends modulaires éphémères ou permanents. | 689 | |
| 32 | answering-natural-language-questions-with-dbt | dbt-labs/dbt-agent-skills | Répondre à des questions métier en exploitant les meilleures sources de données dbt disponibles. | 501 | |
| 33 | building-dbt-semantic-layer | dbt-labs/dbt-agent-skills | Créer et modifier des composants dbt Semantic Layer : modèles, entités, dimensions et métriques. | 501 | |
| 34 | creating-mermaid-dbt-dag | dbt-labs/dbt-agent-skills | Générer un diagramme Mermaid visuel du DAG dbt d'un modèle donné. | 501 | |
| 35 | fetching-dbt-docs | dbt-labs/dbt-agent-skills | Récupérer et rechercher la documentation dbt en format markdown optimisé pour les LLMs. | 501 | |
| 36 | migrating-dbt-core-to-fusion | dbt-labs/dbt-agent-skills | Trier et classer les erreurs de migration dbt pour guider leur résolution. | 501 | |
| 37 | migrating-dbt-project-across-platforms | dbt-labs/dbt-agent-skills | Migrer un projet dbt entre plateformes de données avec validation automatisée. | 501 | |
| 38 | running-dbt-commands | dbt-labs/dbt-agent-skills | Exécuter des commandes dbt efficacement avec sélecteurs, prévisualisation et variables. | 501 | |
| 39 | troubleshooting-dbt-job-errors | dbt-labs/dbt-agent-skills | Diagnostiquer et résoudre méthodiquement les échecs de jobs dbt Cloud. | 501 | |
| 40 | using-dbt-for-analytics-engineering | dbt-labs/dbt-agent-skills | Construire, modifier et tester des modèles dbt avec rigueur et bonnes pratiques. | 501 | |
| 41 | using-dbt-index | dbt-labs/dbt-agent-skills | Interroger localement les artefacts dbt via une base DuckDB sans connexion entrepôt. | 501 | |
| 42 | working-with-dbt-mesh | dbt-labs/dbt-agent-skills | Configurer et naviguer dans un projet dbt Mesh multi-projets avec des références croisées. | 501 | |
| 43 | chdb-datastore | clickhouse/agent-skills | Remplacer pandas par une alternative ClickHouse-backed, plus rapide et sans changer son code. | 428 | |
| 44 | chdb-sql | clickhouse/agent-skills | Exécuter des requêtes SQL ClickHouse en Python sans serveur sur fichiers, bases et cloud. | 428 | |
| 45 | clickhouse-architecture-advisor | clickhouse/agent-skills | Conseiller en architecture ClickHouse adapté au profil de charge et aux données. | 428 | |
| 46 | clickhouse-best-practices | clickhouse/agent-skills | Appliquer les meilleures pratiques ClickHouse pour schémas, requêtes et ingestion de données. | 428 | |
| 47 | clickhouse-js-node-troubleshooting | clickhouse/agent-skills | Diagnostiquer et résoudre les problèmes courants du client Node.js ClickHouse. | 428 | |
| 48 | clickhousectl-local-dev | clickhouse/agent-skills | Configurer un environnement ClickHouse local complet avec clickhousectl, étape par étape. | 428 | |
| 49 | airflow | astronomer/agents | Gérer, diagnostiquer et opérer des workflows Airflow via des commandes CLI dédiées. | 364 | |
| 50 | airflow-adapter | astronomer/agents | Assurer la compatibilité automatique entre les API Airflow 2.x et 3.x. | 364 |
À propos de cette sélection
L'orchestration de données a longtemps reposé sur des scripts fragiles qu'on ne touchait plus par peur de tout casser. Des acteurs comme Astronomer et dbt Labs ont depuis industrialisé la discipline : DAGs versionnés, transformations testables, lignage de bout en bout. Les skills pipelines de données rassemblés ici couvrent des cas concrets, auditer un pipeline BigQuery pour détecter des dérives de coût ou de fraîcheur, modéliser un dataset pour l'exposer proprement à une couche BI sans multiplier les joins à la main. L'outillage disponible est solide, majoritairement Python, et couvre le spectre du prototypage local au déploiement en production supervisé. Ça parle autant aux data engineers qu'aux ML engineers qui branchent des flux en amont de leurs modèles.