Pipelines de données
Orchestration et transformation de donnees : Airflow, dbt, Astronomer, ETL et ELT.
| # | Skill | Source | Description | ||
|---|---|---|---|---|---|
| 1 | airflow-dag-patterns | wshobson/agents | Orchestrer des pipelines de données Apache Airflow avec patterns, opérateurs et déploiement. | 39 177 | |
| 2 | data-quality-frameworks | wshobson/agents | Implémenter des frameworks de qualité de données avec Great Expectations, dbt et contrats. | 39 177 | |
| 3 | dbt-transformation-patterns | wshobson/agents | Structurer et optimiser des pipelines de transformation dbt en couches analytiques. | 39 177 | |
| 4 | recsys-pipeline-architect | wshobson/agents | Concevoir et scaffolder des pipelines de recommandation en six étapes pour tout système top-K. | 39 177 | |
| 5 | risk-metrics-calculation | wshobson/agents | Calculer la VaR, CVaR et métriques de risque pour la gestion de portefeuille. | 39 177 | |
| 6 | spark-optimization | wshobson/agents | Optimiser les jobs Apache Spark avec partitionnement, mémoire et gestion des shuffles. | 39 177 | |
| 7 | arize-dataset | github/awesome-copilot | Gérer et exporter des datasets versionnés dans l'espace Arize via CLI. | 38 295 | |
| 8 | bigquery-pipeline-audit | github/awesome-copilot | Auditer un pipeline BigQuery pour coûts, sécurité et fiabilité en production. | 38 295 | |
| 9 | mini-context-graph | github/awesome-copilot | Construire et interroger un graphe de connaissances persistant combinant wiki, entités et sources brutes. | 38 295 | |
| 10 | power-bi-dax-optimization | github/awesome-copilot | Analyser et optimiser des formules DAX Power BI pour de meilleures performances. | 38 295 | |
| 11 | power-bi-model-design-review | github/awesome-copilot | Auditer et optimiser la conception d'un modèle de données Power BI. | 38 295 | |
| 12 | powerbi-modeling | github/awesome-copilot | Concevoir et optimiser des modèles sémantiques Power BI selon les bonnes pratiques Microsoft. | 38 295 | |
| 13 | snowflake-semanticview | github/awesome-copilot | Créer, valider et déployer des vues sémantiques Snowflake avec synonymes et commentaires. | 38 295 | |
| 14 | analyze | anthropics/knowledge-work-plugins | Analyser des données et répondre à toute question métrique, de la simple requête au rapport formel. | 23 698 | |
| 15 | create-viz | anthropics/knowledge-work-plugins | Générer des visualisations de données professionnelles avec Python selon les meilleures pratiques. | 23 698 | |
| 16 | explore-data | anthropics/knowledge-work-plugins | Profiler un dataset pour révéler sa structure, qualité et patterns clés. | 23 698 | |
| 17 | instrument-data-to-allotrope | anthropics/knowledge-work-plugins | Convertir des fichiers instruments au format standardisé Allotrope Simple Model pour LIMS. | 23 698 | |
| 18 | nextflow-development | anthropics/knowledge-work-plugins | Déployer et exécuter des pipelines bioinformatiques nf-core sur données locales ou publiques. | 23 698 | |
| 19 | single-cell-rna-qc | anthropics/knowledge-work-plugins | Automatiser le contrôle qualité de données single-cell RNA-seq selon les bonnes pratiques scverse. | 23 698 | |
| 20 | start | anthropics/knowledge-work-plugins | Orienter un chercheur en biologie vers les outils et workflows disponibles du plugin bio-recherche. | 23 698 | |
| 21 | validate-data | anthropics/knowledge-work-plugins | Valider une analyse de données pour détecter erreurs, biais et incohérences avant partage. | 23 698 | |
| 22 | huggingface-datasets | huggingface/skills | Explorer et extraire des données de datasets Hugging Face via l'API Dataset Viewer. | 10 965 | |
| 23 | huggingface-tool-builder | huggingface/skills | Créer des scripts CLI réutilisables pour interagir avec l'API Hugging Face. | 10 965 | |
| 24 | upload-parity-experiments | harbor-framework/harbor | Publier des résultats d'expériences de parité Harbor sur Hugging Face via Git sparse checkout. | 4 678 | |
| 25 | accelerated-computing-cudf | nvidia/skills | Accélérer des DataFrames pandas sur GPU avec cuDF et dask-cuDF. | 3 114 | |
| 26 | aiq-research | nvidia/skills | Interroger un serveur NVIDIA AI-Q Blueprint pour effectuer des recherches approfondies. | 3 114 | |
| 27 | amc-run-rtsp-calibration | nvidia/skills | Calibrer des flux caméras RTSP en direct via des clips enregistrés et le microservice AMC. | 3 114 | |
| 28 | amc-run-video-calibration | nvidia/skills | Calibrer des vidéos MP4 pré-enregistrées via l'API REST AMC sans scripts CLI. | 3 114 | |
| 29 | cuopt-multi-objective-exploration | nvidia/skills | Tracer une frontière de Pareto multi-objectifs via des solves cuOpt successifs. | 3 114 | |
| 30 | cuopt-routing-api-python | nvidia/skills | Résoudre des problèmes de routage VRP/TSP/PDP avec l'API Python cuOpt. | 3 114 | |
| 31 | cupynumeric-hdf5 | nvidia/skills | Lire et écrire des tableaux cuPyNumeric en fichiers HDF5 en parallèle. | 3 114 | |
| 32 | cupynumeric-parallel-data-load | nvidia/skills | Charger en parallèle des données multi-fichiers fragmentées dans un tableau cupynumeric distribué. | 3 114 | |
| 33 | dali-dynamic-mode | nvidia/skills | Exécuter des pipelines de données DALI en mode impératif Python sans graphe statique. | 3 114 | |
| 34 | data-designer | nvidia/skills | Construire des datasets synthétiques personnalisés via une interface interactive ou automatique. | 3 114 | |
| 35 | deepstream-dev | nvidia/skills | Développer des pipelines DeepStream SDK avec les bonnes pratiques et règles d'architecture NVIDIA. | 3 114 | |
| 36 | dicom-metadata-extract | nvidia/skills | Extraire les métadonnées d'un fichier DICOM et détecter la présence de PHI. | 3 114 | |
| 37 | dicom-series-preflight | nvidia/skills | Analyser les en-têtes d'une série DICOM et émettre un verdict de conformité JSON. | 3 114 | |
| 38 | dicom-series-to-volume | nvidia/skills | Convertir une série DICOM CT en volume NIfTI HU avec affine et résumé JSON. | 3 114 | |
| 39 | earth2studio-create-datasource | nvidia/skills | Implémenter de bout en bout un wrapper de source de données pour Earth2Studio. | 3 114 | |
| 40 | earth2studio-data-fetch | nvidia/skills | Télécharger des données météo/climat via les APIs Earth2Studio avec vérification lexicale. | 3 114 | |
| 41 | i4h-catheter-navigation-digital-twin | nvidia/skills | Construire un jumeau numérique vasculaire à partir d'un volume CT segmenté. | 3 114 | |
| 42 | i4h-lerobot-viz | nvidia/skills | Lancer le visualiseur HTML interactif d'un dataset LeRobot converti dans le navigateur. | 3 114 | |
| 43 | i4h-workflow-dataset-convert | nvidia/skills | Convertir un enregistrement HDF5 agentic en dataset LeRobot prêt à l'entraînement. | 3 114 | |
| 44 | i4h-workflow-dataset-mimic | nvidia/skills | Augmenter un dataset HDF5 en répliquant des trajectoires avec bruit d'action et d'état. | 3 114 | |
| 45 | i4h-workflow-dataset-replay | nvidia/skills | Rejouer un épisode HDF5 enregistré dans Isaac Sim pour vérification visuelle. | 3 114 | |
| 46 | i4h-workflow-dataset-teleop | nvidia/skills | Enregistrer des épisodes de télé-opération robotique en démos HDF5 via clavier, bras leader ou VR. | 3 114 | |
| 47 | jetson-generate-kb | nvidia/skills | Générer une base de connaissances markdown décrivant la structure BSP et sources d'une cible Jetson. | 3 114 | |
| 48 | nemotron-retrieval-recipes | nvidia/skills | Orchestrer les recettes Nemotron d'embedding et de reranking pour optimiser la récupération d'information. | 3 114 | |
| 49 | omniverse-cad-to-simready | nvidia/skills | Convertir un asset CAD en package SimReady via un pipeline bout-en-bout orchestré. | 3 114 | |
| 50 | physical-ai-defect-image-generation | nvidia/skills | Orchestrer des pipelines de génération, augmentation et labeling d'images de défauts pour l'inspection optique automatisée. | 3 114 |
À propos de cette sélection
L'orchestration de données a longtemps reposé sur des scripts fragiles qu'on ne touchait plus par peur de tout casser. Des acteurs comme Astronomer et dbt Labs ont depuis industrialisé la discipline : DAGs versionnés, transformations testables, lignage de bout en bout. Les skills pipelines de données rassemblés ici couvrent des cas concrets, auditer un pipeline BigQuery pour détecter des dérives de coût ou de fraîcheur, modéliser un dataset pour l'exposer proprement à une couche BI sans multiplier les joins à la main. L'outillage disponible est solide, majoritairement Python, et couvre le spectre du prototypage local au déploiement en production supervisé. Ça parle autant aux data engineers qu'aux ML engineers qui branchent des flux en amont de leurs modèles.