Pipelines de données

Orchestration et transformation de donnees : Airflow, dbt, Astronomer, ETL et ELT.

168 skills

# Skill Source Description Maj
1 tao-analyze-gaps-visual-changenet nvidia/skills Identifier les échantillons les plus faibles d'un modèle VCN TAO pour cibler l'augmentation. 3 634 1j
2 tao-generate-video-reasoning-annotations nvidia/skills Générer des datasets d'entraînement vidéo avec raisonnement CoT et paires QA annotées. 3 634 1j
3 tao-mine-od-images nvidia/skills Lancer le minage TAO pour sélectionner des images uniques via correspondance de voisins. 3 634 1j
4 accelerated-computing-cudf nvidia/skills Accélérer des DataFrames pandas sur GPU avec cuDF et dask-cuDF. 3 634 2j
5 parabricks nvidia/skills Identifier et générer des commandes pbrun Parabricks adaptées à l'outil et à la version cibles. 3 634 3j
6 upgrading-dbt dbt-labs/dbt-agent-skills Migrer un projet dbt v1 vers la version 1.12 en appliquant les correctifs adaptés. 740 4j
7 vss-search-archive nvidia-ai-blueprints/video-search-and-summarization Rechercher dans des archives vidéo via CLI VSS en respectant les sources exactes. 1 931 8j
8 metrics-chart axiomhq/skills Transformer une réponse de requête métriques en graphique temporel multi-séries. 16 10j
9 managing-streamlit-apps posthog/skills Créer, déployer et gérer des apps Streamlit Python dans PostHog via des outils MCP. 74 10j
10 i4h-workflow-dataset-convert nvidia/skills Convertir un enregistrement HDF5 agentic en dataset LeRobot prêt à l'entraînement. 3 634 17j
11 i4h-workflow-dataset-mimic nvidia/skills Augmenter un dataset HDF5 en répliquant des trajectoires avec bruit d'action et d'état. 3 634 17j
12 paidf-augmentation nvidia/skills Orchestrer un pipeline d'augmentation de données visuelles via des modèles génératifs NVIDIA distants. 3 634 25j
13 tao-data-io nvidia/skills Gérer le transfert de données vers et depuis un conteneur de calcul IA selon la stratégie de… 3 634 25j
14 tao-mine-nearest-neighbors nvidia/skills Exécuter un minage de voisins les plus proches sur des embeddings parquet via TAO Data Services. 3 634 25j
15 tao-convert-dataset-format nvidia/skills Convertir des datasets DAFT entre formats supportés via la CLI tao-daft. 3 634 25j
16 tao-route-visual-changenet-samples nvidia/skills Router les labels de gaps VCN vers les modules k-NN Mining et AnomalyGen de façon auditable. 3 634 25j
17 tao-validate-dataset-format nvidia/skills Valider un dataset DAFT avec tao-daft validate et interpréter les résultats. 3 634 25j
18 omni-to-dbt-metricflow exploreomni/omni-agent-skills Exporter la logique d'un modèle Omni vers des fichiers YAML dbt MetricFlow. 44 26j
19 airflow-state-store astronomer/agents Gérer l'état des tâches Airflow 3.3 avec des stores clé/valeur crash-safe. 454 1mo
20 dicom-metadata-extract nvidia/skills Extraire les métadonnées d'un fichier DICOM et détecter la présence de PHI. 3 634 1mo
21 dicom-series-preflight nvidia/skills Analyser les en-têtes d'une série DICOM et émettre un verdict de conformité JSON. 3 634 1mo
22 dicom-series-to-volume nvidia/skills Convertir une série DICOM CT en volume NIfTI HU avec affine et résumé JSON. 3 634 1mo
23 medtech-model-evidence-export nvidia/skills Exporter des résultats d'inférence médicale vers MLflow via un pack d'évidence post-hoc. 3 634 1mo
24 nvflare-fed-stats nvidia/skills Calculer des statistiques fédérées sur des données tabulaires ou images via NVFLARE. 3 634 1mo
25 blueprint astronomer/agents Composer des DAGs Airflow en YAML via des templates Python réutilisables et validés. 454 1mo
26 exploring-mcp-tool-original-user-motive posthog/skills Reconstruire les intentions utilisateur initiales derrière les sessions d'appels MCP et les publier en notebook. 74 1mo
27 dagster-expert dagster-io/skills Rediriger l'utilisateur vers le plugin Dagster officiel en remplacement d'un plugin déprécié. 213 1mo
28 dagster-expert dagster-io/skills Configurer et piloter des pipelines Dagster via CLI, MCP et intégrations externes. 213 1mo
29 deepstream-dev nvidia/skills Développer des pipelines DeepStream SDK avec les bonnes pratiques et règles d'architecture NVIDIA. 3 634 1mo
30 amc-run-video-calibration nvidia/skills Calibrer des vidéos MP4 pré-enregistrées via l'API REST AMC sans scripts CLI. 3 634 1mo
31 migrating-dbt-project-across-platforms dbt-labs/dbt-agent-skills Migrer un projet dbt entre plateformes de données avec validation automatisée. 740 1mo
32 omni-to-databricks-metric-view exploreomni/omni-agent-skills Convertir un topic Omni en Databricks Metric View via CLI et YAML. 44 1mo
33 omniverse-cad-to-simready nvidia/skills Convertir un asset CAD en package SimReady via un pipeline bout-en-bout orchestré. 3 634 1mo
34 cuopt-routing-api-python nvidia/skills Résoudre des problèmes de routage VRP/TSP/PDP avec l'API Python cuOpt. 3 634 2mo
35 cuopt-multi-objective-exploration nvidia/skills Tracer une frontière de Pareto multi-objectifs via des solves cuOpt successifs. 3 634 2mo
36 montecarlo-subgroup-prediction divinevideo/divine-mobile Modéliser des sous-groupes de projet avec des simulations Monte Carlo précises et différenciées. 266 2mo
37 mini-context-graph github/awesome-copilot Construire et interroger un graphe de connaissances persistant combinant wiki, entités et sources brutes. 40 143 2mo
38 nemotron-retrieval-recipes nvidia/skills Orchestrer les recettes Nemotron d'embedding et de reranking pour optimiser la récupération d'information. 3 634 3mo
39 authoring-language-sdk-tasks astronomer/agents Implémenter des tâches Airflow en langages non-Python via des stubs et coordinateurs natifs. 454 3mo
40 configuring-airflow-language-sdks astronomer/agents Configurer Airflow pour router les tâches SDK natifs vers le bon coordinateur. 454 3mo
41 migrating-dagster-to-airflow astronomer/agents Migrer un projet Dagster vers Airflow 3 sur Astro Runtime, domaine par domaine. 454 3mo
42 airflow astronomer/agents Gérer, diagnostiquer et opérer des workflows Airflow via des commandes CLI dédiées. 454 3mo
43 earth2studio-create-datasource nvidia/skills Implémenter de bout en bout un wrapper de source de données pour Earth2Studio. 3 634 3mo
44 airflow-hitl astronomer/agents Intégrer des points de validation humaine dans un DAG Airflow via des opérateurs déférables. 454 3mo
45 analyzing-data astronomer/agents Interroger un entrepôt de données pour répondre à des questions métier. 454 3mo
46 authoring-dags astronomer/agents Créer et valider des DAGs Airflow via le CLI af en suivant les bonnes pratiques. 454 3mo
47 cosmos-dbt-core astronomer/agents Intégrer dbt Core dans Airflow via Cosmos avec la configuration optimale. 454 3mo
48 cosmos-dbt-fusion astronomer/agents Intégrer dbt Fusion avec Cosmos dans Airflow en suivant une checklist d'implémentation structurée. 454 3mo
49 dag-factory astronomer/agents Générer des DAGs Apache Airflow déclarativement depuis des fichiers YAML avec dag-factory. 454 3mo
50 debugging-dags astronomer/agents Diagnostiquer et résoudre les échecs de DAGs Airflow avec des actions correctives ciblées. 454 3mo

À propos de cette sélection

L'orchestration de données a longtemps reposé sur des scripts fragiles qu'on ne touchait plus par peur de tout casser. Des acteurs comme Astronomer et dbt Labs ont depuis industrialisé la discipline : DAGs versionnés, transformations testables, lignage de bout en bout. Les skills pipelines de données rassemblés ici couvrent des cas concrets, auditer un pipeline BigQuery pour détecter des dérives de coût ou de fraîcheur, modéliser un dataset pour l'exposer proprement à une couche BI sans multiplier les joins à la main. L'outillage disponible est solide, majoritairement Python, et couvre le spectre du prototypage local au déploiement en production supervisé. Ça parle autant aux data engineers qu'aux ML engineers qui branchent des flux en amont de leurs modèles.