nemotron-asr-finetune

Par nvidia · skills

Skill d'orchestration NVIDIA pour l'adaptation de modèles ASR Nemotron Speech (Riva/NeMo) : sélectionne le chemin le moins coûteux et délègue aux sous-skills appropriés.

npx skills add https://github.com/nvidia/skills --skill nemotron-asr-finetune

nemotron-asr-finetune — Skill d'orchestration ASR

Ce skill est un orchestrateur de haut niveau conçu pour guider un agent IA dans l'adaptation d'un modèle de reconnaissance automatique de la parole (ASR) NVIDIA Nemotron Speech (aussi connu sous les noms Riva / Riva NIM côté documentation, NeMo côté entraînement). Il ne réalise pas lui-même les étapes d'entraînement ou de déploiement : il planifie, séquence et délègue.

Ce que fait ce skill

Face à un objectif comme « améliorer la précision ASR sur mon domaine métier » ou « ajouter le support d'une nouvelle langue », ce skill suit une boucle en huit étapes : cadrage du besoin, choix du chemin le moins onéreux (word boosting → LM n-gram → fine-tuning), délégation à chaque sous-skill compétent (data generation, training, evaluation, deployment), et réponse aux questions de planification (volume de données, coût GPU, délai pour atteindre un WER cible). Il sélectionne systématiquement la solution la moins coûteuse qui peut satisfaire l'objectif avant d'escalader vers des approches plus lourdes.

Architecture et sous-skills

Ce skill s'appuie sur plusieurs sous-skills spécialisés référencés dans ses fichiers de documentation interne (references/workflow.md, references/sub-skills.md, references/path-selection.md) : nemo-speech-asr-finetune pour l'entraînement NeMo, data-designer pour la génération de données synthétiques, et nemotron-speech pour l'évaluation sur endpoint et le déploiement NIM/Riva. Lorsqu'un sous-skill n'existe pas encore, ce skill le signale explicitement comme placeholder et fournit des orientations provisoires.

Comment l'utiliser

Ce skill est disponible dans le catalogue officiel NVIDIA du repository nvidia/skills et s'installe via la CLI skills (npx skills add nvidia/skills --skill nemotron-asr-finetune). Une fois installé, il est activé automatiquement par l'agent lorsqu'une tâche d'amélioration ou de personnalisation ASR est détectée. Il est conçu pour être le point d'entrée unique de toute demande d'adaptation ASR Nemotron, même si l'utilisateur a déjà une technique précise en tête : le skill valide d'abord que cette technique est bien la moins coûteuse applicable au contexte.

Périmètre et limites

Ce skill se limite à l'orchestration : l'exécution réelle (entraînement, export, service) appartient aux sous-skills. Il nécessite un GPU pour les étapes d'entraînement. Les noms de modèles, chemins de configuration et flags évoluent avec les versions de NeMo et Riva ; il convient de vérifier la matrice de support ASR et le guide de personnalisation lors de chaque utilisation.

Skills similaires