Variations de configuration IA

Vous utilisez une compétence qui vous guidera à travers les tests et l'optimisation des configurations IA via des variations. Votre travail consiste à concevoir des expériences, créer des variations et trouver systématiquement ce qui fonctionne le mieux.

Prérequis

Cette compétence nécessite que le serveur MCP LaunchDarkly hébergé à distance soit configuré dans votre environnement.

Outil MCP principal :

• clone-ai-config-variation -- cloner une variation de base avec des remplacements sélectifs (recommandé pour les expériences)

Outils MCP alternatifs (pour plus de contrôle) :

• get-ai-config -- examiner les variations existantes avant d'en ajouter de nouvelles
• create-ai-config-variation -- créer de nouvelles variations à partir de zéro

Outils MCP optionnels :

• update-ai-config-variation -- affiner une variation après sa création
• delete-ai-config-variation -- supprimer les variations qui n'ont pas fonctionné

Principes fondamentaux

1. Tester une seule chose à la fois : modifiez le modèle OU le prompt OU les paramètres, pas tous à la fois
2. Ayez une hypothèse : sachez ce que vous essayez d'améliorer
3. Mesurez les résultats : utilisez des métriques pour comparer les variations
4. Vérifiez via l'outil : l'agent récupère la configuration pour confirmer que les variations existent

Workflow

Étape 1 : Identifier ce qu'il faut optimiser

Quel est le problème ? Coût, qualité, vitesse, précision ? Comment mesurerez-vous le succès ?

Étape 2 : Concevoir l'expérience

Étape 3 : Créer des variations (Recommandé : cloner avec remplacements)

Utilisez clone-ai-config-variation pour dupliquer la base et remplacer uniquement ce que vous testez. L'outil lit la variation source, fusionne vos remplacements et crée la nouvelle variation. Tout ce que vous ne passez pas est hérité de la source automatiquement.

Champs obligatoires :

• sourceVariationKey -- la base à cloner
• key et name -- identifiants pour la nouvelle variation (par ex. gpt4o-mini-cost-test)

Remplacez UNIQUEMENT les champs que vous testez. Laissez tous les autres champs non définis -- ne les passez pas même si vous connaissez leurs valeurs actuelles. L'outil clone les hérite de la source. Cela applique le principe d'une seule variable à la fois :

• Testez un modèle moins cher ? Passez uniquement modelConfigKey et modelName. Ne passez PAS instructions, messages ou parameters.
• Testez des instructions différentes ? Passez uniquement instructions. Ne passez PAS modelConfigKey ou modelName.
• Testez un paramètre ? Passez uniquement parameters. Ne passez PAS les champs de modèle ou de prompt.

La réponse retourne à la fois la variation source et créée, afin que vous puissiez immédiatement vérifier la différence.

Étape 3 (Alternative) : Créer à partir de zéro

Si vous avez besoin d'un contrôle total, utilisez d'abord get-ai-config pour examiner l'état actuel, puis create-ai-config-variation avec tous les champs spécifiés manuellement. Récupérez toujours avant de créer pour comprendre le mode, le modèle et les paramètres de la configuration existante.

Étape 4 : Vérifier

Si vous avez utilisé clone-ai-config-variation, la réponse inclut les deux variations source et créée pour une comparaison immédiate. Sinon, utilisez get-ai-config pour confirmer.

Rapportez les résultats :

• Variations créées avec les modèles et paramètres corrects
• Seule la variable prévue diffère entre les variations
• Signalez tout problème

Note sur les réponses API : après l'appel d'un outil de création ou de clonage, traitez une réponse réussie comme une confirmation que l'opération a réussi. La réponse API peut ne pas renvoyer tous les champs que vous avez envoyés (par ex. les champs de modèle peuvent afficher les paramètres par défaut). Ne réessayez pas et n'assumez pas l'échec basé uniquement sur les valeurs des champs de réponse -- vérifiez avec get-ai-config si nécessaire.

Format modelConfigKey

Requis pour que les modèles s'affichent dans l'interface utilisateur. Format : {Provider}.{model-id} :

• OpenAI.gpt-4o, OpenAI.gpt-4o-mini
• Anthropic.claude-sonnet-4-5, Anthropic.claude-3-5-sonnet

Sécurité : Protéger la base

Quand l'utilisateur veut essayer un modèle, un prompt ou des paramètres différents, créez toujours une nouvelle variation à côté de la base. Ne modifiez ni supprimez jamais la variation de base existante. Cela s'applique même si l'utilisateur dit « remplacer » ou « changer » -- l'action correcte est de créer une nouvelle variation et de laisser le ciblage/rollouts contrôler le trafic, pas d'éditer l'original.

• Utilisez clone-ai-config-variation ou create-ai-config-variation pour ajouter la nouvelle variation
• N'utilisez PAS update-ai-config-variation sur la base pour changer son modèle ou ses instructions
• N'utilisez PAS delete-ai-config-variation sur la base
• Expliquez à l'utilisateur que conserver la base permet la comparaison et le rollback sécurisé

Quoi NE PAS faire

• Ne testez pas trop de choses à la fois -- modifiez une seule variable par variation
• Ne passez pas les champs inchangés lors du clonage -- laissez l'outil les hériter de la source
• N'oubliez pas modelConfigKey (les variations sans affichent « NO MODEL » dans l'interface)
• Ne prenez pas de décisions sur de petites tailles d'échantillon
• Ne modifiez ni ne supprimez la variation de base -- créez de nouvelles variations à côté
• N'utilisez pas update-ai-config-variation pour « remplacer » une base -- créez une nouvelle variation à la place

Compétences liées

• aiconfig-create -- Créer la configuration initiale
• aiconfig-update -- Affiner en fonction des apprentissages