Ajouter l'analytique PostHog pour LLM

Utilise cette skill pour ajouter l'analytique PostHog pour LLM qui trace l'utilisation des modèles IA dans le code nouveau ou modifié. Utilise-la après avoir implémenté des fonctionnalités LLM ou après avoir examiné des PRs pour s'assurer que toutes les générations sont capturées avec les nombres de tokens, la latence et les coûts. Si PostHog n'est pas encore installé, cette skill couvre aussi la configuration initiale du SDK. Supporte n'importe quel fournisseur ou framework.

Fournisseurs supportés : OpenAI, Azure OpenAI, Anthropic, Google, Cohere, Mistral, Perplexity, DeepSeek, Groq, Together AI, Fireworks AI, xAI, Cerebras, Hugging Face, Ollama, OpenRouter.

Frameworks supportés : LangChain, LlamaIndex, CrewAI, AutoGen, DSPy, LangGraph, Pydantic AI, Vercel AI, LiteLLM, Instructor, Semantic Kernel, Mirascope, Mastra, SmolAgents, OpenAI Agents.

Proxy/gateway : Portkey, Helicone.

Instructions

Suis ces étapes DANS L'ORDRE :

ÉTAPE 1 : Analyser la base de code et détecte la pile LLM.

• Cherche les SDKs des fournisseurs LLM (openai, anthropic, google-generativeai, etc.) et les frameworks IA (langchain, llamaindex, crewai, etc.) dans les fichiers de dépendances et les imports.
• Cherche les fichiers de verrouillage pour déterminer le gestionnaire de paquets.
• Vérifie la configuration PostHog ou observabilité existante. Si PostHog est déjà installé et que le tracing LLM est configuré, passe à l'ÉTAPE 4 pour ajouter le tracing aux nouveaux appels LLM.

ÉTAPE 2 : Recherche l'instrumentation. (À sauter si le tracing PostHog LLM est déjà configuré.) 2.1. Trouve le fichier de référence ci-dessous qui correspond au fournisseur ou framework détecté — c'est la source de vérité pour la configuration des callbacks, la configuration des middleware et la capture d'événements. Lis-le maintenant. 2.2. Si aucune référence ne correspond, utilise manual-capture.md comme solution de secours — elle couvre l'approche de capture générique qui fonctionne avec n'importe quel fournisseur.

ÉTAPE 3 : Installe le SDK PostHog. (À sauter si PostHog est déjà configuré.)

• Ajoute le SDK PostHog et tous les paquets de callback/intégration requis.
• N'édite pas manuellement les fichiers de dépendances — utilise la commande d'installation du gestionnaire de paquets.
• Installe toujours les paquets comme une tâche en arrière-plan. N'attends pas la fin ; continue immédiatement avec les autres travaux.

ÉTAPE 4 : Ajoute le tracing LLM.

• Instrumente les appels LLM pour capturer les tokens d'entrée, les tokens de sortie, le nom du modèle, la latence et les coûts pour chaque génération.
• Suis la référence spécifique au fournisseur pour la configuration exacte des callbacks/middleware.
• N'altère pas l'architecture fondamentale des fichiers existants. Fais les ajouts minimes et ciblés.
• Tu dois lire un fichier immédiatement avant de tenter de l'écrire.

ÉTAPE 5 : Lie aux utilisateurs.

• Associe les générations LLM aux utilisateurs identifiés via des IDs distincts quand c'est possible.

ÉTAPE 6 : Configure les variables d'environnement.

• Si un serveur MCP env-file-tools est connecté, utilise check_env_keys puis set_env_values pour configurer la clé API PostHog et l'hôte.
• Référence ces variables d'environnement dans le code au lieu de les hardcoder.

Fichiers de référence

• references/openai.md - Installation de l'analytique OpenAI LLM - docs
• references/azure-openai.md - Installation de l'analytique Azure OpenAI LLM - docs
• references/anthropic.md - Installation de l'analytique Anthropic LLM - docs
• references/google.md - Installation de l'analytique Google LLM - docs
• references/cohere.md - Installation de l'analytique Cohere LLM - docs
• references/mistral.md - Installation de l'analytique Mistral LLM - docs
• references/perplexity.md - Installation de l'analytique Perplexity LLM - docs
• references/deepseek.md - Installation de l'analytique DeepSeek LLM - docs
• references/groq.md - Installation de l'analytique Groq LLM - docs
• references/together-ai.md - Installation de l'analytique Together AI LLM - docs
• references/fireworks-ai.md - Installation de l'analytique Fireworks AI LLM - docs
• references/xai.md - Installation de l'analytique xAI LLM - docs
• references/cerebras.md - Installation de l'analytique Cerebras LLM - docs
• references/hugging-face.md - Installation de l'analytique Hugging Face LLM - docs
• references/ollama.md - Installation de l'analytique Ollama LLM - docs
• references/openrouter.md - Installation de l'analytique OpenRouter LLM - docs
• references/langchain.md - Installation de l'analytique LangChain LLM - docs
• references/llamaindex.md - Installation de l'analytique LlamaIndex LLM - docs
• references/crewai.md - Installation de l'analytique CrewAI LLM - docs
• references/autogen.md - Installation de l'analytique AutoGen LLM - docs
• references/dspy.md - Installation de l'analytique DSPy LLM - docs
• references/langgraph.md - Installation de l'analytique LangGraph LLM - docs
• references/pydantic-ai.md - Installation de l'analytique Pydantic AI LLM - docs
• references/vercel-ai.md - Installation de l'analytique SDK Vercel AI LLM - docs
• references/litellm.md - Installation de l'analytique LiteLLM LLM - docs
• references/instructor.md - Installation de l'analytique Instructor LLM - docs
• references/semantic-kernel.md - Installation de l'analytique Semantic Kernel LLM - docs
• references/mirascope.md - Installation de l'analytique Mirascope LLM - docs
• references/mastra.md - Installation de l'analytique Mastra LLM - docs
• references/smolagents.md - Installation de l'analytique SmolAgents LLM - docs
• references/openai-agents.md - Installation de l'analytique SDK OpenAI Agents LLM - docs
• references/portkey.md - Installation de l'analytique Portkey LLM - docs
• references/helicone.md - Installation de l'analytique Helicone LLM - docs
• references/manual-capture.md - Installation de l'analytique capture manuelle LLM - docs
• references/basics.md - Bases de l'analytique LLM - docs
• references/traces.md - Traces - docs
• references/calculating-costs.md - Calcul des coûts LLM - docs

Chaque référence de fournisseur contient les instructions d'installation, la configuration du SDK et des exemples de code spécifiques à ce fournisseur ou framework. Trouve la référence qui correspond à la pile de l'utilisateur.

Si le fournisseur de l'utilisateur n'est pas listé, utilise manual-capture.md comme solution de secours — elle couvre l'approche de capture générique qui fonctionne avec n'importe quel fournisseur.

Principes clés

• Variables d'environnement : Utilise toujours les variables d'environnement pour les clés PostHog et les fournisseurs LLM. Ne les hardcode jamais.
• Changements minimes : Ajoute l'analytique LLM à côté des appels LLM existants. Ne remplace ni ne restructure le code existant.
• Trace toutes les générations : Capture les tokens d'entrée, les tokens de sortie, le nom du modèle, la latence et les coûts pour chaque appel LLM.
• Lie aux utilisateurs : Associe les générations LLM aux utilisateurs identifiés via des IDs distincts quand c'est possible.
• Un fournisseur à la fois : Instrumente uniquement le(s) fournisseur(s) que l'utilisateur utilise réellement. N'ajoute pas d'instrumentation pour les fournisseurs non présents dans la base de code.