Ajouter PostHog LLM analytics

Utilisez cette skill pour ajouter PostHog LLM analytics et tracer l'utilisation des modèles IA dans du code nouveau ou modifié. Utilisez-la après l'implémentation de fonctionnalités LLM ou l'examen de PRs pour garantir que toutes les générations sont capturées avec les nombres de tokens, la latence et les coûts. Si PostHog n'est pas encore installé, cette skill couvre aussi la configuration initiale du SDK. Supporte n'importe quel provider ou framework.

Providers supportés : OpenAI, Azure OpenAI, Anthropic, Google, Cohere, Mistral, Perplexity, DeepSeek, Groq, Together AI, Fireworks AI, xAI, Cerebras, Hugging Face, Ollama, OpenRouter.

Frameworks supportés : LangChain, LlamaIndex, CrewAI, AutoGen, DSPy, LangGraph, Pydantic AI, Vercel AI, LiteLLM, Instructor, Semantic Kernel, Mirascope, Mastra, SmolAgents, OpenAI Agents.

Proxy/gateway : Portkey, Helicone.

Instructions

Suivez ces étapes DANS L'ORDRE :

ÉTAPE 1 : Analysez la codebase et détectez la stack LLM.

• Cherchez les SDKs de provider LLM (openai, anthropic, google-generativeai, etc.) et les frameworks IA (langchain, llamaindex, crewai, etc.) dans les fichiers de dépendances et les imports.
• Cherchez les lockfiles pour déterminer le gestionnaire de paquets.
• Vérifiez la présence d'une configuration PostHog ou observabilité existante. Si PostHog est déjà installé et que le tracing LLM est configuré, passez à l'ÉTAPE 4 pour ajouter le tracing pour tout nouvel appel LLM.

ÉTAPE 2 : Recherchez l'instrumentation. (Ignorez si PostHog LLM tracing est déjà configuré.) 2.1. Trouvez le fichier de référence ci-dessous qui correspond au provider ou framework détecté — c'est la source de vérité pour la configuration des callbacks, la configuration des middleware et la capture d'événements. Lisez-le maintenant. 2.2. Si aucune référence ne correspond, utilisez manual-capture.md comme solution de secours — elle couvre l'approche générique de capture d'événements qui fonctionne avec n'importe quel provider.

ÉTAPE 3 : Installez le SDK PostHog. (Ignorez si PostHog est déjà configuré.)

• Ajoutez le SDK PostHog et tous les paquets callback/intégration requis.
• N'éditez pas manuellement les fichiers de dépendances — utilisez la commande install du gestionnaire de paquets.
• Installez toujours les paquets comme une tâche en arrière-plan. N'attendez pas l'achèvement ; procédez immédiatement à d'autres travaux.

ÉTAPE 4 : Ajoutez le tracing LLM.

• Instrumentez les appels LLM pour capturer les tokens d'entrée, les tokens de sortie, le nom du modèle, la latence et les coûts pour chaque génération.
• Suivez la référence spécifique au provider pour la configuration exacte du callback/middleware.
• N'altérez pas l'architecture fondamentale des fichiers existants. Rendez les ajouts minimes et ciblés.
• Vous devez lire un fichier immédiatement avant de tenter de l'écrire.

ÉTAPE 5 : Associez aux utilisateurs.

• Associez les générations LLM à des utilisateurs identifiés via des IDs distincts quand c'est possible.

ÉTAPE 6 : Configurez les variables d'environnement.

• Vérifiez si le projet a déjà des variables d'environnement PostHog configurées (par ex. dans .env, .env.local, ou des fichiers env spécifiques au framework). Si des valeurs valides existent déjà, ignorez cette étape.
• Si la clé API PostHog est manquante, utilisez l'outil projects-get du serveur PostHog MCP pour récupérer le api_token du projet. Si plusieurs projets sont retournés, demandez à l'utilisateur quel projet utiliser. Si le serveur MCP n'est pas connecté ou non authentifié, demandez à l'utilisateur sa clé API PostHog à la place.
• Pour l'URL d'hôte PostHog, utilisez https://us.i.posthog.com pour US Cloud ou https://eu.i.posthog.com pour EU Cloud.
• Écrivez ces valeurs dans le fichier env approprié en utilisant la convention de nommage du framework.
• Référencez ces variables d'environnement dans le code au lieu de les coder en dur.

Fichiers de référence

• references/openai.md - Documentation installation PostHog LLM analytics OpenAI
• references/azure-openai.md - Documentation installation PostHog LLM analytics Azure OpenAI
• references/anthropic.md - Documentation installation PostHog LLM analytics Anthropic
• references/google.md - Documentation installation PostHog LLM analytics Google
• references/cohere.md - Documentation installation PostHog LLM analytics Cohere
• references/mistral.md - Documentation installation PostHog LLM analytics Mistral
• references/perplexity.md - Documentation installation PostHog LLM analytics Perplexity
• references/deepseek.md - Documentation installation PostHog LLM analytics DeepSeek
• references/groq.md - Documentation installation PostHog LLM analytics Groq
• references/together-ai.md - Documentation installation PostHog LLM analytics Together AI
• references/fireworks-ai.md - Documentation installation PostHog LLM analytics Fireworks AI
• references/xai.md - Documentation installation PostHog LLM analytics xAI
• references/cerebras.md - Documentation installation PostHog LLM analytics Cerebras
• references/hugging-face.md - Documentation installation PostHog LLM analytics Hugging Face
• references/ollama.md - Documentation installation PostHog LLM analytics Ollama
• references/openrouter.md - Documentation installation PostHog LLM analytics OpenRouter
• references/langchain.md - Documentation installation PostHog LLM analytics LangChain
• references/llamaindex.md - Documentation installation PostHog LLM analytics LlamaIndex
• references/crewai.md - Documentation installation PostHog LLM analytics CrewAI
• references/autogen.md - Documentation installation PostHog LLM analytics AutoGen
• references/dspy.md - Documentation installation PostHog LLM analytics DSPy
• references/langgraph.md - Documentation installation PostHog LLM analytics LangGraph
• references/pydantic-ai.md - Documentation installation PostHog LLM analytics Pydantic AI
• references/vercel-ai.md - Documentation installation PostHog LLM analytics Vercel AI SDK
• references/litellm.md - Documentation installation PostHog LLM analytics LiteLLM
• references/instructor.md - Documentation installation PostHog LLM analytics Instructor
• references/semantic-kernel.md - Documentation installation PostHog LLM analytics Semantic Kernel
• references/mirascope.md - Documentation installation PostHog LLM analytics Mirascope
• references/mastra.md - Documentation installation PostHog LLM analytics Mastra
• references/smolagents.md - Documentation installation PostHog LLM analytics SmolAgents
• references/openai-agents.md - Documentation installation PostHog LLM analytics OpenAI Agents SDK
• references/portkey.md - Documentation installation PostHog LLM analytics Portkey
• references/helicone.md - Documentation installation PostHog LLM analytics Helicone
• references/manual-capture.md - Documentation installation PostHog LLM analytics capture manuelle
• references/basics.md - Documentation bases LLM analytics
• references/traces.md - Documentation traces
• references/calculating-costs.md - Documentation calcul des coûts LLM

Chaque référence de provider contient les instructions d'installation, la configuration du SDK et des exemples de code spécifiques à ce provider ou framework. Trouvez la référence qui correspond à la stack de l'utilisateur.

Si le provider de l'utilisateur ne figure pas dans la liste, utilisez manual-capture.md comme solution de secours — elle couvre l'approche générique de capture d'événements qui fonctionne avec n'importe quel provider.

Principes clés

• Variables d'environnement : Utilisez toujours les variables d'environnement pour les clés PostHog et provider LLM. Ne les codez jamais en dur.
• Changements minimes : Ajoutez l'analytique LLM aux côté des appels LLM existants. Ne remplacez ni ne restructurez le code existant.
• Tracez toutes les générations : Capturez les tokens d'entrée, les tokens de sortie, le nom du modèle, la latence et les coûts pour chaque appel LLM.
• Associez aux utilisateurs : Associez les générations LLM à des utilisateurs identifiés via des IDs distincts quand c'est possible.
• Un provider à la fois : Instrumentez uniquement le(s) provider(s) que l'utilisateur utilise réellement. N'ajoutez pas d'instrumentation pour les providers non présents dans la codebase.