Calculer les tok/s de toute l'entreprise, sans faire confiance aux factures
Un sniffer réseau classique ne verra rien : le trafic est chiffré. La mesure se fait au point de passage, pas sur le câble.
Commençons par écarter la fausse piste. Mettre tcpdump ou Wireshark sur le lien ne donnera que des octets chiffrés : tout le trafic vers les API de modèles passe en TLS, et sans la clé de session il n'y a aucun token à compter. Un analyseur passif est le mauvais outil.
Trois approches fonctionnent réellement. Un proxy direct qui termine le TLS — vos applications pointent vers lui, il voit les requêtes en clair et les relaie. Une instrumentation côté client, via les conventions GenAI d'OpenTelemetry, qui exige de toucher à chaque application. Ou une capture eBPF qui s'accroche à SSL_write avant le chiffrement — puissante, mais délicate à exploiter.
Pour la majorité des organisations, le proxy est le bon compromis. LiteLLM Proxy est open source, parle le protocole d'Anthropic comme celui d'OpenAI, et ne demande aux applications que de changer une URL de base. Il expose à Prometheus litellm_input_tokens_metric, litellm_output_tokens_metric et litellm_total_tokens_metric, ainsi que litellm_spend_metric pour la dépense, avec des étiquettes par modèle, équipe, alias de clé et utilisateur.
Le point à comprendre, parce qu'il surprend : aucune de ces métriques n'est un débit. Ce sont des compteurs cumulatifs. Le débit se dérive à la lecture. En PromQL, sum(rate(litellm_output_tokens_metric[1m])) donne les tokens générés par seconde sur toute l'entreprise, en temps réel. Ajoutez by (team) pour ventiler par équipe.
Dimensionnez sur la pointe, pas sur la moyenne. Une moyenne mensuelle écrase précisément le moment qui vous contraint. max_over_time(sum(rate(litellm_output_tokens_metric[1m]))[30d:]) sort le débit de pointe sur trente jours : c'est ce chiffre-là qu'il faut réserver, et il est souvent trois à cinq fois la moyenne.
Deux mises en garde avant de brancher ça en production. Un proxy devient un point de défaillance unique sur le chemin de toutes vos requêtes — prévoyez-le redondant dès le premier jour. Et il ajoute de la latence : mesurez la sienne avec litellm_overhead_latency_metric plutôt que de la supposer négligeable.
Ce que cette instrumentation vous donne et qu'aucune console ne donnera : la simultanéité, la pointe, et la ventilation par équipe, en direct. C'est exactement le jeu de chiffres nécessaire pour décider si un débit réservé vous revient moins cher qu'une facturation à l'usage — et, le cas échéant, lequel réserver.