Le tra\u00e7age des LLM devient beaucoup plus facile lorsque le trafic du mod\u00e8le passe par une couche de passerelle unique. Au lieu de demander \u00e0 chaque \u00e9quipe produit d'ajouter une journalisation personnalis\u00e9e autour de chaque invite, appel d'outil, nouvelle tentative et r\u00e9ponse du fournisseur, la passerelle peut devenir l'endroit coh\u00e9rent o\u00f9 l'activit\u00e9 de l'IA est mesur\u00e9e.<\/p>\n\n\n\n
Cela devient important une fois qu'une application d\u00e9passe un simple prototype. Une fonctionnalit\u00e9 d'IA en production peut appeler plusieurs mod\u00e8les, utiliser des itin\u00e9raires de secours, invoquer des outils, ex\u00e9cuter des t\u00e2ches en arri\u00e8re-plan et servir de nombreux clients avec des mod\u00e8les d'utilisation diff\u00e9rents. Sans traces structur\u00e9es, les \u00e9quipes doivent deviner pourquoi une r\u00e9ponse \u00e9tait lente, co\u00fbteuse, de faible qualit\u00e9 ou difficile \u00e0 reproduire.<\/p>\n\n\n\n
Pour les \u00e9quipes utilisant d\u00e9j\u00e0 une API IA<\/a> ou \u00e9valuant une architecture de passerelle, le tra\u00e7age des LLM est la prochaine habitude op\u00e9rationnelle \u00e0 concevoir t\u00f4t.<\/p>\n\n\n\n Une trace utile est plus qu'une invite brute et une r\u00e9ponse. Elle devrait expliquer ce qui s'est pass\u00e9 lors d'une requ\u00eate d'IA depuis le moment o\u00f9 l'application l'a envoy\u00e9e jusqu'au moment o\u00f9 l'utilisateur a re\u00e7u une r\u00e9ponse.<\/p>\n\n\n\n L'objectif n'est pas de tout stocker ind\u00e9finiment. L'objectif est de rendre le comportement de l'IA en production suffisamment explicable pour que les \u00e9quipes d'ing\u00e9nierie, de produit et de support puissent d\u00e9boguer de vrais incidents sans reconstruire la chronologie \u00e0 la main.<\/p>\n\n\n\n La tra\u00e7abilit\u00e9 au niveau de l'application peut fonctionner pour une seule application. Cela devient compliqu\u00e9 lorsque plusieurs applications, \u00e9quipes, mod\u00e8les et fournisseurs sont impliqu\u00e9s. Chaque \u00e9quipe peut enregistrer des champs diff\u00e9rents, utiliser des conventions de nommage diff\u00e9rentes ou ignorer compl\u00e8tement la tra\u00e7abilit\u00e9 lorsque les d\u00e9lais deviennent serr\u00e9s.<\/p>\n\n\n\n Une passerelle offre aux \u00e9quipes une porte d'entr\u00e9e unique pour le trafic des mod\u00e8les. Cette couche centrale peut normaliser les m\u00e9tadonn\u00e9es des requ\u00eates, les donn\u00e9es d'utilisation, les r\u00e9ponses des fournisseurs et les d\u00e9cisions de routage avant que les donn\u00e9es ne soient achemin\u00e9es vers un syst\u00e8me d'observabilit\u00e9 ou d'\u00e9valuation.<\/p>\n\n\n\nCe que le tra\u00e7age des LLM devrait capturer<\/h2>\n\n\n\n
\n
Pourquoi la passerelle est le meilleur endroit pour commencer<\/h2>\n\n\n\n