Azure Application Insights : outils internes
Idun Cockpit lit l’usage d’un outil d’IA interne, par exemple un assistant construit sur Azure OpenAI, à partir des traces qu’il envoie déjà à Azure Application Insights. Il n’y a rien à développer : le Cockpit part d’un export de ces traces. C’est l’une des sources de l’audit de l’usage réel de l’IA.
Ce qu’il faut
Section intitulée « Ce qu’il faut »- Un outil instrumenté avec OpenTelemetry, selon les conventions OpenInference, dont les traces arrivent dans Application Insights.
- Une personne qui peut lancer une requête sur la ressource Application Insights.
Les étapes
Section intitulée « Les étapes »-
Vérifier l’instrumentation
Les traces doivent porter la question de l’utilisateur, la réponse, le déploiement du modèle et les tokens. Si ce n’est pas le cas, on le voit ensemble au lancement.
-
Exporter les traces
Lancez la requête que nous vous donnons, sur la période choisie, et exportez son résultat en CSV depuis le portail Azure, ou en JSON.
-
Nous transmettre l’export
Transmettez le fichier par le canal convenu au lancement de l’audit.
Ce qui est mesuré, et ce qui ne l’est pas
Section intitulée « Ce qui est mesuré, et ce qui ne l’est pas »- Mesuré : la question, la réponse, le déploiement du modèle, les tokens, la durée, les recherches et les outils appelés.
- Pas disponible : le prix de chaque requête, qu’Azure OpenAI ne donne pas pour un déploiement privé, et le pôle de l’utilisateur, absent des traces.
Questions fréquentes
Section intitulée « Questions fréquentes »L’identité des utilisateurs est-elle dans les traces ?
Section intitulée « L’identité des utilisateurs est-elle dans les traces ? »Souvent sous la forme d’un identifiant déjà haché par l’application. Le Cockpit le traite comme un pseudonyme, sans adresse ni équipe.
Quels outils internes peuvent se brancher ainsi ?
Section intitulée « Quels outils internes peuvent se brancher ainsi ? »Tout assistant ou agent interne dont les traces arrivent dans Application Insights, par exemple un assistant construit sur Azure OpenAI. C’est l’outil que vous administrez qui compte, pas le modèle qu’il appelle.
Que tire le Cockpit de ces traces ?
Section intitulée « Que tire le Cockpit de ces traces ? »Les mêmes lectures que pour vos autres outils : les cas d’usage, l’adoption et ce que l’outil consomme en tokens. L’outil interne se lit dans la même vue que vos assistants du marché.
Pour voir ce que l'outil montre sur vos propres outils, prenez rendez-vous.