Aller au contenu

Azure Application Insights : outils internes

Idun Cockpit lit l’usage d’un outil d’IA interne, par exemple un assistant construit sur Azure OpenAI, à partir des traces qu’il envoie déjà à Azure Application Insights. Il n’y a rien à développer : le Cockpit part d’un export de ces traces. C’est l’une des sources de l’audit de l’usage réel de l’IA.

  • Un outil instrumenté avec OpenTelemetry, selon les conventions OpenInference, dont les traces arrivent dans Application Insights.
  • Une personne qui peut lancer une requête sur la ressource Application Insights.
  1. Vérifier l’instrumentation

    Les traces doivent porter la question de l’utilisateur, la réponse, le déploiement du modèle et les tokens. Si ce n’est pas le cas, on le voit ensemble au lancement.

  2. Exporter les traces

    Lancez la requête que nous vous donnons, sur la période choisie, et exportez son résultat en CSV depuis le portail Azure, ou en JSON.

  3. Nous transmettre l’export

    Transmettez le fichier par le canal convenu au lancement de l’audit.

  • Mesuré : la question, la réponse, le déploiement du modèle, les tokens, la durée, les recherches et les outils appelés.
  • Pas disponible : le prix de chaque requête, qu’Azure OpenAI ne donne pas pour un déploiement privé, et le pôle de l’utilisateur, absent des traces.

L’identité des utilisateurs est-elle dans les traces ?

Section intitulée « L’identité des utilisateurs est-elle dans les traces ? »

Souvent sous la forme d’un identifiant déjà haché par l’application. Le Cockpit le traite comme un pseudonyme, sans adresse ni équipe.

Tout assistant ou agent interne dont les traces arrivent dans Application Insights, par exemple un assistant construit sur Azure OpenAI. C’est l’outil que vous administrez qui compte, pas le modèle qu’il appelle.

Les mêmes lectures que pour vos autres outils : les cas d’usage, l’adoption et ce que l’outil consomme en tokens. L’outil interne se lit dans la même vue que vos assistants du marché.

Pour voir ce que l'outil montre sur vos propres outils, prenez rendez-vous.