TypeSafe AI a lancé Jev le 15 septembre 2026. Le modèle ne génère pas de texte : il renvoie une décision typée assortie d'une probabilité calibrée, en une seule passe. Nous avons voulu savoir s'il pouvait remplacer un LLM-as-a-judge, la méthode standard pour évaluer un agent IA à grande échelle. Une suite d'évaluation est rejouée à chaque déploiement, et chaque rejeu refait les mêmes milliers de jugements, ce qui rend le prix unitaire du juge déterminant.
Voici les chiffres bruts, y compris les endroits où la mesure nous a contredits.
Pourquoi Jev est un candidat crédible pour le rôle de juge
Trois primitives, trois formats de jugement
Jev expose trois types de réponse, et ils correspondent exactement aux trois manières standard de faire juger un modèle.
- Choice sélectionne une option parmi un ensemble défini, ce qui couvre la comparaison par paires : A ou B.
- Score note sur une échelle ordonnée, ce qui couvre la notation de type Likert de 1 à 5.
- Noul répond par oui ou non avec une probabilité, ce qui couvre le verdict binaire du type « cette réponse est-elle fidèle au contexte ? ».
La tâche reste donc la même dans les deux cas, seul le moteur change.
Un prix qui change l'arithmétique
Jev ne facture que les tokens en entrée, à un tarif environ 18 fois inférieur à celui de Gemini 3.8 Flash. Gemini facture l'entrée et la sortie, la sortie cinq fois plus cher que l'entrée, et les tokens de raisonnement sont comptés au tarif de sortie. Sur une tâche où la réponse utile tient en un caractère, ce dernier point pèse lourd.
Le protocole de mesure
RM-Bench plutôt que RewardBench
Nous avons commencé par RewardBench v1. Jev y obtient 99,0 %. Ce résultat ne mesure rien : le benchmark est saturé, ce qui est précisément la raison pour laquelle l'Allen Institute a publié RewardBench 2.
Nous sommes passés à RM-Bench, conçu pour isoler le biais de style. Chaque question du jeu porte trois bonnes réponses et trois mauvaises, à trois niveaux de mise en forme croissants : brut, détaillé, puis détaillé avec balisage Markdown. La matrice 3 × 3 se découpe en trois régimes.
- Facile : la bonne réponse est aussi la mieux présentée.
- Normal : les deux réponses ont le même niveau de mise en forme.
- Difficile : la mauvaise réponse est la mieux présentée.
L'écart entre le régime facile et le régime difficile mesure directement à quel point un juge se laisse acheter par la mise en forme.
Ce que nous avons exécuté
Nous avons échantillonné 250 questions sur les 1 327 du jeu, réparties également entre cinq domaines : conversation, code, mathématiques, refus de sécurité et réponse de sécurité. Les 250 questions produisent 2 250 comparaisons, chacune jugée dans les deux sens (A/B puis B/A) pour exposer le biais de position. Cela fait 4 500 jugements par configuration.
Les deux moteurs reçoivent la même consigne, mot pour mot, et les mêmes paires. Le raisonnement de Gemini est désactivé, pour deux raisons : le coût reste prévisible, et Jev ne raisonne pas non plus.
Résultats : seul, Jev perd
| Mesure | Jev | Gemini 3.8 Flash |
|---|---|---|
| Précision globale | 84,0 % | 87,6 % |
| Facile | 91,7 % | 92,9 % |
| Normal | 87,4 % | 90,3 % |
| Difficile | 72,8 % | 79,6 % |
| Latence médiane | 243 ms | 2 021 ms |
| Coût relatif (Gemini = 100) | 4,3 | 100 |
La réponse directe à la question posée est donc non. Gemini juge mieux, de 3,6 points au global et de 6,8 points sur le régime difficile. Jev est 23 fois moins cher et 8 fois plus rapide.
Le biais de style est réel et il est chiffrable
Jev perd 18,9 points entre le régime facile et le régime difficile. Quand la mauvaise réponse est la mieux présentée, sa précision tombe à 72,8 %. Gemini perd 13,3 points sur le même trajet. Les deux moteurs sont sensibles à la mise en forme, Jev davantage.
Notre hypothèse sur le biais de position était fausse
Nous attendions que Jev soit plus stable à l'inversion, puisqu'il ne construit pas de raisonnement séquentiel. La mesure dit le contraire : 92,0 % des paires gardent leur verdict après inversion chez Jev, contre 95,5 % chez Gemini. Sur le nombre de fois où le juge choisit la position A dans les deux sens, Jev le fait 89 fois sur 2 250, Gemini 65 fois.
Là où Jev gagne
Le découpage par domaine explique l'écart global. Jev tient sur les jugements qui ne demandent pas de raisonnement et décroche là où il en faut, ce qui est cohérent avec son architecture : une passe unique sans chaîne de raisonnement ne vérifie pas une démonstration mathématique.
La calibration tient la route
Tous les articles parus depuis le lancement répètent que Jev renvoie des probabilités calibrées. Personne ne l'avait vérifié. Nous avons regroupé les 4 500 jugements par tranche de confiance et comparé la confiance annoncée à la précision observée.
| Tranche de confiance | Effectif | Précision réelle |
|---|---|---|
| 0,0 à 0,1 | 133 | 52,6 % |
| 0,2 à 0,3 | 176 | 60,2 % |
| 0,4 à 0,5 | 218 | 66,5 % |
| 0,6 à 0,7 | 283 | 80,9 % |
| 0,8 à 0,9 | 507 | 87,2 % |
| 0,9 à 1,0 | 2 224 | 95,3 % |
La courbe est presque monotone et s'étale de 52,6 % à 95,3 %. Une confiance basse annonce donc bien une erreur probable. Cela autorise à fixer un seuil d'acceptation automatique sur des données observées.
L'architecture à deux étages bat les deux moteurs
La règle
Chaque comparaison part d'abord chez Jev, qui rend un verdict et une confiance. Au-dessus du seuil, le verdict est conservé. En dessous, la comparaison repart chez Gemini, dont le verdict l'emporte.
Nous avons exécuté ce pipeline pour de bon sur les mêmes 250 questions, avec un seuil à 0,6.
Les mesures
| Configuration | Précision | Coût relatif (Gemini seul = 100) | Durée sur 4 500 jugements |
|---|---|---|---|
| Jev seul | 84,0 % | 4,3 | 144 s |
| Gemini seul | 87,6 % | 100 | environ 28 min |
| Hybride au seuil 0,6 | 88,0 % | 38 | 316 s |
1 096 jugements sur 4 500 sont passés sous le seuil, soit 24,4 %. La configuration hybride est la plus précise des trois, pour 38 % du coût de Gemini seul et environ cinq fois moins de temps. Elle égale aussi Gemini sur la stabilité à l'inversion, à 95,6 %.
Le gain vient de la répartition. Au-dessus de 0,6, Jev tourne entre 81 % et 95 % de précision, donc conserver ces verdicts ne coûte presque rien en qualité. En dessous, il descend vers 52 % à 68 %, et ce sont ces cas-là que Gemini répare. Le budget du modèle frontière se concentre ainsi sur les jugements que le modèle bon marché signale lui-même comme incertains.
Escalader davantage dégrade le résultat : à un seuil de 1,0, la précision retombe à 87,8 %, parce que l'on jette les jugements que Jev réussit et que Gemini rate.
Ce que nous n'avons pas mesuré
Cette campagne porte sur un jeu de données, une famille de tâches et un modèle frontière. Quatre limites méritent d'être posées.
- RM-Bench est public depuis un moment, et rien ne garantit qu'il soit absent des données d'entraînement de Jev.
- Les 250 questions produisent 2 250 comparaisons corrélées entre elles, puisque neuf comparaisons partagent la même question. L'effectif indépendant est donc de 250, pas de 4 500.
- Le raisonnement de Gemini est désactivé. Un juge autorisé à raisonner coûterait davantage et jugerait probablement mieux sur le code et les mathématiques.
- Le seuil de 0,6 est calé sur ce jeu de données. Sur un autre corpus, il faut le recalculer à partir de la courbe de calibration.
Ce que nous en retenons pour nos audits
Un modèle de décision couvre la part d'une évaluation où le jugement ne demande pas de raisonnement, et la courbe de calibration indique laquelle sans avoir à le deviner. Le reste continue de passer par un juge LLM.
Pour une suite d'évaluation rejouée à chaque déploiement, diviser le coût par 2,6 et la durée par 5 à précision égale ou supérieure est un gain qui se constate sur la facture. Chez Idun, cette arithmétique compte parce que nous analysons des parcs d'IA existants, et que le volume de jugements à produire est ce qui décide de ce que l'on peut se permettre d'examiner.
