Comment comparer deux modèles IA sur votre propre travail ?

Comparer deux modèles sur votre travail demande de définir ce qu’une réponse doit réussir. Une préférence pour le style d’un texte ne suffit pas si le traitement doit conserver des engagements, retrouver des références ou préparer une action.

Je propose de construire un essai qui distingue la qualité du résultat, le coût de son obtention et les corrections nécessaires. Le classement obtenu ne vaudra que pour le périmètre réellement testé.

Choisir des cas qui représentent le travail

Exemple fictif. Une équipe veut extraire d’une demande le lieu d’intervention, le matériel concerné et les informations à confirmer. Son corpus doit comporter des demandes simples, des formulations inhabituelles et des cas incomplets.

Conservez une référence relue pour chaque cas : éléments attendus, valeurs inconnues et ajouts interdits. Deux formulations peuvent être acceptables si elles conservent le même sens. Les règles de notation doivent prévoir cette souplesse sans accepter un engagement inventé.

Réservez des cas qui ne serviront pas au réglage des consignes. Un modèle ajusté sur les exemples de démonstration doit ensuite être évalué sur ce lot distinct.

Décider ce que la comparaison doit isoler

Pour comparer les modèles avec la même consigne, gardez les mêmes entrées, les mêmes outils et le même format de sortie. Notez les versions, paramètres et limites de génération lorsque ces informations sont disponibles.

Une autre question consiste à comparer deux solutions optimisées séparément. C’est possible, mais le résultat compare alors des configurations complètes. Il faut inclure le temps de préparation et documenter leurs différences ; l’écart ne peut plus être attribué au seul modèle.

Garder une fiche par essai

Répétez les essais lorsque les sorties varient. Gardez les échecs et les interruptions dans le bilan, plutôt que de ne conserver que la meilleure réponse obtenue.

Examiner les désaccords

Présentez des résultats par type de tâche. Une variante peut mieux traiter les demandes incomplètes et moins bien conserver des références. Une moyenne unique masque ce compromis.

Quand la note automatique et la relecture humaine divergent, examinez le cas. La référence peut être imprécise, le contrôle trop strict ou la sortie réellement fausse. Corriger le barème après avoir vu les résultats exige de l’appliquer de nouveau à toutes les variantes concernées.

Choisir selon les erreurs acceptables

La décision doit préciser le périmètre retenu et les cas exclus. Un modèle légèrement plus rapide peut rester inadapté s’il produit des erreurs que l’application ne sait pas contenir.

Le benchmark de vitesse apporte une mesure complémentaire. Pour choisir une intégration, je regarderai surtout le chemin jusqu’au résultat accepté et les conditions de sa reproduction. Un petit corpus fournit des indications ; il ne certifie pas le comportement sur tous vos futurs dossiers.