Comment nous choisissons un modèle

Le cadre avant le modèle

Cinq contraintes décident ; le classement vient après.

Choisir un modèle en 2026 ne commence pas par un leaderboard : cela commence par vos contraintes. Un modèle premier sur un benchmark anglais peut échouer sur l'espagnol de votre métier, coûter deux fois plus cher au token ou ne pas pouvoir tourner là où votre conformité l'exige. Et les classements ne concordent pas : le 27 octobre 2026, Gemini 4 Argon menait le tableau texte d'Arena (votes d'utilisateurs), Claude Opus 5.5 l'indice d'Artificial Analysis et GPT-6 Astra le test ARC-AGI-2.

Le cadre d'évaluation de modèles du Slash AI Lab a cinq axes : langue, code, agents, coût et confidentialité. Nous les mesurons avec les prompts du client, pas avec des tâches génériques, face au meilleur modèle générique disponible comme référence.

Comment se déroule l'évaluation

Reproductible par conception : tout le monde peut la relancer.

Nous réunissons 30 prompts fixes par client ou par secteur (de vraies tâches métier, pas des jouets) et les exécutons sur chaque candidat, dans le cloud et, quand c'est pertinent, en inférence locale.

Chaque passe mesure quatre choses : la qualité (selon des critères convenus), les échecs observés (ce qui casse quand quelque chose tourne mal), le coût par inférence et la latence p95. Le résultat est une comparaison par axe, pas une note unique.

• Prompts : 30 fixes par client, versionnés.
• Moteurs : 5 finalistes par passe, choisis parmi les candidats.
• Langues : espagnol des affaires, français et anglais.
• Sortie : une comparaison par axe et une recommandation reproductible.

Les échecs pèsent plus que les réussites

En production, la confiance se perd sur les erreurs.

Un benchmark de réussites récompense le facile. Un déploiement se décide sur ce qui arrive quand le modèle se trompe : répond-il avec une fausse assurance, invente-t-il des sources, abandonne-t-il la langue du client sous la pression ?

L'évaluation inclut donc des cas hostiles : prompts ambigus, données sales, outils en panne et questions hors périmètre. Si le modèle échoue de façon dangereuse, il retourne en conception, quel que soit son classement.

Quand un nouveau modèle sort

Un lancement est une hypothèse, pas une migration.

En 2026, les grands laboratoires publient une nouvelle version toutes les quelques semaines : rien qu'en octobre sont arrivés Claude Haiku 5.5 (le 7), Gemini 4 Argon (disponible pour tous le 13) et GPT-6.1 Terra (le 26). Chaque annonce change la liste des candidats, pas la décision : le nouveau modèle passe par les mêmes 30 prompts avant de toucher la production.

Nous regardons d'abord le coût par tâche résolue, pas le prix au token. Un modèle plus cher au token peut revenir moins cher s'il termine le travail en moins de tentatives ou avec moins de tokens, et inversement. Exemple public : GPT-6 Astra coûte 2,5 fois plus par token que Claude Opus 5.5, mais en effort maximal Artificial Analysis lui mesure 6,24 $ par tâche de son indice contre 10,04 $ pour Opus 5.5, car il génère 54 millions de tokens contre 220 millions.

Ce que cette étude n'est pas

Des limites déclarées, sans fumée.

Ce n'est pas un classement acheté ni sponsorisé ; elle ne couvre pas les modèles que nous ne pouvons pas soumettre à une charge réelle ; et elle ne remplace pas une évaluation sur vos propres prompts. C'est la base publique de la méthode appliquée sur chaque projet Slash.