Comment nous choisissons un modèle
Un modèle ne se choisit pas à la mode. Il se choisit en l'évaluant sur les prompts du client, son coût, la résidence des données et les échecs observés. Voici comment, en toute transparence.
Nous évaluons des candidats d'OpenAI, Anthropic, Google (Gemini), DeepSeek, Z.ai (GLM), Alibaba (Qwen), Mistral et des modèles ouverts en local, sur les prompts réels du client, en espagnol, français et anglais. La règle : un modèle ne se choisit pas à la mode, mais sur les échecs observés et un coût défendable.
Le cadre avant le modèle
Cinq contraintes décident ; le classement vient après.
Choisir un modèle en 2026 ne commence pas par un leaderboard : cela commence par vos contraintes. Un modèle premier sur un benchmark anglais peut échouer sur l'espagnol de votre métier, coûter deux fois plus cher au token ou ne pas pouvoir tourner là où votre conformité l'exige.
Le cadre d'évaluation de modèles du Slash AI Lab a cinq axes : langue, code, agents, coût et confidentialité. Nous les mesurons avec les prompts du client, pas avec des tâches génériques, face au meilleur modèle générique disponible comme référence.
Comment se déroule l'évaluation
Reproductible par conception : tout le monde peut la relancer.
Nous réunissons 30 prompts fixes par client ou par secteur (de vraies tâches métier, pas des jouets) et les exécutons sur chaque candidat, dans le cloud et, quand c'est pertinent, en inférence locale.
Chaque passe mesure quatre choses : la qualité (selon des critères convenus), les échecs observés (ce qui casse quand quelque chose tourne mal), le coût par inférence et la latence p95. Le résultat est une comparaison par axe, pas une note unique.
- Prompts : 30 fixes par client, versionnés.
- Moteurs : 5 finalistes par passe, choisis parmi les candidats.
- Langues : espagnol des affaires, français et anglais.
- Sortie : une comparaison par axe et une recommandation reproductible.
Les échecs pèsent plus que les réussites
En production, la confiance se perd sur les erreurs.
Un benchmark de réussites récompense le facile. Un déploiement se décide sur ce qui arrive quand le modèle se trompe : répond-il avec une fausse assurance, invente-t-il des sources, abandonne-t-il la langue du client sous la pression ?
L'évaluation inclut donc des cas hostiles : prompts ambigus, données sales, outils en panne et questions hors périmètre. Si le modèle échoue de façon dangereuse, il retourne en conception, quel que soit son classement.
Quand un nouveau modèle sort
Un lancement est une hypothèse, pas une migration.
En 2026, les grands laboratoires publient une nouvelle version toutes les quelques semaines. Une annonce comme celle de Claude Opus 5.5 (22 septembre 2026) change la liste des candidats, pas la décision : le nouveau modèle passe par les mêmes 30 prompts avant de toucher la production.
Nous regardons d'abord le coût par tâche résolue, pas le prix au token. Un modèle plus cher au token peut revenir moins cher s'il termine le travail en moins de tentatives, et inversement.
Ce que cette étude n'est pas
Des limites déclarées, sans fumée.
Ce n'est pas un classement acheté ni sponsorisé ; elle ne couvre pas les modèles que nous ne pouvons pas soumettre à une charge réelle ; et elle ne remplace pas une évaluation sur vos propres prompts. C'est la base publique de la méthode appliquée sur chaque projet Slash.
L'essentiel
- Le cadre : langue, code, agents, coût et confidentialité, discutés dans cet ordre.
- 30 prompts fixes par client, versionnés et reproductibles.
- Les échecs observés pèsent plus que les réussites du benchmark.
- Un nouveau modèle entre comme candidat, pas comme migration automatique.
- Inférence locale quand la conformité l'exige ; réévaluation chaque trimestre.
Sources
Note éditoriale : cette analyse reflète les informations publiques disponibles à la date de révision. Modèles, prix et règles évoluent vite ; chaque donnée tierce renvoie à sa source et nos opinions sont présentées comme telles. Une erreur ? Écrivez à contact@slash-digital.io.
Les questions qu'on nous pose souvent
Quels modèles entrent dans l'évaluation ?
Des candidats d'OpenAI, Anthropic, Google, DeepSeek, Z.ai, Alibaba, Mistral et des modèles ouverts en local ; chaque passe compare cinq finalistes et la liste exacte figure dans le rapport.
Pourquoi 30 prompts ?
C'est le minimum pour séparer la chance de la constance sur de vraies tâches métier ; davantage de prompts ajoute du coût sans changer la conclusion dans la plupart des cas.
Pourquoi l'espagnol et le français ?
Parce que c'est là que les modèles cassent : l'espagnol des affaires et le français sont des langues de travail de Slash, pas des options.
Puis-je demander une passe sur mes prompts ?
Oui : une passe cadrée sur vos prompts, avec un rapport reproductible. Contactez-nous depuis la page du Slash AI Lab.
À quelle fréquence la comparaison est-elle mise à jour ?
Chaque trimestre, ou plus tôt si un lancement important le justifie.
D'autres analyses à lire
Claude Opus 5.5 : ce qui change pour les entreprises
Lancé le 22 septembre 2026 : moins cher qu'Opus 5, niveau Fable 5.1 selon Anthropic. Prix, benchmarks, changements techniques et cas d'usage.
Agents et ingénierieEvals : tester un système à base de LLM
Pourquoi tester à l'intuition échoue : jeu de référence en espagnol et en français, juges LLM calibrés, seuils bloquants en CI, outils et coût des evals.
ModèlesLa carte des modèles d'IA, octobre 2026
Claude Opus 5.5 et Sonnet 5.5, GPT-6 Astra, Gemini 4 Argon, Grok 4.7, Muse Spark : qui mène en octobre 2026, ce que coûte chaque gamme et quoi tester.
Mettons-le en production
Racontez-nous votre défi. Nous répondons sous 24 heures ouvrées avec une première lecture honnête : si nous pouvons aider, nous dirons comment ; sinon, nous dirons qui peut.
Je réponds en personne. Pas de formulaires interminables ni de réponses automatiques.