Benchmarks IA : quand la question fausse la réponse du modèle
Demander à un modèle de vision-langage d'expliquer ce que voit son interlocuteur avant d'agir devrait l'aider à ne pas se tromper. Une étude publiée le 21 octobre 2026 montre exactement l'inverse : sur six modèles GPT, cette simple question préalable fait bondir le taux d'erreur jusqu'à 88 points de pourcentage. En croisant la réactivité des questionnaires et le test logiciel, cet épisode décortique pourquoi nos protocoles d'évaluation modifient parfois le comportement qu'ils prétendent mesurer.
#modeles #meta-evergreen #benchmarks #evaluation #multimodal
The skinny
The skinny isn't ready yet — notes appear once the transcript is processed.