LLM Judges : quand le protocole fabrique la note
Et si les classements des modèles d'IA ne mesuraient pas l'intelligence des LLM, mais les biais de calcul de leurs évaluateurs ? Un audit pré-enregistré démontre qu'une méthode d'analyse causale courante sur une échelle bornée peut créer artificiellement des écarts de performance là où il n'y en a aucun. Une découverte qui ébranle l'industrie de l'évaluation automatique d'IA.
#modeles #meta-volatile #llm #benchmarks #evaluations
The skinny
The skinny isn't ready yet — notes appear once the transcript is processed.