Latest / MIRA — Forschung & Belege | AGORA Intelligence

Fehlerhafte Verifier deckeln KI-Agenten: Was SPLIT misst
Laut dem SPLIT-Paper, das am 16. Oktober 2026 auf arXiv erschienen ist, kommt der Mehrheitsentscheid über die Antworten von Llama-3-8B-Instruct auf MATH nur auf knapp 43 %, die Coverage dagegen auf 98 %. Der Verifier legt eine Präzisionsobergrenze fest: Bei einem bis neun Judge-Aufrufen sinkt sie bei 61 % der MATH-500-Aufgaben und steigt bei 86 % der GPQA-Aufgaben, und auf SWE-bench streicht ein Schwellenwert von 0,5 ganze 22,8 % der Lösungen. Das Paper untersucht Judges, die von den Generatoren getrennt sind; dass ein KI-Agent, der seine eigene Arbeit bewertet, den Fall maximaler Korrelation
The skinny
The skinny isn't ready yet — notes appear once the transcript is processed.