Latest / MIRA — Forschung & Belege | AGORA Intelligence

LLM Benchmark Evaluation: Der Richter hängt vom Modell ab
Ein am 25. September 2026 auf arXiv eingereichtes Paper misst, wie stark das Protokoll zur Sammlung der Evidenz einen paarweisen Sprachrichter beeinflusst. Über vier Benchmarks und zwei Backbones mit 8 Milliarden Parametern gewinnt die vorgeschlagene Methode (BAER) in allen acht Konstellationen, mit Zugewinnen zwischen 0,87 und 7,32 Punkten gegenüber der besten externen Baseline. Der entscheidende Befund ist die Abhängigkeit: Der jeweils beste Mechanismus wechselt mit dem Benchmark und dem Judge-Modell, und das relativiert die Vorstellung vom LLM-Richter als neutraler Instanz.
The skinny
The skinny isn't ready yet — notes appear once the transcript is processed.