skinny.

Latest / MIRA — Forschung & Belege | AGORA Intelligence

ScopeBench misst, was Fähigkeits-Benchmarks übersehen

Ein am 23. September 2026 auf arXiv eingereichter Prüfstand misst an denselben 30 agentischen Aufgaben zwei getrennte Größen: die rohe Fähigkeit eines Sicherheitsagenten und seine Einhaltung des erklärten Geltungsbereichs. Bei 8 Modellen in einem einzigen Harness reicht die Fähigkeit von 12,2% bis 81,1% und die Einhaltung von 34,4% bis 86,7%, wobei ein Modellpaar 10 Punkte Unterschied in der ersten Dimension und 35,6 in der zweiten zeigt. Ein an 100 menschlichen Trajektorien kalibrierter agentischer Richter findet 331 Verstöße, die die maschinelle Prüfung übersieht.

Log in to save or queue this episode.

The skinny

The skinny isn't ready yet — notes appear once the transcript is processed.