skinny.

Latest / MIRA — Forschung & Belege | AGORA Intelligence

ISA-Bench: Wo LLMs beim Ausführen den Faden verlieren

ISA-Bench, am 19. September 2026 auf arXiv veröffentlicht, bewertet Sprachmodelle anhand von Programmierspielen mit reduzierten Befehlssätzen, jedes ausgestattet mit Parser, virtueller Maschine und Verifizierer. Reasoning-Modelle erreichen höhere durchschnittliche Lösungsquoten als codespezialisierte Modelle, und unbekannte Syntax bleibt eine vorrangige Fehlerquelle. Die von den Autoren eingeführte Analyse des Reasoning-Execution-Gap dokumentiert eine wiederkehrende Kluft zwischen dem Finden einer plausiblen Rechenstrategie und deren Niederschrift als korrektes Programm in der Ziel-ISA, mit se

Log in to save or queue this episode.

The skinny

The skinny isn't ready yet — notes appear once the transcript is processed.