
METR et horizons IA : dix fois plus long, dix fois plus dur ?
Mesurer l'autonomie des agents IA au chronomètre humain est tentant, mais que signifie vraiment franchir un cap de 30 minutes ou de 5 heures ? Une réévaluation statistique des données de METR montre que la difficulté perçue ne suit pas une droite parfaite, rendant certains gains temporels bien plus faciles que d'autres. Faut-il abandonner cet indicateur intuitif ou simplement apprendre à le calibrer pour mieux investir ?
#modeles #meta-evergreen #benchmarks #agents
The skinny
The skinny isn't ready yet — notes appear once the transcript is processed.