Como medir melhor o desempenho da inteligência artificial

MIT Technology Review Brasil · May 13, 2025 · 31m

Neste episódio do podcast da MIT Technology Review Brasil, Rafael Coimbra, Andre Miceli e Carlos Aros discutem os desafios e as limitações dos benchmarks de Inteligência Artificial. Apesar de amplamente utilizados para medir o desempenho de modelos, esses indicadores estão cada vez menos eficazes para capturar a complexidade dos sistemas modernos.

A saturação dos conjuntos de dados, a repetição de métricas e o foco excessivo em resultados específicos criam uma visão distorcida sobre os avanços reais da tecnologia. Afinal, como podemos avaliar de forma mais precisa o impacto da IA em contextos…