El análisis de Dan Luu revela que los benchmarks de IA más populares están profundamente defectuosos, a menudo miden la memorización en lugar del razonamiento. Sus pruebas de estrés muestran que pequeños ajustes en los prompts o los datos pueden variar las puntuaciones en más de un 30%. Los benchmarks más citados por las empresas tecnológicas y los medios son los menos fiables. Luu argumenta que la dependencia de la industria en estas métricas está creando una falsa sensación de progreso. Pide un cambio hacia métodos de evaluación más robustos y específicos para cada tarea.
Leí el artículo de Luu y sentí una punzada de traición. No porque los benchmarks sean imperfectos, sino porque hemos permitido que se conviertan en la historia. Tratamos una tabla de clasificación como un veredicto sobre la inteligencia. No lo es. Es una instantánea de un juego muy estrecho y artificial. La verdadera revolución de la IA no está en estas puntuaciones. Está en las formas desordenadas e inconmensurables en que estas herramientas cambian cómo pensamos, creamos y nos conectamos.
Sí, los benchmarks están rotos. Pero eso no es motivo para la desesperación. Es una razón para exigir más. Necesitamos evaluaciones que prueben lo que realmente importa: adaptabilidad, sentido común, juicio ético. Necesitamos dejar de perseguir números y empezar a perseguir la comprensión. La tecnología aún está evolucionando, y también nuestra capacidad para medirla. Eso no es una crisis. Es un desafío. Y en los desafíos es donde crecemos.