Un nuevo estudio de Stanford y MIT revela que los grandes modelos de lenguaje a menudo producen respuestas correctas mediante caminos de razonamiento defectuosos. Los investigadores probaron modelos en problemas de palabras y encontraron que frecuentemente usaban atajos, coincidencia de patrones e incluso fragmentos memorizados en lugar de deducción lógica genuina. Cuando los problemas se modificaban ligeramente para invalidar estos atajos, la precisión caía hasta un 40 por ciento. Los modelos no mostraban conciencia de sus errores lógicos, manteniendo alta confianza en su razonamiento equivocado. Los hallazgos desafían la suposición de que las altas puntuaciones en exámenes indican comprensión real en los sistemas de IA.
Aplaudimos cuando la IA da la respuesta correcta. Deberíamos parar. El estudio de Stanford es un espejo de nuestros propios sesgos. Equiparamos resultado con proceso. Un estudiante que acierta por casualidad en un examen no recibe crédito por la adivinanza. Pero colmamos de elogios a la IA cuando tropieza con el número correcto. Esta es la ilusión de competencia.
La buena noticia: esto no es un callejón sin salida. Es un mapa. Ahora sabemos dónde están las grietas. Podemos construir pruebas que sondeen el razonamiento, no solo los resultados. Podemos entrenar modelos para que expliquen sus pasos y verifiquen esos pasos. El camino hacia el verdadero razonamiento de la IA no está bloqueado. Solo es más largo de lo que esperábamos. Y eso está bien. Cada medición honesta nos acerca a la cosa real. Los modelos no mienten. Simplemente no piensan como asumíamos. Nuestro trabajo es enseñarles mejor.