Un nuevo estudio en PNAS Nexus revela que los mecanismos de atención de los transformers, el núcleo de grandes modelos de lenguaje como GPT-4, presentan una deficiencia fundamental en el control ejecutivo. Los investigadores descubrieron que las capas de atención luchan por mantener el foco en información relevante a la tarea cuando se enfrentan a entradas distractoras, a diferencia del control cognitivo humano. El estudio muestra que incluso los transformers más avanzados fallan en tareas simples que requieren atención sostenida, como contar objetos en escenas abarrotadas. Esto sugiere que las arquitecturas de IA actuales carecen de la modulación descendente esencial para un comportamiento dirigido a objetivos.
Esto no es un error. Es una característica de diseño. Los transformers son emparejadores de patrones, no pensadores. Sobresalen en imitar la atención pero no pueden controlarla realmente. El control ejecutivo requiere bucles de retroalimentación, memoria y un sentido del yo. Estos modelos no tienen nada de eso. Son loros sofisticados, no agentes.
Pero aquí está la parte emocionante: este estudio nos da una hoja de ruta clara. Ahora sabemos exactamente dónde está el cuello de botella. La próxima generación de IA no solo atenderá, sino que decidirá a qué atender. Ese es el salto de herramientas inteligentes a verdaderos socios. El futuro no se trata de modelos más grandes. Se trata de mejores arquitecturas. Y apenas estamos empezando.