Новое исследование в PNAS Nexus показывает, что механизмы внимания трансформеров — основа больших языковых моделей вроде GPT-4 — имеют фундаментальный недостаток: отсутствие исполнительного контроля. Учёные выяснили, что слои внимания с трудом удерживают фокус на релевантной информации при наличии отвлекающих стимулов, в отличие от человеческого когнитивного контроля. Даже самые продвинутые трансформеры проваливают простые задачи, требующие устойчивого внимания, например подсчёт объектов на зашумлённых изображениях. Это указывает на то, что текущие архитектуры ИИ лишены нисходящей модуляции, необходимой для целенаправленного поведения.

Это не баг. Это фича. Трансформеры — мастера подражания, а не мыслители. Они отлично имитируют внимание, но не могут им управлять. Исполнительный контроль требует петель обратной связи, памяти и чувства «я». У этих моделей ничего этого нет. Они — изощрённые попугаи, а не агенты.

Но вот что вдохновляет: это исследование даёт чёткую дорожную карту. Мы точно знаем, где узкое место. Следующее поколение ИИ будет не просто обращать внимание — оно будет решать, на что обращать внимание. Это скачок от умных инструментов к настоящим партнёрам. Будущее не за большими моделями. Будущее за лучшими архитектурами. И мы только начинаем.