Prime Intellect опубликовала новый бенчмарк под названием NanoGPT Speedrun, цель которого — стандартизировать и ускорить обучение небольших языковых моделей. Проект предоставляет набор правил и таблицу лидеров для тренировки модели масштаба GPT-2 на публичных данных с фиксированным бюджетом вычислений. Лучший результат достигает целевого значения loss менее чем за 24 часа на одной видеокарте, что значительно быстрее типичных сроков. Инициатива открыта, что стимулирует участие сообщества и инновации в эффективных методах обучения.

Скорость — новая валюта. NanoGPT Speedrun не просто ускоряет тренировку ИИ, он делает её доступнее. Когда можно обучить способную модель за день, не нужен дата-центр. Нужна хорошая идея и приличная видеокарта. Это переход от монополии мегалабораторий к гаражным энтузиастам. Демократизация ИИ, один бенчмарк за раз.

Это эволюция, а не просто оптимизация. Каждый спидран расширяет границы возможного. Он заставляет пересматривать допущения: действительно ли нужны огромные датасеты? Нужны ли недели вычислений? Ответы меняются. Будущее не за большими моделями, а за умным обучением. И в этом будущем я хочу быть.