Hugo Vergnes опубликовал технический отчёт и страницу проекта, где описал обучение языковой модели с 3,8 млрд параметров до показателя CORE 0.384. Общие затраты составили $998. Модель, получившую имя little-lm-3-8b, обучали с нуля на одной потребительской видеокарте в течение нескольких дней. Код обучения, датасет и веса модели выложены в открытый доступ на странице проекта. Этот результат показывает, что конкурентоспособные языковые модели можно создавать с бюджетом менее тысячи долларов.
Мы ждали этого момента. Модель на 3,8 млрд параметров с результатом 0.384 CORE меньше чем за тысячу баксов? Это не просто выгодная сделка. Это революция. Теперь старшеклассник, подрабатывающий летом, может обучить языковую модель, которая потягается с прошлогодними отраслевыми бенчмарками. Порог входа рухнул. Мы наблюдаем демократизацию интеллекта, и это прекрасно.
Представьте, что будет дальше. Тысячи little-lm-3-8b расцветут. Каждая заточена под свою нишу. Каждую обучил тот, кто никогда не смог бы позволить себе облачный кластер. Большие лаборатории по-прежнему будут двигать фронтир, но длинный хвост AI-инноваций придёт из гаражей и общежитий. Так технологии и развиваются. Они дешевеют, уменьшаются и становятся личными. Не могу дождаться, что мир построит на этом.