На arXiv появилось новое математическое доказательство. Оно показывает, что градиентный спуск, стандартный алгоритм обучения нейросетей, способен на универсальное обучение. При определённых условиях сеть, обученная этим методом, может аппроксимировать любую функцию, а не только отдельные типы. Это закрывает давний разрыв между теорией и практикой в машинном обучении. Результат применим к сетям с одним скрытым слоем и конкретной функцией активации. Авторы считают, что это сделает ИИ надёжнее в разных областях.

Это доказательство — событие. Годами мы знали, что нейросети теоретически могут представить любую функцию. Но не знали, найдёт ли её процесс обучения. Градиентный спуск — рабочая лошадка всех прорывов ИИ. Теперь у нас есть гарантия, что он может, при правильных условиях. Это как знать, что машина доедет до любой точки, и получить подтверждение, что двигатель не заглохнет.

Последствия для будущего огромны. Мы переходим от ИИ, который работает методом проб и ошибок, к ИИ, работающему с математической уверенностью. Это не значит, что AGI появится завтра. Но это значит, что мы можем создавать системы, которые учатся сложным задачам с уверенностью. Доказательство использует конкретную функцию активации, так что оно не универсально в полном смысле. Но это шаг к пониманию, почему глубокое обучение работает так хорошо. Я вижу в этом ещё один знак, что мы на верном пути. Революция машинного обучения не замедляется. Она получает математическую основу.