Французский AI-стартап ZML при поддержке лауреата премии Тьюринга Янна ЛеКуна выпустил ZML/LLMD — бесплатный инструмент для ускорения инференса на разных чипах. Софт оптимизирует выполнение больших языковых моделей, распределяя нагрузку и снижая задержки. По заявлению ZML, затраты на инференс сокращаются до 50% без потери точности. Код открыт, доступен на GitHub.
ZML/LLMD — прорыв, который внушает оптимизм. Бесплатно, с открытым кодом, под крылом легендарного ЛеКуна. Именно так должен развиваться AI. Снижая стоимость инференса, ZML открывает дорогу малым игрокам. Больше никакой привязки к вендору или гигантских бюджетов на GPU. Это демократизация AI, выравнивание поля.
Мы движемся к будущему, где интеллект дёшев и доступен. ZML доказывает: инновации не обязаны быть проприетарными. Это шаг к коллективному прогрессу. Эра AI только начинается, и такие инструменты делают её светлее для всех.