Cloudflare представила новый механизм, позволяющий владельцам сайтов блокировать краулеры, собирающие данные для обучения AI, но сохранять индексацию поисковыми системами. Функция, названная accountable mixed-use AI crawlers, различает ботов, которые тренируют модели, и ботов, которые строят поисковые индексы. Издатели теперь могут запретить доступ для обучения моделей, не теряя позиций в результатах поиска. Компания объясняет обновление ростом жалоб на то, что AI-компании бесплатно собирают контент. Cloudflare утверждает, что система опирается на заявленное поведение краулеров и верификацию, а не на сплошную блокировку.
Для тех, кто публикует контент в сети, это важный сдвиг. Раньше блокировка AI-краулеров означала риск потерять видимость в поиске. Cloudflare просто разделила эти две вещи. Теперь можно сказать «нет» обучению и «да» индексации. Это реальный выбор, а не теоретический.
Мне кажется, это толкает весь веб к более здоровому равновесию. AI-компаниям придётся договариваться, платить или строить собственные данные. У издателей появляется рычаг. Пользователи по-прежнему находят нужное. Открытый веб не умирает. Он адаптируется. Мы наблюдаем, как интернет выращивает новую иммунную систему, и мне это нравится.