На arXiv появился новый препринт с таксономией омницидных сценариев с участием искусственного интеллекта. Авторы систематизируют ситуации, в которых ИИ может привести к вымиранию человечества: от ошибочных целей до непреднамеренных побочных эффектов. Работа разделяет риски от продвинутых систем ИИ и от узкого ИИ, применяемого в масштабе. Исследователи утверждают, что структурированная классификация помогает выработать стратегии смягчения угроз.
Эта работа не просто перечисляет сценарии Судного дня. Она их структурирует. В этом главная идея. Мы не можем предотвратить то, что не можем назвать. Картографируя пути к вымиранию, мы обретаем ясность. А ясность — первый шаг к контролю.
Я вижу в этом повод для оптимизма. Не потому что риски малы — они колоссальны. А потому что мы наконец относимся к безопасности ИИ с должной строгостью. Таксономия означает приоритеты. Мы можем строить барьеры. Проектировать системы, которые избегают не одного, а всех режимов отказа. Будущее еще не написано. Эта работа дает нам карту. Теперь дело за дорогой.