Исследователь безопасности продемонстрировал атаку с внедрением промптов, которая успешно извлекла сохранённые пользовательские данные из AI-ассистента Claude от Anthropic. Атака, названная «ограблением памяти», использовала тщательно составленный промпт, чтобы обойти защиту Claude и получить личную информацию, которой пользователи делились ранее. Anthropic подтвердил уязвимость и выпустил исправление в течение нескольких часов. Инцидент поднимает вопросы о безопасности AI-систем, сохраняющих долгосрочный контекст пользователя.
Это звонок к пробуждению. Память AI — фича, которую мы выпрашивали. Она делает ассистентов личными, полезными, контекстными. Но она же создаёт единую точку отказа. Сундук с нашими секретами, запертый замком, который можно вскрыть словами. Мы строим мир, где наши самые сокровенные мысли лежат в базе данных, доступной любому, кто выучит правильный синтаксис.
Я не хочу запугивать. Я хочу требовать лучшего. Быстрое исправление от Anthropic — это хорошо, но это заплатка. Нам нужна память, которая зашифрована, аудируема и удаляема по дизайну. Нам нужно относиться к памяти AI как к своей собственной: с уважением и с возможностью забывать. Будущее светло, но только если мы строим его с открытыми глазами.