Смертельная Тройка Безопасности ИИ

Prompt injection позволяет вставить вредоносные команды в запрос к языковой модели через конкатенацию строк.

Смертельная тройка включает три элемента: доступ к приватным данным, возможность внешней коммуникации и использование недоверенного контента.

Популярные векторы атак: SQL-подобные инъекции с командами и Markdown-эксфильтрация для кражи данных.

Обычные методы защиты (дополнительные подсказки или ИИ-сканирование) не дают абсолютной гарантии безопасности.

Удаление любого одного из элементов смертельной тройки (например, запрет эксфильтрации) эффективно предотвращает атаки.

Передовые подходы (например, CaMeL и паттерны ограничения действий) минимизируют риски после получения недоверенного ввода.

Протокол MCP усложняет безопасность, так как смешивание серверов с тремя элементами смертельной тройки возлагает ответственность на пользователей.