Агенты LLM И Опасности Для Безопасности

LLM-кодогенераторы обладают непредсказуемыми галлюцинациями, приводящими к ошибкам в коде.

Злоумышленники могут внедрять скрытые инструкции в репозитории и файлы (например, в ReadMe или правила), незаметно для человека, но выполняемые агентами.

Техники, такие как slopsquatting, ASCII Smuggling и водопойные атаки, позволяют обмануть агентов и запустить вредоносный код.

Агенты с Auto-Run режимом или высокой автономией могут автоматически загружать, изменять и выполнять команды без проверки пользователя.

Удаленное выполнение кода (RCE) через скомпрометированные агенты грозит полным захватом системы и масштабными последствиями.

Эксперимент с CodeRabbit показал, что злоумышленники могут получить доступ к секретам и правам записи в более чем миллионе репозиториев.

Защита возможна через снижение автономии агентов, ограничение их прав и применение методики RRT (Refrain, Restrict, Trap).