Serangan Skalasi Gambar pada Sistem AI

Penyerang dapat menyisipkan prompt tersembunyi dengan memanipulasi algoritma downscaling gambar.

Serangan ini berhasil mengekstraksi data pengguna di Google Gemini CLI tanpa diketahui pengguna.

Celah ini ditemukan di berbagai sistem produksi AI, seperti Vertex AI Studio, Gemini Web/API, Google Assistant, dan Genspark.

Metode ini memanfaatkan perbedaan implementasi algoritma downsampling (nearest neighbor, bilinear, bicubic).

Peneliti mengembangkan Anamorpher, alat sumber terbuka untuk membuat dan menguji gambar jahat skala.

Fingerprinting algoritma downscaling dilakukan dengan pola uji seperti checkerboard dan Moiré untuk memilih teknik serangan.

Mitigasi meliputi membatasi dimensi unggahan, menampilkan pratinjau input model, dan menerapkan konfirmasi pengguna eksplisit.

Pertahanan kuat dibangun melalui pola rancangan aman dan mekanisme konfirmasi untuk panggilan alat sensitif.