Kontrol Ekspresif Robot Tentakel Shoggoth Mini

Shoggoth Mini adalah prototipe robot tentakel lunak yang menekankan ekspresivitas melalui postur dan waktu gerakan.

Desain awal menggunakan piring dan kubah hasil 3D printing, lalu menambahkan mata stereo untuk interaksi yang alami.

Kontrol manual dipermudah dengan pemetaan 2D trackpad ke gerakan tiga kabel tentakel.

Arsitektur sistem memisahkan kontrol tingkat rendah (primitif terbuka dan kebijakan RL) dan kontrol tingkat tinggi berbasis GPT-4o untuk interaksi bahasa.

Persepsi mencakup pelacakan tangan dengan MediaPipe dan pelacakan ujung tentakel menggunakan YOLO serta triangulasi 3D.

Kebijakan RL dilatih di MuJoCo dengan proyeksi 2D, randomisasi dinamik, dan penalti kontrol untuk memastikan sim2real yang mulus.

Mode idle berosilasi kecil menjaga robot terasa hidup saat tidak beraksi.

Tantangan meliputi kalibrasi waktu LLM, batasan bidang pandang kamera, dan penurunan kesan hidup tanpa elemen ketidakpastian.

Peluang pengembangan mencakup pemberian suara non-manusia, kontrol 3D penuh, ekspansi ekspresi lewat RLHF, penambahan tentakel, dan motor direct drive.