Robot Belajar Menggunakan Alat Hanya Dengan Menonton

Framework Tool-as-Interface mengajarkan robot menggunakan video manusia biasa tanpa perangkat khusus.

Proses dimulai dengan dua sudut kamera yang direkonstruksi menjadi model 3D, lalu manusia dihilangkan untuk fokus pada alat.

Perspektif berpusat pada alat memungkinkan transfer keterampilan antara robot dengan konfigurasi berbeda.

Pada lima tugas eksperimen (palu, sendok, balik telur, seimbangkan botol, tendang bola), sistem mencapai 71% keberhasilan lebih tinggi dan pengumpulan data 77% lebih cepat.

Pendekatan ini terinspirasi oleh cara anak-anak belajar dengan mengamati.

Tantangan saat ini meliputi asumsi alat terpasang kaku pada gripper, kesalahan estimasi pose 6D, dan berkurangnya realisme sudut kamera sintetis.

Penelitian ini membuka potensi pembelajaran robot dari video smartphone atau YouTube tanpa teleoperasi ahli.