Carnegie Mellon membangun kumpulan data yang menangkap interaksi suara, aksi, visi – Sains Terkini

Orang jarang menggunakan hanya satu indra untuk memahami dunia, tetapi robot biasanya hanya mengandalkan penglihatan dan, semakin, sentuhan. Peneliti Universitas Carnegie Mellon menemukan bahwa persepsi robot dapat meningkat secara nyata dengan menambahkan indera lain: pendengaran.

Dalam apa yang mereka katakan sebagai studi skala besar pertama tentang interaksi antara suara dan aksi robotik, para peneliti di Institut Robotika CMU menemukan bahwa suara dapat membantu robot membedakan antara objek, seperti obeng logam dan kunci pas logam. Pendengaran juga dapat membantu robot menentukan jenis tindakan yang menyebabkan suara dan membantu mereka menggunakan suara untuk memprediksi sifat fisik objek baru.

"Banyak pekerjaan pendahuluan di bidang lain menunjukkan bahwa suara bisa berguna, tapi tidak jelas seberapa berguna suara itu dalam robotika," kata Lerrel Pinto, yang baru-baru ini mendapatkan gelar Ph.D. dalam bidang robotika di CMU dan akan bergabung dengan fakultas di Universitas New York musim gugur ini. Dia dan koleganya menemukan tingkat kinerja yang cukup tinggi, dengan robot yang menggunakan suara berhasil mengklasifikasikan objek sebanyak 76 persen.


Hasilnya sangat menggembirakan, tambahnya, yang mungkin berguna untuk melengkapi robot masa depan dengan tongkat berinstrumen, memungkinkan mereka untuk mengetuk objek yang ingin mereka identifikasi.

Para peneliti mempresentasikan temuan mereka bulan lalu selama konferensi Ilmu dan Sistem Robotika virtual. Anggota tim lainnya termasuk Abhinav Gupta, profesor robotika, dan Dhiraj Gandhi, mantan mahasiswa master yang sekarang menjadi ilmuwan riset di lab Facebook Artificial Intelligence Research di Pittsburgh.

Untuk melakukan studi mereka, para peneliti membuat kumpulan data besar, secara bersamaan merekam video dan audio dari 60 objek umum – seperti balok mainan, perkakas tangan, sepatu, apel dan bola tenis – saat mereka meluncur atau berguling-guling di sekitar nampan dan menabrak. sisi-sisinya. Mereka telah merilis kumpulan data ini, membuat katalog 15.000 interaksi, untuk digunakan oleh peneliti lain.

Tim menangkap interaksi ini menggunakan peralatan eksperimental yang mereka sebut Tilt-Bot – baki persegi yang dipasang di lengan robot Sawyer. Ini adalah cara yang efisien untuk membangun kumpulan data yang besar; mereka dapat menempatkan objek di nampan dan membiarkan Sawyer menghabiskan beberapa jam memindahkan baki ke arah acak dengan berbagai tingkat kemiringan saat kamera dan mikrofon merekam setiap tindakan.

Mereka juga mengumpulkan beberapa data di luar nampan, menggunakan Sawyer untuk mendorong objek ke permukaan.

Meskipun ukuran kumpulan data ini belum pernah terjadi sebelumnya, peneliti lain juga telah mempelajari bagaimana agen cerdas dapat mengumpulkan informasi dari suara. Misalnya, Oliver Kroemer, asisten profesor robotika, memimpin penelitian tentang penggunaan suara untuk memperkirakan jumlah bahan granular, seperti nasi atau pasta, dengan mengguncang wadah, atau memperkirakan aliran bahan tersebut dari sendok.

Pinto mengatakan bahwa kegunaan suara untuk robot tidak mengherankan, meskipun dia dan yang lainnya terkejut dengan betapa bermanfaatnya suara itu. Mereka menemukan, misalnya, bahwa robot dapat menggunakan apa yang dipelajarinya tentang suara dari sekumpulan objek untuk membuat prediksi tentang properti fisik objek yang sebelumnya tidak terlihat.


Saya pikir apa yang benar-benar menarik adalah ketika gagal, itu akan gagal pada hal-hal yang Anda harapkan akan gagal, katanya. Misalnya, robot tidak dapat menggunakan suara untuk membedakan antara balok merah atau balok hijau. "Tapi jika itu adalah benda yang berbeda, seperti balok versus cangkir, ia bisa mengetahuinya."

Badan Proyek Penelitian Lanjutan Pertahanan dan Kantor Penelitian Angkatan Laut mendukung penelitian ini.

Referensi:

Bahan disediakan oleh Universitas Carnegie Mellon. Asli ditulis oleh Byron Spice. Catatan: Konten dapat diedit untuk gaya dan panjangnya.

You may also like...

Leave a Reply

This site uses Akismet to reduce spam. Learn how your comment data is processed.