Sistem augmented reality baru memungkinkan pengguna ponsel pintar dengan objek virtual – Sains Terkini


Sebuah sistem perangkat lunak baru yang dikembangkan oleh para peneliti Brown University mengubah ponsel menjadi portal augmented reality, memungkinkan pengguna untuk menempatkan blok bangunan virtual, furnitur, dan benda-benda lain ke latar belakang dunia nyata, dan menggunakan tangan mereka untuk memanipulasi objek-objek itu seolah-olah mereka benar-benar ada di sana.

Para pengembang berharap sistem baru, yang disebut Portal-ble, bisa menjadi alat bagi seniman, desainer, pengembang game, dan lainnya untuk bereksperimen dengan augmented reality (AR). Tim akan mempresentasikan hasil kerja akhir bulan ini di Simposium ACM tentang Perangkat Lunak dan Teknologi Antarmuka Pengguna (UIST 2019) di New Orleans. Kode sumber untuk Andriod tersedia secara bebas untuk diunduh di situs peneliti, dan kode iPhone akan segera menyusul.

"AR akan menjadi mode interaksi baru yang hebat," kata Jeff Huang, asisten profesor ilmu komputer di Brown yang mengembangkan sistem dengan murid-muridnya. "Kami ingin membuat sesuatu yang membuat AR portabel sehingga orang dapat menggunakan di mana saja tanpa headset besar. Kami juga ingin orang dapat berinteraksi dengan dunia virtual dengan cara alami menggunakan tangan mereka."

Huang mengatakan ide untuk interaksi "hands-on" Portal-ble muncul dari beberapa frustrasi dengan aplikasi AR seperti Pokemon GO. Aplikasi AR menggunakan smartphone untuk menempatkan objek virtual (seperti karakter Pokemon) ke dalam adegan dunia nyata, tetapi berinteraksi dengan objek tersebut mengharuskan pengguna untuk menggesek layar.


"Menggesek saja bukan cara yang memuaskan untuk berinteraksi," kata Huang. "Di dunia nyata, kita berinteraksi dengan benda-benda dengan tangan kita. Kita memutar kenop pintu, mengambil barang-barang dan melempar barang-barang. Jadi kami pikir memanipulasi benda-benda virtual dengan tangan akan jauh lebih kuat daripada menggesekkan. Itulah yang berbeda dengan Portal-ble."

Platform ini menggunakan sensor inframerah kecil yang dipasang di bagian belakang ponsel. Sensor melacak posisi tangan orang dalam kaitannya dengan objek virtual, memungkinkan pengguna untuk mengambil objek, mengubah, menumpuknya, atau menjatuhkannya. Ini juga memungkinkan orang menggunakan tangan mereka untuk secara virtual "melukis" ke latar belakang dunia nyata. Sebagai demonstrasi, Huang dan murid-muridnya menggunakan sistem untuk melukis taman virtual ke ruang hijau di kampus Brown's College Hill.

Huang mengatakan kontribusi teknis utama dari pekerjaan itu adalah mengembangkan akomodasi yang tepat dan alat umpan balik untuk memungkinkan orang berinteraksi secara intuitif dengan objek virtual.

"Ternyata mengambil benda virtual sangat sulit jika Anda mencoba menerapkan fisika dunia nyata," kata Huang. "Orang-orang mencoba meraih di tempat yang salah, atau mereka meletakkan jari-jarinya di benda-benda. Jadi kita harus mengamati bagaimana orang-orang mencoba berinteraksi dengan benda-benda ini dan kemudian membuat sistem kita mampu mengakomodasi kecenderungan itu."

Untuk melakukan itu, Huang meminta siswa di kelas yang dia ajar untuk membuat tugas yang mungkin ingin mereka lakukan di dunia AR – menumpuk satu set balok, misalnya. Para siswa kemudian meminta orang lain untuk mencoba melakukan tugas-tugas itu menggunakan Portal-ble, sambil mencatat apa yang bisa dilakukan orang dan apa yang tidak bisa mereka lakukan. Mereka kemudian dapat menyesuaikan fisika sistem dan antarmuka pengguna untuk membuat interaksi lebih sukses.

"Ini sedikit seperti apa yang terjadi ketika orang menggambar garis di Photoshop," kata Huang. "Garis-garis yang digambar orang tidak pernah sempurna, tetapi program ini dapat melicinkannya dan membuatnya menjadi sangat lurus. Itu adalah jenis akomodasi yang kami coba buat dengan benda-benda virtual ini."

Tim juga menambahkan umpan balik indera – sorotan visual pada objek dan getaran telepon – untuk membuat interaksi lebih mudah. Huang mengatakan dia agak terkejut bahwa getaran telepon membantu pengguna berinteraksi. Pengguna merasakan getaran di tangan yang mereka gunakan untuk memegang telepon, bukan di tangan yang benar-benar meraih benda virtual. Meski begitu, kata Huang, umpan balik getaran masih membantu pengguna untuk lebih berhasil berinteraksi dengan objek.


Dalam studi tindak lanjut, pengguna melaporkan bahwa akomodasi dan umpan balik yang digunakan oleh sistem membuat tugas secara signifikan lebih mudah, kurang memakan waktu dan lebih memuaskan.

Huang dan murid-muridnya berencana untuk terus bekerja dengan Portal-ble – memperluas perpustakaan objeknya, menyempurnakan interaksi dan mengembangkan kegiatan baru. Mereka juga berharap untuk merampingkan sistem untuk membuatnya berjalan sepenuhnya di telepon. Saat ini sensor inframerah memerlukan sensor inframerah dan stik penghitung eksternal untuk kekuatan pemrosesan ekstra.

Huang berharap orang-orang akan mengunduh kode sumber yang tersedia secara bebas dan mencobanya sendiri.

"Kami benar-benar hanya ingin meletakkan ini di sana dan melihat apa yang dilakukan orang dengan itu," katanya. "Kode ini ada di situs web kami untuk diunduh, diedit, dan dikembangkan oleh orang lain. Akan menarik untuk melihat apa yang dilakukan orang dengan kode itu."

Lihat video Portal-ble dalam aksi: https://youtu.be/ZYMjhKMpNXk

Rekan penulis pada makalah penelitian adalah Jing Qian, Jiaju Ma, Xiangyu Li, Benjamin Attal, Haoming Lai, James Tompkin dan John Hughes. Pekerjaan itu didukung oleh National Science Foundation (IIS-1552663) dan oleh hadiah dari Pixar.

You may also like...

Leave a Reply

This site uses Akismet to reduce spam. Learn how your comment data is processed.