Ilmuwan komputer mengembangkan alat baru yang menghasilkan video dari teks bertema: Aplikasi yang ramah pengguna – Sains Terkini


Dalam dunia fotografer pemula dan videografer, menangkap banyak konten melalui smartphone dan perangkat genggam mereka, ada kebutuhan akan alat yang cerdas dan mudah digunakan untuk mengotomatisasi pembuatan film dan montase video. Sampai saat ini, banyak video berkualitas masih mengandalkan alat editing berbasis bingkai profesional untuk memanipulasi rekaman mentah dan menghasilkan video yang koheren dengan alur cerita yang menawan.

Tim global ilmuwan komputer, dari Universitas Tsinghua dan Beihang di Cina, Universitas Harvard di AS, dan IDC Herzliya di Israel, telah mengembangkan "Write-A-Video," alat baru yang menghasilkan video dari teks bertema. Menggunakan kata-kata dan pengeditan teks, alat ini secara otomatis menentukan adegan atau foto yang dipilih dari repositori untuk mengilustrasikan alur cerita yang diinginkan. Alat ini memungkinkan pengguna pemula untuk menghasilkan montase video berkualitas dengan cara yang sederhana dan ramah pengguna yang tidak memerlukan produksi video profesional dan keterampilan mengedit.

Tim akan mempresentasikan hasil kerja mereka di ACM SIGGRAPH Asia, yang diadakan 17-20 November di Brisbane, Australia. SIGGRAPH Asia, sekarang memasuki tahun ke-12, menarik orang-orang teknis dan kreatif yang paling dihormati dari seluruh dunia dalam grafik komputer, animasi, interaktivitas, permainan, dan teknologi yang muncul.

Sementara alat pengeditan video yang ada masih menuntut pengetahuan dalam pemrosesan dan pengeditan video, metode baru para peneliti memungkinkan para pemula untuk membuat video yang menceritakan kisah secara lebih alami. Write-A-Video, kata para peneliti, memungkinkan pengguna untuk membuat montase video hanya dengan mengedit teks yang menyertai video. Misalnya, menambahkan atau menghapus teks, dan memindahkan kalimat di sekitar konversi ke operasi penyuntingan video, seperti menemukan bidikan yang sesuai, memotong dan mengatur ulang bidikan, dan menciptakan hasil montase video akhir.

"Write-A-Video menggunakan kemajuan terkini dalam pemahaman video otomatis dan antarmuka pengguna yang unik untuk memungkinkan pembuatan video yang lebih alami dan lebih sederhana," kata Profesor Ariel Shamir, Dekan Fakultas Ilmu Komputer Efi Arazi di IDC Herzliya. "Dengan alat kami, pengguna memberikan input sebagian besar dalam bentuk pengeditan teks. Alat ini secara otomatis mencari foto kandidat yang cocok secara semantik dari repositori video, dan kemudian menggunakan metode optimisasi untuk menyusun montase video dengan memotong dan menyusun ulang pengambilan gambar secara otomatis . "

"Write-A-Video juga memungkinkan pengguna untuk mengeksplorasi gaya visual untuk setiap adegan menggunakan idiom sinematografi yang menghasilkan, misalnya, film yang lebih cepat atau lebih lambat, lebih sedikit atau lebih banyak gerakan konten, dll." menjelaskan Dr. Miao Wang dari Universitas Beihang.

Saat memilih kandidat pemotretan dari repositori video, metode ini juga mempertimbangkan daya tarik estetika dari pemotretan, memilih pemotretan yang idealnya menyala, yang fokus dengan baik dan tidak buram atau tidak stabil. "Kapan saja, pengguna dapat membuat film dan melihat pratinjau hasil montase video dengan narasi voice-over yang menyertainya." kata Profesor Shi-Min Hu dari Universitas Tsinghua.

Penelitian tim menunjukkan bahwa alat digital cerdas yang menggabungkan kemampuan manusia dan algoritma bersama-sama dapat membantu pengguna dalam proses kreatif. "Pekerjaan kami menunjukkan potensi pencocokan semantik visual otomatis dalam pengeditan komputasi berbasis idiom, menawarkan cara cerdas untuk membuat pembuatan video lebih mudah diakses oleh non-profesional," kata Shamir.

Untuk penelitian ini, pendekatan tersebut diuji pada berbagai bagian dari repositori teks dan video bertema, dengan evaluasi kuantitatif dan studi pengguna. Pengguna tanpa pengalaman mengedit video dapat menghasilkan video yang memuaskan menggunakan alat Tulis-A-Video, kadang-kadang bahkan lebih cepat daripada para profesional yang menggunakan perangkat lunak pengeditan berbasis bingkai. Di SIGGRAPH Asia, tim akan mendemonstrasikan aplikasi Write-A-Video dan menampilkan berbagai contoh produksi teks-ke-video.

Tim ini termasuk Miao Wang (Lab Kunci Negara Teknologi dan Sistem Realitas Virtual / Universitas Beihang dan Universitas Tsinghua); Guo-Wei Yang (BNRist / Universitas Tsinghua); Shi-Min Hu (BNRist / Universitas Tsinghua); Shing-Tung Yau (Harvard) dan Ariel Shamir (IDC Herzliya, Israel).

Video yang menggambarkan proyek dapat dilihat di sini: https://vimeo.com/357657704

You may also like...

Leave a Reply

This site uses Akismet to reduce spam. Learn how your comment data is processed.