Platform prediksi baru bertujuan menjadikan penelitian ilmu sosial lebih transparan – Sains Terkini


Mereka mengatakan bahwa tinjau balik adalah 20-20, dan mungkin tidak ada yang lebih benar daripada dalam penelitian akademik.

"Kita semua memiliki pengalaman berdiri untuk menyajikan serangkaian temuan baru, sering kali dibangun di atas kerja bertahun-tahun, dan seseorang di antara hadirin berkata, 'Tapi kita sudah tahu ini!'," Kata Prof. Stefano DellaVigna, seorang ekonom perilaku dengan penunjukan bersama di Departemen Ekonomi dan Berkeley Haas. "Tetapi dalam sebagian besar kasus ini, seseorang akan mengatakan hal yang sama seandainya kita menemukan hasil sebaliknya. Kita semua 20-20, setelah fakta."

DellaVigna memiliki obat untuk jenis quarterbacking Senin pagi akademik: platform prediksi untuk menangkap kebijaksanaan konvensional sebelum studi dijalankan.

Bersama dengan rekan-rekan Devin Pope dari Booth School of Business University of Chicago dan Eva Vivalt dari Research School of Economics di Australian National University, dia meluncurkan situs beta yang akan memungkinkan para peneliti, mahasiswa PhD, dan bahkan anggota masyarakat umum untuk meninjau mengusulkan proyek penelitian dan membuat prediksi tentang hasilnya.

Usulan mereka, dituangkan dalam sebuah artikel di IlmuForum Kebijakan, adalah bagian dari gelombang upaya untuk meningkatkan kekakuan dan kredibilitas penelitian ilmu sosial. Reformasi ini dipicu oleh krisis replikasi – kegagalan mereproduksi hasil dari banyak studi yang diterbitkan – dan termasuk upaya massa untuk mereplikasi studi serta platform untuk pra-pendaftaran desain penelitian dan hipotesis.

"Kami pikir ada sesuatu yang penting yang bisa diperoleh dengan memiliki catatan tentang apa yang orang yakini sebelum hasilnya diketahui, dan para ilmuwan sosial tidak pernah melakukan itu secara sistematis," kata DellaVigna, yang ikut mengarahkan Prakarsa Berkeley untuk Ekonomi Perilaku. dan Keuangan. "Ini tidak hanya akan membantu kami mengidentifikasi hasil yang benar-benar mengejutkan, tetapi juga akan membantu meningkatkan desain eksperimental dan akurasi perkiraan."

Karena sains dibangun dengan sendirinya, orang menafsirkan hasil baru berdasarkan apa yang sudah mereka ketahui. Keuntungan dari platform prediksi adalah bahwa hal itu akan membantu mengidentifikasi dengan lebih baik hasil yang benar-benar mengejutkan, bahkan dalam kasus di mana ada temuan nol – yang jarang dipublikasikan karena biasanya tidak dianggap signifikan, para peneliti berpendapat.

"Pengumpulan prakiraan sebelumnya dari hasil penelitian dapat memerangi bias ini dengan membuat hasil nol lebih menarik, karena mereka mungkin menunjukkan penyimpangan dari kebijaksanaan yang diterima," tulis Vivalt dalam sebuah artikel tentang proposal dalam The Conversation.

Platform prediksi penelitian juga akan membantu mengukur seberapa akurat sebenarnya para ahli di bidang-bidang tertentu. Sebagai contoh, DellaVigna dan Paus mengumpulkan prediksi dari para ahli akademis pada 18 percobaan yang berbeda untuk menentukan efektivitas "dorongan" versus insentif moneter dalam memotivasi pekerja untuk melakukan tugas online. Mereka menemukan para ahli cukup akurat, tetapi tidak ada perbedaan antara fakultas yang sangat dikutip dan fakultas lain, dan bahwa mahasiswa PhD melakukan yang terbaik.

Memahami di mana ada konsensus umum juga dapat membantu para peneliti merancang pertanyaan penelitian yang lebih baik, untuk mendapatkan fenomena yang kurang dipahami, para penulis tunjukkan. Mengumpulkan banyak prediksi juga akan membuka area penelitian potensial baru tentang apakah orang memperbarui keyakinan mereka setelah hasil baru diketahui.

Membuat prediksi pada platform akan membutuhkan survei sederhana 5 hingga 15 menit, kata DellaVigna. Perkiraan akan didistribusikan kepada peneliti setelah data dikumpulkan, dan hasil penelitian akan dikirim ke peramal pada akhir penelitian.

Berkeley Haas, Prof. Don Moore, yang telah menjadi pemimpin dalam mengadvokasi metode penelitian yang lebih transparan dan keras dan melatih generasi peneliti berikutnya, mengatakan platform prediksi "dapat membawa perubahan yang kuat dan konstruktif pada cara kita berpikir tentang hasil penelitian. Satu dari kekuatan besarnya adalah bahwa ia memanfaatkan kebijaksanaan dari kerumunan, berpotensi memanfaatkan pengetahuan kolektif dari suatu bidang untuk membantu membangun konsensus ilmiah di mana hasil penelitian baru dapat dibangun. "

You may also like...

Leave a Reply

This site uses Akismet to reduce spam. Learn how your comment data is processed.