Survei kepercayaan dua pertanyaan Facebook masuk akal. Hasilnya akan tetap bias

Organisasi berita meragukan ketika Facebook diumumkan minggu lalu yang akan menyoroti 'sumber terpercaya' berita berdasarkan umpan balik masyarakat. Bagaimanapun, komunitas Facebook-lah yang mendorong cerita 'berita palsu' dan terkait dengan Rusia bot selama siklus pemilu terakhir.

Tetapi para jurnalis menjadi sangat marah ketika raksasa media sosial itu kemudian mengkonfirmasi bahwa survei itu hanya terdiri dari dua pertanyaan.

Inilah surveinya (melalui Umpan Buzz ):

Menanggapi pengguna lain di Twitter, wakil presiden manajemen produk Facebook, Adam Mosseri, membela Survei.

“Saya mengerti bahwa beberapa orang mungkin menolak betapa sederhananya survei, tetapi survei yang rumit dapat membingungkan dan memberi sinyal bias, dan pola yang bermakna dapat muncul dari survei yang luas,” katanya.

Meskipun survei memiliki masalah, Mosseri ada benarnya. Formatnya sejalan dengan bagaimana peneliti lain mungkin mencoba menilai kepercayaan. Steven S. Smith, seorang profesor ilmu politik dan direktur Weidenbaum Center di Universitas Washington di St. Louis, menyebutnya “tidak terlalu buruk.”

“Jika mereka memiliki kumpulan yang lebih besar dan kumpulan itu cukup komprehensif, dan jika sebuah situs web dipilih secara acak untuk setiap responden, mereka masih akan mendapatkan sampel pengguna yang sangat besar dan itu bukan strategi yang buruk. Banyak dari ini dalam bisnis survei melakukan itu sepanjang waktu, ”kata Smith.

Kumpulan pertanyaan yang panjang menghasilkan lebih sedikit tanggapan. Menjalankan survei yang lebih pendek di petak yang lebih luas dari orang-orang yang beragam adalah cara yang valid untuk mendapatkan lebih banyak tanggapan. Dengan asumsi bahwa pengguna melihat pilihan acak dari organisasi berita, ini adalah cara yang bagus untuk melakukan sesuatu, kata Smith.

Tetapi bahkan jika metodenya bagus, surveinya mungkin tidak. Tujuannya untuk 'menggeser keseimbangan berita yang Anda lihat ke sumber yang bertekad untuk dipercaya oleh komunitas', dalam bahasa Facebook, rumit, karena industri berita sangat terpolarisasi.

“Ada sangat sedikit situs yang memiliki pengikut yang sangat besar karena ada begitu banyak situs. Setiap orang memiliki pluralitas, tidak ada yang memiliki mayoritas. Jadi siapa yang memiliki pluralitas terbesar?” kata Smith.

Pertimbangkan Fox News. Ini adalah paling banyak ditonton saluran kabel. Tetapi pengguna Facebook kemungkinan akan memeringkat kepercayaannya dengan cara yang sangat berbeda. Tanggapan Republik dan konservatif akan condong jauh ke arah ujung atas skala dan Demokrat dan liberal akan condong jauh ke arah yang lain.

“Bagaimana itu memberi tahu Facebook tentang menempatkan item Fox News di situs mereka? Saya tidak tahu,” kata Smith.

“Rata-rata di sana, rata-rata, mungkin tidak terlalu berguna. [Fox News] mungkin berakhir di tengah jalan dalam hal kepercayaan, tetapi itu sangat berbeda dari organisasi lain di mana sebagian besar tanggapan berada di tengah.

Dengan kata lain, bagaimana polling audiens yang terpolarisasi memberi tahu Anda tentang kepercayaan yang sebenarnya dari organisasi berita?

'Mungkin tidak,' kata Smith.

Tapi, menggemakan percakapan yang sedang berlangsung tentang Facebook sebagai penerbit vs Facebook sebagai platform, Smith mengatakan masalah terbesar dengan survei mungkin pendekatan lepas tangan Facebook.

“Membiarkan penonton menentukan kredibilitas tanpa melakukan penilaian sendiri adalah standar yang dipertanyakan,” katanya. Sebagai contoh, dia mengatakan bahwa organisasi pemeriksa fakta seperti Politifact “sebenarnya membuat penilaian tentang keakuratan dan kepercayaan sumber atau klaim. Apa yang coba dilakukan Facebook adalah membiarkan orang lain melakukannya untuk mereka. Itu adalah perusahaan yang bermasalah karena bias yang dimiliki audiens itu.” (Pengungkapan: PolitiFact adalah proyek Tampa Bay Times milik Poynter.)

Pada dasarnya, audiens akan terbiasa dengan sumber berita yang sudah mereka gunakan. Jika mereka tidak akrab dengannya, mereka tidak akan menilainya. Jika mereka akrab dengan satu dan itu tidak sesuai dengan keyakinan mereka, mereka kemungkinan akan menilainya sebagai tidak dapat dipercaya. “Jadi pemilihan sumber dan sikap mereka terhadap itu semua adalah produk dari bias mereka,” kata Smith.

Jadi, meskipun format survei dua pertanyaan mungkin valid, hasil keseluruhan kemungkinan tidak akan valid.

“Saya pikir tanggapan mereka akan mewakili bias audiens lebih dari standar kepercayaan yang masuk akal,” kata Smith.