Banyak Penelitian, Hasil Berbeda-Beda: Meta Analisis Hadir untuk Menjawab Itu

Bayangkan kamu sedang mengerjakan tesis dan menemukan sepuluh jurnal tentang topik yang sama. Lima jurnal mengatakan metode A lebih efektif. Tiga jurnal mengatakan tidak ada perbedaan signifikan. Dua sisanya bahkan menunjukkan hasil yang berlawanan. Kamu bingung harus menyimpulkan apa. Apakah memilih jurnal yang paling banyak dikutip sudah cukup? Atau ada cara yang lebih sistematis untuk menyikapi ketidakkonsistenan ini?

Situasi ini bukan pengalaman langka. Dunia penelitian memang sering menghasilkan temuan yang tidak seragam, bahkan untuk topik yang sudah diteliti ratusan kali. Ketika itu terjadi, dibutuhkan sesuatu yang lebih dari sekadar membaca satu demi satu jurnal secara manual, lalu memilih yang paling meyakinkan secara subyektif.

Meta analisis dirancang persis untuk situasi seperti itu. Bukan sebagai jalan pintas memahami literatur, tapi sebagai metode yang memungkinkan peneliti menggabungkan temuan dari berbagai studi secara statistik untuk menghasilkan kesimpulan yang lebih kuat dan dapat dipertanggungjawabkan.

Ketika Satu Penelitian Tidak Cukup untuk Memberikan Jawaban

Setiap penelitian punya keterbatasan. Sampelnya terbatas, konteksnya spesifik, dan kondisi pelaksanaannya tidak selalu bisa digeneralisasi ke situasi lain. Ini bukan tanda peneliti yang buruk. Ini memang sifat dasar dari penelitian tunggal, dan tidak ada yang bisa mengubah itu.

Masalah nyata muncul ketika kita terlalu bergantung pada satu studi untuk menarik kesimpulan besar. Penelitian yang dilakukan di satu sekolah di Surabaya bisa menghasilkan temuan yang berbeda dari penelitian serupa di sekolah lain di Medan, meskipun variabel yang diteliti sama persis. Sampel yang lebih kecil cenderung menghasilkan estimasi yang kurang stabil. Prosedur yang sedikit berbeda bisa menggeser hasilnya ke arah yang tak terduga.

Mengapa hasil penelitian yang berbeda-beda bisa jadi justru lebih informatif

Ketidakkonsistenan antarpenelitian bukan selalu tanda bahwa salah satu dari mereka keliru. Justru sebaliknya, variasi itu sering menyimpan informasi penting yang tidak akan terlihat jika kita hanya membaca satu studi.

Mungkin efektivitas suatu metode pembelajaran bergantung pada usia peserta didik. Mungkin konteks budaya atau kondisi ekonomi memengaruhi hasil lebih dari yang diduga. Mungkin ada variabel moderator yang konsisten diabaikan dalam beberapa studi tapi diperhitungkan di studi lain. Semua kemungkinan itu hanya bisa terdeteksi kalau kita menganalisis pola di seluruh kumpulan studi, bukan hanya satu.

Kalau kita hanya memilih satu penelitian dan mengabaikan yang lain, kita melewatkan gambaran yang lebih lengkap itu. Perbedaan antarstudi, kalau dianalisis dengan benar, justru bisa mengungkap faktor apa yang sebenarnya memengaruhi hasil dalam kondisi tertentu.

Di sinilah meta analisis mulai masuk sebagai solusi

Meta analisis bekerja dengan cara mengumpulkan semua penelitian yang relevan tentang satu topik, kemudian menggabungkan datanya secara statistik untuk menghasilkan satu estimasi yang lebih kuat dan lebih dapat diandalkan. Bukan dengan cara memilih satu pemenang dari sekian studi, melainkan dengan memperlakukan semua studi itu sebagai satu kumpulan data besar yang lebih representatif.

Dengan jumlah subjek yang lebih besar secara kumulatif dan cakupan konteks yang lebih beragam, kesimpulan dari meta analisis punya bobot statistik yang jauh lebih tinggi dibanding kesimpulan dari studi tunggal manapun. Inilah yang membuat meta analisis menempati posisi sangat tinggi dalam hierarki bukti ilmiah, terutama di bidang kedokteran, pendidikan, dan psikologi.

Apa yang Sebenarnya Dilakukan Meta Analisis terhadap Data Penelitian

Ada kesalahpahaman yang sangat umum di kalangan mahasiswa. Banyak yang mengira meta analisis artinya “membaca banyak jurnal, lalu membuat rangkuman yang lebih komprehensif.” Itu bukan meta analisis. Itu literature review biasa, dan keduanya berbeda secara mendasar, bukan hanya soal jumlah jurnal yang dibaca.

Bukan sekadar merangkum, tapi menggabungkan secara statistik

Yang membedakan meta analisis dari review biasa adalah penggunaan statistik untuk menggabungkan hasil dari berbagai studi. Setiap penelitian yang dimasukkan dalam meta analisis menghasilkan satu angka yang disebut effect size, yaitu ukuran seberapa besar pengaruh atau hubungan yang ditemukan dalam penelitian tersebut.

Effect size ini bisa berbentuk beberapa cara, tergantung jenis data yang digunakan:

• Cohen’s d, yang mengukur perbedaan rata-rata antara dua kelompok. Biasanya dipakai ketika penelitian membandingkan dua kondisi atau dua kelompok berbeda.
• Odds ratio, yang umum digunakan dalam penelitian kesehatan untuk mengukur seberapa besar kemungkinan suatu kejadian terjadi dibanding tidak terjadi.
• Korelasi Pearson (r), yang mengukur kekuatan dan arah hubungan antara dua variabel secara kontinu.

Setelah effect size dari masing-masing studi dihitung, semuanya digabungkan secara statistik dengan mempertimbangkan ukuran sampel setiap studi. Studi dengan sampel lebih besar diberi bobot lebih tinggi karena estimasinya lebih stabil. Hasilnya adalah satu effect size gabungan yang mewakili keseluruhan bukti yang tersedia dari semua studi yang dianalisis.

Proses ini tidak bisa dilakukan hanya dengan membaca abstrak jurnal. Dibutuhkan data numerik dari setiap studi, kemampuan statistik untuk mengolahnya, dan perangkat lunak khusus untuk menjalankan analisisnya.

Perbedaan mendasar antara meta analisis dan literature review biasa

Tiga metode berikut sering tertukar, terutama bagi yang baru masuk ke dunia metodologi penelitian. Memahami perbedaannya akan membantu kamu memilih pendekatan yang paling tepat sejak awal.

Catatan penting: meta analisis sering menjadi bagian dari systematic review, tapi tidak semua systematic review mengandung meta analisis. Systematic review bisa berdiri sendiri tanpa komponen statistik, terutama jika studi yang terkumpul terlalu beragam untuk digabungkan secara numerik.

Meta Analisis Bukan untuk Semua Jenis Penelitian

Kesalahan yang cukup sering terjadi adalah menganggap meta analisis sebagai metode yang “lebih canggih” sehingga selalu lebih baik. Padahal ada kondisi di mana meta analisis justru tidak tepat digunakan, dan memaksanya dalam kondisi itu hanya akan menghasilkan kesimpulan yang menyesatkan.

Kondisi yang membuat meta analisis bisa berjalan dengan baik

Meta analisis bekerja paling efektif ketika beberapa kondisi ini terpenuhi:

• Topik sudah pernah diteliti cukup banyak sebelumnya. Meta analisis bergantung sepenuhnya pada data sekunder dari penelitian yang sudah ada. Kalau topikmu masih sangat baru dan penelitian yang tersedia bisa dihitung dengan jari, tidak ada cukup bahan untuk dianalisis secara bermakna.
• Studi-studi yang tersedia menggunakan pengukuran yang bisa dibandingkan. Kalau satu studi mengukur variabel X dengan skala 1-5 dan studi lain mengukur hal yang sama dengan skala yang sama sekali berbeda, menggabungkan hasilnya secara langsung akan menghasilkan angka yang tidak punya makna yang jelas.
• Penelitian bersifat kuantitatif. Meta analisis bekerja dengan data numerik. Penelitian kualitatif yang menghasilkan temuan berupa narasi, tema, atau interpretasi tidak bisa dimasukkan dalam meta analisis konvensional. Ada pendekatan tersendiri untuk mensintesis penelitian kualitatif, yang disebut meta-sintesis, dan itu metode yang berbeda.
• Ada pertanyaan penelitian yang spesifik dan jelas. Meta analisis bukan alat untuk “mereview semua yang pernah ditulis tentang topik ini.” Ia butuh fokus, misalnya “apakah metode pembelajaran berbasis proyek lebih efektif dari metode ceramah dalam meningkatkan pemahaman konsep sains di sekolah menengah?”

Situasi di mana meta analisis sebaiknya tidak dipaksakan

Ada kondisi tertentu di mana menggunakan meta analisis bukan pilihan yang tepat, bahkan kalau secara teknis bisa dilakukan.

• Topik yang diteliti masih terlalu baru sehingga belum ada cukup studi yang bisa dimasukkan. Dengan jumlah studi yang sangat sedikit, hasil meta analisis tidak lebih kuat dari studi individual itu sendiri.
• Studi yang tersedia terlalu heterogen, artinya terlalu berbeda satu sama lain dalam hal populasi, metode, konteks, atau cara pengukuran. Menggabungkan studi yang berbeda terlalu jauh ibaratnya menjumlahkan apel dan jeruk, lalu mengklaim hasilnya adalah angka yang bermakna.
• Kamu hanya menemukan studi yang dipublikasikan di jurnal mainstream. Studi dengan hasil yang tidak signifikan cenderung lebih sulit dipublikasikan, sehingga meta analisis yang hanya mengandalkan artikel terpublikasi rentan terhadap publication bias, yaitu kecenderungan hasil yang positif mendominasi analisis.

Banyak Mahasiswa Salah Paham Soal Ini

Beberapa kesalahpahaman tentang meta analisis sangat umum terjadi di kalangan mahasiswa dan peneliti pemula. Meluruskannya sejak awal akan menghemat banyak waktu dan mencegah pilihan metode yang tidak tepat.

Meta analisis bukan berarti membaca lebih banyak jurnal

Kesalahpahaman pertama dan paling sering muncul: banyak yang mengira “meta analisis” berarti melakukan tinjauan literatur yang lebih serius, lebih banyak jurnal, lebih terstruktur. Ini tidak tepat. Yang membedakan meta analisis bukan jumlah jurnal yang dibaca, tapi apa yang dilakukan dengan data dari jurnal-jurnal itu.

Dalam meta analisis, kamu tidak hanya membaca dan merangkum apa yang ditulis di setiap jurnal. Kamu mengekstrak angka-angka spesifik dari setiap studi, seperti rata-rata, standar deviasi, dan jumlah sampel, lalu mengolahnya kembali secara statistik untuk menghasilkan satu estimasi terpadu. Ini adalah analisis data, bukan sintesis narasi.

Implikasinya cukup penting: kalau studi-studi yang kamu temukan tidak melaporkan data statistik yang lengkap, atau melaporkannya dengan cara yang tidak konsisten antarsatu studi dengan studi lain, meta analisis tidak bisa dilakukan dengan baik. Kelengkapan pelaporan data dalam setiap studi adalah prasyarat yang sering diabaikan oleh peneliti pemula.

Apakah meta analisis cocok untuk skripsi atau tesis?

Pertanyaan ini sangat wajar, dan jawabannya bergantung pada beberapa hal. Secara prinsip, meta analisis bisa menjadi metode yang valid untuk skripsi atau tesis, terutama di jenjang S2 atau S3 yang memang mengharapkan penelitian berbasis metodologi yang lebih ketat.

Tapi ada beberapa hal yang perlu dipertimbangkan dengan jujur sebelum memilih metode ini:

• Apakah topikmu sudah memiliki cukup banyak studi yang bisa dianalisis? Setidaknya 10 hingga 15 studi yang relevan dan homogen biasanya diperlukan agar meta analisis menghasilkan estimasi yang bermakna, meskipun tidak ada angka baku yang ditetapkan secara universal.
• Apakah kamu memiliki akses ke perangkat lunak yang dibutuhkan, seperti JASP, R dengan paket metafor, atau Comprehensive Meta Analysis?
• Apakah pembimbingmu familiar dengan metodologi meta analisis? Ini penting karena proses review dan evaluasinya berbeda dari penelitian primer pada umumnya.

Untuk skripsi S1, meta analisis bisa dilakukan, tapi perlu persiapan yang lebih matang dan dukungan pembimbing yang memahami metodologi ini. Jangan memilih meta analisis hanya karena terdengar lebih prestisius. Pilih karena memang cocok dengan pertanyaan penelitianmu.

Bagaimana Proses Meta Analisis Berjalan secara Sederhana

Meta analisis bukan proses yang bisa diselesaikan dalam seminggu. Ada tahapan yang harus dilalui secara berurutan, dan setiap tahap punya konsekuensinya sendiri kalau dilewati atau dilakukan sembarangan.

Dari mana data dikumpulkan dan bagaimana penelitian dipilih

Proses meta analisis dimulai jauh sebelum ada angka yang diolah. Tahap awal adalah mendefinisikan pertanyaan penelitian secara sangat spesifik, termasuk menentukan populasi yang relevan, intervensi atau variabel yang diteliti, dan jenis hasil yang diukur. Kerangka ini sering disebut PICO (Population, Intervention, Comparison, Outcome) dalam konteks penelitian kesehatan, atau diadaptasi ke bidang lain sesuai kebutuhan.

Setelah itu, pencarian studi dilakukan secara sistematis di berbagai basis data, seperti Google Scholar, PubMed, ERIC untuk pendidikan, atau PsycINFO untuk psikologi. Tidak cukup mencari di satu basis data saja, karena setiap basis data memiliki cakupan yang berbeda.

Proses selanjutnya berjalan seperti ini:

• Screening berdasarkan judul dan abstrak. Dari ratusan atau ribuan hasil pencarian, disaring mana yang kira-kira relevan berdasarkan judul dan abstraknya dulu.
• Seleksi berdasarkan kriteria inklusi dan eksklusi. Studi yang lolos tahap pertama dibaca lebih detail untuk dinilai apakah memenuhi kriteria yang sudah ditetapkan sejak awal. Kriteria ini harus konsisten dan tidak berubah di tengah jalan.
• Ekstraksi data. Data numerik yang dibutuhkan diambil dari setiap studi yang lolos seleksi. Ini termasuk ukuran sampel, nilai rata-rata, standar deviasi, atau data lain yang diperlukan untuk menghitung effect size.
• Penilaian kualitas studi. Tidak semua studi yang lolos seleksi punya kualitas metodologi yang sama. Ada alat standar seperti skala Jadad untuk uji klinis atau checklist Newcastle-Ottawa untuk studi observasional yang digunakan untuk mengevaluasi ini.

Standar pelaporan internasional yang diakui untuk meta analisis adalah PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses). PRISMA bukan teknis statistik, melainkan panduan tentang apa saja yang harus dilaporkan dalam sebuah meta analisis agar proses dan hasilnya bisa dinilai secara transparan oleh pembaca dan reviewer.

Apa itu effect size dan kenapa itu inti dari analisisnya

Effect size adalah konsep paling sentral dalam meta analisis, dan memahaminya bukan pilihan. Tanpa pemahaman yang memadai tentang effect size, hasil meta analisis hanya akan menjadi angka yang tidak bisa diinterpretasikan dengan benar.

Secara sederhana, effect size mengukur seberapa besar atau seberapa kuat suatu hubungan atau perbedaan dalam penelitian. Berbeda dari nilai p (p-value) yang hanya memberi tahu apakah suatu hasil signifikan secara statistik atau tidak, effect size memberi tahu seberapa bermakna hasil itu secara praktis.

Sebuah penelitian bisa menghasilkan nilai p yang sangat kecil (artinya sangat signifikan secara statistik) tapi effect size yang kecil, yang berarti perbedaannya secara praktis sangat kecil dan mungkin tidak relevan dalam aplikasi nyata. Sebaliknya, penelitian dengan sampel kecil bisa menghasilkan effect size yang besar tapi tidak signifikan secara statistik karena sampelnya kurang kuat untuk mendeteksi efek tersebut.

Dalam meta analisis, effect size dari semua studi digabungkan menjadi satu pooled effect size yang mewakili keseluruhan bukti. Dari angka ini, peneliti bisa menyimpulkan apakah ada efek nyata, seberapa besar efek itu, dan seberapa konsisten efek itu ditemukan di berbagai konteks.

Risiko yang Jarang Dibahas tapi Penting untuk Dipahami

Meta analisis sering dipresentasikan sebagai puncak dari hierarki bukti ilmiah, dan itu memang benar dalam kondisi yang tepat. Tapi ada risiko nyata yang sering dilewati dalam pembahasan umum tentang metode ini, dan memahami risiko itu sama pentingnya dengan memahami kelebihannya.

Bias publikasi dan mengapa ini bisa mengubah kesimpulan penelitian

Publication bias adalah kecenderungan jurnal ilmiah untuk menerbitkan penelitian yang menghasilkan temuan positif atau signifikan, dan cenderung mengabaikan penelitian yang hasilnya tidak signifikan atau bahkan menunjukkan tidak ada efek. Ini bukan konspirasi, melainkan dinamika yang sudah lama terdokumentasi dalam dunia akademik.

Masalahnya bagi meta analisis adalah: kalau kamu hanya mencari studi dari jurnal yang dipublikasikan, kumpulan studi yang kamu analisis sudah condong ke arah temuan positif sejak awal. Efek yang sebenarnya mungkin lebih kecil dari yang tampak, karena studi-studi yang tidak menemukan efek signifikan tidak masuk ke dalam analisismu.

Untuk mendeteksi dan mengukur publication bias, peneliti biasanya menggunakan funnel plot, yaitu grafik yang menampilkan effect size setiap studi terhadap ukuran sampelnya. Dalam kondisi ideal tanpa bias, grafik ini akan membentuk pola simetris seperti corong terbalik. Kalau polanya tidak simetris, itu sinyal bahwa ada kemungkinan publication bias.

“Garbage in, garbage out” berlaku lebih keras di sini dari metode lain

Prinsip ini berlaku di semua metode penelitian, tapi di meta analisis konsekuensinya bisa lebih serius. Kalau studi-studi yang kamu masukkan dalam analisis punya kualitas metodologi yang buruk, hasil meta analisismu tidak akan otomatis menjadi lebih baik hanya karena kamu menggabungkan banyak studi. Kamu hanya akan menghasilkan satu estimasi yang buruk dari banyak data yang buruk, dan estimasi itu bisa terlihat sangat meyakinkan karena ada angka statistik di baliknya.

Inilah mengapa penilaian kualitas setiap studi adalah langkah yang tidak bisa dilewati. Studi yang menggabungkan populasi yang terlalu berbeda, menggunakan pengukuran yang tidak konsisten, atau memiliki desain penelitian yang lemah sebaiknya dieksklusi atau setidaknya dianalisis secara terpisah sebagai sensitivitas analisis, bukan dicampur begitu saja dengan studi berkualitas tinggi.

Pepatah “garbage in, garbage out” di sini bermakna sangat konkret: kesimpulan meta analisis hanya sekuat studi-studi yang menjadi bahan analisanya.

Sebelum Memutuskan Menggunakan Meta Analisis, Periksa Dulu Ini

Memilih metode penelitian adalah keputusan yang punya konsekuensi panjang. Memilih meta analisis ketika kondisinya tidak tepat bisa menghasilkan penelitian yang tidak bisa diselesaikan di tengah jalan, atau menghasilkan kesimpulan yang tidak bisa dipertahankan saat sidang.

Sebelum memutuskan, jawab pertanyaan-pertanyaan berikut dengan jujur:

• Apakah topikmu sudah cukup banyak diteliti? Coba lakukan pencarian awal di Google Scholar atau Scopus. Kalau dengan kata kunci yang spesifik kamu hanya menemukan 5 atau 6 studi yang relevan, meta analisis mungkin belum memungkinkan untuk menghasilkan kesimpulan yang kuat.
• Apakah penelitian-penelitian yang tersedia menggunakan pengukuran yang cukup serupa? Kalau setiap studi mengukur variabel yang sama dengan cara yang sangat berbeda, menggabungkannya secara statistik akan menghasilkan angka yang sulit diinterpretasikan.
• Apakah penelitianmu bersifat kuantitatif? Meta analisis hanya bisa dilakukan pada data numerik dari studi kuantitatif. Kalau kamu bekerja dengan data kualitatif, pendekatan yang relevan adalah meta-sintesis, bukan meta analisis.
• Apakah kamu memiliki waktu dan sumber daya yang cukup? Proses meta analisis, mulai dari pencarian studi hingga pelaporan akhir, membutuhkan waktu yang signifikan, terutama pada tahap screening dan ekstraksi data.
• Apakah pembimbing atau supervisormu familiar dengan metode ini? Dukungan pembimbing yang memahami meta analisis sangat membantu, terutama saat kamu perlu mengambil keputusan metodologis yang tidak ada jawaban tunggalnya.

Kalau sebagian besar jawabanmu adalah ya, meta analisis adalah pilihan yang layak dipertimbangkan serius. Kalau ada beberapa yang masih meragukan, ada baiknya mendiskusikannya dulu dengan pembimbing sebelum memutuskan. Memilih metode yang tepat sejak awal jauh lebih mudah dari menggantinya di tengah penelitian.

REFERENSI

• Glass, G. V. (1976). Primary, secondary, and meta-analysis of research. Educational Researcher, 5(10), 3-8.
• Field, A. P., & Gillett, R. (2010). How to do a meta-analysis. British Journal of Mathematical and Statistical Psychology, 63(3), 665-694. https://doi.org/10.1348/000711010X502733
• Valentine, J. C., Pigott, T. D., & Rothstein, H. R. (2010). How many studies do you need? A primer on statistical power for meta-analysis. Journal of Educational and Behavioral Statistics, 35(2), 215-247. https://doi.org/10.3102/1076998609346961
• Moher, D., Liberati, A., Tetzlaff, J., & Altman, D. G. (2009). Preferred reporting items for systematic reviews and meta-analyses: The PRISMA statement. PLOS Medicine, 6(7), e1000097. https://doi.org/10.1371/journal.pmed.1000097
• Borenstein, M., Hedges, L. V., Higgins, J. P. T., & Rothstein, H. R. (2009). Introduction to Meta-Analysis. Wiley.
• Cochrane Collaboration. (n.d.). About Cochrane Reviews. https://www.cochrane.org/cochrane-reviews
• Warung Sains Teknologi. (2024). Metode meta-analisis: Keunggulan, kelemahan, dan langkah melakukannya. https://warstek.com/metaanalisis/