Meta-analiz tek çalışmadan hangi soruda ayrılır

Tek bir deney, bir soruya dar bir pencereden bakar. Meta-analiz ise aynı soruyu sormuş birçok çalışmanın sonucunu bir araya getirmeye çalışır. İkisi de değerli olabilir; ama biri diğerinin otomatik olarak üstündeki doğruluk mührü değildir. Havuz, içine dökülen suyun kalitesini aşamaz. Okur, çok sayıda çalışma birleştirildi cümlesini görünce hangi çalışmaların içeri alındığını sormalıdır.

Havuz ne işe yarar

Küçük çalışmalar tek başına savrulur. Benzer ölçümleri yan yana koymak, şansın payını bir miktar azaltabilir ve etkinin yönünü daha net gösterebilir. İlaç, eğitim veya tarım gibi alanlarda bu birleştirme, dağınık literatürü tek bir masaya toplamaya yarar. Masa, her kâğıdın eşit derecede temiz olduğu anlamına gelmez.

Birleştirme, sayıların aynı şeyi ölçtüğünü varsayar. Biri altı haftalık bir izlem, diğeri iki yıllık bir izlem yapmışsa ortalamayı almak, elma ile armudu tek sepette tartmak olabilir. Yazarlar bu farkı heterojenlik diye anar. Heterojenlik yüksekse tek bir özet sayı, gerçeği yumuşatır. Okur, özet sayının yanında çalışmaların birbirine ne kadar benzediğini de aramalıdır.

İçeri ne alındı, ne dışarıda kaldı

Meta-analizin en hassas adımı seçimdir. Hangi yıllar, hangi diller, hangi tasarımlar kabul edilmiştir? Yalnızca olumlu sonuç veren çalışmalar yayımlanmışsa havuz, sessiz kalan olumsuz denemeleri görmez. Buna yayın yanlılığı denir. Çekmecede kalan çalışma, ortalamayı gerçek etkiden uzağa iter.

Yazarlar bunu fark etmek için bazen bir huni grafiği veya benzeri bir kontrol kullanır. Grafik, küçük çalışmaların yalnızca bir yönde mi kümelendiğine bakar. Kontrol yoksa veya yazarlar seçim kurallarını yazmamışsa özet sayıya temkinli yaklaşın. Küçük örneklemin başlığı nasıl şişirdiğini ayrıca anlatmıştık: https://biliminizi.com/kucuk-orneklem-buyuk-baslik.

Kaliteli tek çalışma neden hâlâ kazanabilir

Geniş, önceden planlanmış ve düzgün karşılaştırmalı bir çalışma, yüzeysel onlarca küçük denemenin ortalamasından daha çok şey söyleyebilir. Ortalama, yöntem hatalarını birbirine karıştırınca hata da ortalamaya girer. Bu yüzden meta-analiz, tek çalışmanın her zaman üstündedir demek yanlıştır. Soru şudur: Havuzdaki en temiz çalışma ne diyor, en zayıfı neyi bozuyor?

Hakemlik bu seçimi her zaman yakalamaz. Denetimin sınırını şurada konuşmuştuk: https://biliminizi.com/hakem-denetimi-nedir-sinirlari. Okur, kaç çalışma birleştirildi cümlesinin yanına şu soruyu eklemelidir: Birleştirmeden çıkarılınca sonuç değişiyor mu?

Haber dili havuzu büyütür

Manşet, yüz çalışmanın kanıtladığını söyleyebilir. Metne inince bu yüzün önemli bir kısmı küçük, kısa ve aynı ekibin varyasyonları çıkabilir. Sayı, bağımsız tekrar değildir. Aynı laboratuvarın üç yazısı, üç ayrı ekibin üç yazısıyla aynı ağırlıkta sayılmamalıdır.

Bir de etki ölçüsü kaybolur. Havuz küçük bir ortalama fark bulmuşsa haber bunu kesin fayda diye yazabilir. Farkın günlük hayattaki karşılığını sorun. İstatistiksel bir birleşim, klinik veya pratik önemi kendiliğinden taşımaz. Sağlıkla ilgili bir kararda meta-analiz bile kişisel reçete değildir; hekiminiz sizin durumunuza bakar.

Okurken tutulacak sıra

Önce sorunun tek cümlelik hâlini yazın. Sonra havuza giren çalışma sayısına ve bunların ne kadar benzeştiğine bakın. Seçim kuralları yazılmış mı, olumsuz sonuçlar aranmış mı, tek bir çalışma çıkarılınca sonuç oynuyor mu? Bu üç soru, çok çalışma birleşti cümlesinden daha çok bilgi verir.

Konsensüs iddiası da bu havuzdan türetilmiş olabilir. Havuz dardır ve seçilmiştir. Tek bir yeni çalışma havuzu bir gecede yıkmaz; ama havuz da tek başına tartışmayı kapatmaz. İyi okuma, her iki aşırılığı da bırakır.

Sık sorulan sorular

Meta-analiz her zaman daha mı güvenilirdir? Hayır. İçindeki çalışmalar zayıfsa veya birbirine benzemiyorsa özet sayı yanıltıcı olabilir.

Tek çalışma hiç işe yaramaz mı? Yaramaz denemez. İyi tasarlanmış tek bir çalışma, dağınık bir ortalamadan daha açık konuşabilir.

Olumsuz sonuç neden havuza girmez? Yayımlanmama eğilimi vardır. Yazarlar bu sessiz çalışmaları ayrıca aramamışsa havuz iyimser kalabilir.