Küçük örneklem büyük başlığı neden şişirir
Az katılımcıyla yapılan bir çalışmada sonuç kolay savrulur. Başlığın neden abartıya kaydığını ve okurun nelere bakacağını açıklıyoruz.
On kişilik bir denemede ortaya çıkan fark, manşette kesin bir keşif gibi durabilir. Aynı fark, yüzlerce kişide silikleşebilir veya yön değiştirebilir. Küçük gruplar, şansın payını büyütür. Haber bu payı yazmazsa başlık, verinin taşıyabileceğinden ağır bir cümle olur. Örneklem büyüklüğü bu yüzden teknik bir dipnot değil, iddianın taşıyıcı kolonudur.
Şans küçük grupta daha seslidir
Bir yazı tura on kez atılınca yedi tura görmek şaşırtıcı değildir. Bin atışta oran, yarıya çok daha yakın durur. İnsan gruplarında da benzer bir mantık vardır. Az katılımcıyla yapılan ölçüm, birkaç uç değerin yönünde savrulabilir. O uç değerler gerçektir; ama grubun dışındaki herkese ait olmayabilir.
Bu, küçük çalışmanın değersiz olduğu anlamına gelmez. Erken bir işaret, sonra gelecek daha geniş çalışmanın gerekçesi olabilir. Değersiz olan, işareti kesin hüküm gibi anlatmaktır. Başlık kanıtladı diyorsa, metinde kaç kişi olduğuna bakın. Sayı yoksa haber eksiktir.
Aralık genişse cümle dar olmamalı
Araştırmacılar genellikle bir nokta tahminin yanına bir belirsizlik aralığı koyar. Aralık, aynı düzenek tekrarlanırsa sonucun hangi bantta gezebileceğine dair bir ifadedir. Küçük örneklemde bant geniş olur. Geniş bant, hem belirgin bir faydayı hem de neredeyse hiç fark olmamasını içine alabilir. Böyle bir sonuç, net bir tedavi veya ürün vaadine dönüştürülemez.
İstatistiksel olarak anlamlı ifadesi de bu boşluğu kapatmaz. Sık kullanılan eşikler, sonucun şansla açıklanmasının zor görünüp görünmediğine dair bir uzlaşıdır. Etkinin günlük hayatta büyük olduğunu söylemez. Küçük bir fark, yeterince oynak bir örneklemde eşiği geçebilir. Eşiği geçmek, manşetlik bir devrim olduğu anlamına gelmez.
Karşılaştırma grubu sayıyı tamamlar
Yirmi kişi, tek başına bir büyüklük değildir. Bu yirmi kişi bir müdahale gördüyse, görmeyen başka bir grup var mıdır? Gruplar başlangıçta benzer miydi? Katılımcılar hangi grupta olduklarını biliyor muydu? Küçük ve açık bir denemede beklenti, ölçülen farkın kendisi kadar büyük olabilir.
Bu sorular, bilimsel haberi okurken kullanılan çerçevenin parçasıdır: https://biliminizi.com/bilimsel-haber-okurken-sorulacak-bes-soru. Örneklem satırını atlayan haber, geri kalanını da eksik bırakmış sayılır. Sayıyı görüp yöntemi atlamak da aynı derecede zayıftır.
Alt grup avı başlığı büyütür
Araştırmacı veya haber, bütün grupta silik kalan bir farkı yaş, cinsiyet veya alışkanlık dilimlerinde arayabilir. Dilim küçüldükçe şans daha sesli konuşur. Bir dilimde çarpıcı görünen sonuç, önceden belirlenmiş bir soru değil de sonradan seçilmiş bir kesit ise temkin artmalıdır. Buna bazen alt grup avı denir. Av, veriye işkence ederek bir cümle çıkarmak anlamına gelir.
Önceden yazılmış bir çözümleme planı, bu riski azaltır. Planda olmayan bir kesit bulunduysa yazarlar bunu keşif olarak etiketlemelidir. Keşif, sonraki çalışmada sınanmayı bekleyen bir hipotezdir. Başlık onu kanıtlanmış yasa gibi sunuyorsa abartı vardır. İki olayın yan yana durmasını neden sanmak da bu avın akrabasıdır: https://biliminizi.com/korelasyon-nedensellik-haber-hatasi.
Ne kadar büyük yeter
Evrensel bir sihirli sayı yoktur. Nadir bir olayı arıyorsanız çok daha geniş bir grup gerekir. Sık ve büyük bir farkı arıyorsanız daha küçük bir grup bile yönü gösterebilir. Önemli olan, yazarların bu seçimi gerekçelendirmesidir. Gerekçe yoksa ve başlık mutlak konuşuyorsa okur tempoyu düşürmelidir.
Sağlıkla ilgili bir haberde küçük denemeyi kişisel tedavi planına çevirmeyin. İlaç, doz ve risk kişiye göre değişir; bunu hekim değerlendirir. Finansal bir vaatte de tek bir küçük çalışma, getiri sözü değildir. Büyük başlık, küçük paydadan şüphelenmek için yeterli bir işarettir.
Sık sorulan sorular
Küçük çalışma neden yayımlanır? Erken işaret ve yöntem denemesi olarak değerli olabilir. Kesin genel kural ilan etmek için tek başına zayıftır.
Büyük örneklem her zaman doğru mudur? Hayır. Yöntem yanlışsa kalabalık, hatayı daha net gösterir. Büyüklük, karşılaştırma ve ölçümün yerine geçmez.
Haberde sayı yoksa ne yapmalıyım? İddiayı askıya alın ve asıl makalede örneklem satırını arayın. Bulamazsanız başlığı paylaşmayı erteleyin.