Etki faktörü neden tek başına kalite ölçüsü değildir

Bir derginin adının yanında yüksek bir etki faktörü görünce yazının kendiliğinden sağlam olduğunu düşünmek kolaydır. Sayı, derginin aldığı atıfların bir ortalamasıdır. Ortalama, o dergideki her makaleye ait değildir. Kısa bir pencere içinde yapılan atıflar, birkaç çok anılan yazının omzunda yükselebilir. Geri kalan makaleler az anılmış olsa da dergi aynı sayıyı taşır.

Sayı aslında neyi böler

Klasik etki faktörü kabaca şöyle kurulur: Belirli bir yılda, derginin önceki kısa dönemdeki yazılarına yapılan atıflar sayılır ve bu atıf toplamı, aynı dönemde çıkan yazı sayısına bölünür. Sonuç, yazı başına düşen ortalama atıftır. Formülün ayrıntısı hizmeti veren kuruma göre değişebilir; hangi yazının paydaya girdiği bile tartışmalıdır. Editöryal notlar bazen paya girer, paydaya girmez. Bu teknik seçim, sayıyı bir miktar oynatır.

Ortalama, dağılımı gizler. On yazıdan biri yüzlerce atıf alır, dokuzu neredeyse hiç almazsa ortalama yine yüksek görünebilir. Haberi okurken derginin sayısını değil, önünüzdeki makalenin nasıl yapıldığını sorun. Kalite, başlığın üstündeki armanın parlaklığından çok yöntemin açıklığında durur.

Alanlar aynı hızda atıf vermez

Bazı alanlarda makaleler çabuk ve sık anılır. Bazılarında literatür yavaş birikir, atıf yıllar sonra gelir. Aynı sayıyı iki alan arasında yarıştırmak, farklı birimlerle ölçülmüş iki uzunluğu kıyaslamaya benzer. Yüksek sayı, o alanın konuşma biçimini de yansıtır; yalnızca başarıyı değil.

Kısa pencere de bir seçimdir. İki yıl içinde çok anılan bir yöntem yazısı, yıllar sonra anlamı anlaşılan bir kuramsal yazıdan daha yüksek görünebilir. İkisi de değerli olabilir. Etki faktörü bu farkı anlatmaz. Anlatmadığı için tek başına terfi, fon veya haber değeri ölçüsü yapılması yanıltıcıdır.

Atıf, onay demek zorunda değildir

Bir makale çok anılabilir çünkü işe yarar bir ölçüm yöntemi sunmuştur. Çok anılabilir çünkü iddialıdır ve herkes itiraz etmektedir. Çok anılabilir çünkü geri çekilmiştir ve uyarı yazıları ona bağlanmıştır. Atıf sayacı bu nedenleri ayırt etmez. Sayacın yüksekliği, metnin doğruluğunun mührü değildir.

Hakemlik de sayıyı kurtarmaz. Yoğun atıf alan dergilerde de hatalı veya abartılı yazılar çıkar. Denetimin sınırını ayrıca konuşmuştuk: https://biliminizi.com/hakem-denetimi-nedir-sinirlari. Okur için pratik sonuç şudur: Dergi künyesi bir elemedir, ama makalenin yöntem bölümünün yerine geçmez.

Haberde sayı nasıl süs olur

Bazı haberler derginin etki faktörünü, çalışmanın öneminin kanıtı gibi yazar. Cümle şu havayı verir: Saygın bir dergide çıktı, demek ki sonuç kesindir. Oysa aynı dergide yöntemsel olarak zayıf bir yazı ile alanını yıllarca etkilemiş bir yazı yan yana durabilir. Sayı ikisine da aynı rozeti yapıştırır.

Daha sağlıklı okuma, bilimsel haberde sorulması gereken sorulara dönmektir: https://biliminizi.com/bilimsel-haber-okurken-sorulacak-bes-soru. Örneklem, karşılaştırma, etkinin büyüklüğü ve bağımsız tekrar, dergi ortalamasından daha çok şey söyler. Etki faktörü ancak şu cümlede yer bulursa dürüstçe kullanılmış olur: Bu dergi alanında sık atıf alır; bu tek başına şu makaleyi doğrulamaz.

Okurun kullanabileceği ölçüler

Makalenin kendisine bakın. Veri ve yöntem açık mı, başka ekip benzer bir sonucu görmüş mü, sınırlılıklar yazılmış mı? Dergi düzeyinde başka göstergeler de vardır; hiçbiri tek başına yeterli değildir. Kabul oranı, editoryal politika ve düzeltme alışkanlığı da bağlam verir. Bunları bir skor tablosuna indirgemek yine aynı hataya düşürür.

Araştırmacılar için de sayı bir baskıdır. Yüksek ortalamalı dergi kovalamak, iddialı başlık ve parça parça yayın gibi alışkanlıkları besleyebilir. Okur bu ekonomiyi değiştiremez. Değiştirebileceği şey, bir sayıyı kalite sanmamaktır. Kararınız sağlık, hukuk veya yatırım gibi bir alana değiyorsa tek bir makale ve o makalenin dergi skoru yetmez; ilgili uzmana danışın.

Sık sorulan sorular

Düşük etki faktörlü dergi kötü müdür? Hayır. Dar bir alanın ciddi dergisi az atıf alabilir. Yazının yöntemi, derginin ortalamasından ayrı okunmalıdır.

Yüksek sayı hiç işe yaramaz mı? Derginin alanında ne kadar görünür olduğuna dair kaba bir işarettir. Tek makaleyi temize çıkarmaz.

Atıfı çok makale daha mı doğrudur? Şart değil. Atıf, ilgi, itiraz veya yöntem kullanımı da olabilir. Neden anıldığına bakmak gerekir.