Önyargı eğitim verisinden çıktıya nasıl sızar

Model, dünyayı yeniden ölçmez. Kendisine gösterilen örneklerdeki kararları örüntü diye öğrenir. Örnekler belirli bir grubu daha az, belirli bir sonucu daha sert yazmışsa çıktı da o sertliği akıcı bir cümleyle sürdürebilir. Buna önyargı demek, modelin kızgın olduğu anlamına gelmez. Verinin tartısının bozulduğu anlamına gelir. Tartı birkaç ayrı yerden bozulabilir.

Kim örneklenmiş, kim hiç yazılmamış

İlk kapı örneklemdir. Veri, başvuruları kabul edilenleri bol, elenip kayda geçmeyenleri seyrek tutuyorsa model elemenin gerekçesini değil, kalanların profilini öğrenir. Seyrek grup, model için istisna gibi görünür. İstisna, hata payının büyüdüğü yerdir. Eğitim verisinin çıktıyı nasıl biçtiğini genel olarak şurada anlatmıştık: https://biliminizi.com/egitim-verisi-model-ciktisini-bicer. Burada durulan nokta, yokluğun da bir veri olduğudur.

Düzeltme, her gruptan eşit sayıda satır eklemekle bitmez. Satırlar aynı kaynaktan kopyalanmışsa çeşitlilik artmış gibi durur, gözlem artmaz. Asıl soru, hayatın o kesitinin ölçülüp ölçülmediğidir.

Etiket, birinin hükmüdür

İkinci kapı etikettir. Fotoğrafın altında yazan kelime, kredi dosyasındaki risk notu veya destek kaydındaki sonuç, nesnel bir doğa olayı olmayabilir. Etiketi koyan kişinin alışkanlığı, verinin doğrusu gibi içeri girer. Model, etiketi tahmin etmeyi öğrenir. Etiket eğriyse tahmin de eğri ve tutarlı olur. Tutarlı hata, tesadüf gibi görünmediği için daha ikna edicidir.

Etiketçiler arasında uyum da aldatıcı olabilir. Herkes aynı yanlışı paylaşıyorsa uyum yüksek, doğruluk düşük kalır. Uyum raporu, adalet raporu değildir.

Vekil değişken açık adı gizler

Üçüncü kapı vekildir. Modelden bir özelliği kullanmamasını isteyebilirsiniz. Model, o özellikle birlikte giden başka bir sütunu kullanır. Adres, okul adı veya cihaz türü, sormadığınız bir ayrımı taşımaya devam eder. Sütunu silmek, örüntü başka sütunlarda duruyorsa yetmez.

Vekil her zaman kötü niyetle konmaz. İşe yarar bir tahmin sinyali gibi durur. Sinyalin kimi dışarıda bıraktığı ayrıca ölçülmezse fayda, gizlenmiş bir eleme olur. Ölçüm yoksa modelin tarafsız olduğu da iddia edilemez. Sessizlik, temizlik kanıtı değildir.

Karar, bir sonraki veriyi üretir

Döngü dördüncü kapıdır. Model bir başvuruyu elediyse o kişi sonraki örneklemde başarılı vaka olarak görünmez. Sistem kendi kararını bir sonraki eğitimde doğrulamış gibi olur. Döngü, başlangıçtaki küçük bir eğimi yıllar içinde derinleştirebilir. Bunu görmek için modelin reddettiği dosyaların da izlenmesi gerekir. İzlenmeyen ret, öğrenilen dünya dışı kalır.

Halüsinasyonla önyargı aynı arıza değildir. Biri olmayan olguyu uydurur, öteki var olan eğri örüntüyü sürdürür: https://biliminizi.com/yapay-zeka-halusinasyon-neden-olur. İkisi bir cevapta birleşebilir. Akıcı ve sistemli bir hata, rastgele bir saçmalamadan daha zor fark edilir.

Kullanıcı neyi kontrol edebilir

Ürünü satın alan kişi, eğitim tablosunu çoğu zaman göremez. Görebileceği şey, vaadin ölçümüdür. Üretici, hata oranını tek bir ortalama ile mi veriyor, yoksa gruplara göre ayrı mı? Ortalama, seyrek grubun zararını örter. Ayrı tablo yoksa tarafsızlık iddiası eksiktir.

Karar sizin hayatınızı etkiliyorsa modeli son söz saymayın. İşe alım, kredi, sağlık veya hukukta itiraz yolu ve insan incelemesi olmalıdır. Model bir taslak gerekçe üretebilir. Gerekçenin, gerçekten kullanılan sinyalle aynı olup olmadığı ayrı bir sorudur. Bu metin hukuki tavsiye değildir. Kurumsal bir sistem kuruluyorsa ilgili uzman ve mevzuat kontrolü gerekir. Mevzuat ülkeden ülkeye değişir.

Sık sorulan sorular

Sütunu silmek önyargıyı bitirir mi? Her zaman değil. Silinen özellikle birlikte giden başka sütunlar aynı ayrımı taşımaya devam edebilir.

Daha çok veri her zaman dengeler mi? Aynı kaynaktan gelen çok veri, aynı tartıyı büyütür. Eksik kalan kesit eklenmeden denge oluşmaz.

Ortalama başarı yeterli midir? Değildir. Ortalama, küçük bir grubun yüksek hatasını gizleyebilir. Ayrıma göre tablo arayın.