Modelin kararını her zaman izleyemezsiniz

Bir hesap makinesi neden 2 ile 3’ün çarpımını 6 bulduğunu gizlemez. Kural kısadır ve izi adım adım yazılır. Büyük bir modelde ise milyonlarca ağırlık birlikte oynar. Çıktı görünür, yol çoğu zaman görünmez. Açıklanabilirlik, bu yolu sonradan okunur bir hikâyeye çevirme çabasıdır. Hikâye, hesabın kendisiyle aynı şey olmak zorunda değildir.

Hangi modeller iz bırakır

Kısa bir karar listesi veya az sayıda sütunla kurulan doğrusal bir model, hangi sütunun sonucu hangi yöne çektiğini kabaca gösterir. Ağaç biçiminde bir kural da evet ve hayır dallarıyla okunabilir. Bu okuma, modelin basitliği sayesinde vardır. Basit model, karmaşık bir dünyayı eksik temsil edebilir. Yine de hata yaptığında hatanın hangi kuralda olduğunu göstermek daha kolaydır.

Büyük dil modelleri ve derin ağlar bu kısa yolu sunmaz. Cümle, dağılan bir hesabın sonucudur. Tek bir nöronu işaret edip şu kelimeyi bu nöron seçti demek genellikle mümkün değildir. Nasıl çalıştıklarına dair sade çerçeve, bu dağınıklığı anlatır: https://biliminizi.com/buyuk-dil-modelleri-nasil-calisir.

Sonradan üretilen gerekçe

Araçlar, çıktıdan sonra bir önem haritası veya kısa bir gerekçe cümlesi üretebilir. Harita, hangi kelimenin veya pikselin skoru daha çok oynattığını tahmin eder. Tahmin, modelin içinden çıkarılmış bir tutanak değildir. Yaklaşık bir sondadır. Sonda, küçük bir değişiklikle başka bir kelimeyi işaret edebilir. Karar aynı kaldığı hâlde gerekçe yer değiştirebiliyorsa gerekçe kırılgandır.

Modelden neden böyle dedin diye sormak da ayrı bir metin üretimidir. Cevap, hesabı okumak değil, makul bir hikâye kurmaktır. Hikâye inandırıcı ve yanlış olabilir. Halüsinasyon yalnızca olguda değil, gerekçede de görülür: https://biliminizi.com/yapay-zeka-halusinasyon-neden-olur.

İz olmayan yerde denetim zorlaşır

Bir insan, hatalı bir kararı hangi kurala dayandırdığını söyleyebilir. Söylemesi, doğru söylediği anlamına gelmez. Yine de itiraz için bir cümle vardır. Modelde o cümle yoksa itiraz, yalnızca sonuca bakabilir. Sonuç yanlışsa düzeltmek için hangi ağırlığın değişeceği belli olmayabilir. Bu, sistemi denetimsiz bırakmak için gerekçe olmamalıdır. Denetim, iç iz yerine dış testle de yapılır.

Dış test, modelin görmediği örneklerde ne yaptığını ölçer. Ölçü tek bir ortalama ise yetmez. Hangi tür soruda, hangi grupta, hangi konuda dağıldığını ayırmak gerekir. İç yol görünmüyorsa dış tablonun dürüst olması daha önemlidir.

Ne zaman basit model yeter

Kredi, triyaj veya disiplin gibi yüksek etkili bir kararda, biraz daha zayıf ama okunur bir model, biraz daha isabetli ama izsiz bir modelden tercih edilebilir. Tercih teknik değil, sorumluluk tercihidir. İsabetteki küçük kazanç, kimsenin açıklayamadığı bir ret mektubuna değmeyebilir.

Her iş için aynı eşik yoktur. Fotoğrafı klasöre ayırmak ile bir başvuruyu elemek aynı riski taşımaz. Risk büyüdükçe iz, süs olmaktan çıkar. İz yoksa en azından itiraz, örnekleme ve insan incelemesi kapısı açık olmalıdır.

Okurun pratik sorusu

Ürün, kararın nedenini tek cümleyle vaat ediyorsa cümlenin hesabın tutanağı mı yoksa sonradan yazılmış bir özet mi olduğunu sorun. Tutanak yoksa özeti kararın kanıtı saymayın. Özeti, sonucu kontrol etmek için ayrı bir kaynakla yan yana koyun.

Sağlık, hukuk ve finansal sonuçlarda izsiz bir skoru son söz yapmayın. Bu yazı o alanlarda tavsiye değildir. Skor bir sinyal olabilir. Sinyalin anlamını, sorumluluğu olan kişi kurmalıdır.

Sık sorulan sorular

Açıklama cümlesi yoksa model kullanılamaz mı? Düşük riskli işlerde kullanılabilir. Yüksek etkili kararda iz veya sağlam bir dış test ve itiraz yolu aranmalıdır.

Önem haritası neden değişir? Çoğu harita yaklaşıktır. Girdi biraz değişince işaret ettiği yer de kayabilir. Kararın kendisiyle aynı belge değildir.

Model nedenini kendi söylüyorsa inanmalı mıyım? İhtiyatla. Bu, yeni bir metindir. Hesabın kaydı olduğunu ayrıca gösteren bir kanıt yoksa hikâye muamelesi yapın.