Model kartı: teknik özet ne söyler, ne susar

Model kartı, bir modelin kısa kimliğidir. Ne için kurulduğunu, hangi veriyle beslendiğini, hangi sınavda ne skor aldığını ve nerede kullanılmaması gerektiğini yazması beklenir. İyi kart, pazarlama sayfasından daha sıkıcı ve daha yararlıdır. Kötü kart, var gibi görünüp asıl soruları boş bırakır. Kart, üreticinin kendi beyanıdır. Bağımsız bir denetim tutanağı değildir.

Amaç cümlesi neden ilk satırdır

Kart, modeli bir iş için önermeli ve başka bir iş için uyarmalıdır. Özet çıkarmak ile teşhis koymak aynı satırda duruyorsa amaç bulanıktır. Bulanık amaç, her vaadi içine alır. Sizin kullanımınız uyarı listesindeyse skoru okumaya gerek kalmaz. O model o iş için aday değildir.

Amaç dar yazılmışsa bu bir eksiklik değil, olgunluktur. Dar yazı, modeli büyütmez. Büyütülmüş vaat, sonra dışarıda çöker. Yeni bir teknolojinin vaadini test ederken kullandığımız listeyle aynı refleks geçerlidir: https://biliminizi.com/teknoloji-vaadini-test-etme-kontrol-listesi.

Veri özeti ayrıntı değil, sınırdır

Kart, eğitim verisini her satır olarak yayımlamak zorunda değildir. Yayımlaması beklenen şey, kaynağın türü, zaman kesiti ve bilinen boşluklardır. Yalnızca çok büyük bir küme denmişse bu, çeşitlilik kanıtı değildir. Çokluk, aynı tür sayfanın tekrarı da olabilir. Eğitim verisinin çıktıyı nasıl biçtiğini şurada konuşmuştuk: https://biliminizi.com/egitim-verisi-model-ciktisini-bicer.

Kişisel veri veya telif konusunda kart susuyorsa suskunluk, temizlik anlamına gelmez. En azından belirsizdir yazması, yoktur yazmasından daha dürüsttür. Dürüst belirsizlik, sizin ek kontrolünüz için yer açar.

Skorun hangi dünyada alındığı

Yüzde doksan gibi bir sayı, tek başına hiçbir şey söylemez. Hangi soru setinde, hangi dilde, hangi yılda ölçüldüğünü arayın. Set, modelin eğitiminden sızmış örnekler taşıyorsa skor şişer. Set yalnızca kolay sorulardan oluşuyorsa skor, zor kullanıcıyı temsil etmez.

Gruplara göre ayrı hata yoksa ortalama, seyrek kalan kesiti örter. Önyargının veriden nasıl sızdığını anlatırken bu örtüyü işaret etmiştik: https://biliminizi.com/onyargi-veriden-modele-nasil-sizar. Kartta ayrı tablo yoksa adil demenin zemini de yoktur.

Sınır ve güncelleme

İyi kart, modelin uydurabildiğini, güncel olayı bilemeyeceğini ve insan kararı yerine geçmemesi gerektiğini yazar. Bu cümleler küçümseme değil, kullanım kılavuzudur. Kılavuz yoksa üretici, hatayı yalnızca kullanıcıya bırakıyor olabilir.

Sürüm numarası ve tarih de şarttır. Kartsız bir güncelleme, dünkü skoru bugünkü modele yapıştırır. Hangi kartın hangi sürüme ait olduğunu eşleştiremiyorsanız sayı, eski bir modele ait olabilir.

Kart yoksa ne yapılır

Küçük bir deney aracı kartsız da denenebilir. Yüksek etkili bir işe, kartı olmayan modeli tek başına koymayın. En azından amaç, veri türü, testin dünyası ve sınırlar için yazılı bir cevap isteyin. Cevap gelmiyorsa belirsizliği lehinize yormayın.

Kartın kendisi de abartılabilir. Parlak bir şablon, boş bölümlerle dolu olabilir. Bölüm başlığı varsa içinde cümle var mı diye bakın. Başlık, içerik değildir.

Sık sorulan sorular

Model kartı bağımsız denetim midir? Hayır. Üreticinin beyanıdır. Beyan yararlıdır. Üçüncü bir tarafın ölçümüyle aynı ağırlıkta değildir.

Skor yüksekse işime uyar mı? Önce testin sizin kullanıcılarınıza benzeyip benzemediğine bakın. Benzemiyorsa skor taşınamaz.

Kart her modelde var mı? Hayır. Yokluğu, modeli yasaklamaz. Yüksek riskli kullanımda yazılı sınır istemek için yeterli sebeptir.