Büyük dil modelleri nasıl çalışır? Sade bir anlatım

Sohbet eden, özet çıkaran, kod yazan yapay zekâ araçlarının çoğunun arkasında büyük dil modelleri bulunuyor. Adları karmaşık görünse de temel fikir şaşırtıcı biçimde yalın: Model, önceki metne bakarak sıradaki parçanın ne olabileceğini tahmin ediyor. Bu yazıda işin mutfağını matematiğe boğmadan anlatıyoruz.

Temel fikir: sıradaki parçayı tahmin etmek

Bir telefon klavyesinde “günaydın” yazdığınızda beliren kelime önerilerini düşünün. Büyük dil modelleri bu fikrin çok daha geniş bir versiyonudur. Model, kendisine verilen metne bakar ve olası devam parçaları için bir olasılık dağılımı üretir. Ardından bu dağılımdan bir seçim yapılır, seçilen parça metne eklenir ve süreç yeniden başlar. Uzun bir cevap, bu küçük tahminlerin art arda dizilmesiyle ortaya çıkar.

Token: modelin gördüğü birim

Model kelimeleri bizim gördüğümüz gibi görmez. Metin, “token” adı verilen parçalara bölünür. Bir token bazen tam bir kelime, bazen kelimenin bir kısmı, bazen de tek bir noktalama işaretidir. Türkçe gibi çekim eklerinin bol olduğu dillerde bir kelime birkaç token’a bölünebilir. Bu yüzden modellerin sınırları çoğunlukla kelime değil token cinsinden ifade edilir ve aynı içerik farklı dillerde farklı sayıda token tutabilir.

Eğitim: örüntüleri öğrenmek

Eğitim sırasında model, çok büyük metin koleksiyonları üzerinde sürekli aynı egzersizi yapar: Metnin bir kısmını gizle, devamını tahmin et, hatayı ölç, iç parametreleri biraz ayarla. Çok sayıda tekrarlanan bu süreç sonunda model; dil bilgisi, üslup, bilgi kalıpları ve akıl yürütmeye benzeyen örüntüleri parametrelerine kodlar. Bu parametreler bir ansiklopedi gibi düzenli kayıtlar değildir; dağınık, istatistiksel izlerdir. Günümüz modellerinin çoğunda kullanılan transformer mimarisi 2017’de tanıtıldı ve metindeki uzak parçalar arasındaki ilişkileri yakalamakta başarılı oldu.

Bu aşamadan sonra çoğu model, insanların hazırladığı örnekler ve verdiği geri bildirimlerle ayrıca ayarlanır. Amaç, modeli daha yardımsever, daha az zararlı ve talimatlara daha duyarlı hâle getirmektir.

Bağlam penceresi: kısa süreli hafıza

Model yalnızca önüne konan metni “görür”. Bu metnin üst sınırına bağlam penceresi denir. Sohbetin başı pencerenin dışında kalırsa model o bilgiyi artık dikkate alamaz. Ayrıca model, sohbetler arasında kendiliğinden bir şey öğrenmez; yeni bilgi yalnızca verdiğiniz metin ya da bağlandığı araçlar yoluyla gelir. Bu yüzden uzun ve karmaşık işlerde önemli bilgileri arada bir yeniden hatırlatmak iyi sonuç verir.

Akıcı olmak, doğru olmak değildir

Modelin hedefi, olası ve akıcı bir devam üretmektir; her zaman doğru olanı değil. Bu yüzden kendinden emin ama yanlış cümleler kurabilir. Özellikle az rastlanan konularda, güncel olaylarda ve kesin rakam gerektiren yerlerde sonucu bağımsız kaynaklarla kontrol etmek gerekir. Modelin ne kadar ikna edici yazdığı, ne kadar doğru olduğunun göstergesi değildir.

Nerede işe yarar?

• Taslak oluşturma, özetleme ve metin düzeltme
• Fikir üretme ve farklı bakış açıları isteme
• Kod örneklerini açıklama ve hata ayıklamaya yardım
• Karmaşık metinleri sadeleştirme

Her durumda çıktıyı nihai gerçek değil, gözden geçirilecek bir taslak olarak görmek en sağlıklı yaklaşımdır.

Sık sorulan sorular

Model, internetteki her şeyi ezbere biliyor mu? Hayır. Eğitim verisinden öğrendiği örüntüleri parametrelerinde taşır; belirli bir sayfayı kelimesi kelimesine saklamaz. Yine de bazı sık geçen metinleri yakın biçimde yeniden üretebilir.

Aynı soruya her seferinde neden farklı cevap veriyor? Seçim aşamasında bir miktar rastlantısallık kullanılır. Bu, cevapların daha çeşitli ve doğal olmasını sağlar ama sonuçların her seferinde aynı olmasını engeller.

Model “anlıyor” mu? Bu bilimsel olarak tartışmalı bir soru. Modeller dilde çarpıcı örüntüleri yakalıyor; ancak insan anlayışıyla birebir aynı olup olmadığı konusunda uzmanlar hemfikir değil.