ChatGPT’in Algoritması Neden “Çince Düşünüyor”?
OpenAI kısa süre önce “reasoning” yani akıl yürütme modeli olarak adlandırdığı yeni bir algoritma olan o1‘i tanıttı. Algoritmanın arkasındaki fikir, cevap vermeden önce “daha fazla düşünme” zamanı geçirmesi ve böylece daha kaliteli yanıtlar vermesidir. Ancak algorithma sadece İngilizce değil, birkaç farklı dilde de “düşündüğü” ortaya çıkmış. Son dönemde internet kullanıcıları, programın rastgele Çince karakterleri ve başka dillerde yazılmış görünen kodları gösterdiğini fark etti.
Çoğu kişi, ChatGPT’nin ürettiği son çıktıya dikkat edecektir ancak kullanıcılar modelin nasıl akıl yürüttüğünü de gözlemleme seçeneğine sahipler. İşte burada birçok insan, LLM’nin Mandarin ve Kantonca’yı sürecine dahil etmeye başladığını fark etti.
X üzerinden Rishab Jain şöyle sormuş: “o1 neden rastgele Çince düşünmeye başladı?”. “Sohbetin (5+ mesaj) hiçbir bölümü Çince değildi… ilginç… eğitim verilerinin etkisi.”
Öncesinde, 5 Ocak tarihinde başka bir kullanıcı olan Nero X’te yazmış: “uhmm, neden benim gpt o1 Çince düşünüyor, haha.” OpenAI ve ChatGPT’yi etiketlemiş ama yanıt alamamış.
Bu duruma verilecek bariz yanıt, algoritmanın muhtemelen büyük miktarlarda Çince veriyle eğitilmiş olması ve bu verilerin algoritmanın çıktısını etkiliyor olmasıdır.
AI mühendislerinden Rohan Paul, “En olası açıklamalar – bazı diller belirli problem türleri için tokenizasyon verimliliği veya daha kolay eşlemeler sunabilir” diyor. “Bu yüzden o1 bazı problemlerde daha optimize edilmiş hesaplama yolları bulduğunda içsel bilgi temsili sayesinde Çince’yi kullanmaya karar veriyor olabilir.”
Benzer bir açıklama yapan başka bir çevrimiçi yorumcu Raj Mehta, şöyle dedi: “o1, birçok büyük dil modeli (LLM) gibi, kavramların belirli dillere bağlı olmadığı ortak bir gizli alanda çalışır. Soruna en verimli şekilde yanıt veren dili “düşünüyor” olabilir.”
Gizmodo, konuyla ilgili yorum almak amacıyla OpenAI ile iletişime geçti ancak hemen bir açıklama alamadı.
Bu durumun nedenlerine dair birçok spekülasyon havada uçuşuyor, ancak TechCrunch, Allen Enstitüsü’nde çalışan araştırmacı bilim insanı Luca Soldaini ile röportaj yaptı. Soldaini, şirketin algoritmalarının şeffaf olmadığı için programın neden bu şekilde davrandığını bilmenin aslında mümkün olmadığını açıklıyor. “Yerleşik bir AI sistemindeki bu tür gözlemler, bu modellerin ne kadar opak olduğundan dolayı desteklenemez,” dedi Soldaini. “Bu, AI sistemlerinin nasıl üretildiğine dair şeffaflığın neden temel olduğunu gösteren pek çok örnekten biri.” aslında OpenAI’ın kendi teknolojik gelişimlerinde şeffaflık üzerine kendini adadığı “açık” misyonuyla tezat oluşturuyor. “OpenAI bu kadar açık değil, bu da algoritmaları tuhaf şeyler yaptığında, sadece kafamızı kaşıyıp nedenini merak ettiğimiz anlamına geliyor.”
