
Açık Kaynaklı Yapay Zeka Modelleri Uzun Vadede Daha Pahalıya Patlayabilir! Araştırma Sonuçları Çarpıcı!
Daha fazla işletmenin yapay zekayı benimsemesiyle, hangi modeli seçecekleri önemli bir karar haline geliyor. İlk bakışta daha ucuz gibi görünen açık kaynaklı modeller, ekstra bilgi işlem gücü gerektirdiği için tasarruflar hızla ortadan kalkabiliyor. Yeni bir araştırma bunu vurguluyor.
Nous Research tarafından Perşembe günü yayımlanan bir çalışmaya göre, açık kaynaklı yapay zeka modelleri, aynı görevleri yerine getirirken kapalı kaynaklı rakiplerinden önemli ölçüde daha fazla bilgi işlem kaynağı tüketiyor.
Araştırmacılar Google ve OpenAI gibi kapalı sistemlerin yanı sıra DeepSeek ve Magistral gibi açık kaynaklı modellerin de dahil olduğu onlarca yapay zeka modelini test etti. Her birinin üç kategoride – basit bilgi soruları, matematik problemleri ve mantık bulmacaları – aynı görevleri tamamlamak için ne kadar bilgi işlem çabası gerektiğini ölçtüler.
Bunu yapmak için, her modelin soruları çözmek ve yanıtlamak için kullandığı token sayısını, tüketilen bilgi işlem kaynakları olarak kullandılar.
“Açık ağırlıklı modeller kapalı modellerden 1.5–4 kat daha fazla token kullanıyor ve basit bilgi sorularında bu oran 10 kata kadar çıkabiliyor. Bu da onları daha düşük token başına maliyetlere rağmen bazı durumlarda sorgu başına daha pahalı hale getirebiliyor,” diye belirttiler araştırmacılar.
Token Verimliliğinin Önemi
Yapay zekada, bir token bir metin ya da veri parçasıdır—bu bir kelime, kelimenin bir parçası ya da hatta noktalama işareti olabilir—modeller, dili anlamak için bu verileri kullanır. Modeller metin oluştururken her seferinde bir token işler; dolayısıyla ne kadar çok token kullanılırsa, bir görev o kadar fazla bilgi işlem gücü ve zaman gerektirir.
Çoğu kapalı kaynaklı model ham akıl yürütme sürecini veya düşünce zincirini (CoT) açığa çıkarmadığı için, araştırmacılar bunların bilgi işlem verimliliklerini kullandıkları tokenları sayarak ölçtü. Çünkü modeller, akıl yürütme sürecindeki toplam çıktı tokenları ve nihai cevabı üretirken kullanılan tokenlar üzerinden ücretlendirilir, bu yüzden tamamlanma tokenları bir yanıt üretmek için gereken çabanın vekili olarak hizmet eder.
Bu, birçok nedenden dolayı yapay zeka kullanan şirketler için önemli bir faktördür.
“Öncelikle, açık ağırlıklı modeller barındırmak daha ucuz olsa da, bunların belli bir problemi çözmek için daha fazla token gerektirmesi durumunda bu maliyet avantajı kolayca kaybolabilir,” diye yazdılar araştırmacılar. “İkincisi, artan token sayısı daha uzun oluşturma sürelerine ve artan gecikmelere yol açacaktır.”
Kapalı Modeller Açık Ara Önde
Çalışma, açık modellerin aynı görevler için kapalı modellere göre sürekli olarak daha fazla token kullandığını buldu, bu oran bazen basit bilgi sorularında üç katına kadar çıkıyor. Matematik ve mantık problemlerinde bu fark yarıya kadar düşüyor.
“Kapalı modeller (OpenAI, Grok-4) maliyetleri düşürmek için daha az token kullanırken, açık modeller (DeepSeek, Qwen) daha iyi bir akıl yürütme için daha fazla token kullanıyor olabilir,” diye belirttiler çalışma yazarları.
Açık modeller arasında, llama-3.3-nemotron-super-49b-v1 en verimli model iken, Magistral modelleri en verimsiz olanlardı.
OpenAI modelleri de öne çıkanlar arasındaydı. Hem o4-mini hem de yeni açık ağırlıklı gpt-oss modeli, özellikle matematik problemlerinde etkileyici bir token verimliliği gösterdi.
Araştırmacılar, OpenAI’nın gpt-oss modellerinin, özlü düşünce zincirleriyle, diğer açık modellerde token verimliliğini artırmak için bir kıstas olabileceğini vurguladılar.