OpenAI, Öngörülen Çıktılar Özelliğiyle GPT-4o Modelinin Hızını 5 Kat Artırıyor!

OpenAI, büyük dil modellerindeki (LLM) gecikme sorununu çözmek için Öngörülen Çıktılar (Predicted Outputs) adını verdikleri yeni bir geliştirici özelliği üzerinde çalışıyor. Bu özellik, LLM’den gelen çıktının büyük çoğunluğunun zaten bilindiği durumlarda etkili bir şekilde kullanılabilecek. Örneğin, belgeleri düzenleme ya da kodu yeniden yapılandırma gibi işler bu özellik sayesinde daha hızlı hale getirilebilir. Öngörülen Çıktılar özelliği, bilinen bölümleri atlayarak daha hızlı sonuçlar alınmasını sağlıyor.

Geliştiriciler, mevcut içeriği tahmin edilen sonuçlar olarak ileterek gecikmeyi önemli ölçüde azaltma imkanı buluyor. Bu sayede, tüm içeriği çok daha hızlı bir şekilde üretmek mümkün hale geliyor.

OpenAI, bu özelliği bazı harici ortaklarıyla test etmiş ve sonuçlar oldukça olumlu olmuş. Örneğin, Microsoft GitHub ekibinin yaptığı dahili karşılaştırmalara göre, Copilot Workspace iş yüklerinde Öngörülen Çıktılar sayesinde 5,8 katlık bir hız artışı sağlanmış.

Öngörülen Çıktılar’ı kullanmak isteyen geliştiriciler için bazı sınırlamalar var. İlk olarak, bu özellik yalnızca GPT-4o ve GPT-4o-mini model serileriyle uyumlu. En yeni o1 modelleri ise bu özelliği desteklemiyor. Ayrıca, Öngörülen Çıktılar kullanılırken şu API parametreleri desteklenmiyor:

• n değerleri 1’den büyük olanlar
• logprobs
• presence_penalty değeri 0’dan büyük olanlar
• frequency_penalty değeri 0’dan büyük olanlar
• ses seçenekleri
• metin dışındaki diğer modlar
• max_completion_tokens
• araçlar – işlev çağırma desteklenmiyor

Tahmin sağlanırken, API’den tamamlanmanın parçası olmayan sağlanan tüm belirteçler, toplam belirteç oranları üzerinden ücretlendiriliyor.