ChatGPT ve Google Gemini, Haberleri Özetleme Alanında Başarısız Oldu!

BBC’nin gerçekleştirdiği bir araştırmada, yapay zekâ tabanlı sohbet botlarının haber içeriklerini ne ölçüde doğru özetleyebildiği incelendi. Çalışmada, OpenAI’in ChatGPT’si, Microsoft’un Copilot’u, Google’ın Gemini’si ve Perplexity AI, BBC haberlerine dayanarak özetler oluşturması için kullanıldı.

BBC, yapay zekâ sohbet botlarının haber özetleme becerilerini test etmek amacıyla 100 farklı haberi ele aldı. Yapılan inceleme sonucunda bu botların haberleri doğru bir biçimde özetlemekten uzak olduğu ve önemli hatalar yaptığı belirlendi.

Yanlış tarihler, hatalı alıntılar

Uzman gazetecilerin gerçekleştirdiği değerlendirmelerde, botların sağladığı yanıtların %51’inde ciddi hatalar tespit edildi. Ayrıca, BBC kaynaklı haberleri temel alan yanıtların %19’unda yanlı tarih, yanlış sayılar ve eksik ya da çarpıtılmış bilgiler olduğu gözlemlendi.

Araştırmada ortaya çıkan hatalardan biri, Gemini’nin İngiltere’nin sağlık sistemi NHS’nin elektronik sigarayı sigarayı bırakmak için öneremeyeceği yönünde beyan vermesi. ChatGPT ve Copilot ise eski İngiltere Başbakanı Rishi Sunak ve eski İskoçya Başbakanı Nicola Sturgeon’un hâlâ görevde olduğunu öne sürdü. Perplexity ise BBC haberlerini yanlış bir şekilde alıntıladı.

BBC yetkilileri, yapay zekâ firmalarıyla iş birliği yaparak bu tür hataların azaltılması gerektiğinin altını çizdi. BBC, yapay zekâ destekli haber özetleme sistemlerinin geri çekilmesini talep ederken, daha önce Apple’ın benzer bir uygulamayı kabul ederek bu özelliği devre dışı bırakmasını örnek gösterdi. Yapay zekâ sohbet botlarının haber içeriklerini işleme yöntemleri üzerindeki tartışmalar devam ederken, OpenAI kaynak gösterme konusunda güncellemeler yapmaya devam ettiğini bildirdi.