Google Akademik’te AI-Üretimli Sahte Bilim Büyük Sorun Olabilir: Araştırma Sonuçları

Yapay zeka tarafından üretilen bilimsel araştırmaların çevrimiçi akademik bilgi ekosistemini kirlettiğini belirten bir rapor, Harvard Kennedy School’un Misinformation Review dergisinde yayınlandı.

Bir araştırma ekibi, Google Scholar’da yapay olarak oluşturulmuş metin izleri taşıyan araştırma makalelerinin yaygınlığını inceledi; bu akademik arama motoru, tarihten günümüze birçok akademik dergide yayınlanmış araştırmaları kolayca aramanıza olanak tanır.

Ekip, özellikle Generative Pre-trained Transformers (GPT’ler) adı verilen büyük dil modellerinin (LLM) kötüye kullanımını araştırdı. Bu modeller, OpenAI’nin ChatGPT gibi tanıdık yazılımları da içerir ve hızlı bir şekilde metin girişlerini yorumlayıp figürler, görüntüler ve uzun metin dizileri şeklinde yanıtlar oluşturabilir.

Araştırmada, ekip Google Scholar’da GPT kullanım izleri taşıyan bilimsel makalelerin bir örneğini analiz etti. Seçilen makaleler, genellikle sohbet botları tarafından kullanılan bir veya iki ortak ifade içeriyordu. Araştırmacılar daha sonra bu şüpheli makalelerin internet üzerindeki dağılımını ve barındırılmasını inceledi.

“Yapay zeka destekli araştırmalar arama motorlarında yayıldığında ‘delil hacking’ dediğimiz risk önemli ölçüde artıyor,” dedi İsveç Kütüphane ve Bilgi Bilimleri Okulu araştırmacısı ve makalenin ortak yazarı Björn Ekström, Borås Üniversitesi tarafından yayınlanan bir bültende. “Yanlış sonuçlar toplumun daha da içine sızarak daha fazla alana yayılabilir ve bu somut sonuçlar doğurabilir.”

Google Scholar’ın internetten araştırmaları toplama şekli, son ekibe göre, yazarlarının bilimsel bir bağlantısı veya hakemli incelemesi olmayan makaleleri ayıklamıyor; bu motor, öğrencilerin makalelerini, raporları, ön baskıları ve daha fazlasını ciddiyetle incelemeye tabi tutulmuş araştırmalarla birlikte ayıklamadan çekebiliyor.

Ekip, incelediği makalelerin üçte ikisinin en azından bir kısmının gizli GPT kullanılarak üretildiğini belirledi. GPT ile üretilmiş makaleler arasında, %14.5 oranında sağlık, %19.5 oranında çevre ve %23 oranında bilişim konularında çalışmalar vardı.

“Bu GPT ile üretilmiş makalelerin çoğu dizinlenmemiş dergilerde ve çalışma makalelerinde görüldü, ancak bazı durumlarda ana akım bilimsel dergilerde ve konferans bildirilerinde yayınlanan araştırmaları da içeriyordu,” diye ekip yazdı.

Araştırmacılar, bu durumun getirdiği iki ana riski belirtti: “İlk olarak, ‘çalışma’ların sahte bolluğu, bilimsel iletişim sistemini ağırlaştırabilir ve bilimsel kaydın bütünlüğünü tehlikeye atabilir. İkinci bir risk ise bilimsel görünen içeriklerin aslında AI araçlarıyla yanıltıcı bir şekilde oluşturulmuş olma olasılığının artması ve özellikle Google Scholar gibi genel kullanıma açık akademik arama motorları tarafından erişilebilir şekilde optimize edilmiş olmasıdır.”

Google Scholar bir akademik veritabanı olmadığı için, bilimsel literatür arayan kamu için kullanımı kolaydır. Bu olumlu bir durum. Ancak, halkın saygın dergiler ile neyin arası ayırması daha zor; hakemli bir makale ile bir çalışma makalesi arasındaki farkı anlamak bile kafa karıştırıcı olabilir. Ayrıca, AI ile üretilmiş metinlerin, daha az denetlenmiş yazılarda olduğu gibi bazı hakemli çalışmalarda da görüldüğü, GPT ile üretilmiş işlerin genelde çevrimiçi akademik bilgi sisteminin sularını karıştırdığı ve resmi kanalların dışında kalan işler kadar çiftitelerle dolu olduğu belirtiliyor.

“Okuduğumuz araştırmanın gerçek olduğuna güvenemezsek, yanlış bilgilere dayanarak kararlar verme riski taşırız,” dedi çalışmanın ortak yazarı İsveç Kütüphane ve Bilgi Bilimleri Okulu araştırmacısı Jutta Haider, aynı bültenle. “Ancak bu durum, bilimsel hüner sorunu olduğu kadar, medya ve bilgi okuryazarlığı sorunudur.”

Son yıllarda, yayıncılar, baştan sona saçmalık olan bilimsel makaleleri başarılı bir şekilde tespit etmekte başarısız oldular. 2021’de Springer Nature, Arabian Journal of Geosciences dergisindeki 40’ın üzerinde makaleyi geri çekmek zorunda kaldı, bu makaleler spor, hava kirliliği ve çocuk tıbbı gibi çeşitli konularla ilgiliydi ve dergi başlığına aykırıydı. Konu dışı olmasının yanı sıra, makaleler öylesine kötü yazılmıştı ki; anlamlı bir düşündüren cümleler içermiyordu.

Yapay zeka bu sorunu daha da kötüleştiriyor. Geçen Şubat ayında, Frontiers yayımcısı, Cell ve Developmental Biology dergisinde yayınlanan, AI yazılımı Midjourney tarafından üretilmiş görüntüler içeren makale yüzünden eleştirildi; özellikle anatomi açısından çok yanlış sinyal yolları ve sıçan genital yapılarının resimleri. Frontiers, makaleyi birkaç gün sonra yayının çekti.

AI modelleri bilim için faydalı olabilir; sistemler Roma İmparatorluğu’ndan kalma hassas metinleri çözebilir, bilinmeyen Nazca Çizgilerini bulabilir ve dinozor fosillerinde saklı detayları ortaya çıkarabilir. Ancak AI’nin etkisi, onu kullanan kişi gibi olumlu ya da olumsuz olabilir.

Hakemli dergiler—ve belki akademik yazılar için barındırma ve arama motorları—teknolojinin bilimsel keşiflere hizmet etmesi için güvenlik önlemleri almalıdır, ona karşı değil.