Milyon Dolarlık Proje: Kötü Tıbbi Araştırmaları Deşifre Ediyor!

Retraction Watch’un arkasındaki gözlemciler, 1 milyon dolara yakın bütçe ayırarak sahte veya hatalı tıbbi araştırmalarla mücadele için yeni bir girişim başlattı.

“Bilimsel Dürüstlük Merkezi”, sağlık rehberlerini olumsuz etkileyen yayınlanmış tıbbi araştırmaları belirlemek ve bu konuda kamuoyunu bilgilendirmek amacıyla “Tıbbi Kanıt Projesi” adında iki yıllık bir çalışmaya başladı. Detaylar için buradan tıklayabilirsiniz.

Open Philanthropy’den alınan 900.000 dolarlık hibe ve beş kişilik uzman bir ekip ile projede adli metabilim araçları kullanılacak ve tespit edilen sorunlar bilimsel denetleyicilik konusunda en önde gelen sitelerden biri olan Retraction Watch üzerinden paylaşılacak.

“Bilimsel Dürüstlük Merkezi”ni, Retraction Watch’a bir yuva sağlamak amacıyla kurduk, ancak araştırma hesap verme sorumluluğu alanında daha fazlasını yapmayı her zaman umduk,” diye belirtiyor Retraction Watch’un ortak kurucusu ve merkez direktörü Ivan Oransky. Bu proje, kritik analizleri destekleyip bulguları yaymamıza olanak tanıyor. Bu konuda daha fazlasını öğrenmek için yazıyı buradan okuyabilirsiniz.

Nature‘a göre, bu hatalı ve sahte belgeler rahatsız edici çünkü meta-analizleri, yani birden fazla çalışmanın bulgularından daha sağlam istatistiksel sonuçlar çıkarmak için yapılan incelemeleri bozuyor. Bir ya da iki hatalı çalışma bir meta-analize dâhil edildiğinde, bu durum sağlık politikaları üzerinde etkili olabilir.

Örneğin, 2009 yılında bir Avrupa kılavuzu, binyılın başındaki araştırmalar temelinde kardiyak olmayan cerrahi sırasında beta-blokör kullanımını öneriyordu. Ancak, yıllar sonra yapılan bağımsız bir inceleme, söz konusu kılavuzun Birleşik Krallık’ta yılda 10.000 ölüme katkıda bulunduğunu düşündürdü.

James Heathers liderliğindeki ekip, bilimsel bütünlük danışmanı olarak yazılım araçları geliştirip, anonim muhbirlerden gelen bilgileri takip edecek ve akademik hakemlerin işlerini kontrol etmeleri için ödeme yapacak. Yılda en az 10 hatalı meta-analizi tespit etmeyi hedefliyorlar.

Ekip doğru anda hareket ediyor. Daha önce Gizmodo’nun aktardığına göre, yapay zeka tarafından üretilen sahte bilimsel belgeler, akademik dijital ekosistemi doldurarak, konferans bildirilerinden hakemli dergilere kadar her yerde karşımıza çıkıyor. Harvard Kennedy School’un Yanlış Bilgilendirme İncelemesi’nde yayımlanan bir çalışma, Google Scholar üzerinden elde edilen örneklem makalelerin üçte ikisinin GPT-tarafından üretilen metinler içerdiğini buldu – bunlardan bazıları ana akım bilim yayınlarında bile yer alıyordu. Bunun yaklaşık %14.5’i sağlık konularına odaklanıyordu.

Bu durum özellikle kaygı verici çünkü Google Scholar, hakemli araştırmalar ile ön baskılar, öğrenci çalışmaları veya daha az titizlikle hazırlanan işleri ayırt etmiyor. Ve bu tür işe yaramazlar bir kez meta-analizlere karışır ya da klinisyenler tarafından referans alınırsa, sonuçları ayırt etmek zorlaşır. Bir araştırmacının Gizmodo’ya söylediği gibi: “Okuduğumuz araştırmanın gerçek olduğunu güvenle bilemezsek, yanlış bilgilere dayanarak karar alma riskimiz var.”

Daha önce de safsata kolayca sızabiliyor. 2021’de Springer Nature, Arap Jeoloji Dergisi’nden 40’tan fazla makaleyi geri çekti—öyle ki, bu makaleler yapay zeka tarafından doldurulmuş gibi okunuyordu. Geçen yıl, Frontiers yayınevi, anatomik olarak imkansız yapay zeka tarafından üretilmiş fare genital resimlerini içeren bir makaleyi geri çekmek zorunda kaldı.

Artık internette kazılmış veriyle eğitilmiş yapay zeka modellerinin, tam bir bilim terimiymiş gibi anlamsız ifadeleri koruyup yaymaya başladığı dijital fosiller dönemine girdik. Örneğin bu yılın başlarında bir grup araştırmacı, 1959 biyoloji makalesinden garip bir kelime öbeğini OpenAI’nin GPT-4 dahil olmak üzere büyük dil modellerinin çıktılarında buldu.

Bu durumda, Tıbbi Kanıt Projesi’nin hedefi daha çok bir ilk yardım gibi hissediliyor. Ekibin karşı karşıya kaldığı sorun, ortada belirgin bir şekilde duran ve yüzeyde çok gerçekçi sağlık sonuçlarına sahip olabilecek pek çok kusurlu bilgiyle uğraşmak.