Yapay Zeka, Kim Olduğunuzu Bilirse Tartışmada Sizi Yenebilir: Araştırma Sonuçları

Yeni bir araştırma, GPT-4’ün bir insan karşısında birebir tartışmalarda güvenilir bir şekilde galip geldiğini ve yaşınızı, işinizi ve siyasi eğilimlerinizi bildiğinde daha da ikna edici hale geldiğini gösteriyor.

İsviçre’deki EPFL, Princeton Üniversitesi ve İtalya’daki Fondazione Bruno Kessler’den araştırmacılar, 900 katılımcıyı insan bir tartışmacı veya OpenAI’in GPT-4’ü ile eşleştirdi. GPT-4, tasarımı gereği, çoğunlukla yazılı yanıtlar üreten büyük bir dil modeli. Bazı durumlarda katılımcılar (hem makine hem de insan) karşıdakilerin cinsiyet, yaş, eğitim, meslek, etnik köken ve siyasi eğilim gibi temel demografik bilgilerine ulaşabildi.

Ekibin araştırması—Nature Human Behaviour dergisinde bugün yayımlandı—AI’nin kişisel bilgiler verildiğinde insan rakiplere göre %64,4 daha fazla ikna edici olduğunu buldu; kişisel veri olmadan, IM’lerin performansı insan tartışmacılardan ayırt edilemedi.

“Son yıllarda sosyal medya ve diğer çevrim içi platformların yayılması, kitlesel ikna potansiyelini kişiselleştirme veya ‘mikro hedefleme’—mesajların bir birey veya gruba özel olarak hazırlanması—ile artırarak genişletti,” diye yazdı ekip.

GPT-4, argümanlarını kişiselleştirebildiğinde, herhangi bir insan rakibe göre çok daha ikna edici hale geldi; birinin fikrini değiştirme olasılığını, insanlar arasında olan tartışmalara kıyasla %81,2 artırdı. Önemli olarak, insani tartışmacılar kişisel bilgiler kullanıldığında bu kadar ikna edici olamadı.

“İkna bağlamında, uzmanlar geniş çapta LLM’lerin çevrim içi sohbetleri manipüle etmek ve yanlış bilgi yayarak politika kutuplaşmasını artırma, yankı odalarını kuvvetlendirme ve bireyleri yeni inançlar edinmeye ikna etme riski taşıdığı konusunda endişelerini dile getirdiler,” diye ekledi araştırmacılar.

Araştırmacılar, GPT-4’ün sizinle tartışabileceğini ve sizinle ilgili bir bilgi seti verildiğinde, görüşünüzü değiştirmenizde başarılı olabileceğini buldu. Ekip, çalışmanın tartışma kısmında, daha önce LLM’lerin nefret söylemi, yanlış bilgi ve propaganda üretme ve yayma eleştirilerine maruz kaldığını; kullanıcıların kişisel bilgileriyle, kötü niyetli amaçlar için kullanılabileceklerine dikkat çekiyor.

Ekip, çalışmanın ChatGPT’deki son güncellemeyle iyi bir eşleştiğini, bu güncelleme ile modelin kullanıcılarının sohbetlerini daha iyi hatırlayabileceğini (kullanıcıların izniyle) ve böylece kullanıcılarla ilgili bir bilgi kataloğuna erişimi olabileceğini belirtiyor.

Ancak, bunun iyi veya kötü haber olup olmadığı nasıl baktığınıza bağlı. GPT-4 daha az tartışmalı konularda çok etkili olsa da, daha köklü pozisyonlarla (araştırmada “görüş gücü” olarak anılıyor), botun insanların fikirlerini değiştirmekte zorlandığı bulundu. Başka bir deyişle, GPT-4’ün, Şükran Günü tartışma masasındaki başarı oranının sizden daha yüksek olacağı yönünde bir işaret yok.

Üstelik araştırmacılar, GPT-4’ün daha fazla mantıksal ve analitik dil kullandığını, insan tartışmacıların ise daha fazla kişisel zamirler ve duygusal çağrışımlar kullandığını buldular. Şaşırtıcı bir şekilde, kişiselleştirme kayda değer bir şekilde GPT-4’ün tonunu veya tarzını değiştirmedi—sadece argümanlarını daha hedefli hale getirdi.

Dört durumdan üçünde, insan katılımcılar muhaliflerinin AI olduklarını doğru şekilde tanımlayabildi, ki araştırmacılar bunu GPT-4’ün belirgin yazım tarzına bağlıyor. Ancak katılımcılar, insani rakiplerini insan olarak tanımlamakta zorlandılar. Yine de insanlar, AI ile tartıştıklarını düşündüklerinde fikirlerini değiştirmeye daha eğilimliydiler.

Çalışmanın arkasındaki ekip, bu deneyin Reddit, Facebook veya X gibi platformlarda olabileceklerin bir “konsept kanıtı” olarak hizmet etmesi gerektiğini söylüyor, tartışmalar ve tartışmalı konuların sık olduğu ve botların çok iyi kurulmuş bir varlık olduğu yerler. Son makale, AI’nin insan zihinlerini değiştirmek için Cambridge Analytica düzeyinde bir profilleme gerektirmediğini, makinelerin sadece altı tür kişisel bilgi ile bunu başardığını gösteriyor.

İnsanlar, tekrarlanabilir görevler, ödevler, dokümantasyon ve hatta terapi için LLM’lere daha fazla dayanırken, kullanıcılarının nasıl bilgi ile beslendiklerine dair dikkatli olmaları kritik hale geliyor. Sosyal medyanın, dijital çağın bağlayıcı dokusu olarak reklam yapılırken, iki çalışmanın bulgularına göre yalnızlığı ve izolasyonu körüklediği ironik bir durum.

Bu yüzden, kendinizi bir LLM ile bir tartışmada bulsanız bile, kendinize şu soruları sorun: Bu kadar karmaşık bir insan konusunu bir makineyle tartışmanın amacı tam olarak nedir? Ve gereksiz bir tartışmayı algoritmalara devrettiğimizde neler kaybediyoruz? Tartışma sadece bir argümanı kazanmakla ilgili değil—bu tipik olarak insana özgü bir şey. Özellikle birebir gerçek konuşmalar yapmayı isteriz: Kişisel bağlantılar kurmak ve ortak bir zemin bulmak için, ki bu makinelerin tüm güçlü öğrenme araçlarına rağmen yapabilecekleri bir şey değil.