Chatbot Tabanlı Okul Saldırganlarıyla Rol Yapma Fırsatı – Character.ai’nin Yeni Özelliği

Character.ai platformu, üzerinde gerçekleşen bazı aktiviteler nedeniyle tekrar inceleme altında. Futurism yayını, gerçek hayatta okul katliamları yapan kişilerden esinlenen AI karakterlerinin hizmette çoğaldığını ve kullanıcıların bu olaylarla ilgili sorular sormalarına ve hatta kitlesel saldırılar rolü yapmalarına olanak tanıyan bir yazı yayımladı. Bazı sohbet botları, Eric Harris ve Dylan Klebold gibi okul saldırganlarını pozitif figürler veya ruh sağlığı sorunları yaşayan insanlara yardımcı kaynaklar olarak sunabiliyor.

Elbette, şiddet içeren video oyunları veya filmler izlemenin insanları şiddete yönelteceğine dair güçlü bir kanıt olmadığını savunanlar olacaktır ve bu nedenle Character.ai’nin farklı olmadığını söyleyeceklerdir. AI savunucuları, bu tür fan fiksiyonu rol yapmanın zaten internetin köşelerinde var olduğunu da öne sürebilir. Futurism, bu tür sohbet botlarının zaten şiddet eğilimleri olan bir kişi için tehlikeli olabileceğini savunan bir psikologla konuştu.

Psikolog Peter Langman, “Her türlü teşvik ya da müdahale eksikliği – bir kişi veya bir sohbet botundan gelen kayıtsız bir tepki bile, ileriye gitmek için zımni bir izin gibi görünebilir” diyor. Character.ai, Futurism’in yorum talebine yanıt vermedi. Google, startup’a 2 milyar dolardan fazla fon sağladı; ancak, Character.ai’yi bağımsız bir şirket olarak tanıtarak sorumluluğu üzerlerinden atmaya çalışıyorlar ve kendi ürünlerinde bu startup’ın AI modellerini kullanmadıklarını belirtiyorlar.

Futurism’in haberi, okul saldırıları temalı birçok garip chatbotu belgeliyor ve bunlar şirketin kendisi tarafından değil, bireysel kullanıcılar tarafından oluşturulmuş. Character.ai’de bir kullanıcı, neredeyse tamamen okul katilleri model alınarak tasarlanmış 20’den fazla sohbet botu oluşturmuş. Botlar, 200,000’den fazla sohbet kaydetmiş. Örneğin, kullanıcı tarafından oluşturulan bu botlar arasında 2018 Kerch Politeknik Koleji katliamı faili Vladislav Roslyakov; 2009 yılında Missouri’de dokuz yaşındaki komşusunu öldüren Alyssa Bustamante; ve 2014 yılında altı kişiyi öldüren ve birçok kişiyi yaralayan Elliot Rodger bulunuyor. (Rodger, incel kültürünün karanlık bir “kahramanı” oldu ve aynı kullanıcı tarafından oluşturulan bir bot onu ders veren “mükemmel bir centilmen” olarak tanımladı.)

Character.ai, resmi olarak terör veya şiddet yanlısı aşırılığı teşvik eden içerikleri yasaklıyor; ancak şirketin moderasyonu, en hafif deyimiyle yetersiz. Geçtiğimiz günlerde, Game of Thrones’tan Daenerys Targaryen’e dayanan bir karakterle aylarca süren bir saplantı sonucu intihar eden 14 yaşındaki bir çocuğun ölümünün ardından hizmetinde bir dizi değişiklikler yapıldığını duyurdu. Futurism, küçüklerin hesaplarında engellenmesi gereken anahtar kelimelere rağmen, Character.ai’nin yine de bu tür konularla ilgili tartışmalara izin verdiğini belirtti.

Amerika Birleşik Devletleri’ndeki Section 230 korumaları nedeniyle, Character.ai’nin kullanıcıları tarafından oluşturulan sohbet botları için hukuken sorumlu olduğu düşünülmüyor. Kullanıcıların hassas konuları tartışmalarına izin vermek ve onları zararlı içeriklerden korumak arasında hassas bir denge kurmak gerekiyor. Ancak okul saldırısı temalı sohbet botlarının “eğitici” olmadığı ve gereksiz bir şiddet teşhiri olduğu söylenebilir.

Character.ai, insan gibi davranan karakterlerle sohbet eden milyonlarca aylık kullanıcıya sahip olduğunu iddia ediyor. Bu karakterler sizin arkadaşınız, terapistiniz veya sevgiliniz olabilir. Birçok haber, bireylerin bu sohbet botlarına arkadaşlık ve empati duymak için nasıl bağlandığını açıkladı. Geçen yıl, Character.ai’nin rakibi Replika, botlarla erotik konuşmalar yapma yeteneğini kaldırdı ama kullanıcıların tepkisi üzerine bu değişiklik hızla geri alındı.

Sohbet botları, yetişkinlere hayatlarındaki zorlu konuşmalar için hazırlık yapmak veya yeni bir hikâye anlatma biçimi sunmak için faydalı olabilir. Ancak, gerçek insan etkileşimlerinin yerine geçmezler; çünkü sohbet botları, kullanıcılarıyla uyumlu olur ve onların isteklerine göre şekillenebilirler. Gerçek hayatta, arkadaşlar birbirine karşı çıkar ve çatışmalar yaşanır. Sosyal beceri eğitimi verdiğine dair yeterli kanıt yok.

Sohbet botları yalnızlık için faydalı olsa da, psikolog Langman, kişilerin sohbet botlarıyla konuşmaktan memnun olduklarında, gerçek dünyada sosyalleşmeye çalışmadıkları zaman harcadıklarına dikkat çekiyor. “Dolaylı olarak şiddeti teşvik eden zararları dışında, normal hayatlar yaşamalarına ve sosyal aktivitelerle meşgul olmalarına engel olabilir. Tüm bu saatleri site üzerinde harcadıkları zaman, aslında yapabilecekleri bu tür faaliyetleri yapmazlar” diye ekliyor. “Bu kadar yoğun ya da bağımlılık yapıcı olduğunda, hayatlarında neleri kaçırıyorlar? Tek yaptıkları buyken, arkadaşlarıyla dışarı çıkmıyorlar, randevuya çıkmıyorlar. Spor yapmıyorlar, tiyatro kulübüne katılmıyorlar. Pek fazla bir şey yapmıyorlar.”