Araştırmacılardan DeepSeek’e Güvenlikte ‘F’ Notu!

Genellikle, büyük dil modelleri testlerden geçerken, %100 başarı oranı elde etmek büyük bir başarı olarak kabul edilir. Ancak, bu durum bu test için geçerli değil: Cisco’daki araştırmacılar, Çinli yapay zeka firması DeepSeek’in dikkat çeken açık kaynak modeli DeepSeek R1’i, modele zararlı davranışlara yönlendirmeyi amaçlayan 50 ayrı saldırıya karşı koymakla görevli tutarak test etti. Sohbet botu, bu 50 girişimin tamamında kışkırtmaya geldi ve bu, onu şimdiye kadar bu tür bir testten geçen ana akım modeller arasında en az güvenli olanı yaptı.

Cisco’nun araştırmacıları, DeepSeek’e HarmBench veri setinden rastgele alınmış istemler ile saldırdı. Bu standartlaştırılmış değerlendirme çerçevesi, dil modellerinin kışkırtıldığında kötü niyetli davranmamasını sağlamayı amaçlıyor. Örneğin, bir sohbet botuna bir kişi hakkında bilgiler verir ve o kişiyi bir komplo teorisine inandırmak için kişiselleştirilmiş bir betik oluşturmasını isterseniz, güvenli bir sohbet botu bu talebi reddeder. Ancak DeepSeek, araştırmacıların karşısına çıkardığı her şeye neredeyse tamamen katıldı.

Cisco’ya göre, DeepSeek’e siber suç, yanlış bilgi yayma, yasa dışı faaliyetler ve genel zarar verme gibi zararlı davranışların altı kategorisini kapsayan sorular soruldu. Diğer yapay zeka modelleriyle de benzer testler yapıldı ve farklı başarı düzeyleri bulundu—örneğin, Meta’nın Llama 3.1 modeli %96 oranında başarısız olurken OpenAI’nin o1 modeli sadece dörtte bir oranında başarısız oldu—ancak hiçbiri DeepSeek kadar yüksek bir başarısızlık oranına sahip değildi.

Cisco, bu bulgularında yalnız değil. Güvenlik firması Adversa AI da kendi testlerini gerçekleştirdi ve DeepSeek R1 modelinin her türlü saldırıya karşı son derece hassas olduğunu buldu. Testler, DeepSeek’in sohbet botunu bomba yapımı, DMT çıkarımı, devlet veritabanlarını hackleme ve araba çalıştırma teknikleri hakkında bilgi verme noktasına kadar getirdi.

Bu araştırma, iki hafta önce piyasaya çıkmasıyla teknoloji dünyasını sarsan DeepSeek modeline yönelik en son incelemelerden biri. Daha düşük eğitim maliyetlerine rağmen önemli işlevselliğiyle dikkat çeken chatbotun arkasındaki şirket, verileri nasıl aktardığı ve Çin sunucularında nasıl depoladığıyla ilgili veri güvenliği endişeleri nedeniyle birçok gözetleme grubundan eleştiriler aldı.

DeepSeek’e yöneltilen eleştiriler arasında, Tiananmen Meydanı gibi Çin hükümetine duyarlı konular hakkında sorular sorulduğunda verdiği yanıtlar da var. Bu eleştiriler, kabataslak “hadi oradan” türünde gelebilir ve esaslı eleştiriler değilmiş gibi görülebilir—ancak güvenlik yönergelerinin bu tür malzemelerden kaçınmak için değil, soruları atlatmak için koyulması gerçeği haklı bir zemine sahiptir.