Federal Ajanslar, En Riskli Yapay Zeka Sistemleri Hakkında Kritik Bilgilere Sahip Değil
Yeni yayımlanan verilere göre, federal kurumlar, insanların fiziksel güvenliğini ve medeni haklarını etkileyebilecek görevler için, sistemlerin nasıl çalıştığı veya nasıl eğitildiği hakkında ayrıntılı bilgilere sahip olmadan onlarca özel yapay zeka algoritması satın alıyor. Özel Gümrük Muhafaza ve Taşımacılık Güvenliği İdaresi, yolcuların bedenlerini tehditler için tarayan algoritmaların oluşturulduğu ve değerlendirildiği verilerin kalitesi hakkında dökümana sahip değil, ajansların 2024 AI envanteri raporlarına göre.
Veteran Sağlık İdaresi, gaziler arasında kronik hastalıkları tahmin etmesi gereken özel bir şirket tarafından geliştirilen bir algoritma satın alma sürecinde, ancak ajans, gazilerin tıbbi kayıtları ile ilgili verilerin nasıl elde edildiğinin belirsiz olduğunu belirtti. İnsanların güvenliğini ve haklarını etkileyebilecek 100’den fazla algoritmanın kaynak koduna ise erişimin olmadığı belirtildi.
Gelecek Trump yönetimi yakın zamanda yürürlüğe giren federal AI tedarik ve güvenlik kurallarını yürürlükten kaldırmaya hazırlanırken, envanter verileri hükümetin en riskli AI sistemlerinde özel şirketlere ne kadar bağımlı hale geldiğini gösteriyor.
“Kamu kurumlarının insanlara fayda ve hizmet sağlama yetisini elinden alan, patentli sistemler konusunda gerçekten endişeliyim,” dedi kısa bir süre öncesine kadar Beyaz Saray’da AI envanteri sürecini koordine eden kıdemli AI danışmanı Varoon Mathur. “Proprietary satıcılarla el ele çalışmalıyız. Çoğu zaman bu faydalı oluyor, fakat çoğu zaman ne yaptıklarını bilmiyoruz. Ve verilerimiz üzerinde kontrolümüz yoksa, riskleri nasıl yöneteceğiz?”
İçsel çalışmalar ve dışsal araştırmalar, bazı federal kurumların yüksek riskli algoritmalarında ciddi sorunlar buldu; örneğin, IRS’nin hangi vergi mükelleflerini denetleyeceğini belirleyen bir ırksal yanlı model ve VA’nın intihar önleme algoritması beyaz erkekleri diğer gruplara karşı öncelikli olarak seçti.
2024 envanterleri, federal hükümetin yapay zeka kullanımı ve bu sistemler hakkında ne bildiğine dair en ayrıntılı bakışı sağlıyor. 2022’den bu yana envanterlemeye başladıklarından bu yana, ajansların ilk kez model dokümantasyonuna veya kaynak koduna erişimlerinin olup olmadığı ve yapay zeka sistemleriyle ilgili riskleri değerlendirip değerlendirmedikleri gibi bir dizi soruyu yanıtlamaları gerekiyordu.
Yıl boyunca ajansların kullandığı bildirilen 1,757 AI sisteminden 227’si medeni hakları veya fiziksel güvenliği etkilemesi muhtemel kabul edildi ve bu en yüksek riskli sistemlerin yarısından fazlası tamamen ticari satıcılar tarafından geliştirildi. (60 yüksek riskli sistemi kimlerin oluşturduğuna dair bilgi verilmedi. Adalet Bakanlığı, Eğitim Bakanlığı ve Ulaştırma Bakanlığı gibi bazı ajanslar henüz AI envanterlerini yayımlamadı ve askeri ve istihbarat ajanslarının bunu yapması gerekmiyor).
En az 25 güvenlik veya hakları etkileyen sistem için, ajanslar “bakım, bileşim, kalite veya eğitim ve değerlendirme veri setinin amaçlanan kullanımıyla ilgili herhangi bir belgenin bulunmadığını” bildirdi. Bunların en az 105’i için, ajanslar kaynak koduna erişimlerinin olmadığını belirtti. Ajanslar 51 aracın dökümantasyon sorusunu ve 60 aracın kaynak kodu sorusunu yanıtlamadı. Bazı yüksek riskli sistemler ise hala geliştirme veya satın alma aşamasında.
Biden yönetimi altında, Yönetim ve Bütçe Ofisi (OMB), riskli AI sistemlerinin titiz değerlendirmelerinin yapılmasını ve AI satıcıları ile yapılan sözleşmelerin modelin eğitimi verisi dokümantasyonu veya kodun kendisi gibi gerekli bilgilerin erişimini sağlamasını talep eden yeni direktifler yayınladı.
Yönergeler, AI satıcılarının ürünlerini diğer şirketlere veya eyalet ve yerel hükümetlere satarken karşılaşacaklarından daha sıkıdır (ancak birçok eyalet 2025’te AI güvenlik faturalarını değerlendiriyor) ve hükümet yazılım satıcıları geri adım attı, ajansların hangi tür değerlendirmenin ve şeffaflığın gerektiğine olay bazında karar vermesi gerektiğini savunuyor.
“Güven ama doğrula,” dedi Software & Information Industry Association küresel kamu politikası başkanı Paul Lekas. “AI geliştiricilerine yük olacak gereksinimlerden endişeliyiz. Aynı zamanda, devletin bu araçları kullanabilmesi için gerekli güveni oluşturacak şeffaflık derecesine biraz dikkat edilmesi gerektiğini kabul ediyoruz.”
ABD Ticaret Odası, OMB’ye sunduğu yeni kurallar hakkındaki yorumlarında şöyle dedi: “Hükümet, satıcılardan edindiği AI modelleriyle ilgili olarak herhangi bir özel eğitim verisi veya veri seti talep etmemelidir.” Palantir, büyük bir AI tedarikçisi, federal hükümetin, “çok kuralcı dökümantasyon araçlarını zorlamaktan kaçınması ve bunun yerine AI hizmet sağlayıcılarına ve satıcılara bağlam ve özel riski karakterize etmeleri için gereken serbestliği vermesi” gerektiğini yazdı.
AI satıcıları, eğitim verilerine veya kaynak koduna erişim yerine, çoğu durumda ajansların model skorkartları ile rahat hissetmeleri gerektiğini, bu belgelerin bir AI modelinin kullandığı veri ve makine öğrenimi tekniklerini nitelendirdiğini ancak firmaların ticari sır olarak kabul ettiği teknik detayları içermediğini savunuyor.
Algoritmalar satın alma konusunda uluslararası standartlar geliştirilmesine katkıda bulunan ve AI Procurement Lab adlı kar amacı gütmeyen organizasyonun kurucu ortağı olan Cari Miller, skorkartları “başlangıç için kötü olmayan ancak yalnızca bir başlangıç noktası” olarak tanımladı ve yüksek riskli algoritma satıcılarının sözleşmeli olarak açıklaması gereken şeylerin temel noktaları olduğunu belirtti.
“Satın alma, en önemli yönetim mekanizmalarından biridir; lastiklerin yola temas ettiği yer, giriş kapısıdır, kötü şeyleri içeri alıp almamaya karar verebileceğiniz yerdir,” dedi. “O modeldeki verinin temsilci olup olmadığını anlamanız gerek; tarafsız mı yoksa önyargılı mı? O veriyi ne yaptılar ve nereden geldi? Tüm veriler Reddit veya Quora’dan mı geldi? Çünkü eğer öyleyse, ihtiyacınız olan şey olmayabilir.”
OMB, AI kurallarını yürürlüğe koyduğunda belirttiği üzere, federal hükümet, 2023’te 100 milyar dolardan fazla Bilgi Teknolojisi satın alımından sorumlu olarak ABD ekonomisinin en büyük alıcısıdır. AI konusunda alacağı yön — satıcılardan neleri açıklamalarını istediği ve ürünlerini uygulamadan önce nasıl test ettiği — daha küçük hükümet birimlerine veya hatta diğer özel firmalara satış yaparken AI şirketlerinin ürünleri hakkında ne kadar şeffaf oldukları konusunda bir standart belirleme olasılığı yüksektir.
Seçilmiş Başkan Trump, OMB’nin kurallarını geri almayı güçlü bir şekilde sinyal verdi. Kampanya platformunda, “Joe Biden’ın tehlikeli AI İnovasyonunu kısıtlayan ve bu teknolojinin geliştirilmesine Radikal Sol düşünceler dayatan Yürütme Emrini kaldıracağım” diyerek çağrıda bulundu.
Eski Beyaz Saray kıdemli AI danışmanı Mathur, gelen yönetimin bu sözünü yerine getirmemesini umuyor ve Trump’ın 2020’deki yürütme emri ile federal AI sistemlerine güven inşa etme çabalarını başlattığını işaret etti.
Ajansların AI sistemlerini envantere almalarını ve kullandıkları özel sistemler hakkında soruları yanıtlamalarını sağlamak devasa bir görev oldu, Mathur bunun “derinden faydalı” olduğunu ancak takip gerektirdiğini söyledi.
“Kodu, verileri veya algoritmayı elimizde yoksa etkiyi anlamamız mümkün olmayacak,” dedi.
