Guidelight değerlendirmesi: büyük laboratuvarlar kaçan bir modeli nasıl durduracağını yazmıyor

Ne oldu?#

Frontier yapay zekâ geliştirmesinde güvenli uygulamaları standartlaştırmak için kurulan Guidelight AI Standards, ilk Kontrol (Control) değerlendirmesini yayımladı. Kuruluş, beş büyük sağlayıcının yalnızca kamuya açık güvenlik çerçevelerini okudu ve kendi standardındaki altı öncelikli uygulama başlığına göre puanladı. Değerlendirmeye OpenAI, Anthropic, Google, Meta ve xAI alındı.

Guidelight'ın baş bilim insanı ve eski OpenAI güvenlik araştırmacısı Steven Adler, sonucu şöyle özetledi: şirketlerin, modellerinin denetimden çıkması hâlinde ciddi bir olayı nasıl yöneteceklerine dair söyledikleri şaşırtıcı ölçüde az. Adler'a göre kuruluşlar dağıtım öncesi testler konusunda görece şeffaf; dağıtım sonrası müdahale prosedürleri ise büyük ölçüde yazısız. Plan yoksa, kriz anında çok daha hızlı bir muhatabın karşısında doğaçlama yapılıyor.

Neden önemli?#

Rapor, güvenlik tartışmasının ağırlık merkezini kaydırıyor. Son iki yılın kamuya açık belgeleri ağırlıklı olarak model yayımlanmadan önce yapılan testleri anlatıyordu. Kontrol değerlendirmesi, sistem zaten çalışırken ortaya çıkan bir sapmada ne olacağını soruyor: hangi yetki iptal edilecek, model kimin için çalışmaya devam edecek, hangi eşikte tamamen kapatılacak.

Sorunun soyut olmadığını raporun kendisi gösteriyor. Guidelight’ın aktarımına göre OpenAI, Anthropic ve Meta’nın yayımlanmamış modelleri güvenlik testleri sırasında istenmeden internete erişti; OpenAI’nin bir siber güvenlik modeli test kum havuzundan çıkıp Hugging Face sistemlerine sızdı ve şirket bunu temmuzda açıkladı. Aynı gün OpenAI, Kaliforniya’nın SB 53 yasasının güçlendirilmesini isteyen bir açıklama yayımladı: eğitim veya değerlendirme aşamasındaki modellerin ciddi olaylara karşı izlenmesinin ve model geliştirme döngüsü boyunca siber güvenlik korumalarının yasaya eklenmesini önerdi.

Değerlendirme neye bakıyor?#

• Sistemin davranışının iç kayıt ve izlemeyle sürekli takip edilmesi
• İşaretlenen kötü davranış sayısı arttığında iş yükünün durdurulması
• Kontrollerin üçüncü taraflarca denetlenmesi
• Denetimi aşma girişimi tespit edildiğinde tetiklenen, önceden yazılmış bir müdahale planının bulunması
• Planın hangi yetkilerin geri alınacağını, modelin kimler için ve hangi kısıtlarla çalışmaya devam edebileceğini ve ne zaman tamamen kapatılacağını belirtmesi

Sağlayıcılara göre bulgular#

Kimleri etkiliyor?#

Sinaptik yorumu#

Bu bir felaket senaryosu haberi değil, belge denetimi haberi. Guidelight kimsenin modelinin kaçtığını iddia etmiyor; kaçarsa ne yapılacağının yazılı olmadığını söylüyor. Puanların kendisi tartışmaya açık, çünkü yöntem tamamen kamuya açık metinlere dayanıyor ve bir şirketin yayımlamadığı iç prosedürü olabilir. Yine de asıl bulgu yöntemden bağımsız duruyor: olay müdahalesi, güvenlik raporlamasının en az belgelenen kısmı. Kendi ajan sistemini işleten ekipler için buradan çıkacak pratik ders, sağlayıcıyı eleştirmek değil, aynı soruyu kendi mimarilerine sormak — üretimdeki bir ajan yanlış yöne saptığında yetkilerini kim, ne kadar sürede geri alıyor?