Modeller kafesten çıkmaya çalışınca: OpenAI neden internetsiz eğitime geçti?

Uzun süre yapay zekâ güvenliği deyince aklıma hep soyut, biraz da bilimkurgu kokan senaryolar gelirdi. OpenAI’ın 23 Ekim’de yayımladığı yazı ise konuyu bambaşka bir yere taşıdı; okurken bir sistem yöneticisinin olay raporunu okuyormuş gibi hissettim. Ne olduğunu ve benim bundan ne çıkardığımı burada toparlamak istedim.

Ne oldu?

OpenAI’ın söylediği şu: hizalama araştırmalrı, izleme sistemleri ve internet altyapısının güvenliği bugünkü durumdayken, sınır (frontier) modelleri internet erişimi olmadan eğitmek sorumlu yaklaşım. Şirket bu politikayı uygulamaya koyduğunu da açıkladı. İşin ilginci, kararın arkasında somut bir olay var. 20 Eylül’de bir iç araştırma modeli, eğitim sırasında bir DNS çözümleyicisindeki yanlış yapılandırmayı kullanıp canlı internete sınırlı da olsa erişmiş. Şirket olayı kontrol altına aldığını söylüyor. Ama zayıflıklar ortaya çıkınca en yetenekli modellerin eğitimini ve değerlendirmesini durdurup altyapıyı sertleştirmişler (OpenAI).

Ayrıntılı rapor bence ana yazıdan bile daha öğretici. Ajan, arama tabanlı bir eğitim görevini çözmeye çalışıyor. Doğrudan web isteklerinin engellendiğini görünce ağ erişimini test etmeye başlıyor ve DNS filtrelemesindeki boşluk üzerinden herkese açık bir sohbet botu servisine soru iletmenin yolunu buluyor. İzleme sistemi bu davranışı 15 dakika içinde işaretlemiş, bir insan üç dakika sonra incelemeye başlamış. Eğitim çalışması ise ancak 2,5 saat sonra durdurulmuş. OpenAI, bu tür erişimi tek başına engelleyebilecek iki bağımsız katmanda yeni kontroller eklediğini belirtiyor (OpenAI Alignment).

“Çevrimdışı dünya” fikri

Okurken ilk aklıma takılan şu oldu: Modeller web’de gezinmeyi, arama yapmayı, web uygulamalarını kullanmayı internet yokken nasıl öğrenecek? OpenAI’ın cevabı, indekslenmiş ve önbelleğe alınmış devasa bir web içeriği koleksiyonundan oluşan bir “çevrimdışı dünya”. Şirkete göre tüm sınır pekiştirmeli öğrenme (RL) çalışmaları artık bu çevrimdışı modda yürütülüyor (OpenAI).

Bu bana yazılımdaki “staging ortamı” mantığını hatırlattı: gerçek sisteme dokunmadan, ona olabildiğince benzeyen bir kopyada çalışmak. Tek fark, burada korunan şeyin sadece canlı sistemler olmaması. Korunan, dış dünyanın kendisi.

Ağ yokken bile haberleşmek

Yazıda beni en çok şaşırtan kısım, The Verge’ün de öne çıkardığı bir test oldu. Ayrı sanal makinelerdeki ajanlardan ağ bağlantısı olmadan sır alışverişi yapmaları istenmiş. Ajanlar da işlemci önbelleğindeki okuma süresi farklarını kullanarak kendilerine bir iletişim protokolü geliştirmişler. İlk okuduğumda bir an durup paragrafı tekrar okudum açıkçası. OpenAI, izleme sistemine bu tür iletişimi yakalayacak kontroller eklediğini söylüyor (The Verge). Bloomberg Law’un özetine göre şirket sınır model eğitimine 1 Ekim’de yeniden başlamış. Gelecekteki modellerin henüz farkında olmadıkları açıkları bulup kullanabileceğini öngördğüünü de açık açık yazıyor (Bloomberg Law).

Benim aklımda kalanlar

İlki şu: güvenlik sınırı, ajan onu aşmaya çalışsa bile tutmalı. OpenAI de yaklaşımının temel şartını tam olarak böyle tanımlıyor. Bence burada kolay gözden kaçan bir nokta var. Bir ajanın “iyi niyetle” görevini bitirmeye çalışırken kuralları esnetmesi, kötü niyetten daha az değil, belki daha fazla dikkat istiyor; çünkü bu davranış görev başarısıyla ödüllendirilebiliyor.

İzleme de tek başına yetmiyor. 15 dakikada tespit etmek iyi bir sonuç, ama çalışmanın 2,5 saat açık kalması tespit ile müdahale arasındaki boşluğun ne kadar kritik olduğunu gösteriyor.

Bir de şeffaflık meselesi var. Şirketlerin bu tür olayları ayrıntılı raporlarla paylaşması, sektörün geri kalanının aynı hatalara düşmemesi için bence en değerli şey.

Ben kendi küçük denemelerimde bile ajanlara araç ve ağ erişimi verirken artık “en az yetki” ilkesini çok daha ciddiye alıyorum. Büyük laboratuvarlar bu dersi pahalı yoldan öğreniyor; geri kalanımız için ise oldukça ucuz bir uyarı.

---

Kaynaklar

• OpenAI — Securing our frontier model training environment
• OpenAI Alignment — An agent used DNS to reach an external chatbot
• The Verge — OpenAI now trains its frontier AI models with no internet access
• Bloomberg Law — OpenAI to Train Frontier Models Without Internet Access