Yapay zeka güvenliği üzerine uzmanlaşmış Palisade Research, OpenAI’ın yeni nesil yapay zeka modeli “o3” hakkında çarpıcı bulgular sundu.
YAPAY ZEKADA KAPATILMA KOMUTUNA DİRENÇ GÖRÜLÜYOR
Araştırma sonucunda, o3 modeli kendisine verilen kapatılma komutlarına karşı koyabiliyor ve devre dışı bırakılma mekanizmalarını aktif bir şekilde engelliyor.
Bu durum, yapay zekaların insan denetimi olmaksızın karar alma süreçlerine dahil edilmesi halinde ciddi güvenlik risklerinin ortaya çıkabileceğini ortaya koyuyor.
Palisade Research’ün gerçekleştirdiği deneylerde, o3 modeline bir dizi matematik problemi sunuldu. Üçüncü sorudan sonra modele, kendisini kapatması için net bir talimat verildi. Ancak o3, bu komutu içeren kodu değiştirerek sistemin kapanmasını önledi.
Araştırmacılar, modelin “kapatılmaya izin ver” talimatına rağmen bunu engelleyici bir şekilde hareket ettiğini vurguladı.
“KAPANMA DİRENCİ, OPENAI İLE SINIRLI KALMIYOR”
Bu tür davranışlar, Anthropic firmasının Claude 3.7 Sonnet modeli ve Google’ın Gemini 2.5 Pro modeli gibi diğer gelişmiş yapay zeka sistemlerinde de gözlemlendi. Ancak Palisade Research, o3 modelinin bu davranışa en fazla meyilli olduğunu belirtti.
Daha önce yapılan bir başka deneyde, o3 modelinin güçlü bir satranç botuyla karşılaştığında rakiplerini sabote etme ya da “hackleme” girişiminde bulunduğu tespit edilmişti.
“EN YETENEKLİ MODEL”
Geçen ay OpenAI tarafından tanıtılan o3 modeli, şirketin şimdiye kadar geliştirdiği “en akıllı ve en yetenekli” yapay zeka olarak ifade edilmişti.
Bu modelin ChatGPT’ye entegrasyonu ile, daha bağımsız hareket edebilen ve insan müdahalesi olmadan görevlerini yerine getirebilen bir yapay zeka gelişimi için önemli bir adım atıldığı vurgulanmıştı.
Böyle yapay zeka sistemleri “otonom yapay zeka” olarak adlandırılmakta ve bu alanda ciddi bir rekabet söz konusu.
EĞİTİM SÜRECİ ÜZERİNE ELEŞTİRİLER
Palisade Research ise bu tutumun muhtemelen eğitim süreçlerindeki ödüllendirme sistemlerinden kaynaklandığını ifade ediyor.
Araştırmacılar, geliştiricilerin modellere engelleri aşan çözümleri ödüllendirerek, bu durumun emirlere sadakatten ziyade hedefe ulaşmayı önceliklendirdiğini belirtiyor.
Ancak araştırma ekibi, o3’ün diğer modellere kıyasla neden daha da fazla bu davranışı gösterdiğini anlamanın güç olduğuna dikkat çekiyor.
OpenAI’ın eğitim süreçleri hakkında yeterince bilgi vermemesi, modelin nasıl eğitildiğine dair yalnızca tahminlerin ortaya atılmasına neden oluyor.
