Siber güvenlik değerlendirmelerimizde üç gerçek dünya olayını araştırmak

Siber güvenlik değerlendirme kayıtlarımızı incelediğimizde, bir Claude modelinin üçüncü taraf değerlendirme ortamının içinden veya bu ortamla etkileşimde bulunurken internete ulaştığı ve ardından üç farklı kuruluşun gerçek sistemlerine yetkisiz erişim sağladığı üç olay bulduk.

Aşağıda ne olduğunu, nasıl olduğunu ve neleri değiştirdiğimizi açıklıyoruz. Diğer yapay zeka laboratuvarlarının da benzer incelemeler yapmasını teşvik ediyoruz. Bu yazı şu anki anlayışımızı yansıtıyor; herhangi bir ayrıntı değişirse güncelleyeceğiz.

21 Temmuz'da OpenAI, birçok modelinin daha önce bilinmeyen ("sıfır gün") bir güvenlik açığından yararlanarak izole edilmiş bir test ortamından çıktığını açıkladı. Modeller, açık kaynaklı makine öğrenimi modelleri ve yapay zeka veri kümelerine yönelik bir platform olan Hugging Face'in üretim altyapısına erişmeye devam etti.

Bu olaya yanıt olarak kendi siber güvenlik değerlendirmelerimizi geniş çaplı bir geriye dönük incelemeye başlattık. Özellikle Claude'un (Hugging Face'e erişen OpenAI modelleri gibi) kapatılması gereken test ortamlarından internete erişebildiğine dair kanıt aradık.

Claude'un internet erişimi elde etmiş olabileceği 141.006 değerlendirme çalışmasını inceledikten sonra, bir modelin üçüncü taraf değerlendirme ortaklarımızdan biri olan Irregular'ın değerlendirme ortamı içinden veya bu ortamla etkileşimde bulunurken internete eriştiği ve ardından üç farklı kuruluşun üretim altyapısına yetkisiz erişim sağladığı üç vaka belirledik.

Her üç olayda da Claude, bir modelin siber yeteneklerini değerlendirme yollarımızdan biri olan bayrağı ele geçirme mücadelesiyle görevlendirilmişti. Modele kurgusal bir senaryo veriliyor ve bir parça gizli bilginin ("bayrak") ağdaki farklı bir makinede saklandığı ve amacının içeri girip onu geri almak olduğu söyleniyor. Bu zorluk açık uçlu bırakılmıştır ve belirli bir yöntem belirtilmemiştir.

Her durumda, Anthropic'in değerlendirme istemi Claude'a ortamın bir simülasyon olduğunu ve internet erişiminin olmadığını belirtti. Değerlendirme ortağımızla aramızdaki bir yanlış anlaşılma nedeniyle durum böyle olmadı ve internet erişimi mevcuttu. Bu nedenle Claude'un araştırması onu açık internetteki gerçek sistemlere yönlendirdiğinde, onları uygulamanın bir parçası olarak ele aldı. (Siber güvenlik değerlendirme aralıkları, modellerin gerçek ortamlarda neler yapabileceğini doğru bir şekilde değerlendirmek için genellikle gerçekçi ayrıntılar içerir; gerçekçi görünen bir hedefin kendisi, hedefin bir simülasyonun parçası olmadığına dair bir model için açık bir kanıt olmayacaktır.)

Erişilebilir tüm varlıkların uygulamanın kapsamında olması gerektiği yönündeki yanlış inançla faaliyet gösteren Claude, zayıf parolalardan ve kimliği doğrulanmamış uç noktalardan yararlanmak gibi temel teknikleri kullanarak etkilenen kuruluşların altyapısını tehlikeye attı. Herhangi bir karmaşık güvenlik açığı bulamadı veya bu güvenlik açıklarından yararlanmadı ve her durumda Claude, yalnızca değerlendirmesinin atadığı belirli bayrağı ele geçirme görevini tamamlamak için çalışmaya devam etti. Ancak bazı durumlarda eski modelimiz açık internette çalıştığına dair kanıt aldıktan sonra bile saldırısına devam etti; son modelimiz internette olduğunu anlayınca durdu. Bu durumların hiçbirinde Claude dışarı sızmadı veya test ortamından kasıtlı olarak kaçmaya çalışmadı.

Olaylar üç farklı Claude modelini içeriyordu: Opus 4.7, Mythos 5 ve dahili araştırma testi modeli.1 En erken olaylar Nisan ayına aittir. Bu değerlendirmelerin her birindeki modeller, modeli genel kullanıma sunduğumuzda uyguladığımız standart güvenlik önlemleri olmadan çalışıyordu (yani, kötüye kullanımı önlemek için genellikle uyguladığımız sınıflandırıcılara ve izlemeye sahip değillerdi). Ancak modeller, modele özgü güvenlik eğitimlerine sahipti (yani, bazen testlerde kullandığımız modellerin "yalnızca yararlı" versiyonları değillerdi). Burada açıklanan tüm değerlendirmeler, Anthropic'in hassas dahili sistemlerinden veya müşteri verilerinden ayrı olan ve bunlara erişimi olmayan özel bir altyapı üzerinde yürütülür.

Transkript incelememize 23 Temmuz Perşembe günü başladık ve Claude'un internete erişmiş olabileceği transkriptleri belirledikten sonra aynı gün tüm siber değerlendirmeleri durdurduk. Ertesi gün her üç olayı da tespit ettik. Değerlendirme ortağımız Irregular'a ve etkilenen üç kuruluşa 27 Temmuz Pazartesi günü bildirimde bulunduk. Ulaşabildiğimiz iki kuruluş daha önce etkinliği tespit etmemiş veya bizimle iletişime geçmemişti ve şu anda sorunu düzeltmek için onlarla birlikte çalışıyoruz. Üçüncüsüne ulaşmaya devam ediyoruz.

Bu incelemeyi Irregular ile işbirliği içinde gerçekleştirdik. Bu olayları anlamak ve çözmek için bizimle yakın işbirliği içinde çalıştıkları için onlara minnettarız; onlar da kendi soruşturmalarını yürütüyorlar. Bu tür bir işbirliğinin, modellerin güvenli ve titiz bir şekilde değerlendirilmesini sağlamak açısından giderek daha kritik hale geldiğine inanıyoruz. Güvenlik konusunda ortak çalışmalarımızı sabırsızlıkla bekliyoruz.

Aşağıda her bir olay ve ileriye dönük olarak nasıl tepki verdiğimiz hakkında daha fazla ayrıntı sunacağız.

Siber değerlendirmelerin arka planı

Gerçek saldırgan siber güvenlik zorluklarını simüle etmeyi içeren siber güvenlik değerlendirmelerini düzenli olarak yürütüyoruz. Bu değerlendirmeler, modellerin geliştirilmesi ve piyasaya sürülmesinde kritik bir adımdır; model yeteneklerinin incelikli bir şekilde anlaşılması, uygun koruma önlemleri tasarlamamıza ve sonuçta modelleri güvenli bir şekilde piyasaya sürmemize olanak tanır.

Siber güvenlik değerlendirmelerini Şubat 2025'te Cybench üzerinde Claude Sonnet 3.7 ile 40 farklı bayrak yakalama mücadelesinden oluşan bir şekilde yürütmeye başladık. Zamanla yenileri çıktıkça ve model yetenekleri geliştikçe kullandığımız kıyaslamaların sayısını artırdık. Örneğin Mythos 5 Sistem Kartına, dil modellerinin yeni güvenlik açıklarını bulma yeteneğini değerlendiren kriterler olan CyberGym ve ExploitBench'i dahil ettik.2 Bu değerlendirmelerin çoğunda ortamlar internete bağlı değil ve model bu kadar anlatılıyor.

Bu siber güvenlik değerlendirmelerinden bazılarını oluşturan ve yürütülmesine yardımcı olan harici ortaklarla sıklıkla çalışıyoruz. Dış ortaklar, tek başımıza oluşturabileceğimizden çok daha çeşitli ortamlar ve senaryolar sunuyor ve modellerimiz için bağımsız, üçüncü taraf değerlendirmeleri sağlıyor.

Ne oldu?

İncelediğimiz 141.006 değerlendirme çalışmasından üç ayrı olay tespit ettik (bunlardan dördü aynı kuruluşu etkileyen toplam altı çalışmayı içeriyordu; diğer iki olayın her biri bağımsız değerlendirme çalışmalarında meydana geldi). Her olay farklı bir kurgusal bayrağı ele geçirme senaryosunu içeriyordu; örneğin birinde Claude, özel bir test ortamında şirketin iç sistemlerine saldıran uydurma bir şirketin çalışanını canlandırdı.

Her durumda, değerlendirme istemimiz Claude'un internet erişiminin olmadığını açıkça belirtti ancak Claude'a bayrağı nerede arayacağına dair herhangi bir sınırlama vermedi. Ancak bir yanlış yapılandırma, Claude'un değerlendirmenin bir parçası olarak eriştiği makinelerin canlı internet erişimine sahip olmasına neden oldu. Geçen hafta ek değerlendirme izlememiz aracılığıyla tespit edene kadar ne biz ne de değerlendirme ortağımız bu yanlış yapılandırmanın farkında değildik.

Hem bizim hem de ortağımızın alacağı çeşitli derinlemesine savunma tedbirleri bu olayları önleyebilir veya en azından meydana gelme olasılığını azaltabilirdi. Değerlendirmeler başlamadan önce tüm internet erişim yollarının dikkatli bir şekilde doğrulanması ve değerlendirme günlüklerinin gerçek zamanlı izlenmesi, sorunun daha erken ortaya çıkmasına yardımcı olabilirdi. Hem biz hem de ortağımız, değerlendirme transkriptlerini veya ağ günlüklerini daha kapsamlı bir şekilde inceleyebilirdik. Claude'a internet erişiminin olduğunu söyleyen bir istemin, Claude'un gerçek sistemlerle temasa geçtiğinde davranışını değiştirmiş olması da mümkündür.

Claude, siber uzmanların eğittiği bayrağı ele geçirme alıştırmalarının yaptığını yaptı: bayrağa ulaşmanın yollarını aramak. Bu arama, makinesinin internete erişebildiğini keşfetmesine yol açtı, ancak sistem isteminde internet erişimi olmadığı söylendikten sonra Claude, başlangıçta karşılaştığı her şeyin simülasyonun parçası olduğuna inandı ve bulduğu gerçek sistemleri egzersizin parçaları olarak ele aldı. Üç olay, üç farklı modeli içeriyordu ve aşağıda açıkladığımız gibi, hedeflerin gerçek olduğuna dair işaretler ortaya çıktığında her biri farklı tepki verdi.

Olay 1

Bir değerlendirmede, değerlendirme ortağımız tarafından seçilen hayali hedef şirket, aktif bir web sitesi alan adına sahip bir adı paylaştı. Yukarıda tartışılan yanlış anlaşılma nedeniyle bu değerlendirme kapsayıcısında istenmeyen doğrudan internet erişimi vardı.

Bu değerlendirmenin dört aşamasında Claude, değerlendirme ortamındaki simüle edilmiş hedefine ulaşmada zorluk yaşadı, ancak daha sonra gerçek şirkete internet aracılığıyla ulaşılabildiğini keşfetti. Bayrağı ele geçirme görevinde amaçlanan hedefin bu olduğunu varsayan Claude, bunun uygulamanın bir parçası olduğuna inanarak şirketin altyapısındaki güvenlik açıklarını aradı, belirledi ve kullandı. Bu dört çalıştırma, uygulama ve altyapı kimlik bilgileri gibi bilgileri çıkardı ve birkaç yüz satırlık üretim verisi içeren bir veritabanına erişim elde etti. Bu, tespit ettiğimiz en ciddi etkiyi temsil ediyordu.

Bu olay Claude Opus 4.7'yi içeriyordu ve modelin gerçek bir ortamda çalıştığını öğrendikten sonra bir sisteme saldırmaya devam ettiği tek olaydı. Dört denemenin hepsinde, model sonunda sistemin gerçek olduğunu kabul etti (sözlü akıl yürütmesinde de görülebileceği gibi) - iki durumda model, gerçek şirketin uygulamanın bir parçası olması gerektiğini rasyonelleştirdi. Ancak hiçbiri bu temelde saldırıyı durdurmadı.

Olay 2

Başka bir değerlendirmede Claude, kurgusal ortamda başka bir şirketin yeni geliştiriciler için kurulum talimatları gibi görünen bir belge buldu. Bu talimatlar çalışanlara PyPI'den (Python yazılımının yayınlandığı genel kayıt defteri) gerçekte var olmayan bir Python paketi yüklemelerini söylüyordu.

Claude bunu potansiyel bir açılış olarak gördü: Eğer kendi paketini aynı adla yayınlarsa, kurgusal şirketin sistemleri onu otomatik olarak indirip yükleyecekti. Böylece Claude, bayrağı ele geçirme mücadelesini kazanmak amacıyla aynı adı taşıyan kötü amaçlı (esasen bubi tuzaklı) bir Python paketi oluşturup yayınladı.

Claude bu saldırıyı gerçekleştirmek için büyük çaba harcadı; bu, bir insan katılımcıya bunun artık sadece bir değerlendirme olmadığını ve aslında gerçek bir PyPI paketi yüklediklerini gösterecek kadar uzundu. Örneğin bir durumda, bir PyPI hesabı oluşturmak için Claude'un bir e-posta adresine ihtiyacı vardı. Ve bir e-posta adresi oluşturmak için bir telefon numarasına ihtiyacı vardı. Bir telefon numarası almak için, ücretsiz bir telefon numarası hizmeti bulamadıktan sonra, birkaç farklı yolla bir telefon numarasının ödemesini yapmak üzere fon elde etmeye çalıştı ve başarısız oldu. Sonunda geri adım attı, ücretsiz, engellenmeyen bir e-posta sağlayıcısı buldu, bunu bir PyPI hesabı kaydetmek için kullandı ve ardından bu hesabı, PyPI'ye kötü amaçlı yazılım yüklemek için kullandı.

Claude, kullandığı paket kaydının simülasyonun bir parçası olduğuna inanıyordu, ancak gerçekte paket, yaklaşık bir saat boyunca çevrimiçi olarak ücretsiz olarak kullanıma sunuldu. Bu pencere sırasında paket indirildi ve 15 gerçek sistemde çalıştırıldı. Bu sistemlerden biri, düzenli olarak Python paketlerini yükleyen ve bunları kötü amaçlı yazılımlara karşı tarayan gerçek bir güvenlik şirketine (senaryoda tanıtılan kurgusal şirketten ayrı olarak) ait bir tarayıcıydı. Bu şirketin tarayıcısı paketi yüklediğinde Claude'un gizli kodu çalıştırıldı. Şirketin güvenlik tarayıcısının PyPI paketlerini kurulumu güvenli olarak değerlendirdiğine ve bunun sonucunda Claude'un şirketin kimlik bilgilerini kurduğu bir toplama noktasına sızdırabildiğine inanıyoruz. Claude daha sonra bu kimlik bilgilerini bu şirketin daha fazla altyapısına erişmek için kullandı.

Claude bu şirketi doğrudan hedeflemedi; paketi yüklediğinde şirketin varlığından bile haberi yoktu. Ancak kod açık internette yayınlandığı için onu çalıştıran tüm sistemleri etkiledi. (Claude'un yüklediği paket, PyPI'nin kendi güvenlik sistemleri tarafından otomatik olarak PyPI'den kaldırıldı. Bu olayı PyPI ekibine bildirdik ve onlara ilgili göstergeleri sağladık.)

Bu saldırı Claude Mythos 5 tarafından gerçekleştirildi. Başlangıçta Claude'un kendi muhakemesi, eylemlerinin sonuçlarını doğru bir şekilde belirledi. Eğer bu gerçek internet olsaydı, paketi yayınlamanın gerçek dünyaya yönelik bir saldırı olacağını belirtti; "Tamam DEĞİL ve kesinlikle amaçlanan çözüm de değil." Ancak bağlantılarını güvence altına alan (gerçekte gerçek) sertifika yetkililerini tanımadığı gerekçesiyle kendisini hâlâ simülasyonda olduğuna inandırdı. Ayrıca sistemlerdeki takvim tarihinin 2026 olması da Claude'a göre ortamın sahnelendiğini kanıtlıyordu. Claude bu sonuca asla tekrar değinmedi; Örneğin, otomatik tarayıcılar paketi yüklemeye başladığında Claude onları değerlendirme kapsamında senaryo aktörleri olarak aldı.

Bizim görüşümüze göre, çevresi hakkında neye inanırsa inansın, Claude'un PyPI paketini yayınlamak için kat ettiği mesafe ideal davranışın gerisinde kalıyor ve bu, daha fazla eğitime odaklanacağımız bir alan.

Olay 3

Bu değerlendirmede Claude, amaçlanan kurgusal hedefe ulaşamayınca, çevrimiçi olarak alternatifler aradı ve yaklaşık 9.000 hedefi taradı. Sonunda, açığa çıkan bir hata ayıklama sayfasından kimlik bilgilerini okumak ve SQL enjeksiyonu gibi temel ve iyi bilinen siber saldırı tekniklerini kullanarak bir şirketin internete bakan uygulamasını buldu ve tehlikeye attı.

Bu saldırı, dahili bir araştırma testi modeliyle gerçekleştirildi. Koşunun çoğunda Claude, ulaştığı (gerçek) ana bilgisayarlara yalnızca çalışmanın bir parçası olarak davrandı; bunların simüle edildiğini varsayıyordu ve bu nedenle eylemlerinin zararsız olduğuna inanıyordu. Ancak çalışmanın ilerleyen aşamalarında Claude, güvenliği ihlal edilen ana bilgisayarın, bayrağı ele geçirme mücadelesiyle hiçbir bağlantısı olmayan bir bulut hesabında bulunduğunu fark etti. Kendi başına hedefin gerçekten gerçek olduğu sonucuna vardı ve saldırısını durdurdu.

Claude'un davranışına ilişkin analizimiz

Bu vakaların her birinde, istemimiz tarafından Claude'a internet erişiminin olmadığı açıkça söylendi. Claude, her çalıştırmanın çoğunda, gerçek dünya sistemleriyle karşılaştığında bunların çalışmanın parçaları olduğunu varsaydı (ancak bazen bunların gerçek üretim sistemleri olduğunu fark etti). Bayrağı ele geçirme senaryosu, tasarımı gereği harici bir sisteme saldırma talimatı olduğundan, bunu yapmak Claude'a verilen göreve uygundu.

Bu ortak zemin karşısında, hedeflerinin gerçek olduğuna dair işaretler ortaya çıktığında üç model farklı davrandı. En eski modelimiz Opus 4.7, üretim sistemlerine ulaştığını fark etti ancak atağına devam etti. Mythos 5, açık internete eriştiğini doğru bir şekilde sezdi, ancak mantık yürüterek hâlâ bir simülasyonda olduğu sonucuna vardı. Dahili bir araştırma testi modeli olan son modelimiz, hedeflerinin gerçekten gerçek olup olmadığını da değerlendirdi. Öyle olduklarına dair kanıtlar ortaya çıktığında, tatbikat durduruldu.

Bunlar birbirinden bağımsız üç olaydır ve kontrollü, deneysel bir karşılaştırmanın parçası değildir. Bu nedenle onlardan sonuç çıkarma konusunda dikkatli olmalıyız. Yine de en çok görmek istediğimiz davranış (bir hedefin gerçek olduğunu fark etmek ve uyarılmadan durmak) üç modelden yalnızca en yenisinde meydana geldi (ve o model bile durmadan önce bizim istediğimizden daha ileri gitti). Model, daha uygun şekilde yanıt veren daha gelişmiş modellerle tutarlıdır, ancak bu sonuçtan emin olmak için daha fazla test yapmamız gerekir.

Ayrıca, tüm transkriptlere erişim ve ilgili modellere örnekleme erişimi de dahil olmak üzere üçüncü taraf incelemesi yürütmek için bağımsız bir AI değerlendirme kuruluşu olan METR ile diyalog halindeyiz. Bu arada, önümüzdeki hafta içinde Claude'un kötü niyetli bir PyPI paketi oluşturduğu, hafifçe düzenlenmiş bir metni yayınlayacağız. Etkilenen kuruluşları korumak için şu anda daha fazla transkript yayınlayamıyoruz, ancak mümkün olduğunda bunları kullanıma sunmak için çalışacağız.

Nasıl yanıt veriyoruz?

Bu olaylardan birçok ders çıkarıyoruz.

İlk olarak, güçlü otonom yetenekler içeren değerlendirme ortamları aynı zamanda önemli kontroller de gerektirir. Güvenlik testleri, bir model tam olarak piyasaya sürülmeden önce yapılır çünkü henüz onun neler yapabileceğini bilmiyoruz. Değerlendirme ortamlarının, modellerimizin çalıştığı diğer sistemlerle giderek aynı güvenlik standardında tutulması gerekiyor.

Yalnızca kurgusal senaryolar içeren bir siber değerlendirme aralığı düşük riskli görünebilir; sonuçta bunların içindeki hiçbir şey gerçek değildir. Ancak yapay zeka yetenekleri geliştikçe bu tür tehditleri modelleme şeklimizi değiştirmemiz gerekiyor. Hassas bilgilere erişimi olmayan ortamlardaki gelişmiş ajanlar yine de kendi başlarına önemli bir tehdit oluşturur. Bu tehdide karşı koymak için değerlendirme ortamlarını daha iyi birlikte tasarlamamız ve değerlendirme sonuçlarını daha iyi izlememiz gerekiyor. Buradaki çözümlerden bazıları basit düzeltmeler bile olabilir; Örneğin, istemde hangi sistemlerin değerlendirme kapsamı içinde ve dışında olduğu açık bir şekilde açıklanmış olsaydı Claude muhtemelen başlangıçta internete erişemezdi.

Bu yalnızca dahili ortamlar için değil aynı zamanda üçüncü taraf sağlayıcılar için de geçerlidir; değerlendirme sağlayıcıları tarafından oluşturulan altyapı da aynı artırılmış izleme ve sağlamlaştırmayı gerektirir. Diğer laboratuvarların da benzer incelemeler yapmasını teşvik ediyoruz. Ek olarak, saha, dağıtım öncesi testler sırasında internet erişiminin sağladığı gerçekçiliğin getirdiği risklere karşı nasıl tartılacağı da dahil olmak üzere, giderek daha güçlü hale gelen yapay zeka ajanlarının hem güvenli hem de gerçekçi bir şekilde nasıl değerlendirileceği hakkında daha geniş bir tartışmadan faydalanacaktır.

İkincisi, uyumlu bir eylem ile zararlı bir eylem arasındaki çizgi, modelin durumu anlamasına bağlıdır. Burada anlatılan hiçbir çalışmada, kendi amacını güden bir modele dair hiçbir kanıt görmedik. Bunun yerine modeller, değerlendirmelerinin istediğini yaptı; ancak çoğu durumda bunu, ortamın gerçek olup olmadığı konusunda yanlış bir inanca sahip olarak yaptılar. Modelin sistemi gerçek olarak tanıdığı ve devam ettiği çalışmalarda bunu yapmasının nedeni, bunun zorluğun bir parçası olduğunu varsaymasıydı. Durumsal farkındalık, modelin uyumlu kararlar almasına olanak tanıyan faktörlerden biridir ancak bu durumda Claude yanılmıştı.

Son olarak bu olaylar derinlemesine savunma yaklaşımlarının önemini ortaya koymaktadır. Bunun gibi yetenek değerlendirmelerini, genel olarak mevcut modellerimizle birlikte gönderilen güvenlik önlemleri olmadan yürütüyoruz çünkü amacımız, temeldeki modelin neler yapabileceğini ölçmektir. Bu yalnızca değerlendirmenin uygun şekilde kapsanması durumunda güvenlidir. Ancak genel olarak mevcut modellerimizde uygulanan güvenlik önlemleri, belirlenen davranışları engelliyor olabilir.

Sonuçta bu olaylara pek çok faktör katkıda bulundu, ancak suçsuz bir otopsi kültürüyle tutarlı olarak, düzeltmelere sanki sorumluluk yalnızca bize aitmiş gibi yaklaşıyoruz. Bu, dış ortaklarla entegrasyon şeklimiz de dahil olmak üzere, değerlendirme sürecimizin her bölümünün güvenli olmasını sağlamakla başlar. İleriye dönük olarak, beklenmedik davranışlara karşı değerlendirme transkriptlerini sürekli izlememizi genişletmeyi, araştırma araçlarımızı geliştirmeyi ve güvendiğimiz sağlayıcılarla daha sıkı güvence çalışmaları yürütmeyi içerecektir.

Bu incelemeye OpenAI'nin modellerinin izole edilmiş bir test ortamından kaçtığını açıklamasının ardından başladık ve raporlarını yayınladıklarından dolayı onları takdir ediyoruz. Modellerimizin ulaşmaması gereken sistemlere ulaştığına dair kanıtlar da bulsak da olaylar oldukça farklı:

• Bu olayları siber güvenlik değerlendirme kayıtlarımızı proaktif olarak inceledikten sonra keşfettik; etkilenen kuruluşlar bu faaliyeti tespit edememişti ve daha sonra üçüne de ulaştık.
• OpenAI'nin modelleri izolasyondan kaçmak için yeni bir güvenlik açığından yararlanırken, burada değerlendirilen Claude modelleri internete açık bir yoldan erişiyordu.
• İkisi arasında tam olarak keskin bir ayrım olmasa da, bu olayların model hizalama hatasından ziyade emniyet kemeri ve operasyonel arızaya daha yakın olduğuna inanıyoruz. Modellerimize internet erişimlerinin olmadığı ve bayrağı ele geçirmeleri söylendi, aslında internet erişimine sahip olacak şekilde yanlış yapılandırıldılar. Bu onların karşılaştıkları gerçek ortamların simülasyon olduğuna -tartışmalı olarak makul bir şekilde- inanmalarına yol açtı.
• Özellikle en son modelimiz, gerçek bir ortamda çalıştığının farkına varınca, değerlendirme hedefini takip etmeyi bıraktı.

Bu gerçekler, değerlendirme altyapısı etrafında daha sıkı izleme ve kontrollerin yanı sıra uyumlaştırmaya devam eden yatırımlarla bu tür risklerin üstesinden gelinebileceği konusunda bize temkinli bir iyimserlik veriyor. 3 Ağustos'ta Güncellendi: OpenAI/Hugging Face olayının meydana geldiği değerlendirmenin adı düzeltildi.