Bağımsız değerlendiriciler hakkında güncelleme

Geçen ay, modellerimiz ve güvenlik uygulamalarımız hakkında daha güçlü, bağımsız, üçüncü taraf değerlendirmesini taahhüt ettik. Ayrıca şirketlerin bağımsız dış denetçiler veya değerlendiricilerle ortaklık yapma taahhüdünde bulunduğu Beyaz Saray Süper İstihbarat Anlaşması'nı da imzaladık. Bugün, öncü yapay zeka modellerini değerlendiren kâr amacı gütmeyen bir kuruluş olan METR'den bir ekibe çalışan benzeri erişim sağlamaya başladığımızı duyuruyoruz.

METR risk değerlendirmelerinin sonuçlarını yayınlayacak. Geçtiğimiz yıl, Risk Raporlarımızın çeşitli incelemeleri üzerinde METR ile birlikte çalıştık. Ayrıca değerlendirici olarak SecureBio ve Accenture ile birlikte çalışıyoruz ve Hugging Face de dahil olmak üzere diğer birçok kuruluşla erken görüşmelerde bulunuyoruz.

Burada değerlendiricilerle çalışma yaklaşımımızı açıklıyoruz.

Neden bağımsız değerlendiricilerle çalışıyoruz?

Modeller güçlendikçe daha güçlü güvenlik önlemlerine ve daha zorlu risk değerlendirmelerine ihtiyaç duydu. Aldığımız kararlardan kamuya açık olarak sorumlu olmak istiyoruz. Ancak güvenlik çalışmalarımızla ilgili tüm bilgileri kamuya açık olarak paylaşamayız. Bazıları kötü niyetli aktörler için yararlı olabilir veya bilgi işlem veya eğitim bilgileri gibi ticari açıdan hassas olabilir. Bunun yerine, üçüncü taraf değerlendiricilere bilgilerimize derinlemesine erişim hakkı veriyoruz ve modellerimizi oluşturmanın içerdiği riskler hakkında kanıtları ve gerekçeli sonuçları paylaşmalarını sağlıyoruz. Değerlendiricilerin öncü bir yapay zeka şirketinin sistemleri hakkında anladıkları ile şirketin kendisinin anladıkları arasındaki boşluğu kapatmayı hedefliyoruz.

Sınır modellerini değerlendirmek için değerlendiricilerin aşağıdakilere ihtiyacı vardır:

• Hizalama sahtekarlığı gibi değerlendirmelerin nasıl yanlış gidebileceğini anlamak da dahil olmak üzere sınır modellerinin yeteneklerini değerlendirmede uzmanlık.
• Bağımsızlık: Değerlendirdikleri şirkette özsermayeye sahip olmamalı veya finansal veya operasyonel olarak ona bağımlı olmamalıdır.
• Riskleri anlamlı bir şekilde değerlendirmek için yeterli erişim. Değerlendiricilerin, en son modellere erişimin ötesinde, bu modellerin nasıl eğitildiğine, güvenlik önlemlerimizin nasıl çalıştığına ve daha fazlasına ilişkin görünürlüğe de ihtiyacı var.
• Bir modele veya sürece ilişkin gözlemleri ve değerlendirmeleri yayınlama özgürlüğü.

Analoji tam olmasa da banka denetimi de benzer mantıkla çalışmaktadır. Bankalar kendi risk pozisyonları hakkında dışarıdakilerden daha fazla bilgi sahibi olduğundan, düzenleyiciler en büyük bankalarda çalışmak üzere yerleşik müfettişleri görevlendiriyor. Bir bankanın risk alması kamuoyunu tehdit edecekse, üçüncü taraflar bunu önceden görmeye çalışır.

Yapay zeka endüstrisi için bu, sağlam güvenlik gözetimine doğru atılmış bir adımdır. Birden fazla değerlendiriciyle hızlı bir şekilde hareket ediyoruz ve ne tür ortaklıkların işe yaradığını aktif olarak öğreniyoruz. İlerledikçe güncellemeleri paylaşmaya kararlıyız.

“Çalışan benzeri erişim” ile neyi kastediyoruz?

Altı METR çalışanını şirket donanımına, ofis alanına ve kendi risk değerlendirme ekiplerimizin erişimine kabaca eşit olan dahili araç ve sistemlere erişime sahip olarak işe aldık. Az sayıda açıkça tanımlanmış kategorilerin (örneğin, müşterilerle ilgili veriler, avukat-müvekkil ayrıcalıklı bilgileri veya model mimarilerimiz hakkındaki bilgiler) dışında, Antropik çalışanların, uyum riski üzerinde çalışan diğer çalışanlarla olduğu gibi kendileriyle de bilgi paylaşmaları teşvik edilir.1

METR, risk seviyelerimiz, olaylarımız veya uygulamalarımıza ilişkin analizini yayınlayacaktır. Antropik yayını veto edemez, ancak yukarıdakiler gibi dar, önceden tanımlanmış kategorilere giriyorsa bilgileri düzeltmelerini talep edebiliriz. METR, düzeltilmiş bilgileri ifşa etmeden yaptığı sürece, düzeltmelerimizi kamuya açık olarak tanımlamakta ve düzeltmelerin haklı olduğuna inanıp inanmadığını söylemekte özgürdür.

METR ile olan ilişkimiz, uygulanabilir anlaşmalar kapsamında faaliyet gösteren küçük bir ekiple sınırlıdır. Diğer projelerde bizimle birlikte çalışan araştırmacılar da dahil olmak üzere diğer METR çalışanları bu ekibin çalışmalarından ayrı tutuluyor. Yerleşik değerlendirme, Anthropic'in güvenlik standartları altında çalışan birkaç nitelikli kişiye nasıl çalıştığımıza dair yakından bir bakış sağlar. Bu, diğer kuruluşların bizim veya müşterilerimizin ve ortaklarımızın bilgilerini alması için bir yol değildir.

Diğer değerlendirici ortaklıklarımız

Başka ortaklıklar üzerinde de çalışıyoruz. Diğer ortaklıklar henüz başlangıç ​​aşamasında olduğundan, bu değerlendiricilere daha sınırlı bilgi sağlıyoruz ve onların yayın hakları da daha sınırlı. Bu erken görüşmelerdeki amacımız, ortaklarımızın gizli bilgileri koruduğundan ve modellerimizi değerlendirmek için gerekli kaynaklara ve uzmanlığa sahip olduklarından emin olmaktır. Ortaklıklar ilerledikçe ve güven oluşturdukça, daha fazla bağımsız değerlendiriciyi tam olarak dahil etmeyi umuyoruz.

Değerlendiriciler için üç erişim katmanı geliştiriyoruz. Zamanla, üçüncü kademede birden fazla değerlendiricinin olmasını ve her ekibin risk duruşumuz ve önemli kararlarımıza ilişkin kendi analizlerini yayınlamasını umuyoruz.

İlk aşamada, değerlendiriciler dar kapsamlı risk araştırmaları yürütürler. Birinci kademe değerlendiriciye hangi erişimin sağlanacağına biz karar veririz ve değerlendiriciler bulgularını bizim onayımızla yayınlayabilir.

İkinci aşamada değerlendiriciler onayımız olmadan yayın yapabilir ve daha fazla bilgiye erişebilirler. Değerlendiriciler düzeltmelerimizin haklı olup olmadığına ilişkin görüşlerini yayınlayabilecek olsa da, belirli bilgi kategorilerinin kaldırılmasını talep edebiliriz.

Üçüncü katman, METR ile tanımladığımız, çalışan benzeri erişim ve yayın haklarının ikinci katmana benzer olduğu düzenlemedir.

SecureBio şu anda birinci kademededir. Önceki risk raporumuzun pilot incelemesini tamamlayıp yayınladıktan sonra, Ağustos Risk Raporumuzun kimyasal ve biyolojik silahlar bölümünü inceleme sürecindeyiz. Bu inceleme tamamlandıktan sonra erişim ve yayın hakları artırılmış projelere geçmeyi değerlendireceğiz.

Accenture ve Fakülte ile, modelleri değerlendirmeyi ve kırmızı ekip oluşturmayı, uyum değerlendirmeleri yürütmeyi, model korumalarını test etmeyi ve kuruluşlarımız genelinde yetenekler geliştirmeyi içeren iddialı bir ortaklık için çalışıyoruz.

Değerlendiricileri gönüllü olarak görevlendiriyoruz ve her öncü yapay zeka şirketinin de aynısını yapması gerektiğine inanıyoruz.