Yapay zekanın refah üzerindeki etkisinin daha iyi değerlendirilmesinin finanse edilmesi

Yapay zekanın kullanıcıların refahını nasıl etkilediğine ilişkin bağımsız araştırmaları finanse etmek için 5 milyon dolarlık bir hibe programı başlatıyoruz. Program, yapay zeka endüstrisinin modellerimizin onları kullananları nasıl etkilediğini ölçmesine yardımcı olan açık kaynak değerlendirmeleri oluşturarak hibe alanlara doğrudan finansman, modellerimize erişim ve teknik destek sağlayacak. Hibe alanlar tamamen bağımsız çalışacak ve çalışmalarını herhangi bir geliştiricinin kullanabileceği açık kaynaklı projeler olarak yayınlayacak.

Yapay zeka sistemleri kaç kişinin çalıştığı, öğrendiği ve sorunları çözdüğü konusunda merkezi hale geldi. Aynı zamanda sohbet ortağı haline gelirler ve zor zamanlarda duygusal destek kaynağı olabilirler. Ancak sektör olarak, modellerin bu konuşmalarda nasıl davranması gerektiğine ilişkin net standartlar geliştirmeye hâlâ çalışıyoruz; örneğin, bir kullanıcı bir modelden arkadaşlık aramaya başladığında veya zihinsel sağlık krizini yönetmek için yapay zekayı kullandığında.

Ayrıca refah, değerlendirilmesi özellikle zor bir alandır. Çoğu model davranış için tek bir cevaba bakabilir ve bunun doğru ve uygun olup olmadığını belirleyebiliriz. Ancak refahı değerlendirmek çok daha fazla bağlam gerektirir. Örneğin, sıkıntı içindeki bir kullanıcı kendine zarar verme düşüncelerini hemen paylaşmayabilir; Daha temkinli bir yanıta duyulan ihtiyaç ancak uzun bir konuşmanın ardından ortaya çıkabilir. Ve bir bağlamda makul olabilecek bir yanıt, başka bir bağlamda zararlı olabilir. Örneğin Claude, kilo verme konusunda soru soran bir kullanıcıya dengeli beslenme ve egzersiz rutinleri konusunda tavsiyelerde bulunabilir, ancak kullanıcının geçmişte düzensiz beslenme geçmişi varsa bu yanıt uygunsuz olabilir ve potansiyel olarak aktif olarak zararlı olabilir.

Bu tür konuşmaları tespit etmek ve Claude'un uygun şekilde yanıt vermesini sağlamaya yardımcı olmak için güvenlik önlemleri geliştirmeye çalışıyoruz ve korumalarımızı nasıl geliştirdiğimiz, bunları nasıl değerlendirdiğimiz ve kullanıcıların refahını korumak için alabileceğimiz diğer önlemler hakkında daha iyi bilgi sağlamak amacıyla insanların Claude ile yaptığı konuşma türleri hakkında araştırma yayınlıyoruz. Ancak bunlar incelikli düşüncelerdir ve riskler önemlidir. Modellerimiz ve bunların kullanımlarıyla birlikte doğru yaklaşımın da gelişmesi gerekecektir.

Kullanıcı sağlığına ilişkin bağımsız değerlendirmelerin ve kriterlerin oluşturulmasını finanse ederek, klinisyenler, psikologlar, metodolojistler ve diğerleri de dahil olmak üzere daha fazla insanı bu yeni ortaya çıkan ve kritik alana uzmanlıklarını katmaya davet etmeyi umuyoruz.

Daha etkili refah değerlendirmelerine ve kıyaslamalara doğru

Bu programın bir parçası olarak, Sağlık Önlemleri ekibimizin, bir sağlık değerlendirmesini üzerine inşa edilebilecek kadar titiz hale getirdiğine inandığımız hususların yanı sıra, değerlendirmenin yararlılığını sınırlayabilecek ortak zorluklarla ilgili rehberliğini paylaşıyoruz.

Kısaca şu değerlendirmeleri arıyoruz:

• Neyi ölçtüklerini açıkça belirtin (yani neyin başarılı veya başarısız olarak sayıldığını ve neden önemli olduğunu);
• Tasarım ve doğrulama süreçlerine klinik ve konu uzmanlarını dahil edin;
• Hem önlemleri hem de zararları test edin (yani hem aşırı uyum hem de aşırı reddetme riskini değerlendirin);
• Kullanıcıların yapay zekayı gerçekte nasıl kullandıklarını yansıtın (bu genellikle uzun bir konuşma boyunca riskin arttığı ve bağlamın değiştiği çok aşamalı konuşmaları temsil eden senaryolar oluşturmak anlamına gelir);
• Not verenleri konunun gerçek uzmanlarıyla karşılaştırarak doğrulayın.

Hibe programı hakkında daha fazla bilgi edinmek ve başvuruda bulunmak için başvuru formumuza bakın. Güçlü sağlık değerlendirmeleri ve kıyaslamalar oluşturma hakkında daha fazla bilgi için rehberimizi okuyun. Başvuruların 21 Eylül'e kadar yapılması gerekmektedir; Tam teklif sunmak üzere seçilen başvuru sahiplerine 5 Ekim'e kadar bilgi verilecektir.