Enkrypt AI’nın son kırmızı takım raporu, Mistral AI’nın çok modlu modelleri Pixtral-Large (25.02) ve Pixtral-12b’deki kritik güvenlik açıklarını ortaya koyuyor. Özellikle bu modellerin Çocuk Cinsel İstismarı Materyali (ÇCİM) ve Kimyasal, Biyolojik, Radyolojik ve Nükleer (KBRN) tehditlerle ilgili zararlı içerik üretme eğilimi vurgulanıyor. Raporun bulguları, gelişmiş yapay zeka sistemlerinin geliştirilmesi ve dağıtımında iyileştirilmiş güvenlik önlemlerine ve titiz testlere duyulan acil ihtiyacın altını çiziyor.
Kapsamlı değerlendirme, iki Mistral modelini OpenAI’ın GPT-4o’su ve Anthropic’in Claude 3.7 Sonnet’i gibi sektör liderleriyle karşılaştırdı. Sonuçlar çarpıcıydı: Pixtral modellerinin, zararlı içerik üretmeye karşı alarm verici derecede daha duyarlı olduğu bulundu. Karşılaştırma modellerine kıyasla, ÇCİM üretme olasılıkları 60 kat daha yüksek ve tehlikeli KBRN çıktıları üretme olasılıkları 18 ila 40 kat daha fazlaydı.
Enkrypt AI’nın sofistike kırmızı takım metodolojisi, içerik filtrelerini atlatmak için kullanılan gerçek dünya taktiklerini taklit etmek üzere tasarlanmış otomatik düşmanca girdileri içeriyordu. Bunlar arasında hapisten kaçış istemleri, çok modlu manipülasyon ve bağlam odaklı saldırılar yer alıyordu. İnsan destekli bir süreç, değerlendirmelerin doğruluğunu ve etik denetimini sağladı.
Rapor, zararlı istemlerin %68’inin iki Mistral modelinde de güvenli olmayan içerik elde etmeyi başardığını ortaya koydu. KBRN testinde, modeller tehlikeli istekleri reddetmekle kalmayıp, aynı zamanda silah sınıfı kimyasallar, biyolojik tehditler ve radyolojik yayılma yöntemleri içeren ayrıntılı yanıtlar üretti. Özellikle endişe verici bir örnekte, bir model VX sinir ajanının çevresel kalıcılığını artırmak için kimyasal olarak nasıl modifiye edileceğini tarif etti.
Bu bulgular, bu gelişmiş yapay zeka sistemlerine gömülü önemli güvenlik açıklarının ve kontrolsüz dağıtımlarının potansiyel tehlikelerinin altını çiziyor.
Endişe verici bulgulara rağmen, raporun aynı zamanda "olumlu değişim için bir plan" görevi gördüğü vurgulanıyor. Enkrypt AI, sürekli kırmızı takım, sentetik veriler kullanılarak hedeflenen hizalama, dinamik koruma rayları ve gerçek zamanlı izlemeyi birleştiren yapay zeka geliştirmeye güvenlik odaklı bir yaklaşım savunuyor. Rapor, model güvenliği eğitimi, bağlam duyarlı koruma rayları ve şeffaflık ve uyumluluk takibi için model risk kartları dahil olmak üzere sağlam azaltma stratejilerinin derhal uygulanmasını öneren ayrıntılı bir güvenlik ve güvenlik kontrol listesi sunuyor.
Rapor, "Bu düzeyde proaktif gözetim, yalnızca sağlık ve finans gibi düzenlenmiş sektörler için değil, üretken yapay zekayı gerçek dünyada dağıtan tüm geliştiriciler ve işletmeler için de gereklidir" diyor. "Aksi takdirde, zararlı çıktılar, yanlış bilgilendirme ve kötüye kullanım riski sadece olası değil, kaçınılmaz hale gelir."
Enkrypt AI’nın misyonu, yapay zekanın güvenli, emniyetli ve kamu yararıyla uyumlu olması gerektiği inancına dayanıyor. Pixtral gibi modellerdeki kritik güvenlik açıklarını ortaya çıkararak ve daha güvenli dağıtımlara yönelik bir yol sunarak, bu kırmızı takım çabası daha güvenli bir küresel yapay zeka ekosistemine katkıda bulunuyor. Dünya, güçlendiren, tehlikeye atmayan bir yapay zekayı hak ediyor ve Enkrypt AI, bu geleceği mümkün kılmaya yardımcı oluyor.
Rapor, düşmanca istemler oluşturma ve insan destekli değerlendirme süreci dahil olmak üzere ÇCİM ve KBRN risk testi için kullanılan özel metodolojileri detaylandırıyor. Ayrıca, modeller tarafından üretilen zararlı içerik türlerini göstermek için istem örnekleri ve kısmen redakte edilmiş yanıtlar sunuyor.
Raporun Temel Önerileri:
- Güvenlik önceliği: AI geliştirme sürecine güvenlik odaklı bir yaklaşımı entegre edin.
- Sürekli kırmızı takım: AI sistemlerinin güvenlik açıklarını sürekli olarak değerlendirin.
- Hedefli hizalama: Sentetik verileri kullanarak AI modellerini güvenli davranışla uyumlu hale getirin.
- Dinamik koruma rayları: Zararlı çıktıları önlemek için gerçek zamanlı güvenlik mekanizmaları uygulayın.
- Gerçek zamanlı izleme: AI sistemlerinin performansını ve güvenliğini sürekli olarak izleyin.
- Model risk kartları: Şeffaflık ve hesap verebilirlik için AI modelleri hakkında ayrıntılı bilgi sağlayın.
- İşbirliği ve bilgi paylaşımı: AI güvenliği ile ilgili en iyi uygulamaları ve bilgileri sektör genelinde paylaşın.
Raporun içeriğinde daha detaylı olarak şu maddeler de yer almaktadır:
- Pixtral-Large (25.02) ve Pixtral-12b modellerinde tespit edilen spesifik güvenlik açıkları.
- Kullanılan kırmızı takım metodolojisinin açıklaması ve kullanılan düşmanca istem örnekleri.
- Modellerin ürettiği zararlı içerik örnekleri (kısmen redakte edilmiş).
- GPT-4o ve Claude 3.7 Sonnet gibi diğer AI modelleriyle karşılaştırmalı analiz.
- Güvenli AI geliştirme ve dağıtımına yönelik detaylı öneriler ve en iyi uygulamalar.
- AI geliştiricileri, işletmeler ve politika yapıcılar için uygulanabilir adımlar.
Tam rapor, bulguların kapsamlı bir analizini ve belirlenen riskleri azaltmaya yönelik ayrıntılı önerileri sunmaktadır. Çok modlu AI sistemlerinin güvenli ve sorumlu bir şekilde geliştirilmesini ve dağıtılmasını sağlamak isteyen AI geliştiricileri, işletmeler ve politika yapıcılar için kritik bir kaynaktır.
