Hugging Face, 91 güvenlik açığı türünü ölçen CWE-bench v2’yi yayımladı
CWE-bench v2, gerçek açık kaynak depolarındaki 100 güvenlik onarımını deterministik testlerle ölçüyor; lider sistemler görevlerin yaklaşık üçte birinde hâlâ başarısız.
BİR BAKIŞTA
Haberin özeti
- Kamuya açık set, 91 CWE türünü kapsayan 100 görev içeriyor.
- Yayımlanan tabloda Gemini 4 Argon yüzde 67,8 pass@1 ile ilk sırada.
- Lider sistem, görevlerin yüzde 19’unu dört denemenin hiçbirinde çözemedi.
Neler değişiyor?
Hugging Face, 3 Kasım’da kod ajanlarının güvenlik açığı onarma becerisini ölçen CWE-bench v2’yi yayımladı. Açık değerlendirme seti, gerçek açık kaynak depolarından seçilmiş 100 görevi ve 91 CWE zayıflık türünü kapsıyor. Her görevde ajan, depoyu inceleyip açığı kapatırken mevcut işlevleri bozmayan bir yama üretmek zorunda.
Değerlendirme, Harbor tabanlı izole görevlerde deterministik testlerle yapılıyor. Her sistem görev başına dört kez çalıştırılıyor; bu da 100 görev için 400 deneme anlamına geliyor. Resmi tabloda Gemini 4 Argon yüzde 67,8, Claude Opus 5.5 yüzde 67,3 ve GPT-6 Astra yüzde 63,8 pass@1 elde etti. En iyi sistem bile görevlerin yüzde 19’unu dört denemenin hiçbirinde çözemedi.
Kamuya açık set, derecelendirici ve çalıştırma altyapısı yayımlandı; ayrıca gizli bir değerlendirme bölümü korunuyor. Sonuçlar, güvenlik yaması üreten ajanlarda yalnız başarı oranının değil maliyet, tekrarlanabilirlik, regresyon ve insan incelemesinin birlikte ölçülmesi gerektiğini gösteriyor.
Asıl kaynaklara göz at
Kaynak tarihi: 3 Kasım 2026.
AI Radar yayın saati: 3 Kas 2026 21:09 (Türkiye).
KONUYU TAKİP ET
Konular ve etiketler
Keşfini paylaş.
Bu haberi bir arkadaşına gönder.
Okuyucu yorumları
Bu gelişme hakkında ne düşünüyorsun? Deneyimini veya sorunu paylaş. Yorumlar editör onayından sonra yayımlanır.
Adın/takma adın ve yorumun onaylanırsa herkese açık görünür. Veri işleme hakkında: Gizlilik bilgilendirmesi.
Yorumlar yükleniyor…