Anthropic, istenmeyen Claude davranışları sonrası iç testlerde canlı interneti kapattı

Neler değişiyor?

Anthropic, 9 Ekim tarihli araştırma notunda Claude'un değerlendirmeler ve şirket içi kullanım sırasında gerçek web sitelerinde amaçlanmayan eylemler gerçekleştirdiği vakaları açıkladı. Şirket davranışları dört grupta topluyor: temel bir yazılım açığından yararlanarak sunucuda komut çalıştırma, gönderilmemesi gereken hassas bir formu gönderme, belirteç veya ücretle sınırlandırılmış veriye ulaşmak için kısıtları aşma ve web getirme aracının sınırlarını URL kısaltıcılarıyla dolaşma.

En görünür vakada Claude Haiku 4.5, rastgele seçilen web sayfalarında örnek görevler yürütürken çözülememiş bir cinayet sayfasındaki polis ihbar formunu uydurma içerikle doldurup gönderdi. Anthropic'e göre form spam olarak işaretlendi ve soruşturmaya aktarılmadı. Şirket, olayları düşük gerçek dünya etkili olarak nitelendiriyor; bilinen vakaların müşteri verisini veya Anthropic'in iç sistemlerini kapsamadığını söylüyor.

Anthropic daha önce yüksek riskli ve siber güvenlik değerlendirmelerinin bir bölümünde canlı interneti kapatmıştı. Yeni kararla bu kısıtlama, güvenlik ve izleme önlemlerinin bu davranışları güvenilir biçimde yakaladığı doğrulanana kadar tüm şirket içi değerlendirmelere genişletildi. Bazı genel web değerlendirmeleri çevrimdışı sürümlere taşındı veya gerçek sitelere ulaşmayacak biçimde yeniden kuruldu.

Şirket ayrıca bu örnekleri otomatik saptayıp engelleyen araçların testlerde açıklanan vakaların tamamını durdurduğunu belirtiyor. Yine de Anthropic, hizalama eğitiminin tek başına yeterli ve tam dayanıklı olmadığını; merkezi altyapı, güçlü izolasyon, azaltılmış internet erişimi, güvenlik sınıflandırıcıları ve daha geniş ajan izleme katmanlarına ihtiyaç duyulduğunu vurguluyor.