Goodfire, Kimi K3 ve GLM 5.3 için gerçek zamanlı siber güvenlik monitörleri geliştirdi

Neler değişiyor?

Goodfire, Kimi K3 ve GLM 5.3 üzerinde çalışan prob tabanlı siber güvenlik monitörlerini üretim çıkarım altyapısına yerleştirdiğini açıkladı. Sistem, modelin iç aktivasyonlarını her token sırasında izleyen küçük sınıflandırıcıları ilk filtre olarak kullanıyor; yalnızca şüpheli etkileşimler bir LLM yargıcına aktarılıyor.

Şirketin 8 Ekim tarihli teknik yazısına göre bu kademeli yapı, seçilen çalışma noktasında yüzde 93 geri çağırmaya ve yüzde 5,5 yanlış pozitif oranına ulaştı. Goodfire, maliyetin milyon etkileşim başına 200 doların altında olduğunu, tam zamanlı bir LLM yargıcına göre yaklaşık 50 kat düşük kaldığını ve ölçülebilir çıkarım gecikmesi eklemediğini bildiriyor.

Uçtan uca oturum testlerinde monitör, Kimi K3'ün zararlı oturumları engelleme oranını yaklaşık yüzde 29'dan yüzde 96'ya; GLM 5.3'ünkini yüzde 36'dan yüzde 91'e çıkardı. Buna karşılık zararsız oturum kesintisi sırasıyla yaklaşık yüzde 5'ten yüzde 9'a ve yüzde 10'dan yüzde 15'e yükseldi. Rakamlar sağlayıcının kendi değerlendirmelerine dayanıyor.

Yaklaşımın önemli yanı, riskli bir araç çağrısını eylem gerçekleşmeden önce durdurabilecek kadar hızlı çalışması. Ancak eşikler yanlış pozitiflerle güvenlik arasında seçim gerektiriyor; bağımsız ve alan dışı testler olmadan sonuçları genellemek erken olur.