IBM ve Kaggle, Java geçiş ajanlarını ScarfBench ile sürekli ölçecek

Neler değişiyor?

IBM Research ve Kaggle, ScarfBench’i sürekli güncellenen bir değerlendirme altyapısına dönüştürdü. Açık benchmark, kodlama ajanlarının Jakarta EE, Quarkus ve Spring arasındaki 204 kurumsal Java geçişinde yalnız derleme başarısını değil, uygulamanın açılmasını ve beklenen davranışı korumasını da sınayarak model ile ajan altyapısı kombinasyonlarını karşılaştırıyor.

IBM’in 27 Ekim teknik notunda Gemini 4 Argon–Antigravity ikilisi ana smoke-test ölçütünde yüzde 75,2 ile ilk sırada; Claude Opus 5.5–Claude Code ise görevlerin tamamını geçme oranında yüzde 72,1 ile önde bildirildi. Bunlar IBM ve Kaggle’ın kendi çalıştırdığı sonuçlar. Sınıflandırılan 745 başarısız denemenin yaklaşık yüzde 72’si, kod derlendikten sonra ortaya çıkan çalışma zamanı ve davranış hatalarıydı.

Kaggle değerlendirme tasarımına katkı verdi, benchmarkı kendi altyapısında bağımsız olarak yeniden çalıştırdı ve yeni modeller eklendikçe tabloyu sürdürmeyi planlıyor. Her skor modelin tek başına yeteneğini değil, model–ajan altyapısı çiftini ölçüyor; herkese açık model gönderimi ise ilk sürümde bulunmuyor.