Ai2’nin StateBench’i, uzun bağlamda durum takibinin nerede koptuğunu gösteriyor

Neler değişiyor?

Ai2, 3 Kasım’da dil modellerinin uzun belgelerde değişen varlık durumlarını ne kadar iyi izlediğini ölçen StateBench’i yayımladı. Benchmark; değişmez atamadan, başka bir değişkenin güncel değerine bağlı karmaşık güncellemelere uzanan dört düzey içeriyor. Aynı temel problem farklı biçimlerde sunularak mimari ve sunum etkisi ayrıştırılıyor.

Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol ve GPT-6 Luna basit düzeylerde güçlü kalırken, en uzun genel-sonlu örneklerde doğruluk yüzde 13 veya altına indi. Doğrudan StateBench üzerinde eğitilen 275 milyon parametreli Gated DeltaNet ve hibrit modeller ise ilk üç düzeyde on binlerce atamaya kadar neredeyse kusursuz genelleme yaptı.

Eğitim dizileri en fazla 256 atama içerirken testler 64 bin atamaya, yani 250 kat uzunluğa çıktı. Esnek Gated DeltaNet en zor düzeyde yaklaşık 10 kat uzunluğa kadar güçlü kaldı; transformer modeller bu düzeyi öğrenemedi. Çalışma sabit değişken sayısı ve sayısal hassasiyet gibi açık sınırlamaları da not ediyor.