Ai2 NoveltyBench, LLM’lerin araştırma yeniliği kararlarını stres testine açıyor

Neler değişiyor?

Ai2, 27 Ekim’de “Old Ideas, Novel Problems” çalışmasıyla birlikte NoveltyBench benchmarkını, veri setini ve kodunu yayımladı. Sistem, bilimsel bir fikrin önceki çalışmalara göre gerçekten yeni olup olmadığını değerlendiren LLM “yenilik hakemlerini” altı model, farklı istemler, akıl yürütme bütçeleri ve literatür erişimi altında karşılaştırıyor.

Benchmark, ICLR 2026 hakem raporlarından yeniliği açıkça övülen 154 kabul edilmiş fikir ile özgünlüğü sorgulanan 145 reddedilmiş fikri ayırıyor. Ayrıca doğrulanmış 154 insan fikrini basit bir LLM üreticisinden gelen 154 fikirle eşliyor; yazarlar bu ikinci gruptaki etiketlerin her fikir için kesin hüküm değil, zayıf etiket olduğunu özellikle belirtiyor.

Sonuçlar kararlılık sorununa işaret ediyor. GPT-5.4 aynı insan–üretim fikir çiftlerinde yalnız istem ifadesi değişince yüzde 93,5 doğruluktan yüzde 40,9’a düştü ve kararların yarısından fazlasını değiştirdi. Daha fazla arama ve akıl yürütme de tutarlı biçimde daha iyi sonuç vermedi; Ai2, aracın araştırma fikri üretiminde tek başına yenilik kapısı olarak kullanılmamasını savunuyor.