Google ve Mercor, fiziksel mühendislik ajanları için PLE benchmark’ını açtı
Physical-Engineering’s Last Exam, mekanik, elektrik, inşaat ve yapı mühendisliğinde 85 uzun görevle AI ajanlarının üretime yakın teslimatlarını ölçüyor.
1 dk okumaHaberi oku
ODAĞINI SEÇ
Üretim alanın hangisi?
HABER AKIŞI
Benchmark
KonuBenchmarkEtiketi kaldır
AI Radar yayın saatine göre · Saatler Türkiye saatidir.Filtreleri temizle
Hugging Face, 91 güvenlik açığı türünü ölçen CWE-bench v2’yi yayımladı
CWE-bench v2, gerçek açık kaynak depolarındaki 100 güvenlik onarımını deterministik testlerle ölçüyor; lider sistemler görevlerin yaklaşık üçte birinde hâlâ başarısız.
2 dk okumaHaberi oku
GDPx, ajan yeteneklerini 11 yüksek değerli alanda ölçüyor
SemiAnalysis, frontier modellerin ajan yeteneklerini çip tasarımından biyolojiye ve yazılım mühendisliğine uzanan 11 uzmanlık alanında sınayan GDPx benchmark’ını yayımladı.
1 dk okumaHaberi oku
Ai2 NoveltyBench, LLM’lerin araştırma yeniliği kararlarını stres testine açıyor
Ai2’nin yeni benchmarkı, altı LLM hakeminin bilimsel fikirlerin yeniliği konusunda küçük istem ve değerlendirme değişiklikleriyle keskin biçimde farklı kararlar verebildiğini gösteriyor.
2 dk okumaHaberi oku
HABERİN BİR ADIM ÖTESİ
Ne değişti?
Üretimine ne katar?
Her haberin içinde kısa bir özet, üretim işine etkisi ve asıl kaynaklar var. Ürün demolarını ve yayımlanan örnekleri de haberin yanında keşfet.
Yayın yaklaşımımız
