AI21 Labs, bölüm bazlı talimatları ölçen LIFT-Bench’i açtı
AI21 Labs’in LIFT-Bench’i, uzun Markdown belgelerinde bölüm bazlı ve genel talimatlara uyumu ölçüyor; 784 örnekli test seti ile 34.258 örnekli eğitim verisi açık erişimde.
BİR BAKIŞTA
Haberin özeti
- LIFT-Bench, 10 bölüme ayrılmış 784 örnek ve örnek başına 80’e kadar kısıt içeriyor.
- LIFT-Train, 34.258 eğitim örneği ve açık sentetik veri hattı sunuyor.
- Yazarlar, IFTrain karşılaştırmasına göre ödül kandırmacasına daha düşük açıklık bildirdi.
Neler değişiyor?
AI21 Labs araştırmacıları, uzun belgelerde talimat takibini ölçmek için LIFT-Bench’i yayımladı. 20 Ekim’de arXiv’e sunulan çalışma, modelden bir konu ve taslağa göre Markdown belgesi üretmesini; bazı kuralları belirli bölümlerde, bazılarını ise belgenin tamamında uygulamasını istiyor.
Test seti 10 bölüme ayrılmış 784 örnek içeriyor ve örnek başına 80’e kadar doğrulanabilir ya da dil modeliyle değerlendirilen kısıt kullanabiliyor. Ekip ayrıca 34.258 örnekli LIFT-Train verisini ve sentetik veri üretim hattını açık yayımladı.
Makalede, açık ve kapalı frontier modellerin kısıt yoğunluğu arttıkça zorlandığı bildiriliyor. Yazarlar LIFT-Train ile eğitimin, karşılaştırılan IFTrain verisine göre ödül kandırmacasına daha az açık sonuç verdiğini aktarıyor. Bu, sorunun ortadan kalktığının kanıtı değil; araştırma koşullarındaki bir karşılaştırma.
Asıl kaynaklara göz at
Kaynak tarihi: 25 Ekim 2026.
AI Radar yayın saati: 25 Eki 2026 14:08 (Türkiye).
KONUYU TAKİP ET
Konular ve etiketler
Keşfini paylaş.
Bu haberi bir arkadaşına gönder.
Okuyucu yorumları
Bu gelişme hakkında ne düşünüyorsun? Deneyimini veya sorunu paylaş. Yorumlar editör onayından sonra yayımlanır.
Adın/takma adın ve yorumun onaylanırsa herkese açık görünür. Veri işleme hakkında: Gizlilik bilgilendirmesi.
Yorumlar yükleniyor…