llm-d 1.0, dağıtık LLM çıkarımını üretim operasyonlarına taşıdı
llm-d 1.0; çok kiracılı hizmet kalitesi, kesintisiz yükseltme, kararlı v1 yapılandırma API’si ve ajan oturumlarına duyarlı yönlendirme getiriyor.
BİR BAKIŞTA
Haberin özeti
- Sürüm, çok kiracılı akış kontrolü ve kesintisiz operasyonlar ekliyor
- Kararlı v1 yapılandırma API’si platform temeli sağlıyor
- Oturum duyarlı yönlendirme, çok turlu ajan işlerinde KV önbelleğini yeniden kullanıyor
Neler değişiyor?
llm-d topluluğu, Kubernetes üzerinde dağıtık büyük dil modeli çıkarımı için geliştirdiği açık kaynak yığının 1.0 sürümünü yayımladı. Proje; vLLM ve SGLang sunucularını, NVIDIA, AMD ve Intel GPU’ları ile Google TPU’larını ortak yönlendirme ve zamanlama katmanında çalıştırmayı hedefliyor.
Sürüm; çok kiracılı iş yükleri için öncelik ve adalet odaklı akış kontrolü, yüksek erişilebilir yönlendirici, kesintisiz yükseltmeler ve kararlı v1 yapılandırma API’si ekliyor. Ajan tabanlı işlerde oturum duyarlı yönlendirme, takip eden istekleri mevcut KV önbelleğini taşıyan arka uca gönderebiliyor; yoğunluk arttığında yeniden dengeleme yapılıyor.
llm-d, CNCF Sandbox projesi olarak 25’ten fazla kuruluştan 500’ü aşkın katkıcıyla geliştiriliyor. Üretim ekipleri için asıl yenilik, çıkarım performansından çok karma donanım filolarını güncelleme, gözlemleme ve farklı önceliklerle işletme katmanında.
Asıl kaynaklara göz at
Kaynak tarihi: 20 Ekim 2026.
AI Radar yayın saati: 21 Eki 2026 04:02 (Türkiye).
KONUYU TAKİP ET
Konular ve etiketler
Keşfini paylaş.
Bu haberi bir arkadaşına gönder.
Okuyucu yorumları
Bu gelişme hakkında ne düşünüyorsun? Deneyimini veya sorunu paylaş. Yorumlar editör onayından sonra yayımlanır.
Adın/takma adın ve yorumun onaylanırsa herkese açık görünür. Veri işleme hakkında: Gizlilik bilgilendirmesi.
Yorumlar yükleniyor…