Supermicro, IBM ve NVIDIA ile paylaşımlı KV önbellek çözümü açtı
Yeni çözüm, uzun bağlamlı ve ajan tabanlı çıkarımda hesaplanmış bağlamı GPU dışındaki paylaşımlı depoda yeniden kullanmayı hedefliyor.
BİR BAKIŞTA
Haberin özeti
- Mimari Supermicro Petascale, IBM Storage Scale, NVIDIA Dynamo ve Spectrum-X’i birleştiriyor.
- Ortak testte 130 bin token istemleri için ilk token süresinde 56 kata kadar hızlanma bildirildi.
- Paylaşımlı depolama, KV durumunu GPU belleği dışında tutup düğümler arasında yeniden kullanmayı amaçlıyor.
Neler değişiyor?
Supermicro, IBM ve NVIDIA ile uzun bağlamlı AI çıkarımı için ortak bir KV önbellek depolama çözümü duyurdu. Sistem; Supermicro Petascale all-flash sunucuları, IBM Storage Scale, NVIDIA Dynamo ve Spectrum-X Ethernet’i tek mimaride birleştiriyor.
KV önbellek, bir modelin daha önce hesapladığı ara bağlam durumlarını saklayarak sonraki isteklerde aynı içeriğin yeniden hesaplanmasını azaltıyor. Şirketlerin 120 milyar parametreli bir modelle yaptığı testte, 130 bin token’lık istemlerde ilk token süresinin önbelleksiz kurulumdan 56 kata kadar hızlı olduğu bildirildi. Bu sonuç sağlayıcıların ortak testi; farklı modellerde bağımsız olarak doğrulanmış değil.
Çözüm, önbellek kapasitesini yerel GPU belleğinin dışına taşıyıp düğümler arasında paylaşmayı amaçlıyor. Supermicro ayrıca raf entegrasyonu ve saha kurulumuyla dağıtım süresini haftalardan günlere indirmeyi hedeflediğini belirtiyor.
Asıl kaynaklara göz at
Kaynak tarihi: 5 Kasım 2026.
AI Radar yayın saati: 5 Kas 2026 18:09 (Türkiye). Son güncelleme: 9 Kas 2026 01:03.
KONUYU TAKİP ET
Konular ve etiketler
Keşfini paylaş.
Bu haberi bir arkadaşına gönder.
Okuyucu yorumları
Bu gelişme hakkında ne düşünüyorsun? Deneyimini veya sorunu paylaş. Yorumlar editör onayından sonra yayımlanır.
Adın/takma adın ve yorumun onaylanırsa herkese açık görünür. Veri işleme hakkında: Gizlilik bilgilendirmesi.
Yorumlar yükleniyor…