Haber akışına dön
Öne çıkan gelişme

AWS, SageMaker AI’a KV önbellek durumuna göre istek yönlendirme ekledi

KV cache-aware routing, uzun veya tekrarlanan istemleri canlı önbellek bilgisiyle en uzun eşleşmeyi tutan GPU örneğine gönderiyor; eşleşme yoksa yük duyarlı yönlendirmeye dönüyor.

2 dk okumaAI RadarKaynak: AWS resmî duyurusu
AWS, SageMaker AI’a KV önbellek durumuna göre istek yönlendirme ekledi için hazırlanan AI Radar kapak illüstrasyonu

BİR BAKIŞTA

Haberin özeti

  • SageMaker isteği en uzun eşleşen KV önbelleğini tutan GPU örneğine yönlendiriyor.
  • Eşleşme bulunamazsa yük duyarlı yönlendirme devreye giriyor.
  • En az iki kopya, vLLM DLC 0.33.0+ ve GPU örnekleri gerekiyor.

Neler değişiyor?

AWS, 16 Kasım’da Amazon SageMaker AI gerçek zamanlı çıkarım uç noktaları için KV cache-aware routing desteğini duyurdu. Özellik, vLLM konteynerinin sakladığı ve sildiği key-value önbellek bloklarını SageMaker’a bildirmesini sağlıyor. SageMaker gelen isteğin istem başlangıcını çalışan örneklerdeki bloklarla karşılaştırıyor ve en uzun eşleşmeyi tutan örneği seçiyor. Böylece ortak sistem istemleri, uzun belgeler veya konuşma geçmişi gibi tekrarlanan bölümlerin her GPU’da yeniden hesaplanması azaltılabiliyor.

Yönlendirme eşleşmesi yavaş kalırsa veya uygun önbellek bulunamazsa uç nokta yük duyarlı yönlendirmeye geri dönüyor; istek reddedilmiyor. AWS, kararlı ortak istemler, kısa istemler veya orta yük için prefix-aware yönlendirmeyi; uzun istem, yüksek yük ve sınırlı GPU belleği bulunan işlerde KV-aware seçeneğini öneriyor. Bu ayrım, KV-aware yöntemin her trafik biçiminde varsayılan olarak daha iyi olduğu anlamına gelmediğini gösteriyor.

Özellik bir üretim varyantında RoutingStrategy değerini KV_AWARE yaparak ve konteynerin önbellek olaylarını raporlaması için bir ortam değişkeni ekleyerek etkinleştiriliyor. Mevcut çağrı API’leri ve OpenAI uyumlu yükler korunuyor. Tek modelli uç noktalar ile LoRA adaptörleri dahil inference components destekleniyor. En az iki örnek veya inference component kopyası ve AWS vLLM Deep Learning Container 0.33.0 ya da sonrası gerekiyor. Destek şu anda GPU örnekleriyle ve vLLM tabanlı konteynerle sınırlı.

AWS, KV cache hit rate dahil gözlem metrikleri sunduğunu ve yönlendirme için ek ücret almadığını belirtiyor. Özellik SageMaker AI’ın bulunduğu tüm AWS bölgelerinde kullanılabiliyor. Ayrı HyperPod belgesindeki /completions zorunluluğu o dağıtım yoluna ait; gerçek zamanlı uç nokta duyurusundaki OpenAI uyumlu yük ifadesine otomatik olarak genellenmemeli.

Bu haber AI desteğiyle hazırlanır ve kaynaklarla karşılaştırılır. Otomatik kontrol, insan editör incelemesi anlamına gelmez. Yayın yaklaşımımız

Asıl kaynaklara göz at

Kaynak tarihi: 16 Kasım 2026.
AI Radar yayın saati: 18 Kas 2026 01:05 (Türkiye).

KONUYU TAKİP ET

Konular ve etiketler

Keşfini paylaş.

Bu haberi bir arkadaşına gönder.

Okuyucu yorumları

Bu gelişme hakkında ne düşünüyorsun? Deneyimini veya sorunu paylaş. Yorumlar editör onayından sonra yayımlanır.

Adın/takma adın ve yorumun onaylanırsa herkese açık görünür. Veri işleme hakkında: Gizlilik bilgilendirmesi.

10–2000 karakter. Bağlantı ve kişisel iletişim bilgisi ekleme.

Yorumlar yükleniyor…

RADARDA KAL

Bunlar da ilgini çekebilir.

@airadarhaber

Radar, Instagram’da da açık.

Yeni AI gelişmeleri, konuya özel görseller ve ürün örnekleri. Gönderilerde keşfet, hikâyelerde yakala.

Instagram’da takip et

GRAFİK. DİJİTAL. HAREKET.

Bir sonraki fikri
görünür kılalım.

Grafik tasarım, marka kimliği
ve motion işlerime göz at.

Portfolyoyu keşfet