AWS, SageMaker AI’a KV önbellek durumuna göre istek yönlendirme ekledi
KV cache-aware routing, uzun veya tekrarlanan istemleri canlı önbellek bilgisiyle en uzun eşleşmeyi tutan GPU örneğine gönderiyor; eşleşme yoksa yük duyarlı yönlendirmeye dönüyor.
2 dk okumaHaberi oku



