
vLLM ve PagedAttention: Büyük Dil Modellerinde Bellek Yönetimi
LLM çıkarımında KV cache parçalanması, işletim sistemi sanal bellek sayfalaması benzeri PagedAttention tahsisi ve bellek darboğazı çözüm analizi.
Büyük dil modellerinin (LLM) üretim ortamlarında çalıştırılmasında karşılaşılan temel darboğaz işlemci çekirdeklerinin saf hesaplama kapasitesi değildir. Asıl kısıt GPU Yüksek Bant Genişlikli Bellek (High Bandwidth Memory - HBM) kapasitesi ve bellek transfer hızıdır. Üretim sunucuları yoğun trafik altında istekleri karşılarken istek başına devasa bellek alanları ayırmak zorunda kalır.
Model çıkarımı iki belirgin faza ayrılır:
- Önyükleme (Prefill) Aşaması: Kullanıcının gönderdiği istem (prompt) içerisindeki tüm token dizisi tek seferde matris çarpımlarıyla paralel biçimde işlenir. Bu aşama hesaplama yoğun (compute-bound) karaktere sahiptir. GPU çekirdekleri yüksek verimle çalışır. Matrisler hızla akar.
- Kod Çözme (Decode) Aşaması: Model her adımda bir sonraki token tahminini otoregresif biçimde üretir. Üretilen her yeni token için önceki tüm adımların dikkat (attention) durumları taranır. Bu aşama bellek bant genişliği sınırında (memory-bandwidth bound) çalışır. Çekirdekler bekler. HBM veri transferine yetişemez.
Bu iki aşamalı döngüde her token üretiminde önceki hesaplamaları tekrarlamamak için Anahtar-Değer Önbelleği (Key-Value Cache - KV Cache) kullanılır. Ancak geleneksel bellek ayırma yöntemleri HBM kaynaklarını hızla tüketir.
Kapsam Notu: Bu mimari analiz vLLM kütüphanesi ve Berkeley araştırmacılarının SOSP 2023 PagedAttention çalışması temel alınarak hazırlanmıştır.
KV Cache Matematiksel Tüketim Modeli
Transformer mimarisinde dikkat mekanizması Sorgu (Query), Anahtar (Key) ve Değer (Value) tensörleri üzerinden hesaplanır. Otoregresif üretimde her yeni token üretildiğinde geçmişteki tüm tokenların Key ve Value temsilleri tekrar gerekir. Eğer bu tensörler saklanmazsa her adımda tüm sekans baştan işlenir. Hesaplama karmaşıklığı sekans uzunluğunun karesiyle ($O(N^2)$) büyür.
KV Cache mekanizması geçmiş tokenların Key ve Value vektörlerini bellekte saklayarak bu tekrarı önler. Hesaplama yükü düşer. Hız artar. Lakin bellek faturası katlanır.
Tek bir token için tek bir model katmanında gereken bellek miktarı şu formülle hesaplanır:
Bellek (Bayt / Token / Katman) = 2 * num_kv_heads * head_dim * bytes_per_element
Formüldeki 2 çarpanı hem Key hem de Value vektörlerinin saklanmasından kaynaklanır. Çok Başlı Dikkat (Multi-Head Attention - MHA) yapısında KV başlık sayısı ile modelin gizli katman boyutu doğrudan ilişkilidir.
Toplam model KV Cache ihtiyacı ise şu denkleme dönüşür:
Toplam KV Belleği = 2 * num_layers * num_kv_heads * head_dim * seq_len * batch_size * bytes_per_element
Bu formülü somut bir örnekle ele alalım. 13 milyar parametreli standart bir LLaMA modelini inceleyelim. Model 40 transformatör katmanına ve 5120 gizli boyut genişliğine sahiptir. 16-bit yarım duyarlılık (FP16 veya BF16) kullanıldığında her eleman 2 bayt yer kaplar:
- Token başına bellek: $2 * 40 * 5120 * 2 = 819.200$ bayt (yaklaşık 800 KB).
- 2048 token uzunluğundaki tek bir istek: $800 \text{ KB} * 2048 \approx 1,6$ GB HBM.
- 32 eşzamanlı istek içeren bir grup: $1,6 \text{ GB} * 32 \approx 51,2$ GB HBM.
Yalnızca önbellek için gereken bu miktar model ağırlıklarının kapladığı 26 GB alanın iki katını aşar. Bellek taşar. OOM kaçınılmazdır.
Geleneksel Sistemlerde Parçalanma Sorunu
Geleneksel çıkarım sistemleri (FasterTransformer ve ilk nesil altyapılar) her istek için bellekte statik ve bitişik (contiguous) bir tensör tahsis eder. Bir istek sunucuya ulaştığında modelin kabul edebileceği azami sekans uzunluğu (max_seq_len, örneğin 2048 token) kadar alan önceden ayrılır.
Bu statik yaklaşım üç temel parçalanma (fragmentation) problemine yol açar:
- İç Parçalanma (Internal Fragmentation): İstek henüz 150 token üretmişken sistem 2048 tokenlık alan rezerve etmiştir. Henüz var olmayan 1898 tokenlık alan boş durur fakat başka hiçbir istek tarafından kullanılamaz.
- Dış Parçalanma (External Fragmentation): İstekler farklı zamanlarda başlar ve farklı uzunluklarda sonlanır. Bellek yöneticileri boşlukları birleştiremez. Yeterli toplam bellek bulunsa bile bitişik büyük bir alan kalmadığı için yeni istekler reddedilir.
- Rezervasyon İsrafı (Reservation Waste): Kullanıcı istemi beklenmedik bir noktada sonlanma belirteci (
<EOS>) aldığında tahsis edilen büyük blok boşa çıkar.
Kwon ve çalışma arkadaşlarının ölçümlerine göre geleneksel çıkarım sistemlerinde KV Cache belleğinin %60 ila %80 arasındaki bölümü parçalanma sebebiyle fiilen kullanılamaz durumdadır. Bellek vardır. Lakin erişilemez.
PagedAttention Mimarisi ve Blok Tabloları
İşletim sistemleri fiziksel RAM yönetiminde benzer bir sorunla onlarca yıl önce karşılaştı. Çözüm sanal bellek sayfalamasıydı (Paging). PagedAttention bu işletim sistemi prensibini doğrudan GPU HBM yönetimine uyarlar.
PagedAttention algoritmasında KV Cache bitişik bir tensör olarak saklanmaz. Bunun yerine sabit boyutlu küçük bloklara (örneğin 16 tokenlık bloklar) ayrılır.
+-----------------------------------------------------------------------+
| Mantıksal Bellek vs Fiziksel GPU Belleği |
+-----------------------------------------------------------------------+
| İstek 1 Mantıksal Blokları: |
| [Mantıksal Blok 0 (0-15)] -> [Mantıksal Blok 1 (16-31)] |
+-----------------------------------------------------------------------+
| Blok Tablosu (Block Table): |
| Mantıksal 0 -> Fiziksel Blok #7 |
| Mantıksal 1 -> Fiziksel Blok #3 |
+-----------------------------------------------------------------------+
| GPU HBM Fiziksel Blok Havuzu (Dağınık Yerleşim): |
| [Blok 0: Boş] [Blok 1: İstek 2] [Blok 2: Boş] [Blok 3: İstek 1 (1)] |
| [Blok 4: Boş] [Blok 5: İstek 2] [Blok 6: Boş] [Blok 7: İstek 1 (0)] |
+-----------------------------------------------------------------------+
Algoritmanın temel bileşenleri şunlardır:
- Mantıksal Bloklar (Logical Blocks): Bir isteğin ürettiği token dizisinin 16 elemanlık sanal parçalarıdır.
- Fiziksel Bloklar (Physical Blocks): GPU belleğinde herhangi bir noktada ayrılmış 16 token kapasiteli bellek hücreleridir. Bu blokların bellekte peş peşe dizilmesi gerekmez.
- Blok Tablosu (Block Table): İşletim sistemlerindeki sayfa tablosu (Page Table) gibi çalışır. Her istek için mantıksal blok numarasını fiziksel blok adresine eşler.
Yeni bir token üretildiğinde mevcut fiziksel blokta yer varsa veri doğrudan oraya yazılır. Blok dolduğunda bellek havuzundan yeni bir boş fiziksel blok talep edilir ve tabloya eklenir.
Bu tasarım sayesinde iç parçalanma yalnızca dizinin en son bloğundaki doldurulmamış token yuvalarıyla sınırlı kalır. Dış parçalanma ise tamamen ortadan kalkar çünkü tüm bloklar standart ve eşit boyuttadır. Önbellek israfı genel toplamda %4 seviyesinin altına iner.
Bellek Paylaşımı: Paralel Örnekleme ve Prefix Caching
PagedAttention mantıksal ve fiziksel alanları birbirinden ayırdığı için blok paylaşımını mümkün kılar. Bu yetenek özellikle paralel örnekleme (Parallel Sampling) ve sistem istemi önbelleklemesinde (Prefix Caching) büyük kaynak tasarrufu sağlar.
Bir kullanıcı aynı istem için birden fazla yanıt istediğinde (örneğin sıcaklık denemeleri veya Best-of-N örnekleme) istemin KV blokları her dal için tekrar kopyalanmaz. Tüm dalların blok tabloları aynı fiziksel blok numaralarına işaret eder.
Yeni tokenlar üretilmeye başlandığında Kopya Üzerine Yazma (Copy-on-Write - CoW) kuralı devreye girer:
- Dallar ortak blokları yalnızca okur.
- Bir dal kendi benzersiz tokenını yazacağı zaman yalnızca o bloğun referans sayısı kontrol edilir.
- Referans sayısı 1den büyükse fiziksel blok kopyalanır ve yeni veriler bağımsız bloğa işlenir.
Benzer şekilde uzun sistem istemleri (örneğin 2000 tokenlık talimat metinleri) sunucu seviyesinde önbelleğe alınır. Gelen yüzlerce farklı kullanıcı isteği aynı başlangıç bloklarını paylaşır. GPU belleğinde binlerce tokenlık gereksiz veri tekrarı engellenir.
Sürekli Toplu İşleme (Continuous Batching)
Geleneksel toplu işleme (Static Batching) yönteminde istekler bir grup olarak başlatılır. Gruptaki en uzun istek tamamlanana kadar tüm grup GPU üzerinde tutulur. Kısa bir istek 50 adımda bitse bile 1500 adımlık isteğin tamamlanmasını beklemek zorundadır. Bu durum GPU çekirdeklerinin atıl kalmasına neden olur.
vLLM mimarisi PagedAttention yapısını hücresel düzeyde çalışan sürekli toplu işleme (Continuous Batching) ile birleştirir:
- İşlemler istek düzeyinde değil tekil token üretim adımı (iteration-level) düzeyinde planlanır.
- Bir istek sonlandığı anda kullandığı fiziksel bloklar derhal serbest bırakılır ve bellek havuzuna iade edilir.
- Kuyrukta bekleyen yeni bir istek boşalan bloklara anında atanır ve sonraki iterasyonda gruba dahil edilir.
Statik bellek rezervasyonunun kalkması sayesinde sistem aynı HBM kapasitesine 2 ila 4 kat daha fazla eşzamanlı istek sığdırabilir. Verim (throughput) katlanır.
Test Koşulları ve Bellek Analizi
PagedAttention altyapısının verimli çalışması doğru yapılandırma parametrelerine bağlıdır. vLLM motoru başlatılırken dikkate alınması gereken temel parametreler şunlardır:
- Blok Boyutu (
block_size): Genellikle 16 veya 32 olarak ayarlanır. Küçük blok boyutu iç parçalanmayı düşürür. Fakat çok küçük bloklar CUDA çekirdeklerinin bellek birleştirme (memory coalescing) verimini azaltabilir ve blok tablosu yönetim maliyetini artırır. - GPU Bellek Kullanım Oranı (
gpu_memory_utilization): Varsayılan değer 0.90 seviyesindedir. Model ağırlıkları ve CUDA çalışma alanı ayrıldıktan sonra kalan alanın %90ı KV Cache blok havuzuna tahsis edilir. Kalan %10luk pay aktivasyon tensörleri ve anlık hesaplama patlamaları için bırakılır. - Azami Sekans Sayısı (
max_num_seqs): Aynı anda yürütülebilecek en yüksek aktif istek sayısını belirler.
Çoklu GPU kurulumlarında Tensör Paralelliği (Tensor Parallelism - TP) kullanıldığında modelin dikkat başlıkları GPU cihazlarına paylaştırılır. Örneğin 8 GPU bulunan bir sistemde her GPU toplam KV başlıklarının sekizde birini saklar. İstek başına düşen yerel bellek tüketimi aynı oranda küçülür.
PagedAttention mimarisi büyük dil modellerinin çıkarım maliyetlerini aşağı çeken temel altyapı standartlarından biri haline gelmiştir. Bellek israfını ortadan kaldırarak donanımın fiziksel sınırlarına yaklaşan bir verim sağlar.
Yazıyı Değerlendir
0 tepkiFikirlerinizi tek tıkla paylaşarak geri bildirim bırakın.
Ali Purtaş
@alipurtas • Hey, This is Ali!
Kendi halinde yazılım geliştiren bir öğrenci. Sistemler kuruyor, deniyor, bozuyor ve öğrendiği gerçek çözümleri burada belgeliyor.
Konu Kümesi & Önerilen Yazılar
copy_file_range ile Blok Katmanında Reflink Tabanlı Dosya Klonlama
copy_file_range sistem çağrısı, Btrfs ve XFS reflink mekanizması, blok seviyesinde anlık dosya klonlama ve gigabaytlarca veriyi kopyalamadan çoğaltma rehberi.
Linux sendfile ve splice Çağrılarıyla Çekirdek İçi Veri Aktarımı
Geleneksel G/Ç kopyalama maliyetleri, sendfile ve splice sistem çağrıları, boru tamponları üzerinden kullanıcı alanına inmeden sokete veri aktarma mimarisi.
Bellek Bariyerleri: x86 TSO ile ARM Zayıf Bellek Düzeni Farkları
x86 TSO modeli ile ARM gevşek bellek mimarisi karşılaştırması, hafıza bariyeri komutları ve lock-free kodların Graviton işlemcilerde çökme nedenleri analizi.
Tartışma & Yorumlar
0Tartışmaya katılmak ve soru sormak için oturum açmalısınız.
Giriş Yap