IAli
Tüm Yazılar
Vektör Sıkıştırma: Ürün Niceleme (PQ) ve IVF İndeks Mimarisi

Vektör Sıkıştırma: Ürün Niceleme (PQ) ve IVF İndeks Mimarisi

Büyük dil modellerinin yüksek boyutlu embedding vektörlerinde ürün niceleme (PQ), k-means kod defterleri ve ters dosya (IVF) ile bellek optimizasyonu.

Yüksek boyutlu embedding vektörleri ile çalışan arama sistemlerinde veri kümesi on milyonlarca veya yüz milyonlarca vektöre ulaştığında bellek duvarı (Memory Wall) kaçınılmaz bir maliyet krizine dönüşür. OpenAI veya Cohere tarafından üretilen 1536 boyutlu float32 formatındaki 100 milyon vektör, ham halde yaklaşık 600 GB RAM gerektirir. HNSW gibi bellek içi graf indeksleri de eklendiğinde sistem 1 terabaytın üzerinde kurumsal RAM maliyeti çıkarır. Herve Jegou ve ekibinin 2011 yılında tanıttığı Ürün Niceleme (Product Quantization - PQ) ve Ters Çevrilmiş Dosya (Inverted File - IVF) mimarisi, vektörleri kayıplı sıkıştırma teknikleriyle %95 oranında küçülterek bu maliyeti yönetilebilir sınırlar içine çeker.

Kapsam Notu: Bu teknik rehber IEEE PAMI Product Quantization algoritması, Faiss kütüphanesi mimarisi ve Asimetrik Mesafe Hesaplama (ADC) matematiği temel alınarak hazırlanmıştır.

IVF (Inverted File Index) Bölümlemesi

Milyonlarca vektör arasında arama yaparken tüm uzayı taramamak için IVF bölümlemesi kullanılır:

  1. Uzayın K-Means ile Kümeye Ayrılması: Eğitim aşamasında vektör uzayı K-Means algoritması ile $C$ adet Voronoi hücresine (örneğin 4096 merkez nokta) bölünür.
  2. Ters Liste İnşası: Her merkez noktanın altına o hücreye en yakın olan vektörlerin listesi (Inverted List) bağlanır.
  3. Sorgu Anında nprobe Taraması: Bir sorgu geldiğinde sorgu vektörüne en yakın nprobe adet merkez (örneğin en yakın 16 hücre) seçilir ve yalnızca bu listelerdeki vektörler incelenir. Diğer binlerce hücre taranmadan atlanır.
TEXT
Vektör Uzayı Voronoi Hücreleri:
+----------------+----------------+
|  Centroid A    |  Centroid B    |
|  [V1, V4, V9]  |  [V2, V5, V8]  |
+----------------+----------------+
|  Centroid C    |  Centroid D    |
|  [V3, V7, V12] |  [V6, V10, V11]|
+----------------+----------------+
Sorgu q -> En yakın Centroid B ve D seçilir -> Sadece o listeler taranır

Ürün Niceleme (Product Quantization) Matematiği

IVF arama alanını daraltır ancak her vektörün bellekte kapladığı alanı küçültmez. Ürün Niceleme (PQ) tam bu noktada devreye girerek yüksek boyutlu uzayı alt uzaylara böler ve kuantalama uygular:

1. Alt-Vektörlere Bölme

$D = 1536$ boyutlu bir vektör $m = 64$ adet eşit parçaya bölünür. Her parça $d = D / m = 24$ boyuttan oluşur:

$$v = [u_1, u_2, ..., u_{64}], \quad u_i \in \mathbb{R}^{24}$$

2. Alt-Uzaylarda K-Means Eğitimi (Codebook Oluşturma)

Her alt-uzay için eğitim verileri üzerinde K-Means çalıştırılarak $k^* = 256$ adet merkez nokta (centroid) belirlenir. 256 sayısı özeldir çünkü $2^8 = 256$ olduğundan her merkez noktası tam olarak 1 baytlık (uint8) bir tamsayı indeksiyle temsil edilebilir.

3. Kodlama ve Sıkıştırma

Herhangi bir vektörün 24 boyutlu alt parçası ($u_i$), o alt uzaydaki en yakın merkezin 1 baytlık kimlik numarasıyla değiştirilir.

  • Orijinal Vektör: $1536 imes 4 ext{ bayt} = 6144 ext{ bayt}$ (float32).
  • PQ ile Kodlanmış Vektör: $64 imes 1 ext{ bayt} = 64 ext{ bayt}$.
  • Sıkıştırma Oranı: Yaklaşık %99 depolama tasarrufu. 600 GB veri 6.4 GB RAM sınırına sığdırılır.

Asimetrik Mesafe Hesaplama (Asymmetric Distance Computation - ADC)

Sıkıştırılmış bir veritabanında sorgu vektörü ($q$) ile kayıtlı vektörler arasındaki mesafeyi nasıl hesaplarız?

Simetrik yaklaşımda hem sorgu hem veritabanı sıkıştırılır ancak bu ciddi bir hassasiyet kaybı yaratır. Modern sistemler Asimetrik Mesafe Hesaplama (ADC) kullanır:

TEXT
Sorgu Vektörü (q): [SIKIŞTIRILMAMIŞ, Ham 1536 Float32 Değer]
                          |
                          v
Alt-uzay merkezleri ile önceden mesafe tablosu oluşturulur (Lookup Table):
d(q_sub_i, Centroid_j) -> 64 alt-uzay x 256 merkez = 16.384 float değeri
                          |
                          v
Veritabanındaki Vektör (64 Bayt İndeks):
Mesafe = Lookup[0][Byte_0] + Lookup[1][Byte_1] + ... + Lookup[63][Byte_63]

ADC modelinde veritabanındaki hiçbir vektörün orijinal haline geri dönüştürülmesi (dequantization) gerekmez. Yalnızca 64 adet bellek tablosu okuması ve toplama işlemi yapılarak mesafe elde edilir. Sıfır kayan nokta çarpımı ile devasa arama hızı elde edilir.

Doğruluk (Recall) ve Bellek Takası

Ürün niceleme kayıplı bir sıkıştırma metodudur. Küçük alt-vektör parçaları merkez noktalara yuvarlandığı için arama doğruluğunda (Recall@K) %5 ila %15 arasında bir gerileme yaşanabilir.

Üretim sistemlerinde bu kaybı gidermek için İki Aşamalı Yeniden Sıralama (Reranking) uygulanır:

  1. Aşama: IVF-PQ indeksi üzerinden en yakın 200 aday milisaniyeler içinde çekilir.
  2. Aşama: Bu 200 adayın diskte saklanan orijinal float32 vektörleri okunarak tam hassasiyetle mesafe hesaplanır ve ilk 10 sonuç istemciye döner.

Bu mimari sayesinde terabaytlarca vektör verisi düşük bütçeli sunucularda güvenle taranabilir.

Yazıyı Değerlendir

0 tepki

Fikirlerinizi tek tıkla paylaşarak geri bildirim bırakın.

Bu teknik notu çevrenizle paylaşın

Ali Purtaş

@alipurtas • Hey, This is Ali!

İletişime Geç

Kendi halinde yazılım geliştiren bir öğrenci. Sistemler kuruyor, deniyor, bozuyor ve öğrendiği gerçek çözümleri burada belgeliyor.

Konu Kümesi & Önerilen Yazılar

İç Bağlantılı Mimari
Yorumlar yükleniyor...