IAli
Tüm Yazılar
Zaman Serisi Veritabanlarında Gorilla Kayan Nokta Sıkıştırması

Zaman Serisi Veritabanlarında Gorilla Kayan Nokta Sıkıştırması

Facebook Gorilla algoritmasında IEEE 754 kayan noktalı (float64) sayıların XOR tabanlı sıkıştırma matematiği ve bellek optimizasyonu rehberi.

Büyük ölçekli altyapılarda saniyede on milyonlarca metrik (CPU kullanımı, bellek tüketimi, ağ paketleri, finansal fiyatlar) toplanır. Bu verilerin neredeyse tamamı 64-bit IEEE 754 kayan noktalı (float64) sayılardır. Ham formatta her bir değer bellekte 8 bayt yer tutar. Milyarlarca metrik söz konusu olduğunda RAM gereksinimi terabayt seviyelerine ulaşır. Facebook mühendislerinin 2015 yılında VLDB konferansında sunduğu Gorilla bellek içi zaman serisi veritabanı, float64 değerlerini XOR tabanlı akıllı bir bit sıkıştırma matematiğiyle 8 bayttan ortalama 1.37 bayta (%80 üzerinde tasarruf) düşürür. Prometheus ve InfluxDB gibi modern TSDB motorları bu mimariyi temel alır.

Kapsam Notu: Bu teknik dokümantasyon IEEE 754 ikili kayan nokta standardı ve Gorilla XOR kodlama algoritması adımları üzerinden hazırlanmıştır.

IEEE 754 Çift Duyarlıklı (Float64) Sayı Yapısı

Gorilla algoritmasının neden bu kadar verimli çalıştığını anlamak için IEEE 754 formatının bit seviyesindeki yerleşimine bakmak gerekir:

TEXT
 1 bit        11 bit                               52 bit
+------+-----------------------+------------------------------------------------+
| S (1)|    E (Üs - 11 bit)    |              M (Kesir/Mantissa - 52 bit)       |
+------+-----------------------+------------------------------------------------+
  • İşaret (Sign - 1 bit): Pozitif veya negatiflik durumu.
  • Üs (Exponent - 11 bit): Sayının büyüklük ölçeği.
  • Kesir (Mantissa - 52 bit): Sayının hassas sayısal değeri.

Zaman serisi metriklerinde ardışık gelen iki değer genellikle birbirine çok yakındır. Örneğin bir sunucunun CPU kullanımı %64.21 iken bir sonraki ölçümde %64.23 olur. İki sayı birbirine yakın olduğunda işaret ve üs bitleri tamamen aynı kalır, kesir bitlerinin ise yalnızca en sağdaki birkaç biti değişir.

XOR Tabanlı Sıkıştırma Matematiği

Gorilla algoritması ardışık iki float64 değerini ($v_1$ ve $v_2$) ikili formatta XOR işlemine tabi tutar:

$$\Delta = v_1 \oplus v_2$$

İki değer birbirine çok yakınsa $\Delta$ sonucunda ortaya çıkan 64-bitlik değerin başında ve sonunda çok sayıda 0 biti oluşur. Gorilla bu sıfırları değil, yalnızca ortadaki anlamlı bitleri (meaningful bits) değişken uzunlukta kodlar:

TEXT
Değer 1 (v1):  01000000 01010000 00010100 01111010 11100001 01000111 ...
Değer 2 (v2):  01000000 01010000 00010100 01111010 11100001 10010010 ...
-------------------------------------------------------------------------
XOR (Δ)    :  00000000 00000000 00000000 00000000 00000000 01110011 ...
              \_________________ 41 Adet Sıfır _________/  \__Anlamlı__/

Gorilla Bit Kodlama Karar Akışı

Algoritma her yeni değer için akışa şu kurallarla bit yazar:

  1. Değer Tamamen Aynıysa ($\Delta = 0$):
  • Sisteme tek bir 0 biti yazılır (1 bit maliyet). Metrik değişmediği sürece değer 1 bitle saklanır.
  1. Değer Değiştiyse ($\Delta eq 0$):
  • İlk kontrol biti olarak 1 yazılır.
  • Ardından önceki XOR ile karşılaştırma yapılır:
    • Durum A: Baştaki sıfır sayısı ve sondaki sıfır sayısı önceki değerle tamamen aynı sınırlar içindeyse:
      • Kontrol biti olarak 0 yazılır.
      • Yalnızca anlamlı bitler akışa basılır (önceden bilinen uzunluk kadar).
    • Durum B: Sıfır sınırları değiştiyse:
      • Kontrol biti olarak 1 yazılır.
      • 5 bit ile baştaki sıfır sayısı kaydedilir.
      • 6 bit ile anlamlı bitlerin uzunluğu kaydedilir.
      • Son olarak anlamlı bitlerin kendisi akışa eklenir.
TEXT
Karar Ağacı:
XOR == 0?
  ├── [EVET] -> '0' biti yaz (Toplam 1 bit)
  └── [HAYIR] -> '1' biti yaz
                   └── Sıfır sınırları aynı mı?
                         ├── [EVET] -> '0' + Anlamlı Bitler
                         └── [HAYIR] -> '1' + 5 bit (Baştaki Sıfır) 
                                            + 6 bit (Uzunluk) 
                                            + Anlamlı Bitler

Prometheus TSDB Entegrasyonu ve Sonuçlar

Prometheus, metrik bloklarını 2 saatlik parçalar halinde bellekte toplarken Gorilla sıkıştırmasını kullanır.

  • Gerçek dünya üretim iş yüklerinde ölçülen float64 değerlerinin yaklaşık %59'u tek bir 0 biti ile kodlanır.
  • Değişen değerlerin çoğu Durum A sınırları içinde kalarak yalnızca 10 ila 15 bit tüketir.
  • Toplamda 64 bitlik (8 bayt) kayan nokta depolama gereksinimi ortalama 11 bite (yaklaşık 1.37 bayt) geriler.

Bu algoritma sayesinde modern izleme sistemleri onlarca sunucunun metriklerini pahalı disk dizilerine ihtiyaç duymadan doğrudan sunucu RAM'inde tutabilir ve mikrosaniyeler içinde sorgulayabilir.

Yazıyı Değerlendir

0 tepki

Fikirlerinizi tek tıkla paylaşarak geri bildirim bırakın.

Bu teknik notu çevrenizle paylaşın

Ali Purtaş

@alipurtas • Hey, This is Ali!

İletişime Geç

Kendi halinde yazılım geliştiren bir öğrenci. Sistemler kuruyor, deniyor, bozuyor ve öğrendiği gerçek çözümleri burada belgeliyor.

Konu Kümesi & Önerilen Yazılar

İç Bağlantılı Mimari
Yorumlar yükleniyor...