
Zaman Serisi Veritabanlarında Gorilla Kayan Nokta Sıkıştırması
Facebook Gorilla algoritmasında IEEE 754 kayan noktalı (float64) sayıların XOR tabanlı sıkıştırma matematiği ve bellek optimizasyonu rehberi.
Büyük ölçekli altyapılarda saniyede on milyonlarca metrik (CPU kullanımı, bellek tüketimi, ağ paketleri, finansal fiyatlar) toplanır. Bu verilerin neredeyse tamamı 64-bit IEEE 754 kayan noktalı (float64) sayılardır. Ham formatta her bir değer bellekte 8 bayt yer tutar. Milyarlarca metrik söz konusu olduğunda RAM gereksinimi terabayt seviyelerine ulaşır. Facebook mühendislerinin 2015 yılında VLDB konferansında sunduğu Gorilla bellek içi zaman serisi veritabanı, float64 değerlerini XOR tabanlı akıllı bir bit sıkıştırma matematiğiyle 8 bayttan ortalama 1.37 bayta (%80 üzerinde tasarruf) düşürür. Prometheus ve InfluxDB gibi modern TSDB motorları bu mimariyi temel alır.
Kapsam Notu: Bu teknik dokümantasyon IEEE 754 ikili kayan nokta standardı ve Gorilla XOR kodlama algoritması adımları üzerinden hazırlanmıştır.
IEEE 754 Çift Duyarlıklı (Float64) Sayı Yapısı
Gorilla algoritmasının neden bu kadar verimli çalıştığını anlamak için IEEE 754 formatının bit seviyesindeki yerleşimine bakmak gerekir:
1 bit 11 bit 52 bit
+------+-----------------------+------------------------------------------------+
| S (1)| E (Üs - 11 bit) | M (Kesir/Mantissa - 52 bit) |
+------+-----------------------+------------------------------------------------+
- İşaret (Sign - 1 bit): Pozitif veya negatiflik durumu.
- Üs (Exponent - 11 bit): Sayının büyüklük ölçeği.
- Kesir (Mantissa - 52 bit): Sayının hassas sayısal değeri.
Zaman serisi metriklerinde ardışık gelen iki değer genellikle birbirine çok yakındır. Örneğin bir sunucunun CPU kullanımı %64.21 iken bir sonraki ölçümde %64.23 olur. İki sayı birbirine yakın olduğunda işaret ve üs bitleri tamamen aynı kalır, kesir bitlerinin ise yalnızca en sağdaki birkaç biti değişir.
XOR Tabanlı Sıkıştırma Matematiği
Gorilla algoritması ardışık iki float64 değerini ($v_1$ ve $v_2$) ikili formatta XOR işlemine tabi tutar:
$$\Delta = v_1 \oplus v_2$$
İki değer birbirine çok yakınsa $\Delta$ sonucunda ortaya çıkan 64-bitlik değerin başında ve sonunda çok sayıda 0 biti oluşur. Gorilla bu sıfırları değil, yalnızca ortadaki anlamlı bitleri (meaningful bits) değişken uzunlukta kodlar:
Değer 1 (v1): 01000000 01010000 00010100 01111010 11100001 01000111 ...
Değer 2 (v2): 01000000 01010000 00010100 01111010 11100001 10010010 ...
-------------------------------------------------------------------------
XOR (Δ) : 00000000 00000000 00000000 00000000 00000000 01110011 ...
\_________________ 41 Adet Sıfır _________/ \__Anlamlı__/
Gorilla Bit Kodlama Karar Akışı
Algoritma her yeni değer için akışa şu kurallarla bit yazar:
- Değer Tamamen Aynıysa ($\Delta = 0$):
- Sisteme tek bir
0biti yazılır (1 bit maliyet). Metrik değişmediği sürece değer 1 bitle saklanır.
- Değer Değiştiyse ($\Delta eq 0$):
- İlk kontrol biti olarak
1yazılır. - Ardından önceki XOR ile karşılaştırma yapılır:
- Durum A: Baştaki sıfır sayısı ve sondaki sıfır sayısı önceki değerle tamamen aynı sınırlar içindeyse:
- Kontrol biti olarak
0yazılır. - Yalnızca anlamlı bitler akışa basılır (önceden bilinen uzunluk kadar).
- Kontrol biti olarak
- Durum B: Sıfır sınırları değiştiyse:
- Kontrol biti olarak
1yazılır. - 5 bit ile baştaki sıfır sayısı kaydedilir.
- 6 bit ile anlamlı bitlerin uzunluğu kaydedilir.
- Son olarak anlamlı bitlerin kendisi akışa eklenir.
- Kontrol biti olarak
- Durum A: Baştaki sıfır sayısı ve sondaki sıfır sayısı önceki değerle tamamen aynı sınırlar içindeyse:
Karar Ağacı:
XOR == 0?
├── [EVET] -> '0' biti yaz (Toplam 1 bit)
└── [HAYIR] -> '1' biti yaz
└── Sıfır sınırları aynı mı?
├── [EVET] -> '0' + Anlamlı Bitler
└── [HAYIR] -> '1' + 5 bit (Baştaki Sıfır)
+ 6 bit (Uzunluk)
+ Anlamlı Bitler
Prometheus TSDB Entegrasyonu ve Sonuçlar
Prometheus, metrik bloklarını 2 saatlik parçalar halinde bellekte toplarken Gorilla sıkıştırmasını kullanır.
- Gerçek dünya üretim iş yüklerinde ölçülen float64 değerlerinin yaklaşık %59'u tek bir
0biti ile kodlanır. - Değişen değerlerin çoğu Durum A sınırları içinde kalarak yalnızca 10 ila 15 bit tüketir.
- Toplamda 64 bitlik (8 bayt) kayan nokta depolama gereksinimi ortalama 11 bite (yaklaşık 1.37 bayt) geriler.
Bu algoritma sayesinde modern izleme sistemleri onlarca sunucunun metriklerini pahalı disk dizilerine ihtiyaç duymadan doğrudan sunucu RAM'inde tutabilir ve mikrosaniyeler içinde sorgulayabilir.
Yazıyı Değerlendir
0 tepkiFikirlerinizi tek tıkla paylaşarak geri bildirim bırakın.
Ali Purtaş
@alipurtas • Hey, This is Ali!
Kendi halinde yazılım geliştiren bir öğrenci. Sistemler kuruyor, deniyor, bozuyor ve öğrendiği gerçek çözümleri burada belgeliyor.
Konu Kümesi & Önerilen Yazılar
Redis Pub/Sub ile L1/L2 Çok Katmanlı Önbellek Geçersizleştirme Ağı
Süreç içi yerel RAM (L1) ile merkezi Redis (L2) katmanlarını senkron tutan Pub/Sub tabanlı geçersizleştirme ve istemci önbellekleme mimarisi.
Önbellek İzdihamı ve XFetch Probabilistik Erken Yenileme Algoritması
Önbellek izdihamı (cache stampede) krizlerini önleyen XFetch olasılıksal erken yenileme algoritması ve tekil uçuş (singleflight) desen analizi.
Write-Behind Önbellekleme ve Veritabanı Toplu Yazma Yükü Mimarisi
Write-behind önbellekleme ile yazma gecikmesini düşürme, toplu veritabanı yazımları, veri kaybı riskleri ve çöküş kurtarma mimari rehberi.
Tartışma & Yorumlar
0Tartışmaya katılmak ve soru sormak için oturum açmalısınız.
Giriş Yap