IAli
Tüm Yazılar
Zaman Damgalarında Delta-of-Delta Kodlaması ile Veri Tasarrufu

Zaman Damgalarında Delta-of-Delta Kodlaması ile Veri Tasarrufu

Zaman serisi veritabanlarında UNIX zaman damgalarının delta-of-delta ve değişken uzunluklu bit kodlaması ile sıkıştırılması ve bayt analizi.

Zaman serisi veritabanlarında depolanan her veri noktası en az iki temel bileşenden oluşur: bir zaman damgası (timestamp) ve bir ölçüm değeri (value). Standart bir UNIX zaman damgası milisaniye veya saniye hassasiyetinde 64-bitlik (8 bayt) bir tamsayıdır. Milyarlarca metrik içeren bir sistemde zaman damgalarını ham int64 formatında tutmak, veri değerlerinin kendisinden daha fazla disk ve bellek tüketebilir. Ancak zaman damgaları rastgele dağılmaz, belirli aralıklarla (örneğin 10 veya 15 saniyede bir) düzenli akar. Delta-of-Delta kodlaması bu periyodik düzeni kullanarak 64 bitlik zaman damgalarını tek bir bite (%96 üzerinde tasarruf) indirir.

Kapsam Notu: Bu analiz Facebook Gorilla spesifikasyonu ve modern TSDB blok kodlama standartları temelinde derlenmiştir.

Delta Kodlamasından Delta-of-Delta Modeline

Zaman damgalarını sıkıştırmanın ilk adımı birinci derece farkları (Delta) hesaplamaktır:

$$D_i = t_i - t_{i-1}$$

Eğer bir sensör her 10 saniyede bir veri gönderiyorsa zaman damgaları şöyledir:

TEXT
Ham Zaman Damgaları (t): 1731139200, 1731139210, 1731139220, 1731139230
Birinci Delta (D)       :            +10,         +10,         +10

Ancak ağ gecikmeleri ve işlemci yükleri sebebiyle ölçüm aralıklarında ufak oynamalar yaşanır (örneğin 10 saniye yerine 11 veya 9 saniye). Bu küçük dalgalanmaları düzleştirmek için İkinci Derece Fark (Delta-of-Delta - $D'$) hesaplanır:

$$D'i = D_i - D{i-1} = (t_i - t_{i-1}) - (t_{i-1} - t_{i-2})$$

TEXT
Ham Zaman (t)     :  1731139200  ->  1731139210  ->  1731139221  ->  1731139231
Delta (D)         :             +10             +11             +10
Delta-of-Delta(D'):                             +1              -1

Düzenli bir metrik akışında Delta-of-Delta değerlerinin ezici çoğunluğu tam olarak 0 değerine eşittir.

Değişken Uzunluklu Bit Kodlama Tablosu

Gorilla algoritması hesaplanan $D'$ değerini sabit boyutlu tamsayılar yerine değişken uzunluklu bit kovalarına (bit buckets) böler:

TEXT
Delta-of-Delta (D') Aralığı     Önek Biti     Veri Biti     Toplam Bit
-----------------------------------------------------------------------
D' == 0                         '0'           0 bit         1 bit
-63 <= D' <= 64                 '10'          7 bit         9 bit
-255 <= D' <= 256               '110'         9 bit         12 bit
-2047 <= D' <= 2048             '1110'        12 bit        16 bit
Tüm diğer durumlar              '1111'        32 bit        36 bit
  1. Mükemmel Zamanlama ($D' = 0$): Metrik tam beklenen periyotta geldiyse akışa yalnızca tek bir 0 biti yazılır. 64-bitlik zaman damgası 1 bite iner.
  2. Küçük Dalgalanma ($-63 \le D' \le 64$): Ölçüm 1-2 saniye saptıysa sisteme 10 öneki ve 7 bitlik ikili veri yazılır (toplam 9 bit).
  3. Ağır Dalgalanma veya Kesinti: Sistem uzun süre veri alamadıysa 1111 öneki ile 32-bitlik gerçek fark kaydedilir.

Bayt Tasarrufu ve Performans Analizi

Bu kodlama modelinin getirdiği bellek ve disk tasarrufu çarpıcıdır:

  • Tipik bir Kubernetes kümesinde Prometheus metrikleri 15 saniyelik sabit adımlarla toplanır.
  • Zaman damgalarının yaklaşık %96'sı sıfır gecikmeyle gelir ve $D' = 0$ kovasına düşerek tek bit tüketir.
  • Geri kalan %4'lük kısım çoğunlukla 9 bitlik kovada depolanır.
  • Sonuç olarak 100 milyon adet zaman damgası (ham hali 800 MB RAM): $$pprox 100.000.000 imes 1.35 ext{ bit} pprox 16.8 ext{ MB}$$ seviyesine sıkıştırılır.

Donanım Seviyesinde Hızlı Çözümleme (Bitwise Decoding)

Delta-of-delta kodlamasının bir diğer büyük avantajı işlemci dostu olmasıdır. Gzip veya Snappy gibi karmaşık lz tabanlı algoritmalar CPU döngülerini yorarken, Delta-of-Delta çözümü doğrudan işlemci kayıtçılarında (registers) basit bit kaydırma (shift) ve mantıksal VE (AND) komutlarıyla mikrosaniyeler içinde işletilir.

Modern TSDB sistemlerinde Gorilla kayan nokta sıkıştırması ile Delta-of-Delta zaman damgası sıkıştırması birleştiğinde devasa veri hacimleri tek bir sunucunun bellek sınırları içinde rahatlıkla yönetilebilir.

Yazıyı Değerlendir

0 tepki

Fikirlerinizi tek tıkla paylaşarak geri bildirim bırakın.

Bu teknik notu çevrenizle paylaşın

Ali Purtaş

@alipurtas • Hey, This is Ali!

İletişime Geç

Kendi halinde yazılım geliştiren bir öğrenci. Sistemler kuruyor, deniyor, bozuyor ve öğrendiği gerçek çözümleri burada belgeliyor.

Konu Kümesi & Önerilen Yazılar

İç Bağlantılı Mimari
Yorumlar yükleniyor...