
Zaman Damgalarında Delta-of-Delta Kodlaması ile Veri Tasarrufu
Zaman serisi veritabanlarında UNIX zaman damgalarının delta-of-delta ve değişken uzunluklu bit kodlaması ile sıkıştırılması ve bayt analizi.
Zaman serisi veritabanlarında depolanan her veri noktası en az iki temel bileşenden oluşur: bir zaman damgası (timestamp) ve bir ölçüm değeri (value). Standart bir UNIX zaman damgası milisaniye veya saniye hassasiyetinde 64-bitlik (8 bayt) bir tamsayıdır. Milyarlarca metrik içeren bir sistemde zaman damgalarını ham int64 formatında tutmak, veri değerlerinin kendisinden daha fazla disk ve bellek tüketebilir. Ancak zaman damgaları rastgele dağılmaz, belirli aralıklarla (örneğin 10 veya 15 saniyede bir) düzenli akar. Delta-of-Delta kodlaması bu periyodik düzeni kullanarak 64 bitlik zaman damgalarını tek bir bite (%96 üzerinde tasarruf) indirir.
Kapsam Notu: Bu analiz Facebook Gorilla spesifikasyonu ve modern TSDB blok kodlama standartları temelinde derlenmiştir.
Delta Kodlamasından Delta-of-Delta Modeline
Zaman damgalarını sıkıştırmanın ilk adımı birinci derece farkları (Delta) hesaplamaktır:
$$D_i = t_i - t_{i-1}$$
Eğer bir sensör her 10 saniyede bir veri gönderiyorsa zaman damgaları şöyledir:
Ham Zaman Damgaları (t): 1731139200, 1731139210, 1731139220, 1731139230
Birinci Delta (D) : +10, +10, +10
Ancak ağ gecikmeleri ve işlemci yükleri sebebiyle ölçüm aralıklarında ufak oynamalar yaşanır (örneğin 10 saniye yerine 11 veya 9 saniye). Bu küçük dalgalanmaları düzleştirmek için İkinci Derece Fark (Delta-of-Delta - $D'$) hesaplanır:
$$D'i = D_i - D{i-1} = (t_i - t_{i-1}) - (t_{i-1} - t_{i-2})$$
Ham Zaman (t) : 1731139200 -> 1731139210 -> 1731139221 -> 1731139231
Delta (D) : +10 +11 +10
Delta-of-Delta(D'): +1 -1
Düzenli bir metrik akışında Delta-of-Delta değerlerinin ezici çoğunluğu tam olarak 0 değerine eşittir.
Değişken Uzunluklu Bit Kodlama Tablosu
Gorilla algoritması hesaplanan $D'$ değerini sabit boyutlu tamsayılar yerine değişken uzunluklu bit kovalarına (bit buckets) böler:
Delta-of-Delta (D') Aralığı Önek Biti Veri Biti Toplam Bit
-----------------------------------------------------------------------
D' == 0 '0' 0 bit 1 bit
-63 <= D' <= 64 '10' 7 bit 9 bit
-255 <= D' <= 256 '110' 9 bit 12 bit
-2047 <= D' <= 2048 '1110' 12 bit 16 bit
Tüm diğer durumlar '1111' 32 bit 36 bit
- Mükemmel Zamanlama ($D' = 0$): Metrik tam beklenen periyotta geldiyse akışa yalnızca tek bir
0biti yazılır. 64-bitlik zaman damgası 1 bite iner. - Küçük Dalgalanma ($-63 \le D' \le 64$): Ölçüm 1-2 saniye saptıysa sisteme
10öneki ve 7 bitlik ikili veri yazılır (toplam 9 bit). - Ağır Dalgalanma veya Kesinti: Sistem uzun süre veri alamadıysa
1111öneki ile 32-bitlik gerçek fark kaydedilir.
Bayt Tasarrufu ve Performans Analizi
Bu kodlama modelinin getirdiği bellek ve disk tasarrufu çarpıcıdır:
- Tipik bir Kubernetes kümesinde Prometheus metrikleri 15 saniyelik sabit adımlarla toplanır.
- Zaman damgalarının yaklaşık %96'sı sıfır gecikmeyle gelir ve $D' = 0$ kovasına düşerek tek bit tüketir.
- Geri kalan %4'lük kısım çoğunlukla 9 bitlik kovada depolanır.
- Sonuç olarak 100 milyon adet zaman damgası (ham hali 800 MB RAM): $$pprox 100.000.000 imes 1.35 ext{ bit} pprox 16.8 ext{ MB}$$ seviyesine sıkıştırılır.
Donanım Seviyesinde Hızlı Çözümleme (Bitwise Decoding)
Delta-of-delta kodlamasının bir diğer büyük avantajı işlemci dostu olmasıdır. Gzip veya Snappy gibi karmaşık lz tabanlı algoritmalar CPU döngülerini yorarken, Delta-of-Delta çözümü doğrudan işlemci kayıtçılarında (registers) basit bit kaydırma (shift) ve mantıksal VE (AND) komutlarıyla mikrosaniyeler içinde işletilir.
Modern TSDB sistemlerinde Gorilla kayan nokta sıkıştırması ile Delta-of-Delta zaman damgası sıkıştırması birleştiğinde devasa veri hacimleri tek bir sunucunun bellek sınırları içinde rahatlıkla yönetilebilir.
Yazıyı Değerlendir
0 tepkiFikirlerinizi tek tıkla paylaşarak geri bildirim bırakın.
Ali Purtaş
@alipurtas • Hey, This is Ali!
Kendi halinde yazılım geliştiren bir öğrenci. Sistemler kuruyor, deniyor, bozuyor ve öğrendiği gerçek çözümleri burada belgeliyor.
Konu Kümesi & Önerilen Yazılar
Redis Pub/Sub ile L1/L2 Çok Katmanlı Önbellek Geçersizleştirme Ağı
Süreç içi yerel RAM (L1) ile merkezi Redis (L2) katmanlarını senkron tutan Pub/Sub tabanlı geçersizleştirme ve istemci önbellekleme mimarisi.
Önbellek İzdihamı ve XFetch Probabilistik Erken Yenileme Algoritması
Önbellek izdihamı (cache stampede) krizlerini önleyen XFetch olasılıksal erken yenileme algoritması ve tekil uçuş (singleflight) desen analizi.
Write-Behind Önbellekleme ve Veritabanı Toplu Yazma Yükü Mimarisi
Write-behind önbellekleme ile yazma gecikmesini düşürme, toplu veritabanı yazımları, veri kaybı riskleri ve çöküş kurtarma mimari rehberi.
Tartışma & Yorumlar
0Tartışmaya katılmak ve soru sormak için oturum açmalısınız.
Giriş Yap