
etcd Mimarisinde Raft Durum Makinesi ve İstemci İzleme Akışı
Kubernetes kontrol düzleminin temeli etcd mimarisi, Raft durum makinesi, WAL fsync duyarlılığı, boltdb depolaması ve watch olay akışı analizi.
Kubernetes orkestrasyon motorunun kalbinde kümenin tüm durumunu (Pod'lar, Servisler, ConfigMap'ler, Düğümler) saklayan tek bir gerçeklik kaynağı bulunur: etcd. etcd, dağınık sunucular arasında tutarlılığı korumak için Raft konsensüs protokolünü kullanan, yüksek erişilebilirlikli, güçlü tutarlı (strongly consistent) bir anahtar-değer deposudur. Ancak Kubernetes üretim ortamlarında yaşanan küme kilitlenmelerinin (etcd cluster outages) ezici çoğunluğu disk fsync gecikmelerinden, denetlenmeyen bbolt şişmelerinden ve kontrolsüz watch akışlarından kaynaklanır.
Kapsam Notu: Bu teknik mimari analizi etcd v3 veri modeli, bbolt gömülü depolama motoru ve gRPC watch kanalları dikkate alınarak yapılmıştır.
etcd İki Katmanlı Depolama Mimarisi
etcd sistemi mantıksal olarak iki bağımsız katmanın birleşiminden oluşur:
İstemci (kube-apiserver)
|
v
[ 1. KATMAN: Dağıtık Günlük & Raft Konsensüs ]
- WAL Dosyası (Sıralı Disk Yazımı, fsync zorunlu)
- Quorum Onayı ((N/2) + 1 Düğüm)
|
v (Commit Edildi)
[ 2. KATMAN: Yerel Depolama (bbolt MVCC Engine) ]
- B+ Tree Tabanlı Gömülü Veritabanı
- Tarihsel Revizyonlar (Revisions)
- Bellek Haritalı Dosya (mmap)
- Konsensüs Katmanı (Raft & WAL): İstemciden gelen her yazma işlemi önce bir Raft önerisine dönüşür ve diske WAL kaydı olarak yazılır. Bu katmanda işlem henüz veri tabanına uygulanmamıştır.
- Durum Makinesi Katmanı (bbolt): Çoğunluk onayı alan işlemler etcd'nin yerel depolama motoru olan bbolt (eski adıyla BoltDB) B+ Tree sayfalarına yazılır.
Disk G/Ç ve fsync Duyarlılığı Krizi
etcd mimarisinin en hassas noktası disk yazma gecikmesidir. Raft protokolünde bir liderin takipçilere hükmetmesi ve kümenin ayakta kalması düzenli kalp atışlarına dayanır (varsayılan kalp atışı aralığı 100 ms, seçim zaman aşımı 1000 ms).
Her yazma işleminde etcd WAL kaydını diske kalıcı olarak boşaltmak (fsync) zorundadır:
- Standart bir mekanik sabit diskte (HDD) veya yavaş bir bulut blok depolama biriminde (EBS) tek bir fsync işlemi 15 ila 30 milisaniye sürebilir.
- Eşzamanlı yazma trafiği arttığında WAL fsync kuyruğu 100 milisaniyeyi aşar.
- Kalp atışları gecikir. Takipçiler liderin çöktüğünü sanarak yeni seçimler başlatır (Election Storm).
- Küme sürekli lider değiştirir, yazma trafiği durur ve Kubernetes kontrol düzlemi felç olur.
Bu sebeple resmi Kubernetes dökümantasyonunda etcd için en az 50 SSD IOPS ve p99 fsync gecikmesinin 10 milisaniyenin altında kalması zorunlu tutulur.
MVCC ve Revizyon Modeli
etcd klasik bir anahtar-değer deposu gibi eski değerin üzerine yazmaz. Her başarılı işlem için küme genelinde artan bir Revizyon (Revision) numarası üretir:
Zaman 1: Key "/pod/nginx" = Sürüm A (Revizyon 10)
Zaman 2: Key "/pod/nginx" = Sürüm B (Revizyon 15)
Zaman 3: Key "/pod/nginx" = SİLİNDİ (Revizyon 22)
Tüm eski sürümler bbolt içinde saklanır. İstemciler eski bir revizyonu sorgulayabilir veya belirli bir revizyondan sonraki değişiklikleri dinleyebilir.
Depolama Kotası ve Sıkıştırma (Compacting)
Tarihsel revizyonlar temizlenmezse etcd disk dosyası hızla varsayılan depolama kotasına (2 GB veya 8 GB) ulaşır. Kota dolduğunda etcd ALARM NOSPACE durumuna geçer ve tüm yazmaları kilitler.
Bu krizden kaçınmak için etcd periyodik olarak sıkıştırılmalıdır:
# Belirli bir revizyondan öncesini temizle
etcdctl compact 250000
# Parçalanmış boş alanları işletim sistemine iade et
etcdctl defrag
Watch API ve gRPC Olay Akışı
Kubernetes kontrol döngüsünün (kube-controller-manager) temel çalışma prensibi polling yapmak yerine etcd olaylarını dinlemektir.
- İstemci HTTP/2 üzerinden uzun ömürlü bir gRPC Watch akışı başlatır (
watch(key_prefix, start_rev)). - etcd, hafızadaki indeks üzerinden istenen revizyondan itibaren gerçekleşen tüm ekleme, silme ve güncelleme olaylarını anlık olarak istemciye iletir.
- Bu mimari polling yükünü ortadan kaldırarak Kubernetes kümesinin binlerce düğümde milisaniyeler içinde senkronize olmasını sağlar.
Yazıyı Değerlendir
0 tepkiFikirlerinizi tek tıkla paylaşarak geri bildirim bırakın.
Ali Purtaş
@alipurtas • Hey, This is Ali!
Kendi halinde yazılım geliştiren bir öğrenci. Sistemler kuruyor, deniyor, bozuyor ve öğrendiği gerçek çözümleri burada belgeliyor.
Konu Kümesi & Önerilen Yazılar
Redis Pub/Sub ile L1/L2 Çok Katmanlı Önbellek Geçersizleştirme Ağı
Süreç içi yerel RAM (L1) ile merkezi Redis (L2) katmanlarını senkron tutan Pub/Sub tabanlı geçersizleştirme ve istemci önbellekleme mimarisi.
Önbellek İzdihamı ve XFetch Probabilistik Erken Yenileme Algoritması
Önbellek izdihamı (cache stampede) krizlerini önleyen XFetch olasılıksal erken yenileme algoritması ve tekil uçuş (singleflight) desen analizi.
Write-Behind Önbellekleme ve Veritabanı Toplu Yazma Yükü Mimarisi
Write-behind önbellekleme ile yazma gecikmesini düşürme, toplu veritabanı yazımları, veri kaybı riskleri ve çöküş kurtarma mimari rehberi.
Tartışma & Yorumlar
0Tartışmaya katılmak ve soru sormak için oturum açmalısınız.
Giriş Yap