IAli
Tüm Yazılar
etcd Mimarisinde Raft Durum Makinesi ve İstemci İzleme Akışı

etcd Mimarisinde Raft Durum Makinesi ve İstemci İzleme Akışı

Kubernetes kontrol düzleminin temeli etcd mimarisi, Raft durum makinesi, WAL fsync duyarlılığı, boltdb depolaması ve watch olay akışı analizi.

Kubernetes orkestrasyon motorunun kalbinde kümenin tüm durumunu (Pod'lar, Servisler, ConfigMap'ler, Düğümler) saklayan tek bir gerçeklik kaynağı bulunur: etcd. etcd, dağınık sunucular arasında tutarlılığı korumak için Raft konsensüs protokolünü kullanan, yüksek erişilebilirlikli, güçlü tutarlı (strongly consistent) bir anahtar-değer deposudur. Ancak Kubernetes üretim ortamlarında yaşanan küme kilitlenmelerinin (etcd cluster outages) ezici çoğunluğu disk fsync gecikmelerinden, denetlenmeyen bbolt şişmelerinden ve kontrolsüz watch akışlarından kaynaklanır.

Kapsam Notu: Bu teknik mimari analizi etcd v3 veri modeli, bbolt gömülü depolama motoru ve gRPC watch kanalları dikkate alınarak yapılmıştır.

etcd İki Katmanlı Depolama Mimarisi

etcd sistemi mantıksal olarak iki bağımsız katmanın birleşiminden oluşur:

TEXT
İstemci (kube-apiserver)
        |
        v
[ 1. KATMAN: Dağıtık Günlük & Raft Konsensüs ]
  - WAL Dosyası (Sıralı Disk Yazımı, fsync zorunlu)
  - Quorum Onayı ((N/2) + 1 Düğüm)
        |
        v (Commit Edildi)
[ 2. KATMAN: Yerel Depolama (bbolt MVCC Engine) ]
  - B+ Tree Tabanlı Gömülü Veritabanı
  - Tarihsel Revizyonlar (Revisions)
  - Bellek Haritalı Dosya (mmap)
  1. Konsensüs Katmanı (Raft & WAL): İstemciden gelen her yazma işlemi önce bir Raft önerisine dönüşür ve diske WAL kaydı olarak yazılır. Bu katmanda işlem henüz veri tabanına uygulanmamıştır.
  2. Durum Makinesi Katmanı (bbolt): Çoğunluk onayı alan işlemler etcd'nin yerel depolama motoru olan bbolt (eski adıyla BoltDB) B+ Tree sayfalarına yazılır.

Disk G/Ç ve fsync Duyarlılığı Krizi

etcd mimarisinin en hassas noktası disk yazma gecikmesidir. Raft protokolünde bir liderin takipçilere hükmetmesi ve kümenin ayakta kalması düzenli kalp atışlarına dayanır (varsayılan kalp atışı aralığı 100 ms, seçim zaman aşımı 1000 ms).

Her yazma işleminde etcd WAL kaydını diske kalıcı olarak boşaltmak (fsync) zorundadır:

  • Standart bir mekanik sabit diskte (HDD) veya yavaş bir bulut blok depolama biriminde (EBS) tek bir fsync işlemi 15 ila 30 milisaniye sürebilir.
  • Eşzamanlı yazma trafiği arttığında WAL fsync kuyruğu 100 milisaniyeyi aşar.
  • Kalp atışları gecikir. Takipçiler liderin çöktüğünü sanarak yeni seçimler başlatır (Election Storm).
  • Küme sürekli lider değiştirir, yazma trafiği durur ve Kubernetes kontrol düzlemi felç olur.

Bu sebeple resmi Kubernetes dökümantasyonunda etcd için en az 50 SSD IOPS ve p99 fsync gecikmesinin 10 milisaniyenin altında kalması zorunlu tutulur.

MVCC ve Revizyon Modeli

etcd klasik bir anahtar-değer deposu gibi eski değerin üzerine yazmaz. Her başarılı işlem için küme genelinde artan bir Revizyon (Revision) numarası üretir:

TEXT
Zaman 1: Key "/pod/nginx" = Sürüm A (Revizyon 10)
Zaman 2: Key "/pod/nginx" = Sürüm B (Revizyon 15)
Zaman 3: Key "/pod/nginx" = SİLİNDİ  (Revizyon 22)

Tüm eski sürümler bbolt içinde saklanır. İstemciler eski bir revizyonu sorgulayabilir veya belirli bir revizyondan sonraki değişiklikleri dinleyebilir.

Depolama Kotası ve Sıkıştırma (Compacting)

Tarihsel revizyonlar temizlenmezse etcd disk dosyası hızla varsayılan depolama kotasına (2 GB veya 8 GB) ulaşır. Kota dolduğunda etcd ALARM NOSPACE durumuna geçer ve tüm yazmaları kilitler.

Bu krizden kaçınmak için etcd periyodik olarak sıkıştırılmalıdır:

Bash
# Belirli bir revizyondan öncesini temizle
etcdctl compact 250000

# Parçalanmış boş alanları işletim sistemine iade et
etcdctl defrag

Watch API ve gRPC Olay Akışı

Kubernetes kontrol döngüsünün (kube-controller-manager) temel çalışma prensibi polling yapmak yerine etcd olaylarını dinlemektir.

  • İstemci HTTP/2 üzerinden uzun ömürlü bir gRPC Watch akışı başlatır (watch(key_prefix, start_rev)).
  • etcd, hafızadaki indeks üzerinden istenen revizyondan itibaren gerçekleşen tüm ekleme, silme ve güncelleme olaylarını anlık olarak istemciye iletir.
  • Bu mimari polling yükünü ortadan kaldırarak Kubernetes kümesinin binlerce düğümde milisaniyeler içinde senkronize olmasını sağlar.

Yazıyı Değerlendir

0 tepki

Fikirlerinizi tek tıkla paylaşarak geri bildirim bırakın.

Bu teknik notu çevrenizle paylaşın

Ali Purtaş

@alipurtas • Hey, This is Ali!

İletişime Geç

Kendi halinde yazılım geliştiren bir öğrenci. Sistemler kuruyor, deniyor, bozuyor ve öğrendiği gerçek çözümleri burada belgeliyor.

Konu Kümesi & Önerilen Yazılar

İç Bağlantılı Mimari
Yorumlar yükleniyor...