
Cgroups v2 Tek Hiyerarşi ve CFS Kotası ile CPU Throttling Analizi
Cgroups v2 tekli hiyerarşi modeli, cpu.max ve CFS kota mekanizması, Kubernetes podlarında yüzde 30 kullanımda yaşanan CPU kısıtlanması ve çözüm yolları.
Mikroservis mimarilerinin ve Kubernetes kümelerinin yaygınlaşmasıyla birlikte konteyner kaynak sınırlandırmaları varsayılan bir üretim standardı haline geldi. Bir pod tanımlanırken resources.limits.cpu: "2" yazıldığında, arka planda Linux çekirdeğinin Completely Fair Scheduler (CFS) kota mekanizması devreye girer.
Ancak Kubernetes ve platform mühendisliği ekiplerinin sıkça tartıştığı çarpıcı bir problem vardır: Pod'un ortalama CPU kullanımı grafikte yalnızca yüzde 30 görünürken, istemci isteklerinde 99. yüzdelik (p99) yanıt süreleri fırlamakta ve uygulamalar ciddi şekilde yavaşlamaktadır. Bunun sorumlusu, Cgroups v2 hiyerarşisi altında çalışan CFS bant genişliği denetleyicisinin milisaniyelik zaman pencerelerinde tetiklediği CPU throttling (kısıtlama) mekanizmasıdır. Bellek tarafında Linux OOM Killer süreçleri sonlandırırken, CPU tarafında ise bu sessiz kısıtlama performansı felç eder.
Cgroups v2 CFS Bant Genişliği ve Kota Periyodu:
100 ms Zaman Periyodu (cpu.cfs_period_us = 100000 us)
+───────────────────────────────────────────────────────────────+
| Kota: 200 ms CPU Zamanı (2 Çekirdek Kotası) |
+───────────────────────────────────────────────────────────────+
8 İş Parçacıklı Eşzamanlı İstek Patlaması (Burst):
0 ms 25 ms 100 ms
├── 8 Thread x 25 ms = 200 ms Tükendi ──┤ │
│ (TÜM KOTA İLK 25 MS'DE BİTTİ) │ │
▼ ▼ ▼
[ ÇALIŞIYOR ] [ THROTTLED (UYUTULDU) ] [ YENİDEN ]
CPU Aktif 75 ms Boyunca Askıda Kota Geldi
1. Cgroups v1'den Cgroups v2'ye: Tek Hiyerarşi Devrimi
Linux 2.6 döneminde geliştirilen Cgroups v1 mimarisinde her denetleyici (cpu, memory, blkio, net_cls) /sys/fs/cgroup/ altında birbirinden tamamen bağımsız ayrı dizin ağaçlarına sahipti. Bir sürecin CPU tüketimi bir ağaçta, bellek tüketimi bambaşka bir ağaçta takip ediliyordu.
Bu tasarım iki temel krize yol açtı:
- Kaynak Çekişmelerinde Koordinasyonsuzluk: Sayfa önbelleği (page cache) temizlenirken blkio denetleyicisi ile memory denetleyicisi arasında bağ kurulamıyordu. Bir sürecin diske yazdığı kirli sayfalar başka bir cgroup hesabına yazılabiliyordu.
- Yönetim Karmaşası: Farklı denetleyicilerde süreç gruplamaları uyumsuz hiyerarşiler üretiyordu.
Linux 4.5 ile temelleri atılan ve 5.x serisiyle olgunlaşan Cgroups v2 (unified hierarchy), tüm kaynak denetleyicilerini tek bir ortak ağaç altında topladı. Artık her süreç yalnızca tek bir cgroup düğümüne aittir ve iç düğümlerde (internal nodes) süreç barındırılamaz. Kural basittir: Süreçler yalnızca yaprak düğümlerde (leaf nodes) yaşar.
Cgroups v2 dosya arayüzü de sadeleştirildi:
- v1'deki
cpu.cfs_quota_usvecpu.cfs_period_usdosyaları birleştirilerek tek bircpu.maxdosyasına dönüştürüldü. - Sözdizimi:
$MAX $PERIOD(örneğin:200000 100000= 100 ms periyotta 200 ms CPU hakkı, yani 2 çekirdek).
2. CFS Kotası Nasıl Çalışır ve CPU Neden Throttling Yaşar?
Linux çekirdeğindeki CFS bant genişliği denetleyicisi zamanı dilimler halinde ele alır. Varsayılan periyot 100.000 mikrosaniyedir (100 ms).
Eğer podunuza limits.cpu: 2 atadıysanız çekirdek şu hesabı yapar:
$$\text{Periyot Başına Kota} = 2 \times 100.000,\mu\text{s} = 200.000,\mu\text{s} \text{ (200 ms CPU zamanı)}$$
Uygulamanız tek iş parçacıklı bir Python süreci olsaydı 100 ms'lik fiziksel pencerede en fazla 100 ms CPU harcayabilirdi ve 200 ms kotaya ulaşamazdı.
Ancak modern sunucu uygulamaları (Go, Java, Node.js worker havuzları) çok iş parçacıklıdır (multi-threaded). Go Çalışma Zamanı veya benzeri 16 iş parçacıklı bir servisi ele alalım:
- Dışarıdan 20 adet eşzamanlı HTTP isteği gelir.
- Çalışma zamanı havuzundaki 8 iş parçacığı aynı anda 8 farklı CPU çekirdeğinde çalışmaya başlar.
- Her iş parçacığı yalnızca 25 milisaniye çalışır.
- Toplam harcanan CPU süresi: $8 \times 25,\text{ms} = 200,\text{ms}$.
- 100 ms'lik periyodun henüz 25. milisaniyesinde podun o periyottaki tüm CPU kotası tükenmiştir.
Çekirdek derhal tüm pod süreçlerini uyutur (throttling). Geriye kalan 75 milisaniye boyunca gelen hiçbir yeni istek işlenemez. Mevcut isteklerin soket yanıtları gecikir. Prometheus grafiğinde 1 dakikalık ortalamaya bakıldığında podun CPU kullanımı yalnızca yüzde 30 veya yüzde 40 görünürken, istekler içeride 75 ms boyunca kilitlenmiş beklemektedir.
3. cpu.stat ile Throttling Tespiti ve Ölçüm Metodolojisi
Sisteminizde hangi konteynerin ne kadar CPU kısıtlamasına maruz kaldığını anlamak için cgroup dizinindeki cpu.stat dosyasını okuyabilirsiniz:
cat /sys/fs/cgroup/kubepods.slice/.../cpu.stat
Çıktıda şu üç metrik yer alır:
usage_usec 481920194
user_usec 312019482
system_usec 169900712
nr_periods 54200
nr_throttled 14810
throttled_usec 982140500
Burada:
nr_periods: Sürecin gördüğü toplam 100 ms'lik zaman periyodu sayısı.nr_throttled: Sürecin kotasını aşarak uyutulduğu periyot sayısı.throttled_usec: Sürecin toplamda kaç mikrosaniye boyunca askıda kaldığı.
Throttling oranını şu formülle hesaplayabilirsiniz:
$$\text{Throttling Oranı} = \frac{\text{nr_throttled}}{\text{nr_periods}} \times 100 = \frac{14810}{54200} \times 100 \approx %27.3$$
Yüzde 27 throttling oranı, gelen isteklerin dörtte birinin yapay çekirdek duraksamalarına maruz kaldığını gösterir.
4. Çözüm Yaklaşımları: Kota Periyodu Ayarı ve Sınır Tartışması
Kubernetes topluluğunda ve Reddit r/kubernetes forumlarında bu problem için üç temel mimari yaklaşım benimsenmektedir.
Yaklaşım 1: CPU Limits Değerini Kaldırmak (No Limits Policy)
Birçok kıdemli SRE ekibi (Zalando, Buffer ve Datadog dahil) pod tanımlarında resources.limits.cpu alanını tamamen kaldırmayı tercih eder. Yalnızca resources.requests.cpu tanımlanır.
Bu sayede:
- CFS kotası devre dışı kalır ve podlar ani patlamalarda (burst) boşta duran diğer CPU döngülerini özgürce kullanabilir.
- Yapay throttling tamamen ortadan kalkar.
- Düğümde (node) CPU sıkışması yaşandığında çekirdek kaynakları
requestsoranlarına göre adil şekilde paylaştırır.
Yaklaşım 2: Kota Periyodunu Düşürmek (Tuning cpu.cfs_period_us)
Eğer çok kiracılı (multi-tenant) ortamlarda sınır koymak zorunluysa, periyot süresini 100 ms'den 10 ms veya 5 ms seviyesine çekmek duraksama süresini kısaltır.
Kubernetes kubelet yapılandırmasında cpuCFSQuotaPeriod parametresi özelleştirilebilir:
# /var/lib/kubelet/config.yaml
cpuCFSQuota: true
cpuCFSQuotaPeriod: "10ms"
Periyot 10 ms yapıldığında, kotasını tüketen bir iş parçacığı en fazla 7.5 ms askıda kalır. 75 ms'lik devasa gecikme patlamaları mikro seviyeye iner.
Yaklaşım 3: Çekirdek CFS Burst Yamaları
Linux 5.14 ile çekirdeğe eklenen cpu.cfs_burst_us özelliği, bir önceki periyotta kullanılmayan kotanın bir sonraki periyota devredilmesini sağlar. Böylece ani trafik dalgalanmalarında konteyner ödünç kota kullanarak kısıtlanmadan akışını sürdürebilir.
5. Üretim Ortamı Kontrol Listesi
CPU kısıtlamalarını yönetirken şu adımları uygulayın:
- Prometheus ile İzleyin:
container_cpu_cfs_throttled_periods_total / container_cpu_cfs_periods_totalmetriğini panolarınıza ekleyin. Oran yüzde 5'in üzerindeyse alarm üretin. - Gecikme Duyarlı Servislerde Limits Kaldırın: gRPC, Redis veya mikro web API gibi düşük gecikme hedefleyen podlarda CPU limitini kaldırarak yalnızca request belirleyin.
- İş Parçacığı Sayısını Limite Göre Boyutlandırın: Go için
GOMAXPROCS, Java için-XX:ActiveProcessorCountparametrelerini podun fiziksel sınırlarına göre sabitleyin. 2 CPU limitli podda 32 iş parçacığı açmak kaçınılmaz bir throttling fırtınası yaratır.
Bu strateji sayesinde CPU kısıtlaması kaynaklı gizli kuyruk gecikmeleri önlenir ve sunucu kaynakları öngörülebilir bir verimlilikle çalışır.
Yazıyı Değerlendir
0 tepkiFikirlerinizi tek tıkla paylaşarak geri bildirim bırakın.
Ali Purtaş
@alipurtas • Hey, This is Ali!
Kendi halinde yazılım geliştiren bir öğrenci. Sistemler kuruyor, deniyor, bozuyor ve öğrendiği gerçek çözümleri burada belgeliyor.
Konu Kümesi & Önerilen Yazılar
Konteynerlerde Bellek Limiti, Page Cache ve Anonim Bellek Ayrımı
Cgroups v2 memory.high ve memory.max farkı, anonim bellek ile sayfa önbelleği baskısı, kswapd çırpınma krizleri ve doğrudan geri çağırma gecikmesi analizi.
copy_file_range ile Blok Katmanında Reflink Tabanlı Dosya Klonlama
copy_file_range sistem çağrısı, Btrfs ve XFS reflink mekanizması, blok seviyesinde anlık dosya klonlama ve gigabaytlarca veriyi kopyalamadan çoğaltma rehberi.
Linux sendfile ve splice Çağrılarıyla Çekirdek İçi Veri Aktarımı
Geleneksel G/Ç kopyalama maliyetleri, sendfile ve splice sistem çağrıları, boru tamponları üzerinden kullanıcı alanına inmeden sokete veri aktarma mimarisi.
Tartışma & Yorumlar
0Tartışmaya katılmak ve soru sormak için oturum açmalısınız.
Giriş Yap