IAli
Tüm Yazılar
Linux perf ve Alev Grafikleriyle İşlemci Darboğazı Analiz Rehberi

Linux perf ve Alev Grafikleriyle İşlemci Darboğazı Analiz Rehberi

Linux perf donanım sayacı örneklemesi, çağrı yığını çözümleme, Brendan Gregg alev grafikleri oluşturma ve CPU kilit çekişmesi tespiti adımları rehberi.

Bir üretim sunucusunda CPU kullanımı yüzde 100'e vurduğunda top veya htop komutunu açıp hangi sürecin işlemciyi tükettiğini görmek işin en kolay kısmıdır. Asıl zor mühendislik sorusu şudur: "Bu süreç harcadığı CPU döngülerini tam olarak hangi fonksiyonlarda, hangi kilitlerde ve hangi kütüphane çağrılarında tüketiyor?"

Geleneksel profil çıkarıcılar (profilers) program kodunun içine sayaçlar yerleştirerek (instrumentation) ölçüm yapmaya çalışır. Ancak bu yaklaşım uygulamanın çalışma hızını bozar ve ölçülen veriyi yanıltıcı hale getirir (Heisenberg etkisi).

Linux çekirdeğinin resmi aracı olan perf ve sistem optimizasyonu otoritesi Brendan Gregg tarafından geliştirilen Alev Grafikleri (Flame Graphs), istatistiksel örnekleme (sampling) yöntemiyle çalışan uygulamaya neredeyse sıfır ek yük getirerek CPU darboğazlarını görsel bir haritaya dönüştürür. Bu yazıda çağrı yığını (call stack) çözümleme yöntemlerini, donanım PMU sayaçlarını ve alev grafiği analizini ele alıyoruz.

TEXT
Alev Grafiği (Flame Graph) Okuma Anatomisi:

Genişlik = CPU'da Harcanan Zaman Oranı (Yüzde)
Yükseklik = Çağrı Yığını Derinliği (Call Stack Depth)

+───────────────────────────────────────────────────────────────+
|               pthread_mutex_lock (Darboğaz! %45 Genişlik)     |
+───────────────────────────────────────────────────────────────+
|          WorkerQueue::Pop() (%50 Genişlik)                    |
+───────────────────────────────────────────────────────────────+
|     Server::ProcessRequest() (%80 Genişlik)                   |
+───────────────────────────────────────────────────────────────+
| main() (%100 Genişlik)                                        |
+───────────────────────────────────────────────────────────────+

1. perf Nasıl Çalışır: İstatistiksel Örnekleme

perf, programı yavaşlatmak yerine işlemcinin donanımsal Performans İzleme Birimi'ni (Performance Monitoring Unit - PMU) programlar.

Örneğin saniyede 99 Hertz frekansıyla örnekleme yapıldığında (perf record -F 99):

  1. Çekirdek her saniye 99 kez zamanlayıcı kesmesi üretir. Neden 100 değil de 99? Periyodik uygulama döngüleriyle tesadüfi kilitlenmeleri (lockstep sampling) önlemek için asal bir sayı tercih edilir.
  2. Kesme anında CPU üzerinde hangi fonksiyonun ve hangi çağrı yığınının (call stack) çalıştığı anlık olarak kaydedilir.
  3. 10 saniye boyunca toplanan binlerce örnek istatistiksel olarak birleştirilir. En çok yakalanan fonksiyon, CPU'yu en çok tüketen fonksiyondur.

Bu yaklaşım İşlemci Önbellek Satırları ve False Sharing gibi donanımsal mikro darboğazların tespitinde de vazgeçilmezdir.

2. Çağrı Yığını Çözümleme: Frame Pointers vs DWARF vs ORC

Bir profilin anlamlı olabilmesi için perf'in fonksiyon çağrı zincirini (A -> B -> C) doğru okuyabilmesi gerekir.

Bunun için üç farklı yöntem bulunur:

1. Frame Pointers (-fno-omit-frame-pointer)

En temiz ve hızlı yöntemdir. Derleyici her fonksiyonda RBP kaydını yığın tabanı olarak korur. perf yığını nanosaniyeler içinde çözer. Üretim ortamlarında derleme yaparken -fno-omit-frame-pointer bayrağını açık bırakmak kritik bir en iyi uygulamadır (maliyet yüzde 1'in altındadır).

2. DWARF Hata Ayıklama Bilgisi (--call-graph dwarf)

Eğer kod frame pointer olmadan derlendiyse perf yığının ham kopyasını alır ve DWARF tablolarından çözer. Bu yöntem büyük bellek tamponları gerektirir ve sistemi yavaşlatabilir.

3. ORC Unwinder

Linux çekirdeğinin kendi iç yığınını çözmek için geliştirdiği optimize edilmiş hafif formattır.

3. Adım Adım Alev Grafiği Oluşturma

Brendan Gregg'in açık kaynaklı Alev Grafiği araçlarını kullanarak çalışan bir sürecin profilini çıkaralım:

Bash
# 1. FlameGraph deposunu klonlayın
git clone https://github.com/brendangregg/FlameGraph.git /tmp/FlameGraph

# 2. Hedef sureci 99 Hz ile 10 saniye boyunca ornekleyin
sudo perf record -F 99 -p <PID> -g -- sleep 10

# 3. perf verilerini metne dokun
sudo perf script > /tmp/out.perf

# 4. Yiginlari katlayin ve SVG alev grafigini olusturun
/tmp/FlameGraph/stackcollapse-perf.pl /tmp/out.perf > /tmp/out.folded
/tmp/FlameGraph/flamegraph.pl /tmp/out.folded > /tmp/cpu-flamegraph.svg

Oluşan cpu-flamegraph.svg dosyasını tarayıcınızda açtığınızda etkileşimli bir grafik elde edersiniz.

4. Alev Grafiği Nasıl Okunur?

Grafiği yorumlarken şu kuralları izleyin:

  • X Ekseni (Genişlik): Alfabetik olarak sıralanmıştır (zaman akışı değildir). Bir kutunun genişliği, o fonksiyonun CPU üzerinde harcadığı toplam zaman yüzdesini gösterir. Geniş bir kutu, optimize edilmesi gereken ana hedeftir.
  • Y Ekseni (Yükseklik): Çağrı derinliğini gösterir. Alttan üste doğru ebeveyn fonksiyondan çocuk fonksiyona uzanır.
  • Düz Tepeler (Plateaus): Grafiğin en üstünde geniş ve düz duran kutular, CPU döngülerini bizzat tüketen yaprak fonksiyonlardır.

Örneğin grafiğin tepesinde spin_lock veya pthread_mutex_lock kutusu yüzde 40 genişlik kaplıyorsa, uygulamanız hesaplama yapmamakta, iş parçacığı kilit çekişmelerinde dönerek CPU tüketmektedir.

5. Açık vs Kapalı CPU Analizi (On-CPU vs Off-CPU)

perf record yalnızca CPU üzerinde aktif çalışan kodları yakalar (On-CPU).

Ancak bir uygulama disk I/O beklerken, veritabanı yanıtı beklerken veya kilitte uyurken CPU kullanmaz. Uygulamanız yavaşsa ama CPU kullanımı yüzde 5 görünüyorsa sorun Off-CPU katmanındadır.

Off-CPU analizi için bpftrace veya eBPF tabanlı offcputime aracı kullanılarak süreçlerin çekirdekte hangi çağrılarda uyuduğu profillenmelidir.

Bu iki boyutlu yaklaşım, performans mühendisliğini karanlıkta tahmin yürütmekten çıkarıp kesin donanım telemetrisine dayandırır.

Yazıyı Değerlendir

0 tepki

Fikirlerinizi tek tıkla paylaşarak geri bildirim bırakın.

Bu teknik notu çevrenizle paylaşın

Ali Purtaş

@alipurtas • Hey, This is Ali!

İletişime Geç

Kendi halinde yazılım geliştiren bir öğrenci. Sistemler kuruyor, deniyor, bozuyor ve öğrendiği gerçek çözümleri burada belgeliyor.

Konu Kümesi & Önerilen Yazılar

İç Bağlantılı Mimari
Yorumlar yükleniyor...