
Linux perf ve Alev Grafikleriyle İşlemci Darboğazı Analiz Rehberi
Linux perf donanım sayacı örneklemesi, çağrı yığını çözümleme, Brendan Gregg alev grafikleri oluşturma ve CPU kilit çekişmesi tespiti adımları rehberi.
Bir üretim sunucusunda CPU kullanımı yüzde 100'e vurduğunda top veya htop komutunu açıp hangi sürecin işlemciyi tükettiğini görmek işin en kolay kısmıdır. Asıl zor mühendislik sorusu şudur: "Bu süreç harcadığı CPU döngülerini tam olarak hangi fonksiyonlarda, hangi kilitlerde ve hangi kütüphane çağrılarında tüketiyor?"
Geleneksel profil çıkarıcılar (profilers) program kodunun içine sayaçlar yerleştirerek (instrumentation) ölçüm yapmaya çalışır. Ancak bu yaklaşım uygulamanın çalışma hızını bozar ve ölçülen veriyi yanıltıcı hale getirir (Heisenberg etkisi).
Linux çekirdeğinin resmi aracı olan perf ve sistem optimizasyonu otoritesi Brendan Gregg tarafından geliştirilen Alev Grafikleri (Flame Graphs), istatistiksel örnekleme (sampling) yöntemiyle çalışan uygulamaya neredeyse sıfır ek yük getirerek CPU darboğazlarını görsel bir haritaya dönüştürür. Bu yazıda çağrı yığını (call stack) çözümleme yöntemlerini, donanım PMU sayaçlarını ve alev grafiği analizini ele alıyoruz.
Alev Grafiği (Flame Graph) Okuma Anatomisi:
Genişlik = CPU'da Harcanan Zaman Oranı (Yüzde)
Yükseklik = Çağrı Yığını Derinliği (Call Stack Depth)
+───────────────────────────────────────────────────────────────+
| pthread_mutex_lock (Darboğaz! %45 Genişlik) |
+───────────────────────────────────────────────────────────────+
| WorkerQueue::Pop() (%50 Genişlik) |
+───────────────────────────────────────────────────────────────+
| Server::ProcessRequest() (%80 Genişlik) |
+───────────────────────────────────────────────────────────────+
| main() (%100 Genişlik) |
+───────────────────────────────────────────────────────────────+
1. perf Nasıl Çalışır: İstatistiksel Örnekleme
perf, programı yavaşlatmak yerine işlemcinin donanımsal Performans İzleme Birimi'ni (Performance Monitoring Unit - PMU) programlar.
Örneğin saniyede 99 Hertz frekansıyla örnekleme yapıldığında (perf record -F 99):
- Çekirdek her saniye 99 kez zamanlayıcı kesmesi üretir. Neden 100 değil de 99? Periyodik uygulama döngüleriyle tesadüfi kilitlenmeleri (lockstep sampling) önlemek için asal bir sayı tercih edilir.
- Kesme anında CPU üzerinde hangi fonksiyonun ve hangi çağrı yığınının (call stack) çalıştığı anlık olarak kaydedilir.
- 10 saniye boyunca toplanan binlerce örnek istatistiksel olarak birleştirilir. En çok yakalanan fonksiyon, CPU'yu en çok tüketen fonksiyondur.
Bu yaklaşım İşlemci Önbellek Satırları ve False Sharing gibi donanımsal mikro darboğazların tespitinde de vazgeçilmezdir.
2. Çağrı Yığını Çözümleme: Frame Pointers vs DWARF vs ORC
Bir profilin anlamlı olabilmesi için perf'in fonksiyon çağrı zincirini (A -> B -> C) doğru okuyabilmesi gerekir.
Bunun için üç farklı yöntem bulunur:
1. Frame Pointers (-fno-omit-frame-pointer)
En temiz ve hızlı yöntemdir. Derleyici her fonksiyonda RBP kaydını yığın tabanı olarak korur. perf yığını nanosaniyeler içinde çözer. Üretim ortamlarında derleme yaparken -fno-omit-frame-pointer bayrağını açık bırakmak kritik bir en iyi uygulamadır (maliyet yüzde 1'in altındadır).
2. DWARF Hata Ayıklama Bilgisi (--call-graph dwarf)
Eğer kod frame pointer olmadan derlendiyse perf yığının ham kopyasını alır ve DWARF tablolarından çözer. Bu yöntem büyük bellek tamponları gerektirir ve sistemi yavaşlatabilir.
3. ORC Unwinder
Linux çekirdeğinin kendi iç yığınını çözmek için geliştirdiği optimize edilmiş hafif formattır.
3. Adım Adım Alev Grafiği Oluşturma
Brendan Gregg'in açık kaynaklı Alev Grafiği araçlarını kullanarak çalışan bir sürecin profilini çıkaralım:
# 1. FlameGraph deposunu klonlayın
git clone https://github.com/brendangregg/FlameGraph.git /tmp/FlameGraph
# 2. Hedef sureci 99 Hz ile 10 saniye boyunca ornekleyin
sudo perf record -F 99 -p <PID> -g -- sleep 10
# 3. perf verilerini metne dokun
sudo perf script > /tmp/out.perf
# 4. Yiginlari katlayin ve SVG alev grafigini olusturun
/tmp/FlameGraph/stackcollapse-perf.pl /tmp/out.perf > /tmp/out.folded
/tmp/FlameGraph/flamegraph.pl /tmp/out.folded > /tmp/cpu-flamegraph.svg
Oluşan cpu-flamegraph.svg dosyasını tarayıcınızda açtığınızda etkileşimli bir grafik elde edersiniz.
4. Alev Grafiği Nasıl Okunur?
Grafiği yorumlarken şu kuralları izleyin:
- X Ekseni (Genişlik): Alfabetik olarak sıralanmıştır (zaman akışı değildir). Bir kutunun genişliği, o fonksiyonun CPU üzerinde harcadığı toplam zaman yüzdesini gösterir. Geniş bir kutu, optimize edilmesi gereken ana hedeftir.
- Y Ekseni (Yükseklik): Çağrı derinliğini gösterir. Alttan üste doğru ebeveyn fonksiyondan çocuk fonksiyona uzanır.
- Düz Tepeler (Plateaus): Grafiğin en üstünde geniş ve düz duran kutular, CPU döngülerini bizzat tüketen yaprak fonksiyonlardır.
Örneğin grafiğin tepesinde spin_lock veya pthread_mutex_lock kutusu yüzde 40 genişlik kaplıyorsa, uygulamanız hesaplama yapmamakta, iş parçacığı kilit çekişmelerinde dönerek CPU tüketmektedir.
5. Açık vs Kapalı CPU Analizi (On-CPU vs Off-CPU)
perf record yalnızca CPU üzerinde aktif çalışan kodları yakalar (On-CPU).
Ancak bir uygulama disk I/O beklerken, veritabanı yanıtı beklerken veya kilitte uyurken CPU kullanmaz. Uygulamanız yavaşsa ama CPU kullanımı yüzde 5 görünüyorsa sorun Off-CPU katmanındadır.
Off-CPU analizi için bpftrace veya eBPF tabanlı offcputime aracı kullanılarak süreçlerin çekirdekte hangi çağrılarda uyuduğu profillenmelidir.
Bu iki boyutlu yaklaşım, performans mühendisliğini karanlıkta tahmin yürütmekten çıkarıp kesin donanım telemetrisine dayandırır.
Yazıyı Değerlendir
0 tepkiFikirlerinizi tek tıkla paylaşarak geri bildirim bırakın.
Ali Purtaş
@alipurtas • Hey, This is Ali!
Kendi halinde yazılım geliştiren bir öğrenci. Sistemler kuruyor, deniyor, bozuyor ve öğrendiği gerçek çözümleri burada belgeliyor.
Konu Kümesi & Önerilen Yazılar
copy_file_range ile Blok Katmanında Reflink Tabanlı Dosya Klonlama
copy_file_range sistem çağrısı, Btrfs ve XFS reflink mekanizması, blok seviyesinde anlık dosya klonlama ve gigabaytlarca veriyi kopyalamadan çoğaltma rehberi.
Linux sendfile ve splice Çağrılarıyla Çekirdek İçi Veri Aktarımı
Geleneksel G/Ç kopyalama maliyetleri, sendfile ve splice sistem çağrıları, boru tamponları üzerinden kullanıcı alanına inmeden sokete veri aktarma mimarisi.
Bellek Bariyerleri: x86 TSO ile ARM Zayıf Bellek Düzeni Farkları
x86 TSO modeli ile ARM gevşek bellek mimarisi karşılaştırması, hafıza bariyeri komutları ve lock-free kodların Graviton işlemcilerde çökme nedenleri analizi.
Tartışma & Yorumlar
0Tartışmaya katılmak ve soru sormak için oturum açmalısınız.
Giriş Yap