
kprobes ve uprobes ile Çekirdek Fonksiyonlarını Dinamik İzleme
Linux çekirdeğini yeniden derlemeden canlı sistemde hata ayıklama, kprobes ve uprobes kesme noktası mimarisi ile eBPF kancalama mekanizmasının detayları.
Üretim ortamında çalışan bir Linux sunucusunda gizemli bir ağ paketi düşmesi veya beklenmedik bir sistem çağrısı gecikmesi yaşandığında çekirdeği yeniden derleyip hata ayıklama satırları (printk) eklemek mümkün değildir. Sunucu durdurulamaz, yeniden başlatılamaz.
Linux çekirdeği bu sorunu dinamik izleme (dynamic tracing) alt sistemleriyle çözer. Çekirdek alanındaki herhangi bir fonksiyonu canlı olarak izlemek için kprobes, kullanıcı alanındaki (user space) ikili dosyaları veya kütüphaneleri izlemek için ise uprobes kullanılır.
Bu mekanizmalar modern eBPF araçlarının (BCC, bpftrace) temel kancalama (hooking) altyapısını oluşturur. Bu rehberde CPU kesme komutlarıyla (int3) canlı bellek üzerinde talimat değiştirme mekanizmasını ve eBPF ve XDP Mimarisi ile olan bağını inceliyoruz.
kprobe Dinamik Kancalama ve Tek Adım (Single-Step) Döngüsü:
1. Hedef Fonksiyonun İlk Talimatı Okunur:
0xffffffff81204000: <push %rbp> (Orijinal Talimat)
│
▼
2. Talimatın İlk Baytı Kesme Koduyla Değiştirilir:
0xffffffff81204000: <0xcc> (INT3 Kesmesi)
│
▼
3. İşlemci Bu Adrese Geldiğinde Donanımsal Kesme Üretir:
CPU ──► do_int3() ──► kprobe_int3_handler()
│
▼
4. Tanımlı Kullanıcı Kancası Çalıştırılır:
pre_handler() ──► Argümanlar ve Kayıtlar Okunur
│
▼
5. Orijinal Talimat Yalıtılmış Bellekte Çalıştırılır:
Single-step Out-Of-Line (S領域)
│
▼
6. post_handler() Çalışır ve Orijinal Kod Akışına Geri Dönülür
1. kprobes Nasıl Çalışır: int3 ve Canlı Talimat Değişimi
Bir kprobe, çekirdek metin bölümündeki (kernel text) neredeyse her talimat adresine dinamik olarak bağlanabilir.
Çekirdek bir kprobe kaydettiğinde (register_kprobe) arka planda şu büyüleyici donanım operasyonu yürütülür:
- Talimatın Kopyalanması: Hedef adresteki orijinal makine kodu baytları saklanır.
- Breakpoint Enjeksiyonu: x86_64 mimarisinde hedef adresin ilk baytı
0xcc(1 baytlıkINT3kesme komutu) ile ezilir. - Tetiklenme: Çekirdeğin normal akışı bu fonksiyona ulaştığında işlemci
INT3kesmesini tetikler ve kontrolükprobe_int3_handlerfonksiyonuna bırakır. - pre_handler: Kullanıcının yazdığı ön izleme fonksiyonu çağrılır. CPU yazmaçları (
struct pt_regs) okunarak fonksiyona gelen parametreler incelenir. - Single-step Out-Of-Line: Kesilen orijinal komut ayrı bir bellek tamponunda tek adım modunda çalıştırılır.
- post_handler ve Devam: Varsa
post_handlerçalıştırılır ve CPU hedef fonksiyonun ikinci talimatından normal akışına devam eder.
Fonksiyonun dönüş değerini yakalamak için ise kretprobe kullanılır. Çekirdek dönüş adresini (return address) geçici olarak kendi kanca adresine yönlendirir (trampoline).
2. uprobes: Kullanıcı Alanı Fonksiyonlarını Kancalama
kprobes çekirdeği izlerken, uprobes (User-Space Probes) aynı mantığı kullanıcı alanı programlarına uygular.
Örneğin /usr/lib/libc.so.6 içindeki malloc fonksiyonunu veya Go ile yazılmış bir mikrosistemin iç fonksiyonunu izlemek istediğinizde:
- Hedef ELF dosyasının diskteki ofseti bulunur.
- Süreç belleğe yüklendiğinde çekirdek ilgili sanal sayfayı Copy-on-Write olarak ayırır ve
0xcckesmesini yerleştirir. - Kullanıcı süreci bu fonksiyona girdiğinde çekirdek kipi geçişi tetiklenir ve uprobe işleyicisi çalışır.
Bu sayede şifreli HTTPS trafiği yürüten bir NGINX sürecinin SSL_write fonksiyonuna uprobe takarak paketleri OpenSSL şifrelemeden önceki düz metin (plaintext) haliyle canlı olarak kaydedebilirsiniz.
3. bpftrace ile Pratik Dinamik İzleme
Modern Linux sistemlerinde kprobes doğrudan C modülleri yazmak yerine bpftrace veya BCC ile tek satırda kullanılır.
Örnek 1: Çekirdeğin TCP paket gönderme fonksiyonunu (tcp_sendmsg) izleyerek hangi sürecin kaç bayt gönderdiğini ölçelim:
sudo bpftrace -e 'kprobe:tcp_sendmsg { printf("%s (PID %d) TCP paket gonderiyor\n", comm, pid); }'
Örnek 2: Fonksiyon gecikmesini ölçmek için kretprobe kullanımı:
sudo bpftrace -e '
kprobe:vfs_read { @start[tid] = nsecs; }
kretprobe:vfs_read /@start[tid]/ {
@latency = hist(nsecs - @start[tid]);
delete(@start[tid]);
}'
Bu komut dosya sistemi okumalarının (vfs_read) gecikme dağılımını histogram olarak ekrana basar.
4. Performans Ek Yükü: kprobe vs ftrace / fentry
kprobe muazzam bir güç sağlasa da donanımsal INT3 kesmesi ve tek adım çalıştırma (single-step) nedeniyle çağrı başına yaklaşık 1.5 ile 2.5 mikrosaniye ek yük getirir.
Saniyede 2 milyon kez çağrılan sıcak bir çekirdek fonksiyonuna klasik kprobe takmak CPU'yu belirgin şekilde yavaşlatabilir.
Bu nedenle modern çekirdeklerde iki alternatif geliştirilmiştir:
- fentry / fexit (eBPF Trampoline): Fonksiyon başındaki NOP komutlarını doğrudan bir atlama (jmp) komutuna çevirerek kesme yükü olmadan nanosaniye seviyesinde kancalama yapar.
- Tracepoints: Çekirdek geliştiricileri tarafından önceden yerleştirilmiş statik izleme noktalarıdır. Kapalıyken sıfır ek yük getirir.
İzleme yaparken kural basittir: Eğer amaçlanan olay için hazır bir tracepoint varsa önce tracepoint tercih edilmelidir. Tracepoint yoksa kprobe kullanılmalıdır. Bu analizler daha sonra Linux perf ve Alev Grafikleri ile birleştirilerek sistem darboğazları netleştirilir.
5. Üretim Ortamında Güvenlik Kuralları
Canlı sistemde fonksiyon kancalarken şu tedbirler alınmalıdır:
- İnline Fonksiyonlara Dikkat Edin: Derleyicinin satır içine gömdüğü (inline) fonksiyonlar sembol tablosunda ayrı bir adres olarak yer almaz. Bu fonksiyonlara kprobe takılamaz.
- Kritik Zamanlayıcı Fonksiyonlarını Kancalamayın: Çekirdeğin kendi kesme işleyicileri (
do_nmi,page_fault) veya kprobe alt sisteminin kendi fonksiyonları kancalanamaz (kara liste:/sys/kernel/debug/kprobes/blacklist). Aksi halde sonsuz döngü ve çekirdek paniği (kernel panic) yaşanır.
Bu mimari dinamikler, canlı sistemlerde görünmez kalan hataların ameliyat hassasiyetiyle aydınlatılmasını sağlar.
Yazıyı Değerlendir
0 tepkiFikirlerinizi tek tıkla paylaşarak geri bildirim bırakın.
Ali Purtaş
@alipurtas • Hey, This is Ali!
Kendi halinde yazılım geliştiren bir öğrenci. Sistemler kuruyor, deniyor, bozuyor ve öğrendiği gerçek çözümleri burada belgeliyor.
Konu Kümesi & Önerilen Yazılar
eBPF ve XDP Mimarisi: Çekirdek Seviyesinde Hızlı Paket İzleme
Linux ağ yığınını atlayarak ağ kartı sürücüsünde çalışan XDP, eBPF haritaları, paket filtreleme mekanizmaları ve yüksek verimli DDoS savunması.
copy_file_range ile Blok Katmanında Reflink Tabanlı Dosya Klonlama
copy_file_range sistem çağrısı, Btrfs ve XFS reflink mekanizması, blok seviyesinde anlık dosya klonlama ve gigabaytlarca veriyi kopyalamadan çoğaltma rehberi.
Linux sendfile ve splice Çağrılarıyla Çekirdek İçi Veri Aktarımı
Geleneksel G/Ç kopyalama maliyetleri, sendfile ve splice sistem çağrıları, boru tamponları üzerinden kullanıcı alanına inmeden sokete veri aktarma mimarisi.
Tartışma & Yorumlar
0Tartışmaya katılmak ve soru sormak için oturum açmalısınız.
Giriş Yap