IAli
Tüm Yazılar
kprobes ve uprobes ile Çekirdek Fonksiyonlarını Dinamik İzleme

kprobes ve uprobes ile Çekirdek Fonksiyonlarını Dinamik İzleme

Linux çekirdeğini yeniden derlemeden canlı sistemde hata ayıklama, kprobes ve uprobes kesme noktası mimarisi ile eBPF kancalama mekanizmasının detayları.

Üretim ortamında çalışan bir Linux sunucusunda gizemli bir ağ paketi düşmesi veya beklenmedik bir sistem çağrısı gecikmesi yaşandığında çekirdeği yeniden derleyip hata ayıklama satırları (printk) eklemek mümkün değildir. Sunucu durdurulamaz, yeniden başlatılamaz.

Linux çekirdeği bu sorunu dinamik izleme (dynamic tracing) alt sistemleriyle çözer. Çekirdek alanındaki herhangi bir fonksiyonu canlı olarak izlemek için kprobes, kullanıcı alanındaki (user space) ikili dosyaları veya kütüphaneleri izlemek için ise uprobes kullanılır.

Bu mekanizmalar modern eBPF araçlarının (BCC, bpftrace) temel kancalama (hooking) altyapısını oluşturur. Bu rehberde CPU kesme komutlarıyla (int3) canlı bellek üzerinde talimat değiştirme mekanizmasını ve eBPF ve XDP Mimarisi ile olan bağını inceliyoruz.

TEXT
kprobe Dinamik Kancalama ve Tek Adım (Single-Step) Döngüsü:

1. Hedef Fonksiyonun İlk Talimatı Okunur:
   0xffffffff81204000: <push %rbp> (Orijinal Talimat)
                        │
                        ▼
2. Talimatın İlk Baytı Kesme Koduyla Değiştirilir:
   0xffffffff81204000: <0xcc> (INT3 Kesmesi)
                        │
                        ▼
3. İşlemci Bu Adrese Geldiğinde Donanımsal Kesme Üretir:
   CPU ──► do_int3() ──► kprobe_int3_handler()
                        │
                        ▼
4. Tanımlı Kullanıcı Kancası Çalıştırılır:
   pre_handler() ──► Argümanlar ve Kayıtlar Okunur
                        │
                        ▼
5. Orijinal Talimat Yalıtılmış Bellekte Çalıştırılır:
   Single-step Out-Of-Line (S領域)
                        │
                        ▼
6. post_handler() Çalışır ve Orijinal Kod Akışına Geri Dönülür

1. kprobes Nasıl Çalışır: int3 ve Canlı Talimat Değişimi

Bir kprobe, çekirdek metin bölümündeki (kernel text) neredeyse her talimat adresine dinamik olarak bağlanabilir.

Çekirdek bir kprobe kaydettiğinde (register_kprobe) arka planda şu büyüleyici donanım operasyonu yürütülür:

  1. Talimatın Kopyalanması: Hedef adresteki orijinal makine kodu baytları saklanır.
  2. Breakpoint Enjeksiyonu: x86_64 mimarisinde hedef adresin ilk baytı 0xcc (1 baytlık INT3 kesme komutu) ile ezilir.
  3. Tetiklenme: Çekirdeğin normal akışı bu fonksiyona ulaştığında işlemci INT3 kesmesini tetikler ve kontrolü kprobe_int3_handler fonksiyonuna bırakır.
  4. pre_handler: Kullanıcının yazdığı ön izleme fonksiyonu çağrılır. CPU yazmaçları (struct pt_regs) okunarak fonksiyona gelen parametreler incelenir.
  5. Single-step Out-Of-Line: Kesilen orijinal komut ayrı bir bellek tamponunda tek adım modunda çalıştırılır.
  6. post_handler ve Devam: Varsa post_handler çalıştırılır ve CPU hedef fonksiyonun ikinci talimatından normal akışına devam eder.

Fonksiyonun dönüş değerini yakalamak için ise kretprobe kullanılır. Çekirdek dönüş adresini (return address) geçici olarak kendi kanca adresine yönlendirir (trampoline).

2. uprobes: Kullanıcı Alanı Fonksiyonlarını Kancalama

kprobes çekirdeği izlerken, uprobes (User-Space Probes) aynı mantığı kullanıcı alanı programlarına uygular.

Örneğin /usr/lib/libc.so.6 içindeki malloc fonksiyonunu veya Go ile yazılmış bir mikrosistemin iç fonksiyonunu izlemek istediğinizde:

  • Hedef ELF dosyasının diskteki ofseti bulunur.
  • Süreç belleğe yüklendiğinde çekirdek ilgili sanal sayfayı Copy-on-Write olarak ayırır ve 0xcc kesmesini yerleştirir.
  • Kullanıcı süreci bu fonksiyona girdiğinde çekirdek kipi geçişi tetiklenir ve uprobe işleyicisi çalışır.

Bu sayede şifreli HTTPS trafiği yürüten bir NGINX sürecinin SSL_write fonksiyonuna uprobe takarak paketleri OpenSSL şifrelemeden önceki düz metin (plaintext) haliyle canlı olarak kaydedebilirsiniz.

3. bpftrace ile Pratik Dinamik İzleme

Modern Linux sistemlerinde kprobes doğrudan C modülleri yazmak yerine bpftrace veya BCC ile tek satırda kullanılır.

Örnek 1: Çekirdeğin TCP paket gönderme fonksiyonunu (tcp_sendmsg) izleyerek hangi sürecin kaç bayt gönderdiğini ölçelim:

Bash
sudo bpftrace -e 'kprobe:tcp_sendmsg { printf("%s (PID %d) TCP paket gonderiyor\n", comm, pid); }'

Örnek 2: Fonksiyon gecikmesini ölçmek için kretprobe kullanımı:

Bash
sudo bpftrace -e '
kprobe:vfs_read { @start[tid] = nsecs; }
kretprobe:vfs_read /@start[tid]/ {
    @latency = hist(nsecs - @start[tid]);
    delete(@start[tid]);
}'

Bu komut dosya sistemi okumalarının (vfs_read) gecikme dağılımını histogram olarak ekrana basar.

4. Performans Ek Yükü: kprobe vs ftrace / fentry

kprobe muazzam bir güç sağlasa da donanımsal INT3 kesmesi ve tek adım çalıştırma (single-step) nedeniyle çağrı başına yaklaşık 1.5 ile 2.5 mikrosaniye ek yük getirir.

Saniyede 2 milyon kez çağrılan sıcak bir çekirdek fonksiyonuna klasik kprobe takmak CPU'yu belirgin şekilde yavaşlatabilir.

Bu nedenle modern çekirdeklerde iki alternatif geliştirilmiştir:

  • fentry / fexit (eBPF Trampoline): Fonksiyon başındaki NOP komutlarını doğrudan bir atlama (jmp) komutuna çevirerek kesme yükü olmadan nanosaniye seviyesinde kancalama yapar.
  • Tracepoints: Çekirdek geliştiricileri tarafından önceden yerleştirilmiş statik izleme noktalarıdır. Kapalıyken sıfır ek yük getirir.

İzleme yaparken kural basittir: Eğer amaçlanan olay için hazır bir tracepoint varsa önce tracepoint tercih edilmelidir. Tracepoint yoksa kprobe kullanılmalıdır. Bu analizler daha sonra Linux perf ve Alev Grafikleri ile birleştirilerek sistem darboğazları netleştirilir.

5. Üretim Ortamında Güvenlik Kuralları

Canlı sistemde fonksiyon kancalarken şu tedbirler alınmalıdır:

  1. İnline Fonksiyonlara Dikkat Edin: Derleyicinin satır içine gömdüğü (inline) fonksiyonlar sembol tablosunda ayrı bir adres olarak yer almaz. Bu fonksiyonlara kprobe takılamaz.
  2. Kritik Zamanlayıcı Fonksiyonlarını Kancalamayın: Çekirdeğin kendi kesme işleyicileri (do_nmi, page_fault) veya kprobe alt sisteminin kendi fonksiyonları kancalanamaz (kara liste: /sys/kernel/debug/kprobes/blacklist). Aksi halde sonsuz döngü ve çekirdek paniği (kernel panic) yaşanır.

Bu mimari dinamikler, canlı sistemlerde görünmez kalan hataların ameliyat hassasiyetiyle aydınlatılmasını sağlar.

Yazıyı Değerlendir

0 tepki

Fikirlerinizi tek tıkla paylaşarak geri bildirim bırakın.

Bu teknik notu çevrenizle paylaşın

Ali Purtaş

@alipurtas • Hey, This is Ali!

İletişime Geç

Kendi halinde yazılım geliştiren bir öğrenci. Sistemler kuruyor, deniyor, bozuyor ve öğrendiği gerçek çözümleri burada belgeliyor.

Konu Kümesi & Önerilen Yazılar

İç Bağlantılı Mimari
Yorumlar yükleniyor...