IAli
Tüm Yazılar
Linux 4 Seviyeli Sayfa Tablosu, TLB Haritası ve HugePages Avantajı

Linux 4 Seviyeli Sayfa Tablosu, TLB Haritası ve HugePages Avantajı

x86_64 4 seviyeli sayfa tablosu yürüyüşü, TLB önbellek ısı haritası, CR3 kaydı ve veritabanlarında Transparent Huge Pages kaynaklı gecikme krizleri analizi.

Modern işletim sistemlerinde her kullanıcı süreci kendi yalıtılmış sanal adres alanında çalışır. Bir uygulamanın gördüğü 64 bitlik sanal adres uzayı ile fiziksel DRAM yongaları arasındaki köprü, donanımsal Bellek Yönetim Birimi (MMU) ve Linux çekirdeğinin sayfa tabloları (page tables) tarafından kurulur.

Veri tabanı motorları, analitik sorgu motorları ve büyük bellek tüketen sunucu yazılımları ölçeklendikçe, donanımın ve çekirdeğin bu çeviriyi yapma maliyeti beklenmedik gecikme patlamalarına yol açar. Özellikle Reddit r/linux ve r/databases topluluklarında sıkça tartışılan "Transparent Huge Pages (THP) neden Redis ve MongoDB ortamlarında kapatılmalıdır?" sorusunun yanıtı, doğrudan x86_64 sayfa tablosu yürüyüşü ve çekirdeğin bellek sıkıştırma (compaction) mekanizmasında saklıdır.

TEXT
x86_64 48-bit Sanal Adres Ayrıştırma Mimarisi (4 Seviyeli Sayfa Tablosu):

63         47      38      29      20      11          0
+----------+-------+-------+-------+-------+-----------+
| İşaretsiz|  PGD  |  P4D  |  PUD  |  PMD  |    PTE    | Offset (Ofset)
|  Uzantı  | İndeks| İndeks| İndeks| İndeks|   İndeks  | 12 Bit (4 KB)
+----------+-------+-------+-------+-------+-----------+
    16 bit   9 bit   (0)     9 bit   9 bit     9 bit       12 bit
              │               │       │         │
              ▼               ▼       ▼         ▼
             CR3 ──► PGD ──► PUD ──► PMD ──► PTE ──► Fiziksel Sayfa

1. x86_64 4 Seviyeli Sayfa Tablosu Mimarisi ve CR3 Kaydı

Standart bir x86_64 mimarisinde 48 bitlik sanal adres alanı kullanılır. Bu adres alanı 256 TB büyüklüğündedir. Linux çekirdeği sanal adresi fiziksel adrese dönüştürmek için hiyerarşik bir ağaç yapısı kullanır:

  1. CR3 Kaydı (Control Register 3): İşlemci çekirdeğinde bulunan bu kontrol kaydı, aktif çalışan sürecin Sayfa Genel Dizini (Page Global Directory - PGD) tablosunun fiziksel taban adresini tutar. Süreç bağlam değişimi (context switch) yaşandığında CR3 kaydı yeni sürecin tablosuna işaret edecek şekilde güncellenir.
  2. PGD (Page Global Directory): Sanal adresin 47-39 bitleri (9 bit) bu tablodaki 512 girişten birini seçer.
  3. PUD (Page Upper Directory): 38-30 bitleri (9 bit) üçüncü seviye dizin girişini işaret eder.
  4. PMD (Page Middle Directory): 29-21 bitleri (9 bit) orta seviye dizin girişini işaret eder.
  5. PTE (Page Table Entry): 20-12 bitleri (9 bit) 4 KB boyutundaki fiziksel sayfayı işaret eden son tablodur.
  6. Offset (Ofset): 11-0 bitleri (12 bit) 4096 baytlık (4 KB) fiziksel sayfa içindeki tam bayt konumunu belirler.

Standart bir sayfalamada tek bir bellek okuma komutu için donanım 4 ayrı sayfa tablosu girişini bellekten okumak zorundadır. DRAM erişim gecikmesinin ortalama 50-80 nanosaniye olduğu bir sistemde, her adres çözümlemesinde 4 kez belleğe gitmek CPU döngülerini tüketir. Bu maliyet Linux io_uring ve epoll gibi yoğun G/Ç katmanlarında ek bağlam yükü oluşturur.

2. TLB (Translation Lookaside Buffer) ve Isı Haritası

İşlemciler bu 4 adımlı sayfa yürüyüşü (page table walk) maliyetini ortadan kaldırmak için çevirileri Translation Lookaside Buffer (TLB) adı verilen donanımsal L1/L2 önbelleklerinde saklar.

  • L1 dTLB (Veri TLB): Çekirdek başına genellikle 64 ile 128 giriş tutar. 1 saat döngüsünde (yaklaşık 0.3 - 0.5 ns) erişilir.
  • L2 sTLB (Paylaşımlı TLB): 1024 ile 2048 giriş tutar. Ortalama 7-12 saat döngüsünde çözümlenir.
  • TLB Miss (Önbellek Iska): Aranan sanal sayfa TLB içinde yoksa, MMU donanımı doğrudan belleğe inerek 4 seviyeli sayfa yürüyüşünü başlatır. Bu durum 200 saatin üzerinde döngü kaybı demektir.

Bir sunucuda 64 GB bellek kullanan bir MySQL veya Redis süreci düşünelim. Bellek 4 KB boyutundaki küçük sayfalarla yönetildiğinde:

$$\frac{64 \text{ GB}}{4 \text{ KB}} = 16.777.216 \text{ adet sayfa girişi}$$

Her PTE girişi 8 bayt yer kaplar. Yalnızca sayfa tablolarının kendisi çekirdek belleğinde 128 MB yer tutar. En önemlisi, modern bir işlemcinin 2048 girişlik L2 TLB önbelleği, 16 milyon sayfanın yalnızca yüzde 0.01'ini tutabilir. Belleğe rastgele erişen veri tabanı sorgularında TLB ıskalama (TLB miss) oranı tavan yapar.

3. HugePages ve Transparent Huge Pages (THP) Mekanizması

TLB üzerindeki bu baskıyı kırmak için x86_64 mimarisi 2 MB ve 1 GB boyutlarında devasa sayfaları (HugePages) destekler.

2 MB sayfa kullanıldığında PTE seviyesi atlanır. Sanal adresin 20-0 bitleri (21 bit) doğrudan 2 MB sayfa içi ofset olarak ele alınır. Böylece sayfa yürüyüşü 4 seviyeden 3 seviyeye iner. 64 GB bellek için gereken sayfa sayısı 16 milyondan yalnızca 32.768 adede düşer. TLB girişleri artık çok daha geniş bir bellek haritasını kapsayabilir.

Linux iki türlü HugePages yaklaşımı sunar:

  1. Statik HugePages (HugeTLBfs): Sunucu açılışında veya sysctl ile ayrılmış bellek havuzudur. Bellek baştan rezerve edilir, takas alanına (swap) atılamaz ve parçalanma riski barındırmaz. Oracle, PostgreSQL MVCC ve DPDK gibi yapılar bu modu tercih eder.
  2. Transparent Huge Pages (THP): Uygulama kodunda hiçbir değişiklik yapmadan, Linux çekirdeğinin arka planda 512 adet 4 KB sayfayı otomatik olarak 2 MB tek bir sayfada birleştirmesi (khugepaged) işlemidir.

4. Production Kabusu: Veritabanlarında THP Neden Kapatılmalıdır?

Kulağa harika gelen Transparent Huge Pages, Redis, MongoDB, Cassandra ve RocksDB gibi sistemlerde korkunç gecikme anomalilerine ve anlık kilitlenmelere yol açar.

Sorun 1: Doğrudan Bellek Sıkıştırma (Direct Compaction) Duraksamaları

Çekirdek 2 MB boyutunda kesintisiz fiziksel bellek bloğuna ihtiyaç duyduğunda, belleğin parçalanmış (fragmented) olduğunu görürse çalışan iş parçacığını dondurur. Bu olaya doğrudan bellek sıkıştırma (direct compaction) denir.

Çekirdek bellekteki sayfaları taşır, birleştirir ve boş 2 MB alan açmaya çalışır. Bu esnada istemci isteklerine yanıt vermesi gereken Redis veya MongoDB iş parçacığı milisaniyelerce hatta saniyelerce uyutulur. 1 milisaniyenin altında cevap vermesi beklenen Redis sorgularında p99 gecikmelerinin bir anda 800 milisaniyeye fırlamasının baş sorumlusu bu mekanizmadır.

Sorun 2: Copy-on-Write (CoW) Şişmesi

Redis arka planda disk yedeği alırken (BGSAVE) fork() sistem çağrısını kullanır. Ana süreç ile yedek alan çocuk süreç belleği Copy-on-Write olarak paylaşır.

Normalde 4 KB sayfada tek bir bayt değiştiğinde çekirdek sadece o 4 KB sayfayı kopyalar. Ancak THP aktifken 2 MB sayfa içindeki tek bir bayt değiştiğinde çekirdek 2 MB boyutundaki bloğun tamamını kopyalamak zorunda kalır. Bellek tüketimi ve CPU bellek kopyalama maliyeti 512 katına çıkar.

Aşağıdaki komutla sisteminizde THP sıkıştırma duraksamalarının ne sıklıkla yaşandığını görebilirsiniz:

Bash
grep -E "thp_compact_mutex_latency|thp_fault_alloc|thp_collapse_alloc" /proc/vmstat

Eğer thp_compact_mutex_latency veya compact_stall değerleri sürekli artıyorsa, sisteminiz THP nedeniyle doğrudan G/Ç duraksamaları yaşamaktadır.

5. Doğrulama ve Güvenli Üretim Ortamı Yapılandırması

Veri tabanı ve önbellek sunucularında THP mekanizmasını güvenli bir şekilde kapatmak için şu çekirdek parametreleri uygulanmalıdır.

Sisteminizin mevcut THP durumunu kontrol edin:

Bash
cat /sys/kernel/mm/transparent_hugepage/enabled
cat /sys/kernel/mm/transparent_hugepage/defrag

Eğer çıktı [always] madvise never şeklindeyse THP tüm süreçler için devrededir.

Kalıcı olarak kapatmak için /etc/default/grub dosyasındaki GRUB_CMDLINE_LINUX satırına şu parametreleri ekleyin ve GRUB yapılandırmasını güncelleyin:

Bash
transparent_hugepage=never

Canlı sistemde yeniden başlatmadan devre dışı bırakmak için ise şu komutları çalıştırın:

Bash
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

Statik HugePages kullanmak isteyen PostgreSQL gibi sistemlerde ise vm.nr_hugepages değeri çekirdeğe önceden bildirilerek belleğin parçalanmadan, baştan ayrılması sağlanmalıdır:

Bash
# 2048 adet 2 MB sayfa = 4 GB ayrılmış HugePages
sysctl -w vm.nr_hugepages=2048

Bu yapılandırma sayesinde bellek parçalanması ve arka plan khugepaged temizlik duraksamaları ortadan kalkar, TLB ısı haritası istikrarlı bir çalışma çizgisine kavuşur.

Yazıyı Değerlendir

0 tepki

Fikirlerinizi tek tıkla paylaşarak geri bildirim bırakın.

Bu teknik notu çevrenizle paylaşın

Ali Purtaş

@alipurtas • Hey, This is Ali!

İletişime Geç

Kendi halinde yazılım geliştiren bir öğrenci. Sistemler kuruyor, deniyor, bozuyor ve öğrendiği gerçek çözümleri burada belgeliyor.

Konu Kümesi & Önerilen Yazılar

İç Bağlantılı Mimari
Yorumlar yükleniyor...