IAli
Tüm Yazılar
SQLite WAL Modu, -shm Paylaşılan Bellek ve Checkpoint Mimarisi

SQLite WAL Modu, -shm Paylaşılan Bellek ve Checkpoint Mimarisi

SQLite WAL modunda okuyucu ve yazıcı eşzamanlılığı, -wal ve -shm dosyalarının bellek haritalaması ile kontrol noktası açmazlarının çözümü.

Gömülü veritabanı motoru SQLite, varsayılan rollback journal modunda çalıştığında yazma işlemi sırasında tüm veritabanı dosyasını kilitler. Bu sırada okuyucular bloklanır, yazıcı bittiğinde ise okuyucular yazıcıyı kilitler. Yüksek eşzamanlı web servislerinde bu davranış database is locked (SQLITE_BUSY) hatalarına neden olur. SQLite 3.7.0 sürümüyle tanıtılan Write-Ahead Logging (WAL) modu bu kilitlenme duvarını yıkar. Okuyucular yazıcıları engellemez, yazıcı da okuyucuları bekletmez. Ancak bu kazanım arka planda çalışan -shm paylaşımlı bellek dosyası ve kontrol noktası (checkpoint) açmazları gibi yeni depolama dinamikleri getirir.

Kapsam Notu: Bu teknik inceleme SQLite 3.40 ve üstü sürümlerde WAL dosya mekanizması, mmap tabanlı wal-index ve checkpoint modları temelinde hazırlanmıştır.

SQLite Depolama Üçlüsü: .db, -wal ve -shm Dosyaları

WAL modu etkinleştirildiğinde diske kaydedilen tek bir veritabanı dosyası üçlü bir dosya grubuna dönüşür:

TEXT
/var/data/
├── app.db       (Ana B-Tree veritabanı dosyası)
├── app.db-wal   (Değişikliklerin sıralı yazıldığı WAL günlüğü)
└── app.db-shm   (WAL indeksini tutan paylaşımlı bellek dosyası)
  1. Ana Veritabanı (app.db): Sayfaların orijinal hallerini barındıran kalıcı depolama dosyasıdır.
  2. WAL Dosyası (app.db-wal): Yapılan her INSERT, UPDATE veya DELETE operasyonu ana dosyaya değil, WAL dosyasına art arda sayfa kareleri (wal frame) halinde eklenir. Her kare bir sayfa numarası, veri yükü (payload) ve checksum içerir.
  3. Paylaşılan Bellek Dosyası (app.db-shm): WAL dosyasındaki hangi sayfa karesinin hangi ana sayfa numarasına ait olduğunu gösteren bir indeks tablosudur. İşletim sisteminin paylaşımlı bellek (mmap) API'si ile belleğe haritalanır.

Paylaşılan Bellek (-shm) ve Okuma Akışı

Bir istemci SELECT sorgusu çalıştırdığında okuma işlemi doğrudan ana veri tabanına gidemez. Çünkü aradığı sayfanın güncel sürümü WAL dosyasında olabilir.

Eğer her okuyucu WAL dosyasını diskten baştan sona tarasaydı okuma performansı çökerdi. SQLite bu taramayı ortadan kaldırmak için -shm dosyasını kullanır:

TEXT
İstemci Okuma İsteği: Sayfa 42 aranıyor
        |
        v
[ -shm Paylaşılan Bellek Haritası (mmap) ]
        |
        +---> Sayfa 42 WAL içinde var mı?
              |
              +--[EVET]--> WAL dosyasındaki son kareden oku (Frame #180)
              |
              +--[HAYIR]-> Ana app.db dosyasındaki Sayfa 42'yi oku

Okuyucu oturumu başladığı anda sistemdeki en son commit edilmiş kare numarasını (read mark) kaydeder. Oturum boyunca bu numaradan sonra yazılan yeni kareleri yok sayarak tutarlı bir anlık görüntü (snapshot) elde eder.

Checkpoint Açmazı (Checkpoint Starvation)

WAL dosyasındaki sayfalar sonsuza kadar orada kalamaz. Belirli aralıklarla WAL kareleri ana veritabanı dosyasına aktarılmalı ve WAL sıfırlanmalıdır. Bu aktarım işlemine Checkpoint denir.

SQLite varsayılan olarak WAL boyutu 1000 kareye ulaştığında otomatik pasif checkpoint tetikler (wal_autocheckpoint = 1000). Ancak üretim sistemlerinde ciddi bir açmaz ortaya çıkabilir:

  • Checkpoint işlemi yalnızca en eski aktif okuyucunun işaret ettiği noktaya kadar olan sayfaları ana dosyaya aktarabilir.
  • Eğer sistemde sürekli aktif kalan uzun soluklu okuma sorguları varsa veya ardışık okuma oturumları hiç kesilmiyorsa checkpoint ilerleyemez.
  • Yazıcılar WAL dosyasına yeni kareler eklemeye devam eder.
  • Sonuçta WAL dosyası gigabaytlarca büyür. Disk dolar ve -shm indeksi büyüdükçe her okuma işleminin bellek tarama maliyeti artar.
TEXT
WAL Dosyası (Frame Zinciri):
[ 1 .. 300 ] ---> [ 301 .. 800 ] ---> [ 801 .. 2500 ]
      ^                 ^
      |                 +-- Aktif Okuyucu 2 (Burayı kilitliyor)
      +-- Checkpoint Sınırı: Okuyucu 2 yüzünden ileri gidemez

Checkpoint Modları ve Çözüm Yolları

SQLite bu sorunu yönetmek için dört farklı kontrol noktası seviyesi sunar:

  1. PASSIVE: Aktif okuyucuları engellemeden güvenli sınıra kadar sayfaları ana dosyaya taşır. Okuyucu varsa durur, dosyayı küçültmez.
  2. FULL: Yeni yazıcıları geçici olarak bekletir, mevcut tüm okuyucuların tamamlanmasını bekler ve tüm WAL sayfalarını ana dosyaya aktarır.
  3. RESTART: FULL işlemini tamamladıktan sonra yeni yazıcıların WAL'ı 1. kareden itibaren baştan yazmasını sağlar.
  4. TRUNCATE: Tüm sayfaları aktardıktan sonra WAL dosyasını disk seviyesinde 0 bayta budar (truncate).

Üretim ortamında WAL dosyasının kontrolsüz büyümesini önlemek için şu yapılandırma tercih edilir:

SQL
PRAGMA journal_mode = WAL
PRAGMA busy_timeout = 5000
PRAGMA synchronous = NORMAL

Ayrıca periyodik bir arka plan iş parçacığıyla belirli aralıklarla kontrollü checkpoint çalıştırılmalıdır:

SQL
PRAGMA wal_checkpoint(TRUNCATE)

SQLite WAL mimarisi tek yazıcı ve çoklu okuyucu senaryolarında mükemmel bir verim sunar. Ancak -shm dosyasının ağ dosya sistemlerinde (NFS, SMB) paylaşımlı bellek tutarsızlığı yarattığı ve WAL modunun yalnızca yerel NVMe/SSD disklerde güvenli çalıştığı göz önünde bulundurulmalıdır.

Yazıyı Değerlendir

0 tepki

Fikirlerinizi tek tıkla paylaşarak geri bildirim bırakın.

Bu teknik notu çevrenizle paylaşın

Ali Purtaş

@alipurtas • Hey, This is Ali!

İletişime Geç

Kendi halinde yazılım geliştiren bir öğrenci. Sistemler kuruyor, deniyor, bozuyor ve öğrendiği gerçek çözümleri burada belgeliyor.

Konu Kümesi & Önerilen Yazılar

İç Bağlantılı Mimari
Yorumlar yükleniyor...