IAli
Tüm Yazılar
PostgreSQL MVCC ve Vacuum: Transaction İzolasyonu ve Temizlik

PostgreSQL MVCC ve Vacuum: Transaction İzolasyonu ve Temizlik

PostgreSQL çoklu sürüm eşzamanlılık kontrolü, snapshot izolasyonu, ölü satır (dead tuple) birikimi ve autovacuum parametreleri optimizasyon rehberi.

İlişkisel veritabanı motorlarında eşzamanlı işlem trafiği yükseldiğinde okuma ve yazma operasyonlarının birbirini kilitlemesi ciddi verim kayıplarına yol açar. Geleneksel iki fazlı kilitleme mekanizmaları okuyucuların yazıcıları, yazıcıların ise okuyucuları bekletmesine sebep olur. Gecikmeler katlanır. PostgreSQL bu kilit çekişmesini engellemek amacıyla Çoklu Sürüm Eşzamanlılık Kontrolü (Multi-Version Concurrency Control - MVCC) mimarisini temel alır. Amaç basittir. Okuyucu yazıcıyı, yazıcı da okuyucuyu bekletmemelidir.

Bu mimaride veritabanı satırları doğrudan yerinde güncellenmez. Her değişiklik işlemi yeni bir satır sürümü üretirken eski sürümleri belirli kurallar çerçevesinde disk bloklarında tutmaya devam eder. Bu yaklaşım okuma işlemlerinin yazma işlemlerini engellemeden tutarlı anlık görüntüler (snapshot) üzerinden çalışmasını mümkün kılar. Bunun doğal bedeli ise disk üzerinde biriken ölü satırlar ve bu satırların temizlenmesini gerektiren vakum süreçleridir. Fatura ağırdır. Disk hızla dolar. Sayfalar şişer.

Kapsam Notu: Bu rehber PostgreSQL 16 ve 17 çekirdek mimarisi, depolama sayfası yerleşimi ve autovacuum arka plan süreçleri dikkate alınarak hazırlanmıştır.

Satır Başlık Anatomisi: xmin, xmax ve Görünürlük Bayrakları

PostgreSQL verileri disk üzerinde 8 KB boyutundaki sayfalarda (pages) saklar. Bir sayfa içerisinde sayfa başlığı (PageHeaderData), satır işaretçileri dizisi (line pointers), boş alan ve satır verileri (tuples) yer alır. Her satırın başında en az 23 baytlık HeapTupleHeaderData yapısı bulunur. MVCC görünürlük kararları bu yapıdaki başlık alanları üzerinden verilir.

TEXT
+-------------------------------------------------------------------+
|                     8 KB Heap Depolama Sayfası                    |
+-------------------------------------------------------------------+
| PageHeaderData (24 bayt)                                          |
+-------------------------------------------------------------------+
| Line Pointer 1 -> (Offset 500) | Line Pointer 2 -> (Offset 200)   |
+-------------------------------------------------------------------+
|                   Boş Alan (Free Space Allocation)                |
+-------------------------------------------------------------------+
| Tuple 2 (Yeni Satır Sürümü)                                       |
| [xmin: 105] [xmax: 0]   [t_ctid: (0,2)] [Veri Alanı]             |
+-------------------------------------------------------------------+
| Tuple 1 (Eski Satır Sürümü - Dead Tuple)                          |
| [xmin: 100] [xmax: 105] [t_ctid: (0,2)] [Veri Alanı]             |
+-------------------------------------------------------------------+

Satır başlığında yer alan temel alanlar şunlardır:

  1. t_xmin: Satırı oluşturan (INSERT veya COPY) hareketin (transaction) kimlik numarasıdır (XID).
  2. t_xmax: Satırı güncelleyen veya silen hareketin kimlik numarasıdır. Henüz silinmemiş ya da güncellenmemiş aktif satırlarda bu değer 0 olarak görünür. Açık bir satır kilitleme işleminde (SELECT FOR UPDATE) bu alanda kilidi tutan hareketin numarası da taşınabilir.
  3. t_cid: Aynı hareket içinde yürütülen komutların sırasını belirleyen komut kimliğidir (Command ID).
  4. t_ctid: Satırın güncel fiziksel disk adresini ifade eden işaretçidir. Blok numarası ve satır ofsetinden oluşur. Satır henüz güncellenmemişse kendi fiziksel adresini gösterir. Bir güncelleme gerçekleştiğinde eski satırın t_ctid alanı yeni satır sürümünün konumunu gösterecek şekilde güncellenir.
  5. t_infomask ve t_infomask2: Satırın durumunu belirleyen bit seviyesinde bayraklardır. HEAP_XMIN_COMMITTED, HEAP_XMIN_INVALID, HEAP_XMAX_COMMITTED ve HEAP_HOT_UPDATED gibi bilgiler burada saklanır. Bu bayraklar motorun her okuma adımında commit log (pg_xact) dosyasına gitme zorunluluğunu ortadan kaldırır.

Snapshot İzolasyonu ve Görünürlük Kuralları

Bir sorgu çalıştığında PostgreSQL çekirdeği aktif oturum için bir anlık görüntü (snapshot) oluşturur. Bu yapı temel olarak üç bileşenden oluşur:

  • xmin: Snapshot alındığı anda henüz tamamlanmamış en eski aktif transaction kimliği. Bu değerden daha küçük numaraya sahip tüm hareketlerin commit edildiği kabul edilir.
  • xmax: Snapshot alındığı sırada sisteme henüz atanmamış ilk transaction kimliği. Bu değere eşit veya büyük numaraya sahip hareketler henüz başlamamış kabul edildiğinden çıktıya dahil edilmez.
  • xip_list: xmin ile xmax arasında kalan ve snapshot anında hala aktif olan hareketlerin listesi.

Read Committed izolasyon seviyesinde çalışan bir oturum her SQL ifadesi için yeni bir snapshot üretir. Bu sebeple aynı transaction içinde peş peşe çalıştırılan iki sorgu arasında başka bir işlem commit edilirse farklı sonuçlar dönebilir. Repeatable Read seviyesinde ise snapshot hareketin ilk sorgusu başladığında alınır ve işlem sonuna kadar sabit tutulur.

Bir satırın bir snapshot için görünür sayılması için satırı oluşturan t_xmin hareketinin commit edilmiş olması ve snapshot listesinde aktif görünmemesi şarttır. Ayrıca satır üzerinde bir t_xmax değeri varsa bu değerin ya iptal edilmiş (aborted) bir işleme ait olması ya da snapshot anından sonra tamamlanmış olması gerekir.

Görünürlük Haritası (Visibility Map) ve Index-Only Taramaları

Veritabanı tablolarının büyüdüğü senaryolarda her indeks aramasında tablonun heap sayfalarına gitmek disk erişim yükünü artırır. PostgreSQL bu maliyeti düşürmek amacıyla her tablo için ayrı bir Görünürlük Haritası (Visibility Map) dosyası tutar.

Görünürlük haritası her 8 KB heap bloğu için iki ayrı bit değeri tutar:

  1. All-visible biti: Sayfa içerisindeki tüm satırların mevcut tüm aktif hareketler için görünür olduğunu gösterir. Bu bit işaretliyse sorgu planlayıcısı Index-Only Scan çalıştırırken heap sayfasına uğramadan doğrudan indeks bloğundan yanıt dönebilir.
  2. All-frozen biti: Sayfadaki tüm satırların dondurulduğunu (frozen) ifade eder. Bu durum vakum sürecinin bu blokları atlamasını sağlayarak disk okuma operasyonlarını azaltır.

Bu harita standart VACUUM operasyonları tarafından titizlikle güncellenir. Sayfada veri değiştiğinde bitler derhal sıfırlanır. Mekanizma otomatiktir.

Ölü Satır (Dead Tuple) Birikimi ve Tablo Şişmesi (Bloat)

PostgreSQL üzerinde UPDATE operasyonu fiziksel olarak bir DELETE ve ardından gelen bir INSERT işleminden farksızdır. Güncellenen satırın t_xmax alanına mevcut hareket numarası yazılır ve yeni değerler içeren bağımsız bir satır bloğa eklenir. DELETE işlemi ise ilgili satırı diskten silmez, yalnızca t_xmax alanını doldurur.

TEXT
Zaman Çizelgesi ve Satır Durumları:
1. INSERT (XID 100) -> [xmin: 100, xmax: 0]   (Canlı Satır)
2. UPDATE (XID 105) -> [xmin: 100, xmax: 105] (Ölü Satır - Dead Tuple)
                    -> [xmin: 105, xmax: 0]   (Yeni Canlı Satır)
3. DELETE (XID 110) -> [xmin: 105, xmax: 110] (Ölü Satır - Dead Tuple)

Eski satır sürümünü görebilecek hiçbir aktif transaction kalmadığında bu satır artık ölü satır (dead tuple) haline gelir. Ölü satırlar vakum operasyonu çalışana kadar diskte yer kaplamaya devam eder.

Eğer sistemde uzun süre açık kalan bir transaction bulunuyorsa (xmin horizon geride kalır) autovacuum bu sınırdan sonra oluşan ölü satırları temizleyemez. Temizlenemeyen satırlar sayfaların dolmasına, yeni sayfaların tahsis edilmesine ve tablonun fiziksel boyutunun yapay şekilde büyümesine (bloat) yol açar.

HOT (Heap-Only Tuples) Optimizasyonu ve fillfactor Ayarı

Normal bir UPDATE işlemi sırasında yeni bir satır sürümü üretildiğinde tablodaki tüm indekslere yeni satırın fiziksel adresini gösteren kayıtlar eklenir. Çok sayıda indekse sahip tablolarda bu durum indeks şişmesine ve yüksek disk yazma trafiğine sebep olur.

PostgreSQL bu sorunu çözmek için Heap-Only Tuples (HOT) adı verilen bir optimizasyon sunar. HOT mekanizmasının devreye girmesi iki şarta bağlıdır:

  1. Güncelleme işlemi tablodaki hiçbir indeksli sütunun değerini değiştirmemelidir.
  2. Yeni satır sürümü eski satır ile aynı 8 KB heap bloğu içerisine sığabilmelidir.

HOT devreye girdiğinde indeksler doğrudan yeni satırı işaret etmez. İndeks işaretçisi eski satırın kök işaretçisine (root line pointer) işaret etmeye devam eder. Blok içindeki line pointer zinciri üzerinden yeni satıra yönlendirme (LP_REDIRECT) yapılır. Böylece indeks bloklarına yeni bir kayıt yazılması gerekmez.

TEXT
HOT Zinciri Yerleşimi:
İndeks Girişi -> Line Pointer 1 [LP_REDIRECT -> 2]
                      |
                      v
                 Line Pointer 2 -> [Tuple 2: Yeni Sürüm]

Bu optimizasyonun sağlıklı çalışabilmesi için bloklarda boş yer bulunması gerekir. PostgreSQL varsayılan olarak tablolarda 100 değerini (fillfactor = 100) kullanır. Yani INSERT işlemleri sayfayı tamamen doldurana kadar yeni kayıt yazar.

Yoğun UPDATE alan tablolarda fillfactor parametresini düşürmek HOT başarı oranını belirgin biçimde artırır. Pratik çözüm budur:

SQL
ALTER TABLE siparisler SET (fillfactor = 80);

Bu ayar INSERT operasyonlarının sayfayı en fazla %80 oranında doldurmasını sağlar. Kalan %20 boş alan aynı blokta gerçekleşecek güncelleme işlemleri için rezerve edilir ve indeks şişmesini sınırlar.

Autovacuum Çalışma Prensibi ve Maliyet Parametreleri

Autovacuum arka plan süreci veritabanını belirli aralıklarla tarayarak ölü satırları temizler ve istatistikleri günceller. Bir tablonun autovacuum tarafından işleme alınması matematiksel bir formüle dayanır.

Tablo için vakum tetiklenme eşiği şu şekilde hesaplanır:

Vakum Eşiği = autovacuum_vacuum_threshold + (autovacuum_vacuum_scale_factor * reltuples)

PostgreSQL varsayılan yapılandırmasında autovacuum_vacuum_threshold değeri 50 satır, autovacuum_vacuum_scale_factor değeri ise 0.2 (%20) seviyesindedir. 1.000.000 satırlık bir tabloda vakumun başlaması için 200.050 satırın değişmesi veya silinmesi gerekir. Temizlik gecikir. Yüksek hacimli tablolarda bu oran temizlik işleminin çok geç başlamasına neden olabilir.

Autovacuum sistem kaynaklarını tüketip ana sorguları yavaşlatmasın diye maliyet tabanlı bir kısıtlama mekanizması (Cost-based Vacuum Delay) kullanır. Bu sistemde her disk işlemi bir maliyet puanı üretir:

  • vacuum_cost_page_hit: Bellekte (shared buffers) bulunan bir sayfanın okunma maliyetidir (varsayılan değer 1).
  • vacuum_cost_page_miss: Diskten okunan bir sayfanın maliyetidir. PostgreSQL 16 sürümüyle birlikte modern SSD disklerin yaygınlaşması sebebiyle bu varsayılan değer 10 seviyesinden 2 seviyesine indirilmiştir.
  • vacuum_cost_page_dirty: Temizlenen ve diske yazılması gereken kirli bir sayfanın maliyetidir (varsayılan değer 20).

Yapılan işlemlerin toplam puanı autovacuum_vacuum_cost_limit (varsayılan değer 200) sınırına ulaştığında autovacuum iş parçacığı autovacuum_vacuum_cost_delay süresince uyku moduna geçer. PostgreSQL 16 ve 17 sürümlerinde bu gecikme süresi 2 ms olarak belirlenmiştir.

Büyük tablolar için bu ayarlar tablo bazında özelleştirilebilir:

SQL
ALTER TABLE hareket_kayitlari SET (
    autovacuum_vacuum_scale_factor = 0.05,
    autovacuum_vacuum_cost_limit = 1000,
    autovacuum_vacuum_cost_delay = 2
);

Bu yapılandırma 1.000.000 satırlık tabloda 50.050 ölü satır biriktiğinde temizliği başlatır ve iş parçacığının daha yüksek disk kotasıyla hızlı çalışmasını sağlar.

Transaction ID Wraparound Riski ve Vacuum Freeze

PostgreSQL hareket kimlikleri için 32-bit işaretsiz tamsayı (unsigned integer) kullanır. Bu yapı yaklaşık 4,29 milyar farklı işlem numarası anlamına gelir. Motor iki işlem numarasını karşılaştırırken modülo aritmetiği uygular. Mevcut işlem numarasından önceki 2,14 milyar işlem geçmişte, sonraki 2,14 milyar işlem ise gelecekte kabul edilir.

Eğer sistem 2 milyardan fazla işlem yürütür ve eski satırlar dondurulmazsa geçmişteki işlemler gelecekte yapılmış gibi algılanır. Eski veriler aniden kaybolur. Sorgular boş döner. Bu bir felakettir. Veritabanı dünyasında buna Transaction ID Wraparound denir.

Bu tehlikeyi önlemek için vakum süreci satırları dondurur (freeze). Dondurma işlemi satırın t_infomask alanına HEAP_XMIN_FROZEN bayrağını işler veya t_xmin değerini özel bir numara olan FrozenTransactionId (değer 2) ile değiştirir. Dondurulmuş bir satır tüm geçmiş ve gelecek işlemler için görünür kabul edilir.

Sistemde dondurma operasyonunu zorunlu kılan güvenlik parametresi autovacuum_freeze_max_age değeridir (varsayılan 200.000.000 işlem). Bir tablonun relfrozenxid değeri bu eşiğe ulaştığında autovacuum genel yapılandırmada kapatılmış olsa dahi agresif modda zorunlu dondurma vakumu başlatır.

İzleme Yöntemi ve Test Ortamı

Autovacuum sağlığını korumak için sistem katalog görünümleri düzenli olarak izlenmelidir. Aşağıdaki sorgu en fazla ölü satıra sahip tabloları ve son vakum tarihlerini listeler:

SQL
SELECT
    schemaname,
    relname,
    n_live_tup,
    n_dead_tup,
    round(100.0 * n_dead_tup / nullif(n_live_tup + n_dead_tup, 0), 2) AS olu_oran,
    last_vacuum,
    last_autovacuum
FROM pg_stat_user_tables
ORDER BY n_dead_tup DESC
LIMIT 10;

Sistemde temizliği engelleyen uzun soluklu işlemleri tespit etmek için pg_stat_activity görünümü incelenmelidir:

SQL
SELECT
    pid,
    now() - xact_start AS sure,
    state,
    backend_xmin,
    query
FROM pg_stat_activity
WHERE backend_xmin IS NOT NULL
ORDER BY xact_start ASC;

Bu sorgudaki backend_xmin alanı autovacuum sürecinin temizlik yapabileceği alt sınırı belirler. Saatlerce açık kalan bir transaction bu sınırı geride tutarak tablolarda gigabaytlarca gereksiz ölü satır birikmesine neden olabilir.

Vakum süreçlerini optimize ederken varsayılan değerleri körü körüne değiştirmek yerine iş yükünün okuma ve yazma dağılımını analiz etmek gerekir. Özellikle yazma yoğunluğu yüksek tablolarda ölçek faktörünü düşürmek ve fillfactor oranını ayarlamak tablo şişmesini kontrol altında tutmanın en güvenilir yoludur.

Yazıyı Değerlendir

0 tepki

Fikirlerinizi tek tıkla paylaşarak geri bildirim bırakın.

Bu teknik notu çevrenizle paylaşın

Ali Purtaş

@alipurtas • Hey, This is Ali!

İletişime Geç

Kendi halinde yazılım geliştiren bir öğrenci. Sistemler kuruyor, deniyor, bozuyor ve öğrendiği gerçek çözümleri burada belgeliyor.

Konu Kümesi & Önerilen Yazılar

İç Bağlantılı Mimari
Yorumlar yükleniyor...