IAli
Tüm Yazılar
Veritabanı Sharding Modelleri: Aralık Tabanlı ve Karma Parçalama

Veritabanı Sharding Modelleri: Aralık Tabanlı ve Karma Parçalama

Dağıtık veritabanlarında aralık tabanlı ve karma parçalama stratejileri, yanlış shard anahtarı seçimi, sıcak nokta krizi ve postmortem analizi.

Veritabanı sistemleri dikey ölçeklemenin (en güçlü CPU, terabaytlarca RAM ve NVMe disk dizileri) donanımsal ve mali tavanına ulaştığında yatay ölçekleme (sharding) kaçınılmaz bir zorunluluk haline gelir. Veritabanı parçalama, tek bir mantıksal veritabanını birden fazla bağımsız fiziksel sunucuya (shard) paylaştırma mimarisidir. Ancak shard anahtarı (shard key) ve bölümleme stratejisi yanlış seçildiğinde küme dengesi bozulur. Tek bir sunucu aşırı yükten çökerken diğerleri boş bekler. Discord ve Notion gibi dev platformların yayınladığı mimari postmortemler bu tehlikenin somut kanıtlarıdır.

Kapsam Notu: Bu analiz Citus, CockroachDB ve büyük ölçekli mimarilerde kullanılan parçalama modelleri üzerinden derlenmiştir.

Aralık Tabanlı Parçalama (Range-Based Sharding)

Aralık tabanlı parçalama modelinde veriler belirlenen anahtarın değer aralıklarına göre sunuculara paylaştırılır:

TEXT
Yönlendirme Tablosu:
[ ID: 1 .. 1.000.000 ]       --> Shard 1 (Sunucu A)
[ ID: 1.000.001 .. 2.000.000 ] --> Shard 2 (Sunucu B)
[ ID: 2.000.001 .. 3.000.000 ] --> Shard 3 (Sunucu C)
  • Avantajı: Aralık sorguları (range scans) son derece verimlidir. Örneğin WHERE id BETWEEN 500 AND 1200 sorgusu yönlendirme katmanı tarafından yalnızca Shard 1'e iletilir.
  • Sıcak Nokta (Hotspot) Krizi: Eğer shard anahtarı artan bir değer (örneğin auto-increment ID veya created_at zaman damgası) ise tüm yeni yazma trafiği istisnasız en son aralığı tutan Shard 3 sunucusuna akar. Sunucu C disk ve CPU darboğazına girerek çökerken Sunucu A ve Sunucu B atıl kalır.

Karma Tabanlı Parçalama (Hash-Based Sharding)

Yazma trafiğini tüm küme düğümlerine homojen biçimde dağıtmak için karma tabanlı bölümleme kullanılır:

$$ ext{Hedef Shard} = ext{hash}( ext{Shard Key}) \pmod N$$

TEXT
Kullanıcı ID: 48921  --> hash() = 0x8F3A1C  --> % 4 = Shard 0
Kullanıcı ID: 48922  --> hash() = 0x1B2E9F  --> % 4 = Shard 3
Kullanıcı ID: 48923  --> hash() = 0xC4A7D0  --> % 4 = Shard 1
  • Avantajı: Monotonik artan ID'ler dahi kriptografik veya MurmurHash benzeri fonksiyonlarla rastgele dağıtılır. Sıcak nokta problemi ortadan kalkar, yazma yükü kümedeki tüm makinelere eşit yayılır.
  • Saçılma ve Toplama (Scatter-Gather) Felaketi: Aralık sorguları veya shard anahtarı içermeyen aramalar felakete dönüşür. WHERE aktif = true sorgusu kümedeki tüm shard sunucularına paralel olarak gönderilmek zorundadır. Sonuçlar yönlendirici katmanda toplanır, sıralanır ve istemciye iletilir. Bu durum ağ trafiğini ve gecikmeyi tırmandırır.

Mimari Postmortemler: Discord ve Notion Deneyimleri

Discord Postmortemi: Cassandra'dan ScyllaDB'ye Geçiş

Discord milyarlarca mesajı depolamak için başlangıçta MongoDB, ardından Apache Cassandra kullandı. Shard anahtarı olarak channel_id seçilmişti. Ancak milyonlarca kullanıcılı mega sunucularda tek bir kanala saniyede yüzlerce mesaj akıyordu.

Sonuçta tek bir partition yüz binlerce mesajla devasa boyutlara ulaştı. JVM çöp toplayıcı duraklamaları (GC pauses) ve compaction fırtınaları düğümleri düşürdü. Discord bu sorunu partition boyutlarını sınırlandırarak (kova mantığı ile channel_id + bucket_id) ve Rust tabanlı ScyllaDB'ye geçerek çözdü.

Notion Postmortemi: PostgreSQL'de 480 Shard Mimarisi

Notion tek bir monolithic PostgreSQL sunucusunun sınırlarına ulaştığında verilerini 480 mantıksal shard'a böldü. Seçtikleri temel ilke şuydu:

  • Shard anahtarı olarak workspace_id belirlendi.
  • Bir çalışma alanına ait tüm sayfalar, bloklar ve yorumlar daima aynı fiziksel veritabanında yaşar.
  • Çapraz çalışma alanı (cross-workspace) sorguları mimari düzeyde yasaklandı.

Bu tasarım sayesinde tüm JOIN işlemleri yerel shard içinde kaldı ve iki fazlı tamamlama (2PC) gereksinimi bertaraf edildi.

Parçalama Kararı Alırken Dikkat Edilecek İlkeler

  1. Doğal İzolasyon Sınırı Bulun: Çok kiracılı (multi-tenant) sistemlerde müşteri veya organizasyon kimliği en sağlam shard anahtarıdır.
  2. Çapraz Shard İşlemlerinden Kaçının: Birden fazla shard üzerindeki veriyi atomik güncellemek distributed transaction kilitlenmelerine yol açar.
  3. Yeniden Parçalama (Re-sharding) Planı Yapın: Küme büyüdüğünde verilerin taşınması operasyonel bir kabustur. Baştan sanal shard'lar (örneğin fiziksel 10 sunucu üzerinde 1000 mantıksal veritabanı) oluşturulmalıdır.

Yazıyı Değerlendir

0 tepki

Fikirlerinizi tek tıkla paylaşarak geri bildirim bırakın.

Bu teknik notu çevrenizle paylaşın

Ali Purtaş

@alipurtas • Hey, This is Ali!

İletişime Geç

Kendi halinde yazılım geliştiren bir öğrenci. Sistemler kuruyor, deniyor, bozuyor ve öğrendiği gerçek çözümleri burada belgeliyor.

Konu Kümesi & Önerilen Yazılar

İç Bağlantılı Mimari
Yorumlar yükleniyor...