
Veritabanı Sharding Modelleri: Aralık Tabanlı ve Karma Parçalama
Dağıtık veritabanlarında aralık tabanlı ve karma parçalama stratejileri, yanlış shard anahtarı seçimi, sıcak nokta krizi ve postmortem analizi.
Veritabanı sistemleri dikey ölçeklemenin (en güçlü CPU, terabaytlarca RAM ve NVMe disk dizileri) donanımsal ve mali tavanına ulaştığında yatay ölçekleme (sharding) kaçınılmaz bir zorunluluk haline gelir. Veritabanı parçalama, tek bir mantıksal veritabanını birden fazla bağımsız fiziksel sunucuya (shard) paylaştırma mimarisidir. Ancak shard anahtarı (shard key) ve bölümleme stratejisi yanlış seçildiğinde küme dengesi bozulur. Tek bir sunucu aşırı yükten çökerken diğerleri boş bekler. Discord ve Notion gibi dev platformların yayınladığı mimari postmortemler bu tehlikenin somut kanıtlarıdır.
Kapsam Notu: Bu analiz Citus, CockroachDB ve büyük ölçekli mimarilerde kullanılan parçalama modelleri üzerinden derlenmiştir.
Aralık Tabanlı Parçalama (Range-Based Sharding)
Aralık tabanlı parçalama modelinde veriler belirlenen anahtarın değer aralıklarına göre sunuculara paylaştırılır:
Yönlendirme Tablosu:
[ ID: 1 .. 1.000.000 ] --> Shard 1 (Sunucu A)
[ ID: 1.000.001 .. 2.000.000 ] --> Shard 2 (Sunucu B)
[ ID: 2.000.001 .. 3.000.000 ] --> Shard 3 (Sunucu C)
- Avantajı: Aralık sorguları (range scans) son derece verimlidir. Örneğin
WHERE id BETWEEN 500 AND 1200sorgusu yönlendirme katmanı tarafından yalnızca Shard 1'e iletilir. - Sıcak Nokta (Hotspot) Krizi: Eğer shard anahtarı artan bir değer (örneğin auto-increment ID veya
created_atzaman damgası) ise tüm yeni yazma trafiği istisnasız en son aralığı tutan Shard 3 sunucusuna akar. Sunucu C disk ve CPU darboğazına girerek çökerken Sunucu A ve Sunucu B atıl kalır.
Karma Tabanlı Parçalama (Hash-Based Sharding)
Yazma trafiğini tüm küme düğümlerine homojen biçimde dağıtmak için karma tabanlı bölümleme kullanılır:
$$ ext{Hedef Shard} = ext{hash}( ext{Shard Key}) \pmod N$$
Kullanıcı ID: 48921 --> hash() = 0x8F3A1C --> % 4 = Shard 0
Kullanıcı ID: 48922 --> hash() = 0x1B2E9F --> % 4 = Shard 3
Kullanıcı ID: 48923 --> hash() = 0xC4A7D0 --> % 4 = Shard 1
- Avantajı: Monotonik artan ID'ler dahi kriptografik veya MurmurHash benzeri fonksiyonlarla rastgele dağıtılır. Sıcak nokta problemi ortadan kalkar, yazma yükü kümedeki tüm makinelere eşit yayılır.
- Saçılma ve Toplama (Scatter-Gather) Felaketi: Aralık sorguları veya shard anahtarı içermeyen aramalar felakete dönüşür.
WHERE aktif = truesorgusu kümedeki tüm shard sunucularına paralel olarak gönderilmek zorundadır. Sonuçlar yönlendirici katmanda toplanır, sıralanır ve istemciye iletilir. Bu durum ağ trafiğini ve gecikmeyi tırmandırır.
Mimari Postmortemler: Discord ve Notion Deneyimleri
Discord Postmortemi: Cassandra'dan ScyllaDB'ye Geçiş
Discord milyarlarca mesajı depolamak için başlangıçta MongoDB, ardından Apache Cassandra kullandı. Shard anahtarı olarak channel_id seçilmişti. Ancak milyonlarca kullanıcılı mega sunucularda tek bir kanala saniyede yüzlerce mesaj akıyordu.
Sonuçta tek bir partition yüz binlerce mesajla devasa boyutlara ulaştı. JVM çöp toplayıcı duraklamaları (GC pauses) ve compaction fırtınaları düğümleri düşürdü. Discord bu sorunu partition boyutlarını sınırlandırarak (kova mantığı ile channel_id + bucket_id) ve Rust tabanlı ScyllaDB'ye geçerek çözdü.
Notion Postmortemi: PostgreSQL'de 480 Shard Mimarisi
Notion tek bir monolithic PostgreSQL sunucusunun sınırlarına ulaştığında verilerini 480 mantıksal shard'a böldü. Seçtikleri temel ilke şuydu:
- Shard anahtarı olarak
workspace_idbelirlendi. - Bir çalışma alanına ait tüm sayfalar, bloklar ve yorumlar daima aynı fiziksel veritabanında yaşar.
- Çapraz çalışma alanı (cross-workspace) sorguları mimari düzeyde yasaklandı.
Bu tasarım sayesinde tüm JOIN işlemleri yerel shard içinde kaldı ve iki fazlı tamamlama (2PC) gereksinimi bertaraf edildi.
Parçalama Kararı Alırken Dikkat Edilecek İlkeler
- Doğal İzolasyon Sınırı Bulun: Çok kiracılı (multi-tenant) sistemlerde müşteri veya organizasyon kimliği en sağlam shard anahtarıdır.
- Çapraz Shard İşlemlerinden Kaçının: Birden fazla shard üzerindeki veriyi atomik güncellemek distributed transaction kilitlenmelerine yol açar.
- Yeniden Parçalama (Re-sharding) Planı Yapın: Küme büyüdüğünde verilerin taşınması operasyonel bir kabustur. Baştan sanal shard'lar (örneğin fiziksel 10 sunucu üzerinde 1000 mantıksal veritabanı) oluşturulmalıdır.
Yazıyı Değerlendir
0 tepkiFikirlerinizi tek tıkla paylaşarak geri bildirim bırakın.
Ali Purtaş
@alipurtas • Hey, This is Ali!
Kendi halinde yazılım geliştiren bir öğrenci. Sistemler kuruyor, deniyor, bozuyor ve öğrendiği gerçek çözümleri burada belgeliyor.
Konu Kümesi & Önerilen Yazılar
Redis Pub/Sub ile L1/L2 Çok Katmanlı Önbellek Geçersizleştirme Ağı
Süreç içi yerel RAM (L1) ile merkezi Redis (L2) katmanlarını senkron tutan Pub/Sub tabanlı geçersizleştirme ve istemci önbellekleme mimarisi.
Önbellek İzdihamı ve XFetch Probabilistik Erken Yenileme Algoritması
Önbellek izdihamı (cache stampede) krizlerini önleyen XFetch olasılıksal erken yenileme algoritması ve tekil uçuş (singleflight) desen analizi.
Write-Behind Önbellekleme ve Veritabanı Toplu Yazma Yükü Mimarisi
Write-behind önbellekleme ile yazma gecikmesini düşürme, toplu veritabanı yazımları, veri kaybı riskleri ve çöküş kurtarma mimari rehberi.
Tartışma & Yorumlar
0Tartışmaya katılmak ve soru sormak için oturum açmalısınız.
Giriş Yap