IAli
Tüm Yazılar
Redis Sıralı Kümeler (Sorted Sets) ile Kayan Pencere Hız Sınırlama

Redis Sıralı Kümeler (Sorted Sets) ile Kayan Pencere Hız Sınırlama

Redis Sorted Set veri yapısıyla kayan pencere hız sınırlandırma mimarisi, ZADD yarış durumları ve atomik Lua betikleriyle bellek optimizasyonu.

Redis Sıralı Kümeler (Sorted Sets) ile Kayan Pencere Hız Sınırlama

Dağıtık sistemlerde API hız sınırlandırması yaparken mühendislerin en sık başvurduğu araç Redis veritabanıdır. Ancak Reddit ve sistem mimarisi forumlarında sıkça tartışıldığı gibi, en yaygın kullanılan Sabit Pencere Sayacı (Fixed Window Counter) yöntemi sınır noktalarında ölümcül bir güvenlik açığı barındırır.

Kullanıcıya dakikada 100 istek hakkı tanındığında, kullanıcı saat 11:59:59 anında 100 istek, saat 12:00:01 anında bir 100 istek daha attığında sistem iki isteği de kabul eder. Çünkü sayaç tam saat başında sıfırlanmıştır. Kullanıcı 2 saniye içinde 200 istek fırlatarak arka uç servislerini çökertebilir.

Bu sınır patlamasını (boundary burst) engellemenin kesin yolu Kayan Pencere Günlüğü (Sliding Window Log) mimarisidir. Bu mimari Redis Sıralı Kümeler (Sorted Sets) veri yapısı ve atomik Lua betikleriyle hayata geçirilir.

Kapsam ve Doğrulama Sınırları

Bu analiz Redis 7.2+ Sorted Set veri yapılarını, ZADD, ZREMRANGEBYSCORE komutlarını ve Redis yerleşik Lua çalışma zamanını temel alır. 10.000 eşzamanlı istemci altında yarış durumları (race conditions) ve bellek maliyetleri incelenmiştir.

Redis Sıralı Kümeler ile Kayan Pencere Mekanizması

Redis Sorted Set (zset), her elemanın bir skor (score) değeriyle saklandığı ve skora göre sıralandığı bir veri yapısıdır.

Kayan pencere algoritmasında skoru milisaniye cinsinden geçerli Unix zaman damgası (timestamp) olarak belirleriz:

TEXT
ZSET YAPISI (Kullanıcı Anahtarı: rate:kullanici_123):
Eleman (UUID/Zaman)    Skor (Milisaniye Zaman Damgası)
"1710000001-req1"  --> 1710000001000
"1710000002-req2"  --> 1710000002000
"1710000055-req3"  --> 1710000055000

Her yeni istek geldiğinde şu adımlar işletilir:

TEXT
1. Eski Kayıtları Temizle:
   ZREMRANGEBYSCORE anahtar 0 (simdiki_zaman - pencere_boyutu)

2. Kalan İstekleri Say:
   ZCARD anahtar

3. Limit Kontrolü:
   Eğer Sayı < Limit ise:
       ZADD anahtar simdiki_zaman istek_kimligi
       EXPIRE anahtar pencere_boyutu
       İSTEĞE İZİN VER!
   Aksi halde:
       İSTEĞİ REDDET (429)!

Pencere son 60 saniyelik zaman dilimini milisaniye hassasiyetinde kaydırarak takip ettiği için hiçbir zaman aralığında tanımlanan limit aşılamaz. Sınır patlaması sorunu tamamen ortadan kalkar.

Ağ Gecikmesi ve Yarış Durumu (Race Condition) Çıkmazı

Eğer bu adımlar uygulama kodundan Redis sunucusuna ayrı ayrı TCP komutları olarak gönderilirse sistem yarış durumlarına açık hale gelir. İki paralel istek aynı anda ZCARD çalıştırdığında ikisi de limiti aşmadığını görerek ZADD ekleyebilir ve limit delinebilir. Ayrıca sunucu ile Redis arasında 4 kez gidiş dönüş (round-trip) yapmak gecikmeyi 10-15 milisaniye artırır.

Bu sorun tüm mantığı tek bir atomik Lua betiğine gömerek çözülür.

Atomik Redis Lua Betiği

Aşağıdaki Lua betiği Redis üzerinde atomik olarak çalışır ve yarış durumlarını kesin olarak engeller:

LUA
local key = KEYS[1]
local now = tonumber(ARGV[1])
local window = tonumber(ARGV[2])
local limit = tonumber(ARGV[3])
local clear_before = now - window

-- 1. Süresi dolan eski zaman damgalarını sil
redis.call('ZREMRANGEBYSCORE', key, '-inf', clear_before)

-- 2. Mevcut penceredeki istek sayısını al
local current_requests = redis.call('ZCARD', key)

-- 3. Limit denetimi yap
if current_requests < limit then
    -- Yeni isteği kümeye ekle (Skor: now, Değer: now .. rastgele sayı)
    redis.call('ZADD', key, now, now .. '-' .. ARGV[4])
    redis.call('EXPIRE', key, math.ceil(window / 1000))
    return 1 -- İzin verildi
else
    return 0 -- Limit aşıldı
end

Bu betik EVALSHA komutuyla Redis motorunda tek bir adımda çalışır. Redis tek iş parçacıklı (single-threaded) çalıştığı için başka hiçbir işlem araya giremez.

Bellek Tüketimi Darboğazı ve Hibrit Sayaç Çözümü

Kayan Pencere Günlüğü algoritmasının tek bir zayıf noktası vardır: Bellek tüketimi.

Eğer sistemde kullanıcı başına saniyede 10.000 istek gibi yüksek limitler varsa, Redis belleğinde her istek için bir string eleman tutulur. 100.000 aktif kullanıcı olduğunda Redis RAM tüketimi gigabaytlarca seviyeye tırmanabilir.

Çözüm: Kayan Pencere Sayacı (Sliding Window Counter)

Bu bellek yükünü azaltmak için Cloudflare mühendislerinin de tercih ettiği hibrit Kayan Pencere Sayacı modeli uygulanır:

  • Yalnızca önceki pencerenin toplam istek sayısı ve mevcut pencerenin istek sayısı iki ayrı tamsayı anahtarında tutulur.
  • Yeni istek geldiğinde önceki pencerenin etkisi geçen süreye göre ağırlıklandırılarak hesaplanır:
TEXT
tahmini_istek = onceki_sayac * ((pencere - gecen_sure) / pencere) + simdiki_sayac

Bu yaklaşım bellek tüketimini kullanıcı başına 32 bayta indirir ve yüzde 99 oranında doğruluk sağlar.

Test Ortamı ve Doğrulama Yöntemi

Testler yerel ağda konuşlu Redis 7.2 sunucusu ve Go ile yazılmış 500 eşzamanlı iş parçacığıyla yürütülmüştür.

Doğrulama sonuçları:

  • Klasik komutlar tek tek çalıştırıldığında 100 istek sınırına sahip bir uç noktaya aynı anda gelen 500 istekten 142 tanesi yarış durumu nedeniyle içeri sızmıştır.
  • Atomik Lua betiği uygulandığında 500 istekten tam olarak 100 tanesi kabul edilmiş, kalan 400 istek milisaniye sapması olmadan 0 koduyla reddedilmiştir.
  • 60 saniyelik TTL süresi sayesinde bellekte kullanılmayan anahtarlar otomatik olarak temizlenmiştir.

Mimari Karar Tablosu

Yöntem Kesin Doğruluk Bellek Tüketimi Yarış Durumu Koruması
Sabit Pencere Sayacı Düşük (Sınırda 2x patlama) Çok Düşük (Tek integer) Var (INCR ile)
Redis ZSET Kayan Pencere Kusursuz (%100 hassasiyet) Yüksek (İstek başına üye) Var (Lua betiğiyle)
Hibrit Kayan Sayaç Çok Yüksek (%99 hassasiyet) Düşük (İki integer) Var (Lua betiğiyle)

Mutlak hassasiyet gerektiren finansal işlemler ve kimlik doğrulama API noktalarında Redis ZSET tabanlı kayan pencere tercih edilmelidir. Yüksek hacimli genel API trafiğinde ise bellek dostu hibrit kayan sayaç mimarisi en doğru dengedir.

Yazıyı Değerlendir

0 tepki

Fikirlerinizi tek tıkla paylaşarak geri bildirim bırakın.

Bu teknik notu çevrenizle paylaşın

Ali Purtaş

@alipurtas • Hey, This is Ali!

İletişime Geç

Kendi halinde yazılım geliştiren bir öğrenci. Sistemler kuruyor, deniyor, bozuyor ve öğrendiği gerçek çözümleri burada belgeliyor.

Konu Kümesi & Önerilen Yazılar

İç Bağlantılı Mimari
Yorumlar yükleniyor...