
RabbitMQ AMQP Değişim Tipleri ve Erlang Süreç Tabanlı Mesajlaşması
RabbitMQ AMQP 0-9-1 değişim modelleri, Erlang aktör modeli, kuyruk süreçleri ve kredi tabanlı akış kontrolü ile güvenli mesaj yönlendirme rehberi.
Dağıtık mimarilerde olay akışları ve kuyruk tasarımları söz konusu olduğunda RabbitMQ ve Kafka sık sık kıyaslanır. Oysa iki platform tamamen farklı mühendislik felsefeleri üzerine kuruludur. Apache Kafka Sıralı Günlük Mimarisi yazımızda incelediğimiz gibi Kafka devasa hacimli sıralı veri akışları için optimize edilmişken, RabbitMQ karmaşık yönlendirme kuralları, anlık teslim garantileri ve esnek mesaj yaşam döngüsü yönetimi gerektiren iş yüklerinin tartışmasız lideridir.
RabbitMQ sisteminin bu başarısı iki temel yapı taşına dayanır. Birincisi AMQP 0-9-1 protokolünün getirdiği esnek değişim (exchange) mimarisi, ikincisi ise altyapısındaki Erlang/OTP sanal makinesinin sunduğu hafif iş parçacığı ve mesajlaşma modelidir.
1. AMQP 0-9-1 Yönlendirme Modeli: Üretici ve Kuyruk Ayrışması
AMQP 0-9-1 protokolünde üreticiler mesajları doğrudan kuyruklara göndermez. Üretici mesajı her zaman bir değişime (exchange) yollar. Değişim, mesajın taşıdığı yönlendirme anahtarı (routing key) ve başlık bilgilerine bakarak mesajı bir veya birden fazla kuyruğa kopyalar. Kuyruklar ile değişimler arasındaki bu bağlantıya bağlama (binding) adı verilir.
+----------+ Mesaj +------------+ Binding Key +---------+
| ÜRETİCİ | --------------> | EXCHANGE | ------------> | KUYRUK |
+----------+ (Routing Key) +------------+ +---------+
|
+-------------------> +---------+
(Binding Key) | KUYRUK |
+---------+
Dört temel değişim tipi farklı dağıtım desenlerini çözer:
Direct Exchange
Mesajın routing key değeri ile kuyruğun binding key değeri birebir eşleştiğinde mesaj o kuyruğa iletilir. Noktadan noktaya veya belirli iş türlerinin yönlendirilmesinde kullanılır. Örneğin odeme.basarili anahtarı yalnızca muhasebe kuyruğuna bağlıysa mesaj sadece oraya düşer.
Fanout Exchange
Routing key değerini tamamen yok sayar. Mesaj değişime ulaştığı anda bu değişime bağlı olan tüm kuyruklara birer kopyası iletilir. Tam anlamıyla bir yayın (broadcast) modelidir. Bir kullanıcı kaydolduğunda hem e-posta kuyruğuna hem de SMS bildirim kuyruğuna aynı mesajın anında düşmesi bu modelle sağlanır.
Topic Exchange
Desene dayalı çoklu yönlendirme imkanı tanır. Routing key noktalarla ayrılmış kelimelerden oluşur (avrupa.turkiye.siparis). Binding tarafında iki özel joker karakter kullanılır:
*(yıldız): Tam olarak tek bir kelimenin yerine geçer.#(kare): Sıfır veya daha fazla kelimenin yerine geçer.
Örneğin *.turkiye.# binding kuralı, Türkiye kaynaklı tüm olayları yakalarken şehir veya alt kategori fark etmeksizin yönlendirme yapabilir.
Headers Exchange
Routing key yerine mesajın üstveri başlıklarını (headers tablosu) inceler. x-match: all veya x-match: any bayraklarıyla başlık alanlarının tam veya kısmi eşleşmesine göre yönlendirme kararı verir.
2. Erlang Süreç Mimarisi ve İzolasyon
RabbitMQ Erlang programlama diliyle geliştirilmiştir. Erlang çalışma zamanı BEAM işletim sistemi seviyesindeki iş parçacıklarını değil, kendi sanal makinesi içinde yönettiği hafif Erlang süreçlerini (processes) çalıştırır.
Bu mimari tasarım RabbitMQ sunucusuna sıra dışı bir eşzamanlılık esnekliği kazandırır:
- Hafif Bellek Ayak İzi: Bir işletim sistemi iş parçacığı megabaytlarca yığın bellek gerektirirken, bir Erlang süreci yalnızca birkaç yüz bayt ile başlar. Tek bir RabbitMQ düğümünde yüz binlerce eşzamanlı kanal ve kuyruk süreci aynı anda çalışabilir.
- Kuyruk Başına Bir Süreç: Klasik RabbitMQ mimarisinde her kuyruk bağımsız bir Erlang sürecidir. Bu süreç kendi posta kutusuna (mailbox) ve durumuna sahiptir. Farklı kuyruklar birbirinin CPU çekirdeğini kilitlemez.
- Paylaşılmayan Bellek (Shared-Nothing): Erlang süreçleri bellek paylaşmaz. Süreçler arası tüm iletişim değişmez (immutable) mesaj kopyalama yöntemiyle gerçekleşir. Bu sayede kilit çekişmeleri (mutex contention) ve veri bozulması riskleri ortadan kalkar. Bu model Go Çalışma Zamanı Goroutine Zamanlayıcı yazımızda tartıştığımız CSP ve kanal mantığıyla büyük benzerlik gösterir.
BEAM SANAL MAKİNESİ SÜREÇ DAĞILIMI:
+-----------------------------------------------------------------+
| [Bağlantı Süreci] ---> [Kanal Süreci] ---> [Exchange Yönlendirici]
| |
| v
| [Kuyruk Süreci A] [Kuyruk Süreci B]
| (Mailbox) (Mailbox)
+-----------------------------------------------------------------+
3. Akış Kontrolü ve Kredi Tabanlı Geri Basınç
Bir kuyruk sisteminde en ölümcül felaket üreticilerin tüketicilerden kat kat hızlı mesaj basmasıdır. Bellek dolduğunda geleneksel sistemler kontrolsüzce çöker.
RabbitMQ bu duruma karşı kredi tabanlı akış kontrolü (credit-based flow control) uygular. Her süreç diğer süreçle iletişim kurarken belirli bir kredi limitine sahiptir. Örneğin bir kanal süreci kuyruk sürecine mesaj iletirken kredisini tüketir. Kuyruk süreci mesajları diske yazıp veya tüketiciye iletip işledikçe kanal sürecine yeni krediler iade eder.
Kredisi tükenen süreç geçici olarak askıya alınır (blocked). Zincirleme olarak soket okuma süreci de durur ve TCP tamponu dolar. TCP pencere boyutu (window size) sıfıra indiğinde üretici uygulama ağ katmanında doğal bir geri basınçla (backpressure) yavaşlatılır.
Ayrıca düğüm seviyesinde iki kritik alarm mekanizması mevcuttur:
- Bellek Eşiği (Memory High Watermark): Sistem belleğinin varsayılan olarak yüzde 40 sınırına ulaşıldığında tüm bağlantılardan gelen mesaj kabulleri dondurulur.
- Disk Boş Alan Eşiği (Disk Free Limit): Sunucu diskindeki boş alan kritik sınırın altına indiğinde yayıncılar bloke edilir.
4. Tüketici Tarafında Prefetch Count ve ACK Yönetimi
RabbitMQ varsayılan olarak istemciye mesajları sınırsız şekilde pompalamaya (push) çalışır. Tüketici bir mesaj aldığında işlem uzun sürüyorsa istemci belleği kontrolsüzce şişebilir.
Bunun önüne geçmek için AMQP basic.qos metodu ile prefetch count (önceden getirme sayısı) tanımlanmalıdır:
// Go amqp kütüphanesi ile tüketici yapılandırması
err := ch.Qos(
50, // prefetch count: Onaylanmamış en fazla 50 mesaj al
0, // prefetch size: Bayt sınırı yok
false, // global: false = kanal başına değil, tüketici başına uygula
)
if err != nil {
log.Fatalf("QoS ayarlanamadı: %v", err)
}
Prefetch değeri doğru ayarlanmadığında iki uç felaket yaşanır:
- Değer çok düşükse (örneğin 1) ağ gecikmesi nedeniyle tüketici sürekli boş bekler (starvation).
- Değer çok yüksekse (örneğin 5000) bir tüketici tüm mesajları üzerine çeker, diğer tüketiciler boş kalırken o tüketici bellek baskısı altında ezilir.
Mesaj onaylarında ise auto_ack=false kuralı esastır. Tüketici iş mantığını başarıyla tamamladığında basic.ack, geçici bir hata aldığında basic.nack(requeue=true), kalıcı bir biçim hatası aldığında ise mesajı zehirli mesaj (poison message) kuyruğuna atmak için basic.reject(requeue=false) göndermelidir.
5. Quorum Kuyruklar ve Modern Kümeleme
Klasik RabbitMQ yapısında kullanılan aynalanmış kuyruklar (mirrored queues) ağ bölünmelerinde (network partitions) bölünmüş beyin (split-brain) sorunlarına ve veri kayıplarına gebeydi.
Modern RabbitMQ dağıtımlarında kritik iş yükleri için Quorum Queues mimarisi kullanılmalıdır:
- Quorum kuyruklar Raft mutabakat algoritmasını temel alır.
- Veri kümedeki düğümlerin çoğunluğuna (örneğin 3 düğümün 2 tanesine) yazılmadan başarı dönülmez.
- Lider düğüm çöktüğünde Raft algoritması veri kaybı olmaksızın yeni lideri milisaniyeler içinde seçer.
Üretim ortamında yüksek güvenilirlik hedefleyen ekipler geçici bildirimler için klasik kuyrukları, finansal ve işlem garantisi gerektiren adımlar için ise mutlaka quorum kuyruk yapılandırmasını tercih etmelidir.
Yazıyı Değerlendir
0 tepkiFikirlerinizi tek tıkla paylaşarak geri bildirim bırakın.
Ali Purtaş
@alipurtas • Hey, This is Ali!
Kendi halinde yazılım geliştiren bir öğrenci. Sistemler kuruyor, deniyor, bozuyor ve öğrendiği gerçek çözümleri burada belgeliyor.
Konu Kümesi & Önerilen Yazılar
Redis Pub/Sub ile L1/L2 Çok Katmanlı Önbellek Geçersizleştirme Ağı
Süreç içi yerel RAM (L1) ile merkezi Redis (L2) katmanlarını senkron tutan Pub/Sub tabanlı geçersizleştirme ve istemci önbellekleme mimarisi.
Önbellek İzdihamı ve XFetch Probabilistik Erken Yenileme Algoritması
Önbellek izdihamı (cache stampede) krizlerini önleyen XFetch olasılıksal erken yenileme algoritması ve tekil uçuş (singleflight) desen analizi.
Write-Behind Önbellekleme ve Veritabanı Toplu Yazma Yükü Mimarisi
Write-behind önbellekleme ile yazma gecikmesini düşürme, toplu veritabanı yazımları, veri kaybı riskleri ve çöküş kurtarma mimari rehberi.
Tartışma & Yorumlar
0Tartışmaya katılmak ve soru sormak için oturum açmalısınız.
Giriş Yap