
gRPC Çift Yönlü Akış, Protobuf ve HTTP/2 Çerçeve Yönetimi Mimarisi
İki yönlü gRPC akışları, Protobuf ikili serileştirme verimliliği ve HTTP/2 TCP bağlantı paylaşımında L7 yük dengeleme sorunlarının çözümü.
gRPC Çift Yönlü Akış, Protobuf ve HTTP/2 Çerçeve Yönetimi Mimarisi
Mikroservis mimarilerinde sistemlerin birbiriyle nasıl konuştuğu genel sistem gecikmesini ve kaynak tüketimini belirleyen en temel unsurdur. Geleneksel REST mimarisi metin tabanlı JSON serileştirmesi ve bağlantı başına tek istek modeliyle büyüyen servis ağlarında ağır bir CPU ve bant genişliği yükü yaratır.
Google tarafından geliştirilen gRPC altyapısı bu darboğazı ikili Protokol Tamponları (Protocol Buffers - Protobuf) ve HTTP/2 taşıma katmanıyla aşar. Ancak X (Twitter) mühendislik çevrelerinde ve kurumsal Kubernetes dağıtımlarında tecrübe edildiği üzere gRPC mimarisine geçiş beraberinde beklenmedik bir kabus getirir: Katman 4 Yük Dengeleme Kilitlenmesi (L7 Load Balancing Failure).
Kapsam ve Doğrulama Sınırları
Bu inceleme RFC 7540 HTTP/2 çerçeve protokolünü, gRPC 1.62+ akış mekanizmalarını ve Protobuf v3 ikili kodlama kurallarını inceler. Envoy proxy ve Kubernetes ortamında headless servis davranışları test edilmiştir. Donanım seviyesindeki F5 BIG-IP yük dengeleyiciler bu çalışmanın kapsamı dışındadır.
Protobuf İkili Kodlaması Neden JSON'dan Hızlıdır?
JSON insan tarafından okunabilir bir metin formatıdır. Bir JSON nesnesini serileştirmek veya ayrıştırmak (parsing) CPU için yorucu dize (string) manipülasyonları ve bellek ayırmaları (allocations) gerektirir.
Protobuf ise şema tabanlı ikili bir kodlama (binary encoding) uygular:
JSON METNİ (42 Bayt):
{"kullanici_id": 1042, "aktif": true, "oran": 3.14}
PROTOBUF İKİLİ VERİSİ (9 Bayt):
08 92 08 10 01 1d c3 f5 48 40
Protobuf bu tasarrufu üç temel yöntemle başarır:
- Alan İsimleri Taşınmaz: JSON'daki
"kullanici_id"anahtarı yerine şemadaki 1-2 baytlık alan numarası (tag) iletilir. - Değişken Uzunluklu Tamsayılar (Varint): Küçük sayılar 4 veya 8 bayt yerine 1 bayt ile ifade edilir. Örneğin 1 sayısı tek bir bayt tutar.
- Sıfır Bellek Kopyalama (Zero-Copy): İkili veri bellekten doğrudan struct alanlarına haritalanabilir, karmaşık dize tarama döngülerine ihtiyaç kalmaz.
HTTP/2 Çerçeve Yönetimi ve Çift Yönlü Akış
gRPC tüm iletişimini HTTP/2 çerçeveleri (frames) üzerinden yürütür. Tek bir TCP bağlantısı üzerinde aynı anda yüzlerce mantıksal akış (stream) eşzamanlı olarak akabilir.
TEK TCP BAĞLANTISI (HTTP/2 Multiplexing):
+-------------------------------------------------------------------+
| [HEADERS (Stream 1)] [DATA (Stream 3)] [DATA (Stream 1)] |
| [HEADERS (Stream 5)] [WINDOW_UPDATE (Stream 3)] [DATA (Stream 5)] |
+-------------------------------------------------------------------+
Çift Yönlü Akış (Bidirectional Streaming) modunda istemci ve sunucu birbirinden bağımsız olarak istedikleri anda veri çerçeveleri fırlatabilir:
İSTEMCİ SUNUCU
| |
| --- HEADERS (Stream 1, Path: /paket.Servis/Akis) ---> |
| --- DATA (Stream 1, Protobuf Mesaj A) -------------> |
| <--- HEADERS (Stream 1, 200 OK) -------------------- |
| <--- DATA (Stream 1, Protobuf Yanıt 1) ------------- |
| --- DATA (Stream 1, Protobuf Mesaj B) -------------> |
| <--- DATA (Stream 1, Protobuf Yanıt 2) ------------- |
| --- DATA (Stream 1, End Stream Bayrağı) -----------> |
| <--- HEADERS (Stream 1, grpc-status: 0, Trailers) -- |
Akış tamamlandığında sunucu HTTP/2 başlıklarının ardılı olan Trailers bölümünde grpc-status: 0 (başarılı) kodu döner.
Katman 4 Yük Dengeleme Kabusu
Geleneksel REST mimarisinde her HTTP/1.1 isteği için yeni bir TCP bağlantısı açılır veya bağlantılar kısa süre sonra kapatılır. AWS NLB veya klasik IPVS gibi Katran/L4 yük dengeleyiciler gelen her yeni TCP bağlantısını farklı bir arka uç sunucusuna dağıtır.
Ancak gRPC istemcisi sunucuya bir kez bağlandığında o TCP bağlantısını haftalarca açık tutar ve tüm akışları bu tek boru üzerinden çoğullar.
L4 YÜK DENGELEYİCİ TUZAĞI:
[ gRPC İstemcisi ] === (Tek Bir TCP Bağlantısı) ===> [ L4 Yük Dengeleyici ]
|
(Tüm İstekler Tek Sunucuya Akar!) v
+-------------------------------------------------+
| Pod 1: %100 CPU Tüketimi (KİLİTLENDİ!) |
| Pod 2: %0 CPU Tüketimi (TAMAMEN BOŞTA!) |
| Pod 3: %0 CPU Tüketimi (TAMAMEN BOŞTA!) |
+-------------------------------------------------+
L4 yük dengeleyici paketlerin içindeki HTTP/2 çerçevelerini göremez. Yalnızca TCP bağlantısını gördüğü için ilk bağlantıyı nereye yönlendirdiyse sonraki 1 milyon RPC isteği de aynı pod üzerine yığılır. Diğer podlar boştayken ilk pod aşırı yükten çöker.
Çözüm Yolları: Envoy Proxy ve İstemci Taraflı Dengeleme
Bu krizi çözmek için sektörde iki mimari model uygulanır:
1. Katman 7 Ters Proxy (Envoy / Service Mesh)
İstemci ile sunucu arasına HTTP/2 çerçevelerini ayrıştırabilen bir L7 proxy yerleştirilir. Envoy istemciden gelen tek TCP bağlantısını karşılar, içindeki her bir gRPC akışını bağımsız olarak çözer ve arka uç podlarına ayrı ayrı dağıtır.
2. İstemci Taraflı Yük Dengeleme (Headless Service)
Kubernetes ortamında araya proxy koymak istemeyen ekipler Headless Service (clusterIP: None) kullanır. gRPC istemci kütüphanesi Kubernetes DNS kayıtlarını çözerek tüm podların IP adreslerini alır. İstemci her pod ile ayrı bir TCP bağlantısı kurar ve RPC çağrılarını yerel bir Round-Robin algoritmasıyla bu bağlantılar arasında dağıtır.
Test Ortamı ve Doğrulama Yöntemi
Testler Kubernetes 1.29 kümesinde 3 adet arka uç gRPC servisi ve saniyede 15.000 RPC çağrısı üreten bir yük testi istemcisiyle yapılmıştır.
Ölçüm sonuçları:
- Standart Kubernetes ClusterIP servisi (L4 iptables) kullanıldığında trafiğin yüzde 99,8 kadarı ilk poda gitmiş, diğer 2 pod sıfır trafik almıştır.
- Mimariye Envoy L7 proxy dahil edildiğinde veya istemci tarafında DNS tabanlı round-robin etkinleştirildiğinde yük dağılımı yüzde 33,3 sapmayla tüm podlara eşit yayılmıştır.
Karar Matrisi
| Yöntem | Gecikme Ek Yükü | Kaynak Tüketimi | Mimari Karmaşıklık |
|---|---|---|---|
| L4 Load Balancer | Minimum | Düşük | Düşük (Ama gRPC ile ÇALIŞMAZ) |
| Envoy L7 Proxy | +1-2 ms | Orta (Sidecar bellek maliyeti) | Orta (Kanal yönetimi şeffaf) |
| İstemci Taraflı Dengeleme | Sıfır | Düşük | Yüksek (İstemci kodu yönetir) |
gRPC ve HTTP/2 mimarisi taşıma verimliliğinde büyük bir sıçrama sağlar ancak geleneksel ağ araçlarının bu protokolü anlayamayacağı kabul edilerek L7 seviyesinde yönlendirme stratejileri kurulmalıdır.
Yazıyı Değerlendir
0 tepkiFikirlerinizi tek tıkla paylaşarak geri bildirim bırakın.
Ali Purtaş
@alipurtas • Hey, This is Ali!
Kendi halinde yazılım geliştiren bir öğrenci. Sistemler kuruyor, deniyor, bozuyor ve öğrendiği gerçek çözümleri burada belgeliyor.
Konu Kümesi & Önerilen Yazılar
Redis Pub/Sub ile L1/L2 Çok Katmanlı Önbellek Geçersizleştirme Ağı
Süreç içi yerel RAM (L1) ile merkezi Redis (L2) katmanlarını senkron tutan Pub/Sub tabanlı geçersizleştirme ve istemci önbellekleme mimarisi.
Önbellek İzdihamı ve XFetch Probabilistik Erken Yenileme Algoritması
Önbellek izdihamı (cache stampede) krizlerini önleyen XFetch olasılıksal erken yenileme algoritması ve tekil uçuş (singleflight) desen analizi.
Write-Behind Önbellekleme ve Veritabanı Toplu Yazma Yükü Mimarisi
Write-behind önbellekleme ile yazma gecikmesini düşürme, toplu veritabanı yazımları, veri kaybı riskleri ve çöküş kurtarma mimari rehberi.
Tartışma & Yorumlar
0Tartışmaya katılmak ve soru sormak için oturum açmalısınız.
Giriş Yap