IAli
Tüm Yazılar
BGP Anycast ile Global Yük Dağıtımı ve DDoS Trafik Soğurma Mimarisi

BGP Anycast ile Global Yük Dağıtımı ve DDoS Trafik Soğurma Mimarisi

Aynı IP adresinin birden fazla PoP üzerinden BGP ile anons edilmesi, DDoS trafiğinin coğrafi dağıtımı ve Anycast rota flaplerinin TCP etkisi.

BGP Anycast ile Global Yük Dağıtımı ve DDoS Trafik Soğurma Mimarisi

Geleneksel internet mimarisinde her sunucuya küresel olarak benzersiz tek bir IP adresi atanır (Unicast). Bu modelde dünyanın neresinden gelinirse gelsin belirli bir IP adresine giden paketler tek bir coğrafi veri merkezine yönlendirilir. Ancak saniyede yüzlerce gigabit hacme ulaşan dağıtık hizmet engelleme (DDoS) saldırıları karşısında tek bir veri merkezinin internet borusu dakikalar içinde tıkanır.

Cloudflare, Fastly ve Google gibi modern içerik dağıtım ağları (CDN) bu açmazı BGP Anycast mimarisiyle çözer. Anycast yapısında aynı IP adresi (/24 IPv4 veya /48 IPv6 bloğu) dünyanın dört bir yanındaki onlarca farklı veri merkezinden (Point of Presence - PoP) aynı anda internet omurgasına anons edilir. İnternet yönlendiricileri paketi gönderene topolojik olarak en yakın olan merkeze teslim eder.

Kapsam ve Doğrulama Sınırları

Bu analiz RFC 4271 (BGP-4) protokolünü, otonom sistemler (AS) arasındaki yol seçim dinamiklerini ve Maglev benzeri durumsuz L4 yük dengeleyicileri referans alır. Linux çekirdeğindeki IPVS ve Katran mimarileri doğrulanmıştır. Çok noktaya yayın (Multicast) yönlendirmesi bu çalışmanın dışındadır.

Anycast Çalışma Prensibi ve Rota Seçimi

Sınır Geçit Protokolü (BGP), internet üzerindeki bağımsız ağların (AS) rotaları birbirine duyurmasını sağlar. Anycast altyapısında örneğin 198.51.100.1 IP adresi hem Frankfurt, hem Singapur hem de New York PoP merkezlerinden anons edilir:

TEXT
[ İstemci: Berlin ]
        |
        v (AS-Path: 2 Hop)
[ Frankfurt PoP ] <--- Anons: 198.51.100.0/24 (AS 65001)

[ İstemci: Tokyo ]
        |
        v (AS-Path: 2 Hop)
[ Singapur PoP ]  <--- Anons: 198.51.100.0/24 (AS 65001)

[ İstemci: Toronto ]
        |
        v (AS-Path: 1 Hop)
[ New York PoP ]  <--- Anons: 198.51.100.0/24 (AS 65001)

Bir ara yönlendirici bir paketi iletirken BGP En İyi Yol Seçim (Best Path Selection) algoritmasını çalıştırır. En kısa AS-Path uzunluğuna sahip rota kazanır. Berlin'deki bir kullanıcının paketleri Frankfurt merkezine düşerken, Tokyo'daki bir kullanıcının paketleri Singapur merkezine gider.

DDoS Trafiğini Soğurma (Traffic Scrubbing) Dinamiği

Anycast mimarisinin DDoS savunmasındaki en büyük gücü yerel soğurma (local mitigation) kabiliyetidir.

Dünya genelinde 100.000 ele geçirilmiş IoT cihazından oluşan bir botnet, 198.51.100.1 hedefine toplam 500 Gbps hacminde bir SYN Flood saldırısı başlattığında olanları inceleyelim:

TEXT
BOTNET DAĞILIMI              HEDEF POP            POP KAPASİTESİ      DURUM
Avrupa Botları (150 Gbps)    Frankfurt PoP        400 Gbps            Sorunsuz Soğuruldu
Asya Botları (200 Gbps)      Singapur PoP         500 Gbps            Sorunsuz Soğuruldu
Amerika Botları (150 Gbps)   New York PoP         400 Gbps            Sorunsuz Soğuruldu
--------------------------------------------------------------------------------------
TOPLAM: 500 Gbps Saldırı     Bölgesel Dağıldı     Toplam: 1.3 Tbps    HİÇBİR MERKEZ ÇÖKMEDİ

Saldırı tek bir boruyu tıkamak yerine, saldırgan botların fiziksel konumlarına göre küresel ölçekte parçalanır. Her PoP kendi bölgesindeki saldırı trafiğini yerel eBPF/XDP filtreleriyle temizler. Gerçek kullanıcılar kendi bölgelerindeki PoP üzerinden kesintisiz hizmet almaya devam eder.

Anycast Rota Dalgalanması ve TCP Bağlantı Sıfırlanma Krizi

Anycast stateless (durumsuz) UDP trafiği (DNS ve NTP gibi) için idealdir. Çünkü her sorgu bağımsız bir pakettir. Ancak TCP gibi durum bilgisi (state) tutan protokollerde Anycast ciddi bir mühendislik meydan okuması yaratır: Rota Dalgalanması (BGP Route Flapping).

Eğer ara taşıyıcı ISP seviyesinde bir fiber kablo kopması veya BGP yeniden yakınsaması (convergence) yaşanırsa, kullanıcının paket yolu akışın ortasında aniden yön değiştirebilir:

TEXT
1. SYN Paketi ---------------> Frankfurt PoP (TCP Durumu Açıldı: State=ESTABLISHED)
2. ACK Paketi ---------------> Frankfurt PoP (Veri İletiliyor)
   [ AĞDA BGP ROTA DEĞİŞİMİ OLDU! ]
3. Veri Paketi --------------> Amsterdam PoP (Bu PoP bağlantıyı BİLMİYOR!)
                                      |
                                      v
                               TCP RST Gönderir! (Bağlantı Koptu!)

Amsterdam PoP merkezindeki sunucu o istemciyle daha önce el sıkışmamıştır. Çekirdek bilmediği bir sıra numarasına sahip TCP paketi aldığında güvenlik ve standart gereği anında TCP RST döner ve kullanıcının indirme işlemi yarıda kalır.

Çözüm: Tutarlı Özetleme ve Durumsuz Katman 4 Yönlendirme

Bu sorunu aşmak için PoP merkezlerinin ön yüzüne Google Maglev veya Facebook Katran benzeri durumsuz L4 yük dengeleyiciler yerleştirilir.

  1. BGP paketleri sunucuya değil, ECMP (Equal-Cost Multi-Path) anahtarlara teslim eder.
  2. L4 dengeleyiciler paketleri sunuculara dağıtırken 5'li demet (Kaynak IP, Hedef IP, Kaynak Port, Hedef Port, Protokol) üzerinden Tutarlı Özetleme (Consistent Hashing) uygular.
  3. Arka uç sunucuları arasında sınır geçişli TCP durum senkronizasyonu veya paket kapsülleme tünelleri (GRE / Geneve) çalıştırılır. Amsterdam merkezine yanlışlıkla düşen bir paket, kapsüllenerek Frankfurt merkezine aktarılır veya aynı oturum anahtarıyla yerel olarak karşılanır.

BGP Toplulukları (Communities) ile Trafik Yönetimi

Bir PoP bakım moduna alınacağı zaman veya yerel bir kapasite aşımı yaşandığında BGP anonsları kontrollü biçimde geri çekilir ya da zayıflatılır. Bunun için BGP Topluluk (Community) etiketleri ve AS-Path Prepending kullanılır:

TEXT
router bgp 65001
 neighbor 198.51.100.2 remote-as 64496
 address-family ipv4 unicast
  network 198.51.100.0/24 route-map TRAFIK-KONTROL out
 !
route-map TRAFIK-KONTROL permit 10
 set as-path prepend 65001 65001 65001
 set community 65001:666 no-export

Yukarıdaki yapılandırmada AS-Path numarası 3 kez arka arkaya eklenerek (prepending) o rotanın maliyeti yapay olarak artırılır. Komşu operatörler bu yolu daha uzun gördükleri için gelen trafiği otomatik olarak en yakın ikinci PoP merkezine kaydırır.

Mimari Değerlendirme Tablosu

Metrik Tekil Unicast Veri Merkezi BGP Anycast Mimarisi
DDoS Dayanımı Dış hat kapasitesiyle sınırlı Küresel hatların toplamı kadar geniş
İstemci Ağ Gecikmesi Coğrafi mesafeye bağlı yüksek En yakın yerel PoP ile minimum gecikme
Yapılandırma Maliyeti Basit yönlendirme ve DNS Kendi AS numarası, /24 IP ve BGP anonsu
TCP Oturum Stabilitesi Sabit ve kararlı Rota flap durumunda ek L4 mimari gerektirir

BGP Anycast altyapısı kurmak yalnızca BGP oturumu açmaktan ibaret değildir. Asıl zorluk küresel rota dalgalanmalarına rağmen TCP oturumlarını ayakta tutabilecek durumsuz L4 yönlendirme mimarisini kusursuz kurgulamaktır.

Yazıyı Değerlendir

0 tepki

Fikirlerinizi tek tıkla paylaşarak geri bildirim bırakın.

Bu teknik notu çevrenizle paylaşın

Ali Purtaş

@alipurtas • Hey, This is Ali!

İletişime Geç

Kendi halinde yazılım geliştiren bir öğrenci. Sistemler kuruyor, deniyor, bozuyor ve öğrendiği gerçek çözümleri burada belgeliyor.

Konu Kümesi & Önerilen Yazılar

İç Bağlantılı Mimari
Yorumlar yükleniyor...