IAli
Tüm Yazılar
Cloudflare Nasıl Çalışır? Ücretsiz Bant Genişliği ve Ağ Mimarisi

Cloudflare Nasıl Çalışır? Ücretsiz Bant Genişliği ve Ağ Mimarisi

BGP Anycast rotalaması, IXP peering ekonomisi, Unimog L4 yük dengeleme ve Cloudflare altyapısının ücretsiz bant genişliği sunmasını sağlayan telemetri modeli.

AWS, Google Cloud veya Azure üzerinde barındırdığınız bir sunucudan dışarıya veri aktardığınızda, sağlayıcınız sizden gigabayt başına 8 ile 12 cent arasında para keser. Ayda 50 terabayt çıkış trafiği üreten orta ölçekli bir video veya görsel platformunun faturasına yalnızca egress kalemi için birkaç bin dolar eklenir.

Cloudflare ise kurulduğu günden beri en alt kademedeki ücretsiz kullanıcılarına dahi sınırsız bant genişliği sunuyor. Üstelik bu trafiği dünyanın 330'dan fazla şehrine dağıtılmış veri merkezlerinde karşılayarak yapıyor.

Bir şirketin yılda yüzlerce petabayt veriyi sıfır liraya taşıması ilk bakışta fizik kurallarına veya finansal mantığa aykırı görünebilir. Ancak bu durum ne bir hayırseverlik ne de sürdürülemez bir girişim sermayesi sübvansiyonudur. Cloudflare'in ücretsiz bant genişliği sunabilmesi, internetin omurga ekonomisindeki asimetrilerden, BGP protokolünün matematiksel yapısından ve devasa bir küresel sensör ağı kurma stratejisinden beslenir.


1. BGP Anycast ve AS13335 Ağ Mimarisi

İnternette geleneksel web trafiği Unicast mantığıyla akar. Unicast mimarisinde bir IP adresi dünyada tek bir fiziksel sunucuya veya tek bir ağ arayüzüne karşılık gelir.

TEXT
Geleneksel Unicast:
[Kullanıcı: Berlin] -------- (7.000 km transatlantik fiber) --------> [Sunucu: Ashburn IP: 198.51.100.1]
[Kullanıcı: Tokyo]  -------- (11.000 km fiber hat) ----------------> [Sunucu: Ashburn IP: 198.51.100.1]

Bir sunucuyu New York veri merkezine koyup ona bir IP verdiğinizde, Tokyo'daki kullanıcı da Frankfurt'taki kullanıcı da o tek noktaya gitmek zorundadır. Coğrafi gecikmeyi (RTT) düşürmek isteyen şirketler eskiden GeoDNS kullanırdı. İstemci DNS sorgusu attığında kullanıcının konumuna göre farklı Unicast IP adresleri dönülürdü. Ancak GeoDNS hem yerel ISS resolver önbellekleri (DNS caching) nedeniyle hantaldır hem de DNS TTL süreleri yüzünden anlık rota değişikliklerine yanıt veremez.

Cloudflare bu sorunu temelden çözmek için tüm ağını BGP Anycast üzerine kurdu.

TEXT
Cloudflare Anycast (AS13335):
[Kullanıcı: Berlin] --------> (En yakın PoP: Frankfurt) ------> [IP: 104.16.12.34]
[Kullanıcı: Tokyo]  --------> (En yakın PoP: Tokyo) ----------> [IP: 104.16.12.34]
[Kullanıcı: Ankara] --------> (En yakın PoP: İstanbul) -------> [IP: 104.16.12.34]

Anycast Nasıl Çalışır?

BGP (Border Gateway Protocol), interneti oluşturan otonom sistemlerin (AS - Autonomous System) birbirine hangi IP bloklarına sahip olduğunu duyurduğu protokoldür. Cloudflare, tescilli otonom sistem numarası olan AS13335 üzerinden kendisine ait IP bloklarını (örneğin IPv4 için /24, IPv6 için /48 blokları) dünyadaki 330'dan fazla PoP (Point of Presence) noktasının tamamından aynı anda internete anons eder.

Berlin'deki bir kullanıcı Cloudflare arkasındaki bir siteye gitmek istediğinde, yerel internet servis sağlayıcısının (ISS) sınır yönlendiricisi BGP yönlendirme tablosuna bakar. Masadaki seçeneklerin tamamı aynı IP adresini duyurmaktadır. Yönlendirici, BGP yol kurallarına (AS-Path uzunluğu, Local Preference ve IGP maliyeti) bakarak en az ara ağdan geçen, yani topolojik olarak en yakın Cloudflare veri merkezini seçer. Paket transatlantik kabloları aşmak yerine doğrudan Frankfurt veya Berlin PoP noktasına iner.

Burada kritik detay şudur: BGP coğrafi mesafeyi bilmez. BGP yalnızca ağ topolojisini ve otonom sistem atlama (AS hop) sayılarını bilir. Bu nedenle bazen coğrafi olarak yakın görünen bir rota, aradaki ticari anlaşmalar yüzünden daha uzak bir PoP noktasına yönelebilir.


2. PoP İçinde Yük Dengeleme: ECMP ve Unimog L4 Mimarisi

Bir Anycast IP bloğuna gelen paketler veri merkezinin sınır yönlendiricisine (border router) ulaştığında ikinci bir mimari problem ortaya çıkar: Veri merkezinin içinde yüzlerce bağımsız Linux sunucusu vardır ve gelen milyonlarca TCP paketinin bu sunuculara dağıtılması gerekir.

Yönlendiriciler katmanında ilk işi ECMP (Equal-Cost Multi-Path) yapar. ECMP, gelen paketlerin kaynak IP, kaynak port, hedef IP ve hedef port (4-tuple veya 5-tuple) bilgilerini özetleyerek trafiği eşit maliyetli hatlara dağıtır. Ancak ECMP durum bilgisizdir (stateless). Ağda bir BGP dalgalanması (BGP flapping) olduğunda veya sunucu kümesine yeni bir makine eklenip çıkarıldığında özetleme tablosu değişir. Bu durum devam eden bir dosya indirme veya WebSocket bağlantısının aniden başka bir sunucuya düşmesine ve TCP bağlantısının RST paketiyle kopmasına yol açar.

Cloudflare bu problemi çözmek için çekirdek seviyesinde çalışan Unimog adını verdiği L4 yük dengeleyicisini geliştirdi.

TEXT
               Gelen Anycast Trafiği
                        │
                        ▼
              [Sınır Yönlendirici]
                        │  (ECMP Hash)
           ┌────────────┴────────────┐
           ▼                         ▼
   [Sunucu A - XDP/Unimog]   [Sunucu B - XDP/Unimog]
   Paket Sunucu B'ye aitse    Paket kendine aitse
   arka planda Geneve tüneli  yerel sokete teslim eder
   ile B'ye aktarır           (Zero-copy bypass)

Unimog ve Linux XDP/eBPF Mekanizması

Unimog, Google'ın Maglev mimarisinden esinlenen ancak tamamen Linux çekirdeğinin XDP (eXpress Data Path) katmanında koşan tutarlı bir özetleme (consistent hashing) sistemidir.

  1. Ağ kartına (NIC) gelen paket, işletim sisteminin TCP/IP yığınına girmeden ve sk_buff bellek tahsisi yapılmadan doğrudan ağ sürücüsü seviyesinde XDP programı tarafından yakalanır.
  2. Unimog, tutarlı özetleme algoritmasıyla paketin hangi fiziksel sunucuya gitmesi gerektiğini hesaplar.
  3. Paket halihazırda doğru sunucuya gelmişse paket doğrudan yerel sokete aktarılır.
  4. Paket BGP oynaması yüzünden yanlış sunucuya gelmişse, Unimog paketi Geneve protokolüyle kapsülleyip arka plandaki yerel ağ üzerinden doğru hedef sunucuya iletir.

Bu mimari sayesinde Cloudflare veri merkezlerinde özel, pahalı ve tek arıza noktası oluşturan donanımsal yük dengeleyiciler bulunmaz. Her sunucu hem bir L4 yük dengeleyici hem bir L7 ters vekil (reverse proxy) hem de bir önbellek düğümü olarak çalışır.


3. Bant Genişliği Neden Ücretsiz? Transit vs Peering Ekonomisi

Cloudflare'in teknik mimarisi bu denli optimize olsa bile, bu paketlerin internet servis sağlayıcılarının kablolarından geçmesi gerekir. AWS neden bant genişliği için para alırken Cloudflare ücretsiz sunabilir? Cevap internetin ticari omurga yapısında gizlidir.

İnternette veri iletimi temelde iki modele dayanır: IP Transit ve Peering.

TEXT
Model 1: IP Transit (Ücretli)
[Müşteri Sunucusu] ----> [Tier-1 Taşıyıcı: Lumen/Telia] ($$$/Gbps) ----> [Son Kullanıcı ISS]

Model 2: Settlement-Free Peering (Ücretsiz Takas)
[Cloudflare AS13335] <====== Doğrudan IXP Portu (0 Dolar) ======> [Son Kullanıcı ISS]

IP Transit ve 95. Persentil Modeli

Bir veri merkezinden veya bulut sağlayıcısından sunucu kiraladığınızda, sağlayıcınız küresel internete erişebilmek için Tier-1 taşıyıcılarla (Lumen, Arelion, NTT, Cogent) IP Transit anlaşması yapar. Transit modelinde geçen her bit faturalandırılır.

Bu faturalandırma çoğunlukla 95. persentil (95th percentile) kuralına göre hesaplanır:

  • Sağlayıcı ay boyunca her 5 dakikada bir bant genişliği kullanımını örnekler.
  • Ay sonunda bu ölçümler en yüksekten en düşüğe sıralanır.
  • En tepedeki yüzde beşlik en yoğun trafik dilimi atılır.
  • Kalan listenin en tepesindeki değer, o ayın fatura matrahı olur.

AWS veya Azure gibi hiper ölçekli bulut sağlayıcıları için veri merkezinden çıkan her paket potansiyel bir transit maliyeti veya kendi küresel omurgalarının amortisman bedelidir. Bu nedenle bulut devleri egress trafiğini yüksek kâr marjlı bir gelir kapısına dönüştürmüştür.

IXP ve Settlement-Free Peering

Cloudflare ise internet trafiğinin büyük kısmını IP Transit üzerinden taşımaz. Bunun yerine IXP (Internet Exchange Point) adı verilen internet değişim noktalarında yerel ISS'ler ile doğrudan bağlantı kurar. Frankfurt'taki DE-CIX, Amsterdam'daki AMS-IX veya Londra'daki LINX gibi devasa veri takas merkezlerinde Cloudflare, binlerce servis sağlayıcıyla aynı anahtarlara (switch) bağlıdır.

Burada devreye Settlement-Free Peering (Ücretsiz Eşleme) girer. İki ağ birbirine şöyle der: "Benim kullanıcılarım senin içeriğini istiyor, senin içeriğin de benim kullanıcılarıma gitmek istiyor. Araya üçüncü parti bir transit şirketi sokup ona para ödemeyelim. Birbirimize doğrudan kablo çekelim ve aramızdaki trafiği sıfır ücretle takas edelim."

Cloudflare bugün dünyada 13.000'den fazla bağımsız ağ ile doğrudan eşleşmiş durumdadır.

Asimetrik Trafik Dengesi: ISS'ler Neden Kabul Ediyor?

Bir ev kullanıcısı gün boyu web'de gezinirken ağırlıklı olarak veri indirir (downstream). Kullanıcının evinden internete giden veri (upstream) ise yalnızca birkaç kilobaytlık HTTP GET istekleridir. Bu durum son kullanıcıya hizmet veren Türk Telekom, Comcast, Vodafone veya Deutsche Telekom gibi perakende servis sağlayıcıları için ciddi bir dengesizlik yaratır.

Eğer bir ISS, Cloudflare ile eşleşmeyi reddederse ne olur? O ISS'in milyonlarca abonesi Cloudflare arkasındaki yüz binlerce popüler web sitesine, e-ticaret platformuna ve API'ye erişmek isteyecektir. ISS bu devasa trafiği Cloudflare'den doğrudan alamadığı için, kendi parasıyla satın aldığı pahalı Tier-1 transit hatları üzerinden çekmek zorunda kalır. Yani Cloudflare ile doğrudan ücretsiz eşleşme yapmak, aslında yerel servis sağlayıcının kendi transit faturasını dramatik biçimde düşürür.

İçerik üreten taraf ile içeriği tüketen taraf arasındaki bu asimetri, Cloudflare'e inanılmaz bir pazarlık gücü verir. Cloudflare trafiğin kaynağını elinde tuttuğu için servis sağlayıcılar kapısına gelir.

Önbellek (Cache Hit Ratio) Matematiği

İşin sunucu maliyeti tarafında ise önbellek oranı belirleyicidir. Cloudflare arkasındaki tipik bir web sitesinin görsel, CSS, JavaScript ve statik medya dosyaları kenar düğümlerin NVMe disklerinde ve RAM belleklerinde saklanır.

TEXT
Toplam İstek: 10.000.000
Önbellek İsabeti (%85): 8.500.000 istek -> Doğrudan Edge RAM/NVMe -> 0 Origin Maliyeti
Önbellek Iska (%15):    1.500.000 istek -> Origin Sunucuya Yönlendirilir

Önbellekten dönen bir istek için Cloudflare ne orijinal web sunucusuna gider ne de yeni bir işlemci gücü harcar. Halihazırda IXP üzerinden sabit port ücreti ödenmiş fiber hatlardan veri basılır. Bu portun 10 Gbps kapasitesi varsa, o porttan ayda 1 terabayt geçmesi ile 100 terabayt geçmesi Cloudflare'e ek bir değişken fatura çıkarmaz. Ek bant genişliğinin marjinal maliyeti pratikte sıfıra yakındır.


4. Veri Ekonomisi: Ücretsiz Siteler Aslında Bir Sensör Ağıdır

Bant genişliğinin marjinal maliyetinin sıfıra yakın olması, Cloudflare'in neden bunu ücretsiz dağıttığını tek başına açıklamaz. Milyonlarca küçük blog, hobi projesi ve küçük işletme Cloudflare'e doğrudan tek kuruş ödemezken şirkete ne kazandırır?

Cevap veri ekonomisi ve küresel telemetridir.

TEXT
                  [Saldırgan / Botnet]
                           │
       ┌───────────────────┴───────────────────┐
       ▼                                       ▼
[Ücretsiz Küçük Blog]                [Ücretli Banka / E-Ticaret]
(Kanarya Sensör Düğümü)              (Korunan Kritik Müşteri)
       │                                       ▲
       ▼                                       │
Saldırı kalıbı, JA4 parmak izi        Kural anında aktif olur,
ve anomali anında tespit edilir       saldırı daha varmadan engellenir
       │                                       │
       └─────────> [Cloudflare Radar] ─────────┘

Dağıtık Kanarya Ağı (Canary Fleet)

Siber dünyada yeni bir sıfır gün (zero-day) web zafiyeti çıktığında veya yeni bir IoT botneti uyandığında, saldırganlar operasyona doğrudan JPMorgan Chase veya Shopify gibi dev hedeflerle başlamaz. Botnet yöneticileri açık internette rastgele IP bloklarını ve savunmasız WordPress sitelerini tarar.

Cloudflare üzerindeki milyonlarca ücretsiz site, şirketin küresel erken uyarı radarıdır.

  • Yeni bir HTTP/2 istismarı türediğinde,
  • Yeni bir PHP veya Log4j varyantı taranmaya başladığında,
  • Yeni bir User-Agent veya TLS el sıkışma deseni ortaya çıktığında,

Bu saldırı dalgası ilk olarak o küçük, ücretsiz sitelerin kapısına çarpar. Cloudflare'in telemetri motoru bu istekleri anında analiz eder. Gelen paketin TCP pencere boyutu, TLS Client Hello mesajındaki şifreleme paketlerinin dizilimi (JA3 ve JA4 parmak izleri), HTTP başlıklarının sırası ve istek frekansı kaydedilir.

Saldırgan daha kurumsal hedeflere yönelmeden önce Cloudflare söz konusu tehdit profilini otonom olarak öğrenmiş olur. Ücretsiz kullanıcılar farkında olmadan kurumsal müşteriler için bir canlı kalkan ve dağıtık sensör filosu görevi görür.

1.1.1.1 Genel DNS ve Tehdit İstihbaratı

Cloudflare'in APNIC ile ortaklaşa sunduğu 1.1.1.1 genel DNS servisi de bu veri çarkının kritik bir parçasıdır. Her gün yüz milyarlarca DNS sorgusu Cloudflare çözücülerinden geçer.

Bir saldırgan oltalama (phishing) amacıyla yeni bir alan adı tescil ettiğinde veya bir fidye yazılımı (ransomware) komuta kontrol sunucusuyla iletişime geçmek için DNS sorgusu attığında, Cloudflare bu anormalliği küresel düzeyde ilk fark eden aktörlerden biri olur. Hangi alan adlarının aniden anormal sorgu hacmine ulaştığı, hangi IP adreslerinin kötü niyetli altyapılarla eşleştiği anlık olarak haritalandırılır.

Bu veriler Cloudflare Radar platformunu besler ve kurumsal müşterilere satılan tehdit istihbaratı ürünlerinin temel hammaddesini oluşturur.


5. Şirketin Asıl Gelir Motoru: Kurumsal Katman

Cloudflare ücretsiz kullanıcılara sunduğu hizmetin faturasını, bu devasa altyapı sayesinde mümkün kıldığı kurumsal ürünlerle fazlasıyla çıkarır.

Argo Smart Routing

İnternetin omurgasındaki BGP yönlendirmesi bencil bir protokoldür. Birçok operatör "hot-potato routing" uygular, yani paketi kendi ağından mümkün olan en hızlı şekilde çıkarıp başka bir operatörün kucağına atmaya çalışır. Bu durum paketlerin o anki en hızlı fiber hattan değil, en ucuz hattan gitmesine ve paket kayıplarına yol açar.

Argo Smart Routing, Cloudflare'in kendi küresel ağı üzerinden akan milyarlarca isteğin gecikme sürelerini gerçek zamanlı olarak ölçer. Bir paket origin sunucuya giderken açık internetin rastgele BGP yolları yerine Cloudflare PoP noktaları arasındaki özel optimize rotalardan aktarılır. Kurumsal şirketler bu gecikme düşüşü ve bağlantı kararlılığı için gigabayt başına para öder.

Enterprise WAF ve Davranışsal Bot Yönetimi

Basit kural tabanlı IP engelleme ücretsiz planda verilirken, gelişmiş makine öğrenimi modelleriyle çalışan davranışsal bot tespiti kurumsal plandadır. Fare hareketleri, tarayıcı API tutarlılıkları ve istek ritimleri incelenerek CAPTCHA göstermeden botları eleyen bu altyapı, finans ve biletleme devlerinin yüz binlerce dolar ödediği ana hizmettir.

Magic Transit ve Zero Trust

Magic Transit, şirketlerin kendi veri merkezlerindeki IP bloklarını BGP üzerinden Cloudflare'e devretmesini sağlar. Gelen tüm veri önce Cloudflare PoP noktalarında temizlenir, ardından GRE tünelleriyle şirketin fiziksel veri merkezine iletilir. Zero Trust tarafında ise Cloudflare Access ve Gateway, klasik kurumsal VPN sunucularının yerini alarak tüm şirket çalışanlarının trafiğini kenar ağ üzerinden doğrular.

Workers ve R2 Depolama

Geleneksel bulut mimarilerinde her işlem için bir konteyner veya sanal makine ayağa kaldırılırken, Cloudflare Workers doğrudan V8 JavaScript motorunun hafif izolatları (Isolates) üzerinde mikrosaniyeler içinde çalışır. Egress ücreti olmayan R2 nesne depolama ise doğrudan AWS S3'ün fahiş çıkış ücreti modelini hedef alır. Cloudflare kendi peering avantajını kullanarak veriyi dışarıya ücretsiz çıkarır ve depolama hacminden para kazanır.


6. Mimari Çıkarımlar ve Altyapı Notları

Cloudflare mimarisi, internetin temel protokollerinin sınırlarını zorlayan olağanüstü bir mühendislik başarısıdır. Ancak bir sistem yöneticisi veya yazılım mimarı olarak bu altyapıyı kullanırken unutmamanız gereken somut gerçekler vardır.

  1. Origin IP Adresinizi Asla Sızdırmayın: Cloudflare arkasına aldığınız bir sunucunun gerçek IP adresi bir e-posta başlığından (SPF/MX), giden bir webhook isteğinden veya eski bir DNS kaydından açık internete sızarsa, tüm bu Anycast ve DDoS koruması tek bir curl isteğiyle anlamsız hale gelir. Origin sunucunuzun güvenlik duvarında (iptables/nftables) yalnızca Cloudflare IP bloklarına izin verin, doğrudan internete kapatın. Bu yapılandırmayı Caddy ve Linux üzerinde bizzat nasıl kurguladığımızı görmek için 1 GB VPS'te Next.js, SQLite ve Caddy Blog Mimarisi rehberimizi, IP sızıntılarının adli bilişim boyutunu anlamak için ise Tor Mimarisi: Katmanlı Şifreleme ve De-Anonimleştirme yazımızı inceleyebilirsiniz.
  2. Anycast Asimetrik Rotalama Gerçeği: Anycast mimarisinde istemciden Cloudflare'e giden paket Frankfurt'a inerken, dönüş trafiği farklı bir omurgadan akabilir. TCP el sıkışmasında sorun yaşamamak için L4 katmanında Unimog gibi durumsuz yönlendiricilerin bulunması bu yüzdendir. Kendi Anycast ağınızı kurmayı düşünüyorsanız rota kararlılığı sağlamadan stateful bağlantıları yönetemezsiniz.
  3. Vendor Lock-in ve Hata Payı: Cloudflare bir DNS sağlayıcısı veya CDN olmanın ötesinde, siteniz ile ziyaretçileriniz arasındaki tek yetkili katmandır. Cloudflare ağında yaşanacak küresel bir BGP veya TLS yapılandırma hatası, sitenizin kendi sunucuları kusursuz çalışsa dahi erişilemez olmasına yol açar. Kritik sistemlerde Origin ve DNS katmanında her zaman acil durum bypass planınız bulunmalıdır. Ayrıca güvenlik loglarını yerel olarak sorgulamak için SQLite FTS5 ile Sıfır Bağımlılıklı Tam Metin Arama Mimarisi yönteminden faydalanabilirsiniz.

Yazıyı Değerlendir

0 tepki

Fikirlerinizi tek tıkla paylaşarak geri bildirim bırakın.

Bu teknik notu çevrenizle paylaşın

Ali Purtaş

@alipurtas • Hey, This is Ali!

İletişime Geç

Kendi halinde yazılım geliştiren bir öğrenci. Sistemler kuruyor, deniyor, bozuyor ve öğrendiği gerçek çözümleri burada belgeliyor.

Konu Kümesi & Önerilen Yazılar

İç Bağlantılı Mimari
Yorumlar yükleniyor...