
Linux sendfile ve splice Çağrılarıyla Çekirdek İçi Veri Aktarımı
Geleneksel G/Ç kopyalama maliyetleri, sendfile ve splice sistem çağrıları, boru tamponları üzerinden kullanıcı alanına inmeden sokete veri aktarma mimarisi.
Web sunucularının (NGINX, Caddy, Apache), CDN uç noktalarının ve video akış servislerinin (Netflix, YouTube) en temel görevi diskte duran statik medya dosyalarını ağ soketine pompalamaktır.
Klasik bir dosya gönderme işleminde geliştirici diski açar, read() çağrısıyla veriyi bir bellek tamponuna okur ve ardından write() veya send() çağrısıyla sokete yazar. Ancak 100 Gbps hat hızlarında bu döngü CPU'yu ve bellek bant genişliğini tüketir. Çünkü tek bir dosya aktarımı için 4 ayrı bağlam değişimi (context switch) ve verinin 4 ayrı kopyalaması gerçekleşir.
Linux çekirdeği bu sorunu kullanıcı alanını tamamen atlayan sendfile ve splice sistem çağrılarıyla çözer. Veri doğrudan çekirdek seviyesinde, hatta gelişmiş ağ kartlarında DMA Scatter-Gather ile fiziksel DRAM kopyalaması bile yapılmadan aktarılır. Bu yazıda sıfır kopyalama (zero-copy) veri aktarım mimarisini, boru tamponlarını (pipe buffers) ve Sistem Çağrısı Maliyeti ve vDSO ile olan farklarını inceliyoruz.
Geleneksel read/write vs sendfile Sıfır Kopyalama Karşılaştırması:
GELENEKSEL YÖNTEM (4 Bağlam Değişimi, 4 Kopyalama):
Disk ──(DMA 1)──► Page Cache ──(CPU Kopya 2)──► User Buffer
│
Soket ◄──(DMA 4)── Socket Buffer ◄──(CPU Kopya 3)───┘
SENDFILE SIFIR KOPYALAMA (2 Bağlam Değişimi, Sıfır CPU Kopyalama):
Disk ──(DMA 1)──► Page Cache (Çekirdek Belleği)
│
│ (Yalnızca Blok Tanımlayıcıları Eşlenir)
▼
Soket ◄──(DMA 2 Scatter-Gather)── Ağ Kartı (NIC)
1. Geleneksel G/Ç'nin Dörtlü Kopyalama Maliyeti
Standart bir read() / write() akışında yaşanan adımlar şunlardır:
- Uygulama
read(file_fd, buf, len)çağırır. (1. Bağlam Değişimi: Kullanıcı -> Çekirdek). - Disk kontrolcüsü Doğrudan Bellek Erişimi (DMA) ile veriyi diskten çekirdeğin sayfa önbelleğine (page cache) yazar. (1. Kopyalama).
- Çekirdek veriyi sayfa önbelleğinden kullanıcının
bufdizisine CPU döngüleriyle kopyalar. (2. Kopyalama). read()tamamlanır ve kullanıcı alanına dönülür. (2. Bağlam Değişimi: Çekirdek -> Kullanıcı).- Uygulama
write(socket_fd, buf, len)çağırır. (3. Bağlam Değişimi: Kullanıcı -> Çekirdek). - Çekirdek veriyi kullanıcı dizisinden çekirdeğin soket tamponuna (socket buffer) kopyalar. (3. Kopyalama).
- Ağ kartı DMA ile soket tamponundaki veriyi ağ kablosuna basar. (4. Kopyalama).
write()tamamlanır ve kullanıcıya dönülür. (4. Bağlam Değişimi: Çekirdek -> Kullanıcı).
Sonuç: 1 GB dosya göndermek için CPU 2 GB veriyi bellekte sağa sola taşımak zorunda kalır. L1/L2 önbellekleri kirlenir, bellek veriyolu tıkanır.
2. sendfile: Çekirdek İçi Doğrudan Aktarım
Linux 2.2 ile tanıtılan sendfile sistem çağrısı kullanıcı alanı tamponunu denklemden çıkarır:
#include <sys/sendfile.h>
ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);
İşlem iki bağlam değişimine iner:
- Uygulama tek bir
sendfile(sock_fd, file_fd, &offset, size)çağrısı yapar. - Çekirdek sayfa önbelleğindeki veriyi doğrudan soket tamponuna kopyalar.
- Ağ kartı DMA ile veriyi çeker.
SG-DMA (Scatter-Gather DMA) ile Gerçek Sıfır Kopyalama
Eğer sunucudaki ağ kartı Scatter-Gather DMA özelliğini destekliyorsa (ethtool -k eth0 | grep scatter-gather), çekirdek veriyi soket tamponuna dahi kopyalamaz!
- Soket tamponuna yalnızca sayfa önbelleğindeki bellek adresini ve uzunluğunu gösteren küçük tanımlayıcılar (descriptors) yazılır.
- Ağ kartı paketi oluştururken doğrudan sayfa önbelleğindeki fiziksel DRAM sayfalarından veriyi çeker.
- CPU tek bir bayt dahi kopyalamaz. Kopyalama maliyeti kelimenin tam anlamıyla sıfırdır.
3. splice: Borular Üzerinden Genel Amaçlı Sıfır Kopyalama
sendfile harika bir mekanizmadır ancak önemli bir kısıtı vardır: in_fd mutlaka mmap destekleyen bir dosya olmak zorundadır. İki soket arasında veya keyfi dosya tanımlayıcıları arasında doğrudan çalışamaz.
Linux 2.6.17 ile Linus Torvalds tarafından geliştirilen splice sistem çağrısı bu esnekliği sağlar:
#include <fcntl.h>
ssize_t splice(int fd_in, loff_t *off_in, int fd_out, loff_t *off_out,
size_t len, unsigned int flags);
splice'ın sihri Linux boru tamponu (struct pipe_inode_info) mimarisine dayanır. Boru tamponları veri baytlarını tutmaz, sayfa işaretçilerini (struct page *) tutar.
Bir soketten gelen veriyi diğer sokete aktarmak için kullanıcı alanına hiç inmeden şu akış kurulur:
int p[2];
pipe(p); /* Boru ac */
/* 1. Gelen soketten boruya aktar (Sifir Kopyalama) */
splice(sock_in, NULL, p[1], NULL, len, SPLICE_F_MOVE | SPLICE_F_MORE);
/* 2. Borudan hedef sokete aktar (Sifir Kopyalama) */
splice(p[0], NULL, sock_out, NULL, len, SPLICE_F_MOVE | SPLICE_F_MORE);
Proxy sunucuları, VPN tünelleri ve veri yönlendiricileri bu yöntemle CPU tüketmeden terabaytlarca trafiği yönlendirebilir.
4. NGINX Yapılandırması ve Sendfile Optimizasyonu
NGINX web sunucusunda sendfile direktifinin arkasındaki güç tam olarak bu mekanizmadır.
/etc/nginx/nginx.conf içinde optimum statik dosya dağıtımı için şu üçlü kullanılır:
http {
sendfile on;
tcp_nopush on;
tcp_nodelay on;
}
Mekanizmanın çalışma mantığı:
sendfile on: Çekirdek içi sıfır kopyalama sistem çağrısını aktif eder.tcp_nopush on(TCP_CORK): Paketleri hemen hatta sürmek yerine HTTP yanıt başlıkları ilesendfile'dan gelen ilk dosya bloklarını tek bir tam dolu TCP paketinde (MSS boyutu) birleştirir. Paket başlığı israfını önler.tcp_nodelay on: Yanıtın son küçük paketi geldiğinde Nagle algoritmasını devre dışı bırakarak paketin gecikmeden anında yola çıkmasını sağlar.
Bu üç parametre, statik dosya dağıtımında CPU yükünü yüzde 80 oranında düşürür.
5. Sınır Koşulları: TLS ve Dinamik Müdahale Engeli
Sıfır kopyalama kullanırken şu mimari kısıtlara dikkat edilmelidir:
- HTTPS / TLS Trafiği: Veri kullanıcı alanına gelmeden çekirdekte aktarılırsa kullanıcı alanındaki OpenSSL kütüphanesi veriyi şifreleyemez. Geleneksel HTTPS akışlarında
sendfiledevre dışı kalır. Çözüm: Linux çekirdeğinin dahili kTLS (Kernel TLS) modülünü aktif etmektir. kTLS açıkkensendfileşifreli soketlerle de sıfır kopyalama olarak çalışabilir. - Değişen Dosyalar: Dosya diskte değiştirilirken eşzamanlı olarak
sendfileçağrılırsa istemciye kısmi veya bozuk veri gidebilir.
Bu mimari ilkeler uygulandığında sunucu donanımının ağ çıkışı, işlemci darboğazı yaşamadan hat hızının sınırlarına ulaşır.
Yazıyı Değerlendir
0 tepkiFikirlerinizi tek tıkla paylaşarak geri bildirim bırakın.
Ali Purtaş
@alipurtas • Hey, This is Ali!
Kendi halinde yazılım geliştiren bir öğrenci. Sistemler kuruyor, deniyor, bozuyor ve öğrendiği gerçek çözümleri burada belgeliyor.
Konu Kümesi & Önerilen Yazılar
eBPF ve XDP Mimarisi: Çekirdek Seviyesinde Hızlı Paket İzleme
Linux ağ yığınını atlayarak ağ kartı sürücüsünde çalışan XDP, eBPF haritaları, paket filtreleme mekanizmaları ve yüksek verimli DDoS savunması.
copy_file_range ile Blok Katmanında Reflink Tabanlı Dosya Klonlama
copy_file_range sistem çağrısı, Btrfs ve XFS reflink mekanizması, blok seviyesinde anlık dosya klonlama ve gigabaytlarca veriyi kopyalamadan çoğaltma rehberi.
Bellek Bariyerleri: x86 TSO ile ARM Zayıf Bellek Düzeni Farkları
x86 TSO modeli ile ARM gevşek bellek mimarisi karşılaştırması, hafıza bariyeri komutları ve lock-free kodların Graviton işlemcilerde çökme nedenleri analizi.
Tartışma & Yorumlar
0Tartışmaya katılmak ve soru sormak için oturum açmalısınız.
Giriş Yap