IAli
Tüm Yazılar
Linux sendfile ve splice Çağrılarıyla Çekirdek İçi Veri Aktarımı

Linux sendfile ve splice Çağrılarıyla Çekirdek İçi Veri Aktarımı

Geleneksel G/Ç kopyalama maliyetleri, sendfile ve splice sistem çağrıları, boru tamponları üzerinden kullanıcı alanına inmeden sokete veri aktarma mimarisi.

Web sunucularının (NGINX, Caddy, Apache), CDN uç noktalarının ve video akış servislerinin (Netflix, YouTube) en temel görevi diskte duran statik medya dosyalarını ağ soketine pompalamaktır.

Klasik bir dosya gönderme işleminde geliştirici diski açar, read() çağrısıyla veriyi bir bellek tamponuna okur ve ardından write() veya send() çağrısıyla sokete yazar. Ancak 100 Gbps hat hızlarında bu döngü CPU'yu ve bellek bant genişliğini tüketir. Çünkü tek bir dosya aktarımı için 4 ayrı bağlam değişimi (context switch) ve verinin 4 ayrı kopyalaması gerçekleşir.

Linux çekirdeği bu sorunu kullanıcı alanını tamamen atlayan sendfile ve splice sistem çağrılarıyla çözer. Veri doğrudan çekirdek seviyesinde, hatta gelişmiş ağ kartlarında DMA Scatter-Gather ile fiziksel DRAM kopyalaması bile yapılmadan aktarılır. Bu yazıda sıfır kopyalama (zero-copy) veri aktarım mimarisini, boru tamponlarını (pipe buffers) ve Sistem Çağrısı Maliyeti ve vDSO ile olan farklarını inceliyoruz.

TEXT
Geleneksel read/write vs sendfile Sıfır Kopyalama Karşılaştırması:

GELENEKSEL YÖNTEM (4 Bağlam Değişimi, 4 Kopyalama):
Disk ──(DMA 1)──► Page Cache ──(CPU Kopya 2)──► User Buffer
                                                    │
Soket ◄──(DMA 4)── Socket Buffer ◄──(CPU Kopya 3)───┘

SENDFILE SIFIR KOPYALAMA (2 Bağlam Değişimi, Sıfır CPU Kopyalama):
Disk ──(DMA 1)──► Page Cache (Çekirdek Belleği)
                       │
                       │ (Yalnızca Blok Tanımlayıcıları Eşlenir)
                       ▼
Soket ◄──(DMA 2 Scatter-Gather)── Ağ Kartı (NIC)

1. Geleneksel G/Ç'nin Dörtlü Kopyalama Maliyeti

Standart bir read() / write() akışında yaşanan adımlar şunlardır:

  1. Uygulama read(file_fd, buf, len) çağırır. (1. Bağlam Değişimi: Kullanıcı -> Çekirdek).
  2. Disk kontrolcüsü Doğrudan Bellek Erişimi (DMA) ile veriyi diskten çekirdeğin sayfa önbelleğine (page cache) yazar. (1. Kopyalama).
  3. Çekirdek veriyi sayfa önbelleğinden kullanıcının buf dizisine CPU döngüleriyle kopyalar. (2. Kopyalama).
  4. read() tamamlanır ve kullanıcı alanına dönülür. (2. Bağlam Değişimi: Çekirdek -> Kullanıcı).
  5. Uygulama write(socket_fd, buf, len) çağırır. (3. Bağlam Değişimi: Kullanıcı -> Çekirdek).
  6. Çekirdek veriyi kullanıcı dizisinden çekirdeğin soket tamponuna (socket buffer) kopyalar. (3. Kopyalama).
  7. Ağ kartı DMA ile soket tamponundaki veriyi ağ kablosuna basar. (4. Kopyalama).
  8. write() tamamlanır ve kullanıcıya dönülür. (4. Bağlam Değişimi: Çekirdek -> Kullanıcı).

Sonuç: 1 GB dosya göndermek için CPU 2 GB veriyi bellekte sağa sola taşımak zorunda kalır. L1/L2 önbellekleri kirlenir, bellek veriyolu tıkanır.

2. sendfile: Çekirdek İçi Doğrudan Aktarım

Linux 2.2 ile tanıtılan sendfile sistem çağrısı kullanıcı alanı tamponunu denklemden çıkarır:

C
#include <sys/sendfile.h>

ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);

İşlem iki bağlam değişimine iner:

  1. Uygulama tek bir sendfile(sock_fd, file_fd, &offset, size) çağrısı yapar.
  2. Çekirdek sayfa önbelleğindeki veriyi doğrudan soket tamponuna kopyalar.
  3. Ağ kartı DMA ile veriyi çeker.

SG-DMA (Scatter-Gather DMA) ile Gerçek Sıfır Kopyalama

Eğer sunucudaki ağ kartı Scatter-Gather DMA özelliğini destekliyorsa (ethtool -k eth0 | grep scatter-gather), çekirdek veriyi soket tamponuna dahi kopyalamaz!

  • Soket tamponuna yalnızca sayfa önbelleğindeki bellek adresini ve uzunluğunu gösteren küçük tanımlayıcılar (descriptors) yazılır.
  • Ağ kartı paketi oluştururken doğrudan sayfa önbelleğindeki fiziksel DRAM sayfalarından veriyi çeker.
  • CPU tek bir bayt dahi kopyalamaz. Kopyalama maliyeti kelimenin tam anlamıyla sıfırdır.

3. splice: Borular Üzerinden Genel Amaçlı Sıfır Kopyalama

sendfile harika bir mekanizmadır ancak önemli bir kısıtı vardır: in_fd mutlaka mmap destekleyen bir dosya olmak zorundadır. İki soket arasında veya keyfi dosya tanımlayıcıları arasında doğrudan çalışamaz.

Linux 2.6.17 ile Linus Torvalds tarafından geliştirilen splice sistem çağrısı bu esnekliği sağlar:

C
#include <fcntl.h>

ssize_t splice(int fd_in, loff_t *off_in, int fd_out, loff_t *off_out,
               size_t len, unsigned int flags);

splice'ın sihri Linux boru tamponu (struct pipe_inode_info) mimarisine dayanır. Boru tamponları veri baytlarını tutmaz, sayfa işaretçilerini (struct page *) tutar.

Bir soketten gelen veriyi diğer sokete aktarmak için kullanıcı alanına hiç inmeden şu akış kurulur:

C
int p[2];
pipe(p); /* Boru ac */

/* 1. Gelen soketten boruya aktar (Sifir Kopyalama) */
splice(sock_in, NULL, p[1], NULL, len, SPLICE_F_MOVE | SPLICE_F_MORE);

/* 2. Borudan hedef sokete aktar (Sifir Kopyalama) */
splice(p[0], NULL, sock_out, NULL, len, SPLICE_F_MOVE | SPLICE_F_MORE);

Proxy sunucuları, VPN tünelleri ve veri yönlendiricileri bu yöntemle CPU tüketmeden terabaytlarca trafiği yönlendirebilir.

4. NGINX Yapılandırması ve Sendfile Optimizasyonu

NGINX web sunucusunda sendfile direktifinin arkasındaki güç tam olarak bu mekanizmadır.

/etc/nginx/nginx.conf içinde optimum statik dosya dağıtımı için şu üçlü kullanılır:

NGINX
http {
    sendfile on;
    tcp_nopush on;
    tcp_nodelay on;
}

Mekanizmanın çalışma mantığı:

  • sendfile on: Çekirdek içi sıfır kopyalama sistem çağrısını aktif eder.
  • tcp_nopush on (TCP_CORK): Paketleri hemen hatta sürmek yerine HTTP yanıt başlıkları ile sendfile'dan gelen ilk dosya bloklarını tek bir tam dolu TCP paketinde (MSS boyutu) birleştirir. Paket başlığı israfını önler.
  • tcp_nodelay on: Yanıtın son küçük paketi geldiğinde Nagle algoritmasını devre dışı bırakarak paketin gecikmeden anında yola çıkmasını sağlar.

Bu üç parametre, statik dosya dağıtımında CPU yükünü yüzde 80 oranında düşürür.

5. Sınır Koşulları: TLS ve Dinamik Müdahale Engeli

Sıfır kopyalama kullanırken şu mimari kısıtlara dikkat edilmelidir:

  1. HTTPS / TLS Trafiği: Veri kullanıcı alanına gelmeden çekirdekte aktarılırsa kullanıcı alanındaki OpenSSL kütüphanesi veriyi şifreleyemez. Geleneksel HTTPS akışlarında sendfile devre dışı kalır. Çözüm: Linux çekirdeğinin dahili kTLS (Kernel TLS) modülünü aktif etmektir. kTLS açıkken sendfile şifreli soketlerle de sıfır kopyalama olarak çalışabilir.
  2. Değişen Dosyalar: Dosya diskte değiştirilirken eşzamanlı olarak sendfile çağrılırsa istemciye kısmi veya bozuk veri gidebilir.

Bu mimari ilkeler uygulandığında sunucu donanımının ağ çıkışı, işlemci darboğazı yaşamadan hat hızının sınırlarına ulaşır.

Yazıyı Değerlendir

0 tepki

Fikirlerinizi tek tıkla paylaşarak geri bildirim bırakın.

Bu teknik notu çevrenizle paylaşın

Ali Purtaş

@alipurtas • Hey, This is Ali!

İletişime Geç

Kendi halinde yazılım geliştiren bir öğrenci. Sistemler kuruyor, deniyor, bozuyor ve öğrendiği gerçek çözümleri burada belgeliyor.

Konu Kümesi & Önerilen Yazılar

İç Bağlantılı Mimari
Yorumlar yükleniyor...