IAli
Tüm Yazılar
UNIX Domain Soketleri ve SCM_RIGHTS ile Dosya Tanımlayıcı Devri

UNIX Domain Soketleri ve SCM_RIGHTS ile Dosya Tanımlayıcı Devri

UNIX domain soketleri ve SCM_RIGHTS yardımcı verisiyle dosya tanıtıcı aktarımı, NGINX ve Caddy sunucularında sıfır kesintili reload mekanizması analizi.

Modern web sunucularında (NGINX, Caddy, Envoy veya HAProxy) yeni bir yapılandırma yüklendiğinde ya da sunucu ikili dosyası (binary) güncellendiğinde sistem hiçbir istemci bağlantısını koparmadan saniyeler içinde kendini yeniler.

Peki açık olan 80 ve 443 portundaki TCP dinleme soketleri (listening sockets) ve aktif binlerce istemci bağlantısı, işletim sistemi yeniden başlatılmadan eski ana süreçten yeni çocuk sürece nasıl aktarılır?

Geleneksel fork() ve exec() akışlarında bir dosya tanımlayıcısı ancak ebeveyn-çocuk ilişkisi içinde devredilebilir. Ancak birbirinden tamamen bağımsız iki süreç arasında açık bir dosya veya ağ soketini aktarmanın tek resmi yolu, UNIX Domain Soketleri (AF_UNIX) ve SCM_RIGHTS yardımcı kontrol mesajlarıdır (ancillary data). Bu rehberde sendmsg ve recvmsg sistem çağrılarıyla dosya tanımlayıcı devrini ve sıfır kesintili güncelleme (zero-downtime reload) mimarisini inceliyoruz.

TEXT
SCM_RIGHTS ile Dosya Tanımlayıcısı Aktarım Döngüsü:

Eski Süreç (Eski NGINX Master)             Yeni Süreç (Yeni NGINX Master)
(Açık Soket: fd = 7)                       (Henüz Soketi Yok)
        │                                          │
        ▼                                          ▼
AF_UNIX Soketi Oluşturulur ───────────────► AF_UNIX Soketi Dinlenir
        │                                          │
        ▼                                          │
msghdr Yapısı Hazırlanır                           │
cmsghdr: cmsg_type = SCM_RIGHTS                    │
Kontrol Verisi: fd = 7                             │
        │                                          │
sendmsg() Çağrılır ───────────────────────► recvmsg() Çağrılır
        │                                          │
        ▼                                          ▼
Çekirdek Dosya Tablosunda Referansı Artırır:       Çekirdek Yeni Süreç Tablosunda
struct file *file_ptr (refcount++)                 Yeni Bir FD Açar (fd = 12)
                                                   Aynı struct file Yapısını İşaret Eder!

1. Dosya Tanımlayıcısı (FD) vs Çekirdek Dosya Yapısı (struct file)

Bu mekanizmayı anlamak için Linux çekirdeğinin dosya soyutlamasını kavramak gerekir:

  1. Dosya Tanımlayıcısı (File Descriptor - FD): Sürecin kendi süreç tablosundaki (struct files_struct) basit bir tam sayı indeksidir (örneğin 3, 4, 7). Bir süreçteki fd = 7 ile başka bir süreçteki fd = 7 tamamen ilgisizdir.
  2. Çekirdek Açık Dosya Tablosu (struct file): Çekirdek belleğinde yaşayan, dosyanın veya soketin gerçek durumunu (ofset, bayraklar, soket tamponları) tutan yapıdır.
  3. Inode Tablosu (struct inode): Diskteki fiziksel dosyanın kimliğidir.

SCM_RIGHTS mekanizması bir sürece diğerinin tam sayı indeksini göndermez. Çekirdek, gönderilen dosya tanımlayıcısının arkasındaki struct file yapısını bulur, referans sayacını (refcount) artırır ve alıcı sürecin dosya tablosundaki boş bir yuvaya bu yapıyı işaret eden yepyeni bir dosya tanımlayıcısı yerleştirir.

2. Kontrol Mesajı Anatomisi: msghdr ve cmsghdr

UNIX domain soketleri üzerinden sadece ham bayt değil, çekirdek kontrol mesajları da taşınabilir. Bu işlem sendmsg() ve recvmsg() sistem çağrılarıyla yapılır.

Kritik yapılar şunlardır:

  • struct msghdr: Mesajın genel başlığıdır. Normal veri tamponlarını (msg_iov) ve kontrol mesajı tamponunu (msg_control) tutar.
  • struct cmsghdr: Yardımcı veri başlığıdır.
    • cmsg_level: SOL_SOCKET
    • cmsg_type: SCM_RIGHTS
    • cmsg_data: Aktarılacak int tipindeki dosya tanımlayıcı dizisi.

Çekirdek hizalama (alignment) kuralları gereği bu tampon doğrudan bayt bayt doldurulamaz. CMSG_FIRSTHDR(), CMSG_DATA() ve CMSG_SPACE() makroları kullanılmalıdır.

3. C Dili ile Dosya Tanımlayıcısı Gönderme ve Alma

Aşağıdaki kod parçası bir dosya tanıtıcısını UNIX domain soketi üzerinden başka bir sürece aktarır:

C
#include <sys/socket.h>
#include <sys/un.h>
#include <unistd.h>
#include <string.h>
#include <stdio.h>

int send_fd(int socket_fd, int fd_to_send) {
    struct msghdr msg = {0};
    char buf[CMSG_SPACE(sizeof(int))];
    memset(buf, 0, sizeof(buf));

    struct iovec io = { .iov_base = "FD", .iov_len = 2 };
    msg.msg_iov = &io;
    msg.msg_iovlen = 1;
    msg.msg_control = buf;
    msg.msg_controllen = sizeof(buf);

    struct cmsghdr *cmsg = CMSG_FIRSTHDR(&msg);
    cmsg->cmsg_level = SOL_SOCKET;
    cmsg->cmsg_type = SCM_RIGHTS;
    cmsg->cmsg_len = CMSG_LEN(sizeof(int));

    /* Gonderilecek dosya tanimlayicisini kopyala */
    memcpy(CMSG_DATA(cmsg), &fd_to_send, sizeof(int));

    if (sendmsg(socket_fd, &msg, 0) < 0) {
        perror("sendmsg");
        return -1;
    }
    return 0;
}

int recv_fd(int socket_fd) {
    struct msghdr msg = {0};
    char buf[CMSG_SPACE(sizeof(int))];
    char dummy[2];
    struct iovec io = { .iov_base = dummy, .iov_len = sizeof(dummy) };

    msg.msg_iov = &io;
    msg.msg_iovlen = 1;
    msg.msg_control = buf;
    msg.msg_controllen = sizeof(buf);

    if (recvmsg(socket_fd, &msg, 0) < 0) {
        perror("recvmsg");
        return -1;
    }

    struct cmsghdr *cmsg = CMSG_FIRSTHDR(&msg);
    if (!cmsg || cmsg->cmsg_type != SCM_RIGHTS) {
        return -1;
    }

    int received_fd;
    memcpy(&received_fd, CMSG_DATA(cmsg), sizeof(int));
    return received_fd;
}

4. Sıfır Kesintili Güncelleme (Zero-Downtime Reload) Adımları

NGINX veya Caddy yeni sürüme geçerken şu koreografiyi izler:

  1. Eski ana süreç çalışmaya devam ederken yeni ikili dosya başlatılır.
  2. Yeni süreç kendi başlatma işlemlerini tamamlar ve UNIX domain soketi üzerinden eski ana sürece bağlanır.
  3. Eski süreç dinlediği portların (80 ve 443) dosya tanımlayıcılarını SCM_RIGHTS ile yeni sürece aktarır.
  4. Yeni süreç bu soketler üzerinde epoll_ctl dinlemesi başlatır ve gelen yeni istekleri kabul etmeye (accept) başlar.
  5. Eski süreç dinleme soketini kapatır, mevcut aktif bağlantıların tamamlanmasını bekler (graceful drain) ve kendini sonlandırır.

İstemciler açısından hiçbir bağlantı reddedilmez (connection refused), port kilitlenmesi yaşanmaz. Bu iletişim POSIX Paylaşılan Bellek ile birleştirildiğinde süreçler arası koordinasyon kusursuzlaşır.

5. Üretim Ortamı İçin Güvenlik Tavsiyeleri

Dosya tanımlayıcı aktarımı güçlü bir ayrıcalıktır. Şu kurallara uyulmalıdır:

  1. SO_PEERCRED ile Kimlik Doğrulama: UNIX domain soketi üzerinden dosya almadan önce getsockopt(fd, SOL_SOCKET, SO_PEERCRED, ...) çağrılarak bağlanan sürecin UID ve GID bilgisi doğrulanmalıdır.
  2. FD_CLOEXEC Bayrağı: Alınan yeni dosya tanımlayıcısına hemen fcntl(fd, F_SETFD, FD_CLOEXEC) uygulanmalıdır. Aksi halde yeni sürecin başlatacağı alt kabuk komutlarına bu soketler sızabilir.

Bu mimari standart, web altyapılarının kesintisiz ve güvenli bir şekilde güncellenmesini sağlayan temel çekirdek kolonudur.

Yazıyı Değerlendir

0 tepki

Fikirlerinizi tek tıkla paylaşarak geri bildirim bırakın.

Bu teknik notu çevrenizle paylaşın

Ali Purtaş

@alipurtas • Hey, This is Ali!

İletişime Geç

Kendi halinde yazılım geliştiren bir öğrenci. Sistemler kuruyor, deniyor, bozuyor ve öğrendiği gerçek çözümleri burada belgeliyor.

Konu Kümesi & Önerilen Yazılar

İç Bağlantılı Mimari
Yorumlar yükleniyor...