Insinyur Facebook Meluncurkan Alat Waktu Presisi Sumber Terbuka untuk Pusat Data
Tim insinyur Facebook telah merancang dan merilis alat waktu presisi, elemen kunci infrastruktur waktu pusat data modern. Dengan menciptakan time card—kartu PCIe yang mengubah server komoditas apa pun menjadi sumber waktu Stratum-1—dan bekerjasama dengan Open Compute Project (OCP), kami telah membuat setiap komponen Open Time Server tersedia di bawah lisensi sumber terbuka.
Pada Maret 2020, Facebook mengumumkan migrasi server pusat data dan produk konsumennya ke layanan Network Time Protocol (NTP) baru yang dirancang sendiri. Pengalihan meningkatkan akurasi penataan waktu dari 10 ms menjadi 100 µs, memungkinkan kontrol infrastruktur yang lebih halus dan kinerja basis data terdistribusi yang lebih cepat.
Arsitektur NTP baru mengandalkan sumber Stratum-1—terhubung langsung ke jam otoritatif seperti Global Navigation Satellite System (GNSS) atau jam cesium:
Pool NTP publik (misalnya, time.facebook.com) nyaman tetapi menimbulkan ketergantungan pada konektivitas internet dan mengekspos sistem pada potensi gangguan atau drift. Untuk menghilangkan risiko ini, kami membangun alat hardware khusus yang mengintegrasikan penerima GNSS dengan jam atom miniatur (MAC). time card mengenkapsulasi fungsionalitas ini pada papan PCIe, memungkinkan server x86 apa pun yang dilengkapi NIC dengan timestamping hardware untuk menjadi sumber Stratum-1.
Mengapa Alat Waktu Baru?
Alat waktu komersial telah teruji dan sering stabil, namun mereka datang dengan beberapa keterbatasan yang signifikan:
Mereka mungkin sudah ketinggalan zaman dan rentan terhadap celah keamanan, dengan siklus patch yang memerlukan waktu bulanan atau tahunan.
Firmware sumber tertutup membatasi konfigurasi dan pemantauan; CLI atau web UI proprietary menghambat otomatisasi.
Hardware proprietary tidak dapat dirawat—kegagalan komponen memerlukan perbaikan vendor atau unit baru.
Produksi volume rendah mengarah pada markup tinggi, membuat operasi jangka panjang menjadi mahal.
Keterbatasan ini memaksa banyak organisasi untuk menerima kompromi. Kami memutuskan untuk menjelajahi alternatif: alat waktu khusus, sumber terbuka yang dibangun pada hardware x86.
Membuat Prototyp Alat Waktu
Konsep awal kami menggabungkan penerima GNSS, osilator stabil tinggi, dan pemrosesan berbasis FPGA ke dalam satu kartu PCIe—lihat diagram blok di bawah:
Modul GNSS menyediakan waktu sehari (ToD) dan sinyal satu pulsa per detik (PPS). Quando dipasangkan dengan osilator stabil tinggi—seperti osilator rubidium atau kristal dikontrol oven—sistem dapat mencapai akurasi level nanodetik. PPS dan ToD disalurkan ke NIC berkinerja tinggi (misalnya, NVIDIA Mellanox ConnectX-6 Dx) yang mendukung hardware time-stamping dan PPS in/out.
Menggunakan alat ts2phc, kami menyinkronkan jam fisik NIC ke PPS GNSS dalam beberapa puluhan nanodetik, memvalidasi pendekatan kami:
Untuk meningkatkan keandalan, kami membagi desain menjadi dua blok logis: payload (mesin waktu presisi) dan delivery (NIC). Payload menginterpolasi waktu di antara pulsa PPS berurutan menggunakan mesin berbasis FPGA dan osilator lokal. Dalam kejadian kehilangan GNSS, mesin bergantung pada stabilitas inheren jam atom.
Mesin waktu menerapkan filtering, sinkronisasi, pemeriksaan kesalahan, dan subsistem PCIe. Ini secara kontinu mengkalibrasi MAC dengan membandingkan counter-nya dengan PPS GNSS, mencapai presisi sub-nanodetik dalam jangka waktu yang lama.
Dengan memanfaatkan referensi 10 MHz (dari jam rubidium atau input SMA eksternal), kami mengubah naik menjadi 125 MHz (periode 8-ns) dan mengaitkan inkremen sub-detik ke langkah 250-ps. Loop proporsional-integral menyesuaikan frekuensi melalui PLL 12.5× dan, jika diperlukan, penyesuaian langsung pada osilator.
Holdover—kehilangan akurasi waktu ketika GNSS tidak tersedia—adalah metrik kritis. Prototyp kami mencapai drift kurang dari 300 ns dalam 24 jam, yang baik dalam spesifikasi MAC SA.53s.
Alat Waktu dalam Aksi
Setelah terpasang, time card mengubah server x86 yang kompatibel apa pun menjadi sumber waktu Stratum-1, independen dari NTP, PTP, SyncE, atau protokol lain. Presisi sistem cukup untuk sebagian besar kebutuhan sinkronisasi waktu perusahaan.
Pemasangannya sederhana: instal kernel Linux 5.15+ (atau bangun driver dari repositori GitHub OCP pada kernel 5.12+). Driver mengekspos perangkat PHC, GNSS, PPS, dan MAC di bawah /sys/class/timecard/ocp0/:
$ ls -l /sys/class/timecard/ocp0/ lrwxrwxrwx. 1 root 0 Aug 3 19:49 device -> ../../../0000:04:00.0/ -r--r--r--. 1 root 4096 Aug 3 19:49 gnss_sync lrwxrwxrwx. 1 root 0 Aug 3 19:49 i2c -> ../../xiic-i2c.1024/i2c-2/ lrwxrwxrwx. 1 root 0 Aug 3 19:49 pps -> ../../../../../virtual/pps/pps1/ lrwxrwxrwx. 1 root 0 Aug 3 19:49 ptp -> ../../ptp/ptp2/ lrwxrwxrwx. 1 root 0 Aug 3 19:49 ttyGNSS -> ../../tty/ttyS7/ lrwxrwxrwx. 1 root 0 Aug 3 19:49 ttyMAC -> ../../tty/ttyS8/
Konfigurasikan chrony atau daemon PTP untuk menggunakan PHC sebagai jam referensi:
# chrony refclock PHC /dev/ptp2 tai poll 0 trust
Validasi dengan Calnex Sentinel menunjukkan stabilitas NTP ±40 µs selama 48 jam dan offset PTP sub-nanodetik. Kesalahan PPS gabungan antara time card dan Sentinel tetap dalam ±200 ns.
Desain modular juga memungkinkan penggantian MAC dengan OCXO atau TCXO yang hemat biaya, menukar kinerja holdover untuk anggaran.
Membuka Sumber Desain
Untuk memperluas dampak, kami bekerjasama dengan Open Compute Project untuk meluncurkan Time Appliance Project (TAP). Semua spesifikasi, skema, BOM, gambar mekanis, dan kode sumber tersedia secara publik di repositori GitHub TAP. Vendor seperti Orolia dan NVIDIA sudah memproduksi time card dan NIC waktu presisi, masing-masing.
Spesifikasi Open Time Server kami merinci cara merangkaikan tumpukan hardware dan perangkat lunak untuk membuat alat waktu yang kuat dan sepenuhnya terkontrol. Dengan memiliki seluruh sistem, insinyur mendapatkan visibilitas yang lebih dalam, keamanan yang lebih ketat, dan pemeliharaan yang lebih sederhana.
Meskipun alat saat ini mewakili lonjakan besar maju, kami akan terus menyempurnakan akurasi, menskalakan sinkronisasi di seluruh infrastruktur global Facebook, dan berbagi kemajuan dengan komunitas open-compute.
