NVIDIA telah mengungkapkan detail baru dari interkoneksi chip Grace CPU, Orin SOC, dan NVLINK selama Hot Chips 34.
NVIDIA’s Grace CPU Breaks Cover, Menampilkan 72 Arm v9.0 Cores Per Chip, 117 MB L3 Cache, 68 Gen 5 Lanes, Semua pada Node Proses TSMC 4N
NVIDIA pertama kali mengumumkan Grace CPU dan masing-masing desain Superchip di GTC 2022. Grace CPU adalah prosesor pertama NVIDIA berdasarkan arsitektur Arm khusus yang akan membidik segmen server / HPC. CPU hadir dalam dua konfigurasi Superchip, modul Grace Superchip dengan dua CPU Grace dan Grace+Hopper Superchip dengan satu CPU Grace yang terhubung ke GPU Hopper H100.
Beberapa sorotan utama Grace meliputi:
- CPU berperforma tinggi untuk HPC dan komputasi awan
- Desain chip super dengan hingga 144 inti CPU Arm v9
- LPDDR5x pertama di dunia dengan Memori ECC, bandwidth total 1TB/dtk
- SPECrate2017_int_base lebih dari 740 (perkiraan)
- Antarmuka koheren 900 GB/dtk, 7X lebih cepat dari PCIe Gen 5
- 2X kerapatan pengemasan solusi berbasis DIMM
- 2X kinerja per watt CPU terkemuka saat ini
- Menjalankan semua tumpukan dan platform perangkat lunak NVIDIA, termasuk RTX, HPC, AI, dan Omniverse
Menjadi CPU server pertama NVIDIA, Grace menghadirkan 72 inti Arm v9.0 yang menawarkan dukungan untuk SVE2 dan berbagai ekstensi virtualisasi seperti Nested Virtualization dan S-EL2. CPU dibuat pada node proses 4N TSMC, versi optimal dari node proses 5nm yang dibuat khusus untuk NVIDIA.
Grace dirancang untuk dipasangkan dan dengan demikian, salah satu aspek desain yang paling penting adalah interkoneksi C2C (Chip-To-Chip). Grace mencapai ini dengan NVLINK yang digunakan untuk membuat Superchips dan menghilangkan semua kemacetan yang terkait dengan konfigurasi soket silang tipikal.
Interkoneksi C2C NVLINK menyediakan bandwidth mentah dua arah sebesar 900 GB/dtk (bandwidth yang sama dengan sakelar GPU ke GPU NVLINK pada Hopper), sambil berjalan pada antarmuka daya yang sangat rendah hanya 1,3 pJ/bit atau 5 kali lebih efisien daripada protokol PCIe.
2 dari 9
NVIDIA Grace CPU menampilkan struktur koherensi yang dapat diskalakan dengan desain cache terdistribusi. Chip ini memiliki bandwidth bi-section hingga 3,225 TB/dtk, dapat diskalakan melebihi 72 core (144 pada Superchip), mengintegrasikan cache L3 sebesar 117 MB, dan fitur dukungan untuk partisi dan pemantauan memori Arm (MPAM). Grace juga memungkinkan arsitektur memori terpadu dengan tabel halaman bersama. Dua NVIDIA Grace+Hopper Superchips dapat dihubungkan bersama melalui NVSwitch dan Grace CPU pada satu Superchip dapat langsung berkomunikasi dengan GPU pada chip lain atau bahkan mengakses VRAM-nya dengan kecepatan NVLINK asli.
2 dari 9
Melihat lebih dekat pada desain memori Grace, NVIDIA menggunakan LPDDR5X hingga 512 GB di 32 saluran, menghadirkan bandwidth memori hingga 546 GB/dtk. NVIDIA menyatakan bahwa LPDDR5X memberikan nilai terbaik dengan mempertimbangkan kebutuhan bandwidth, biaya, dan daya secara keseluruhan. Untuk I/O, Anda mendapatkan 68 jalur PCIe Gen 5.0, empat di antaranya dapat digunakan untuk tautan x16 pada 128 GB/dtk, dan dua lainnya digunakan untuk MISC. Ada juga 12 jalur jalur NVLINK koheren yang digunakan bersama dengan dua tautan Gen 5 PCIe x16.
2 dari 9
Sedangkan untuk TDP, Superchip NVIDIA Grace (CPU Only) dioptimalkan untuk performa single-core dan menawarkan bandwidth memori hingga 1 TB/dtk dan TDP 500W untuk konfigurasi chip ganda 144-core. Kami telah memasukkan angka-angka tersebut ke dalam perspektif dalam artikel sebelumnya yang dapat dilihat di bawah ini:
Performa Integer SPEC (NVIDIA Grace vs AMD EPYC)
Specrate_int_base 020040060080010001200 020040060080010001200 EPYC 7763 (128 Core) 861 Grace (144 Core) 740 EPYC 7742 (128 Core) 667 Grace (72 Core) 370 
2 dari 9
Sekarang, ini bukan perbedaan kinerja yang besar, tetapi yang benar-benar ingin kami lihat adalah metrik kinerja. Grace SUPERCHIPS diberi nilai sekitar 500W sementara setiap chip AMD EPYC 7763 memiliki TDP 280W sehingga dua di antaranya sekitar 560W dan kami tidak menambahkan watt sistem tambahan sedangkan angka 500W NVIDIA adalah untuk seluruh paket GRACE SUPERCHIP.
NVIDIA menyatakan bahwa Grace-nya adalah prosesor yang sangat terspesialisasi yang menargetkan beban kerja seperti melatih model NLP generasi mendatang yang memiliki lebih dari 1 triliun parameter. Ketika dipasangkan dengan ketat dengan GPU NVIDIA, sistem berbasis CPU Grace akan memberikan kinerja 10x lebih cepat daripada sistem berbasis NVIDIA DGX canggih saat ini, yang berjalan pada CPU x86.
Pasti akan menarik untuk melihat bagaimana CPU Grace dibandingkan dengan chip x86 tetapi pada saat mereka dirilis, mereka akan bersaing dengan CPU AMD Genoa dan Intel Sapphire Rapids. CPU NVIDIA Grace rencananya akan digunakan di superkomputer ATOS seperti yang dilaporkan di sini.
NVIDIA juga
