Tiga perusahaan teknologi dan AI besar, Arm, Intel, dan NVIDIA telah bergandengan tangan untuk membakukan standar FP8 atau 8-Bit Floating Point yang baru. Perusahaan telah menerbitkan whitepaper baru yang menjelaskan konsep spesifikasi floating point 8-bit dan variasi yang sesuai, yang disebut FP8 dengan varian E5M2 dan E4M3, untuk menyediakan pengaturan standar yang dapat dipertukarkan yang dapat bekerja untuk inferensi dan pelatihan kecerdasan buatan (AI). .
NVIDIA, ARM & Intel Mengincar FP8 “8-Bit Floating Point” Untuk Upaya AI Masa Depan Mereka
Secara teori, penyelarasan spesifikasi lintas industri baru antara ketiga raksasa teknologi ini akan memungkinkan model AI bekerja dan berfungsi di seluruh platform perangkat keras, mempercepat pengembangan perangkat lunak AI.
Inovasi kecerdasan buatan telah menjadi kebutuhan baik di perangkat lunak maupun perangkat keras untuk menghasilkan throughput komputasi yang memadai sehingga teknologi dapat maju. Persyaratan untuk perhitungan AI telah meningkat selama beberapa tahun terakhir, tetapi lebih dari tahun sebelumnya. Salah satu bidang penelitian AI yang cukup penting dalam mengatasi kesenjangan komputasi adalah pengurangan persyaratan untuk presisi numerik dalam pembelajaran mendalam, meningkatkan memori dan efisiensi komputasi.
Sumber gambar: “Format FP8 Untuk Pembelajaran Jauh,” melalui NVIDIA, Arm, dan Intel.
Intel bermaksud mendukung spesifikasi format AI di seluruh peta jalannya yang mencakup prosesor, kartu grafis, dan berbagai akselerator AI. Perusahaan sedang mengerjakan satu akselerator, akselerator pembelajaran mendalam Habana Gaudi. Janji metode presisi rendah memungkinkan untuk menggali sifat tahan kebisingan yang melekat dalam jaringan saraf pembelajaran mendalam yang berfokus pada peningkatan efisiensi komputasi.
Sumber gambar: “Format FP8 Untuk Pembelajaran Jauh,” melalui NVIDIA, Arm, dan Intel.
Spesifikasi FP8 yang baru akan mengurangi penyimpangan dari format floating point IEEE 754 saat ini dengan tingkat yang nyaman antara perangkat lunak dan perangkat keras, memanfaatkan implementasi AI saat ini, mempercepat adopsi, dan meningkatkan produktivitas pengembang.
2 dari 9
Makalah ini akan mendanai prinsip untuk memanfaatkan algoritme, konsep, atau konvensi apa pun yang dibuat berdasarkan standardisasi IEEE antara Intel, Arm, dan NVIDIA. Memiliki standar yang lebih konsisten di antara semua perusahaan akan memberikan keleluasaan yang paling besar untuk masa depan inovasi AI sambil mempertahankan konvensi saat ini di industri.
Sumber Berita: Arm, spesifikasi FP8
