Deci Memposting Tolok Ukur MLPerf Model NLP Baru. Mencapai Keuntungan Besar 6.46x Dengan CPU AMD EPYC Milan-X = Siaran Pers Perangkat Keras

Perusahaan pembelajaran mendalam Deci mengungkapkan hasil untuk model inferensi Natural Language Processing (NLP) yang dipresentasikan ke suite benchmark MLPerf Inference v2.1 yang mencapai peningkatan kinerja hingga 6,46x menggunakan CPU EPYC AMD.

Model NLP Deci mencapai level terobosan dalam performa di MLPerf, hingga 6,46x penguatan dengan CPU AMD EPYC

Dikembangkan oleh teknologi Automated Neural Architecture Construction (AutoNAC) milik Deci, model NLP, dijuluki DeciBERT-Large, berjalan pada perangkat keras Dell-PowerEdge-R7525-2 menggunakan prosesor AMD EPYC 7773X. Model yang dihasilkan melampaui kinerja throughput model BERT-Large hampir enam setengah kali lipat dan memperoleh peningkatan akurasi satu persen. Penyempurnaan ini meringkas pengurangan biaya cloud, memungkinkan lebih banyak proses beroperasi pada satu mesin untuk sebagian waktu. Hal ini juga memungkinkan grup untuk menggunakan mesin yang lebih hemat biaya sambil mempertahankan kinerja throughput yang akurat.

Model baru disajikan di bawah skenario offline di divisi terbuka MLPerf dalam kategori BERT 99.9. Tujuannya adalah untuk memaksimalkan throughput sambil mempertahankan akurasi dalam margin kesalahan 0,1% dari baseline, yaitu 90,874 F1 (SQUAD). Model DeciBERT-Large melampaui target ini, mencapai throughput 116 QueriesPer Second (QPS) dan skor akurasi F1 91,08. Seperti yang Anda lihat pada tabel di bawah ini, chip AMD EPYC 7773X Milan-X memberikan peningkatan kinerja hingga 6,46x dibandingkan model BERT-Large.

Deci memanfaatkan mesin teknologi Neural Architecture Construction (AutoNAC) otomatis miliknya untuk mengembangkan arsitektur model baru yang disesuaikan untuk prosesor AMD EPYC. AutoNAC, mesin pengoptimalan algoritme yang menempa arsitektur model pembelajaran mendalam terbaik di kelasnya untuk setiap penugasan, kumpulan data, dan perangkat keras inferensi, secara umum mendukung peningkatan kinerja inferensi hingga lima kali lipat dengan akurasi yang sama atau lebih tinggi mendekati kondisi terkini. -model saraf seni.

Sementara tujuan pengoptimalan utama saat membuat model DeciBERT adalah untuk mengoptimalkan throughput, AutoNAC juga berhasil mengurangi ukuran model secara signifikan – pencapaian penting dengan beberapa manfaat, termasuk kemampuan untuk menjalankan beberapa model di server yang sama dan memanfaatkan memori cache dengan lebih baik. Hasil ini menegaskan sekali lagi kinerja luar biasa dari teknologi AutoNAC kami, yang berlaku untuk hampir semua domain pembelajaran mendalam dan perangkat keras inferensi.

– Prof. Ran El-Yaniv, kepala ilmuwan dan salah satu pendiri Deci

MLPerf mengumpulkan para pemimpin pembelajaran mendalam ahli untuk membuat tolok ukur yang adil dan berguna untuk menghitung pelatihan dan pelaksanaan inferensi perangkat keras, perangkat lunak, dan layanan ML.

Perbandingan kinerja throughput model BERT-Large DeciBERT-Large. Sumber gambar: Deci.

Akselerasi inferensi NLP Deci secara langsung diterjemahkan menjadi pengurangan biaya cloud, memungkinkan lebih banyak proses untuk dieksekusi pada mesin yang sama dalam waktu yang lebih singkat. Ini memungkinkan tim untuk menggunakan alat berat yang hemat biaya sekaligus mempertahankan kinerja throughput yang sama. Throughput yang lebih tinggi untuk beberapa aplikasi NLP, seperti menjawab pertanyaan, berarti pengalaman pengguna yang lebih baik karena kueri diproses dengan cepat, dan wawasan dapat ditampilkan secara real-time.

Sumber Berita: Deci