Intel、NVIDIA、ARM 推 FP8 標準AI:最強顯卡4.5倍性能提升

AI人工智能 是近幾年來的大熱點,不論是CPU還是GPU都在提升AI性能,原本都有競爭關係的 Intel 、 NVIDIA 及 ARM 也首次聯手,推出了 FP8 格式 ,這種全新的AI格式可以提高運算性能,當前最強加速卡H100性能就有4.5倍提升。 

FP8 格式

三家攜手推出通用的AI格式跟當前的混亂有關,很多人都知道之前衡量GPU性能經常用FP32單精度、FP64雙精度格式,然而在AI時代不需要這麼高的精確度,再加上廠商往往會自定義計算格式,所以這幾年也出現了INT8、BF16、TF32之類的AI標準。

廠商各自為戰顯然不利於AI技術發展,所以Intel、NVIDIA及ARM三大CPU/GPU巨頭就聯手推出了AI標準格式FP8,並發布了FP8 Formats for Deep Learning白皮書,還把標準提交給IEEE協會,不出意外的話接下來會成為AI領域的通用標準。

根據他們的說法,FP8標準會有兩個編碼變體,分別為E5M2、E4M3,可以最大限度地減少與當前IEEE754標準的偏差,不僅可以為AI運算帶來更高的靈活度,還能在軟硬件中取得平衡,改善開發者的效率。

根據NVIDIA發布的結果,FP8在廣泛使用的訓練模型中都有類似16位浮點的效果,而且性能更好,NVIDIA的H100加速卡使用新的FP8格式,在BERT模型中實現了4.5倍的性能提升。

值得注意的是,三大廠商聯合定義FP8標準,卻沒有看到AMD的身影,不知道AMD的態度如何,不過AMD最終應該也會接納FP8標準,與三家統一。

AI標準格式

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。