인텔、엔비디아、ARM, FP8 표준 AI 추진:가장 강력한 그래픽 카드의 4.5배 성능 향상

AI 인공 지능은 최근 몇 년 동안 핫스팟입니다,CPU와 GPU 모두 AI 성능 향상,원래 경쟁관계에 있던 인텔 、 NVIDIA와 ARM도 처음으로 협력,FP8 형식 출시 ,이 새로운 AI 형식은 컴퓨팅 성능을 향상시킬 수 있습니다.,현재 최강 가속기 카드 H100 성능 4.5배 향상。

FP8 형식

공통 AI 형식을 출시하기 위해 세 회사가 힘을 합치는 것은 현재의 혼란과 관련이 있습니다.,많은 사람들이 GPU 성능을 측정하기 전에 FP32 단일 정밀도가 자주 사용된다는 것을 알고 있습니다.、FP64 배정밀도 형식,그러나 AI 시대에는 이러한 높은 정밀도가 요구되지 않는다.,또한 제조업체는 종종 계산 형식을 사용자 지정합니다.,그래서 최근 몇 년 동안 INT8도 등장했습니다.、BF16、TF32와 같은 AI 표준。

서로 싸우는 제조업체는 분명히 AI 기술 개발에 도움이되지 않습니다,그래서 인텔、CPU/GPU 3대 거인 NVIDIA와 ARM이 공동으로 AI 표준 형식 FP8 출시,딥 러닝 백서를 위한 FP8 형식 발표,또한 IEEE Society에 표준을 제출했습니다.,당연히 AI 분야의 일반적인 표준이 될 것입니다.。

그들에 따르면,FP8 표준에는 두 가지 인코딩 변형이 있습니다.,각각 E5M2、E4M3,현재 IEEE754 표준과의 편차를 최소화할 수 있습니다.,AI 컴퓨팅에 더 높은 유연성을 제공할 수 있을 뿐만 아니라,또한 소프트웨어와 하드웨어 간의 균형을 맞출 수 있습니다.,개발자 생산성 향상。

NVIDIA에서 발표한 결과에 따르면,FP8은 널리 사용되는 학습 모델에서 16비트 부동 소수점과 유사한 효과를 가집니다.,더 나은 성능,NVIDIA의 H100 가속기 카드는 새로운 FP8 형식을 사용합니다.,BERT 모델에서 4.5배 성능 향상 달성。

주목할 가치가 있습니다.,세 개의 주요 제조업체가 공동으로 FP8 표준을 정의합니다.,그러나 AMD의 수치를 보지 못했습니다,AMD의 태도가 어떤지 모르겠습니다.,그러나 AMD는 결국 FP8 표준을 채택해야 합니다.,셋으로 통일하다。

AI 표준 형식

답글 남기기

귀하의 이메일 주소는 공개되지 않습니다. 필요 입력 사항은 표시되어 있습니다 *