Intel、Nvidia、ARM treibt FP8-Standard-KI voran:4,5-fache Leistung der stärksten Grafikkarte

KI künstliche Intelligenz ist ein Hotspot der letzten Jahre,Sowohl die CPU als auch die GPU verbessern die KI-Leistung,Intel, die ursprünglich in einer Wettbewerbsbeziehung standen 、 Auch NVIDIA und ARM schließen sich zum ersten Mal zusammen,FP8-Format eingeführt ,Dieses neue KI-Format kann die Rechenleistung verbessern,Die aktuell stärkste Beschleunigerkarte H100 hat eine 4,5-fache Leistungssteigerung。

FP8-Format

Drei Unternehmen, die sich zusammenschließen, um ein gemeinsames KI-Format auf den Markt zu bringen, stehen im Zusammenhang mit dem aktuellen Chaos,Viele Leute wissen, dass vor dem Messen der GPU-Leistung häufig FP32 Single Precision verwendet wird、FP64-Format mit doppelter Genauigkeit,Im Zeitalter der KI ist eine so hohe Präzision jedoch nicht erforderlich,Darüber hinaus passen die Hersteller das Berechnungsformat häufig an,So ist in den letzten Jahren auch INT8 aufgetaucht、BF16、KI-Standards wie TF32。

Sich gegenseitig bekämpfende Hersteller sind offensichtlich nicht förderlich für die Entwicklung der KI-Technologie,Also Intel、Die drei großen CPU/GPU-Giganten NVIDIA und ARM haben gemeinsam das KI-Standardformat FP8 auf den Markt gebracht,Und veröffentlichte das Whitepaper „FP8-Formate für Deep Learning“.,Reichte den Standard auch bei der IEEE Society ein,Es überrascht nicht, dass es zum allgemeinen Standard im Bereich der KI werden wird。

nach ihnen,Der FP8-Standard wird zwei Codierungsvarianten haben,E5M2 bzw、E4M3,Abweichungen vom aktuellen IEEE754-Standard können minimiert werden,Es kann nicht nur dem KI-Computing eine höhere Flexibilität verleihen,Es kann auch ein Gleichgewicht zwischen Software und Hardware finden,Verbessern Sie die Entwicklerproduktivität。

Nach den von NVIDIA veröffentlichten Ergebnissen,FP8 hat einen ähnlichen Effekt wie 16-Bit-Gleitkomma in weit verbreiteten Trainingsmodellen,und besser abschneiden,NVIDIAs H100-Beschleunigerkarte verwendet das neue FP8-Format,4,5-fache Leistungssteigerung im BERT-Modell erreicht。

Es ist erwähnenswert, dass,Die drei großen Hersteller definieren gemeinsam den FP8-Standard,Aber sah nicht die Figur von AMD,Ich weiß nicht, wie die Einstellung von AMD ist,Aber AMD sollte schließlich den FP8-Standard übernehmen,mit drei vereinen。

AI-Standardformat

Hinterlasse eine Antwort

Deine Email-Adresse wird nicht veröffentlicht. erforderliche Felder sind markiert *