Es war Anfang dieses Jahres auf der CES 2022, als NVIDIA enthüllte einige seiner Neuigkeiten für das, was es heute präsentierte, seine neuen Server, die auf der Grace-Plattform basieren, das Neueste in HPC und KI. Und es ist so, dass diese Server seitdem alle Marktsektoren, in die sie eintreten, neu definieren werden NVIDIA hat die gezeigt HGX Grace Rechenzentrum Modelle, die geplant sind, und… Mit mehr als 12,000 Kernen und 1 TB davon RAM, sie werden die Referenz zum Schlagen sein.
Mehrere Unternehmen stellen ihren Kunden einen der vier Servertypen zur Verfügung, die NVIDIA entwickelt hat: ASUS, Foxconn, GIGABYTE, OCT, Supermicro und Wiwynn, wo ihre Anpassung die vier Arten von Huang-Modellen auf über ein Dutzend verschiedene Business-Server anheben wird. Sie werden in einem Jahr, 2023, eintreffen, aber wir haben bereits das Herz und die maximale Konfiguration von allen auf dem Tisch: HGX Gnade CPU Superchips und Grace Hopper Superchip.
NVIDIA HGX Grace: der monströse Server mit 12,096 Kernen
Wie immer sind die Details, die nicht gesagt werden, die wichtigsten, da sie Daten enthüllen, die das Unternehmen nicht zeigen möchte, obwohl sie vor uns liegen. Server vom Typ HGX Grace stellen den größten Riesensprung in dieser Welt dar, an den man sich erinnert.
Sie tragen die NVIDIA Grace Superchip CPU, also zwei Prozessoren, die kohärent über NVLink C2C verbunden sind ARM V9 Neoverse und für KI- und HPC-Infrastruktur ausgelegt. Es besteht daher aus dem, was NVIDIA ein CPU-CPU-Modul nennt, und hat für jede Platine, die es integriert, nicht weniger als 144 Kerne mit LPDDR5X Speicher mit bis zu 1 TB pro Rack und eine Bandbreite von nicht weniger als 1 TB / s .
Alles verzehrend 500 Watt und in der Lage sein, durch Luft oder Wasser zu kühlen. Das Beeindruckendste hier ist, dass NVIDIA Server mit bis zu 84 Knoten pro Rack zulässt, was eine ganze Menge ist 12,096-Kerne in Summe. Wenn man bedenkt, dass der HGX Grace 1.5-mal schneller ist als der DGX A100, können wir uns das Biest, das das grüne Team geschaffen hat, bereits vorstellen.
HGX Grace Hopper: CPU und GPU auf einem PCB
Dieser Servertyp setzt auf die zweite Option von NVIDIA. Und es ist so, dass wir hier nicht zwei CPUs haben, sondern CPU und GPU auf demselben Substrat, die wiederum über NVLink C2C kommunizieren, um ein kohärentes Hochleistungsspeichermodell zu haben, das miteinander verbunden wird 900 GB / s 7-mal schneller als der PCIe 5.0-Bus.
Was NVIDIA geschaffen hat, ist der ultimative Multitasking-Server, der mit jedem Software-Stack des Unternehmens arbeiten kann, sei es für HPC, KI oder Omniverse , also facettenreich. Das zu befolgende Schema ist hier mit diesen einfach HGX Grace Hopper Server, jeder integriert a 4nm Hopper-GPU mit einer Grace-CPU, bei der jeder seinen eigenen Speicher hat, wobei der erste nicht weniger als hat 80 GB HBM3 und der zweite 512 GB LPDDR5X erhältlich.
Dies addiert sich zu der Gesamtbandbreite, die wir erhalten würden 3.5 TB / s bei einem Gesamtverbrauch von 1000 Watt pro Rack und mit der Möglichkeit, durch Luft oder Wasser gekühlt zu werden. Dafür sorgt NVIDIA 42-Knoten pro Rack können in HGX Grace Hopper installiert werden.
Serverdesigns und Ihr Portfolio
Abhängig von der Arbeitsbelastung, die Hersteller möglicherweise benötigen, wird es vier spezifische Designs geben, wobei jeder innerhalb dieser vier Typen sie gemäß seinen Anforderungen konfigurieren und anpassen kann, was eine breite Palette von Vorteilen und Preisen hinterlässt:
- NVIDIA HGX Grace Hopper Systeme für KI-Training, Inferenz und HPC sind mit Grace Hopper Superchip und NVIDIA BlueField-3 erhältlich.
- NVIDIA HGX Grace Systeme für HPC und Supercomputing: Verfügen über ein reines CPU-Design mit Grace CPU Superchip, BlueField-3 und NVIDIA-GPUs.
- NVIDIA OVX Systeme für digitale Zwillinge und kollaborative Workloads umfassen Grace CPU Superchip, BlueField-3 und NVIDIA.
- Nvidia CGX Systeme für Grafik und Cloud-Gaming verfügen über Grace Superchip CPUs, BlueField-3 und NVIDIA A16 GPUs.
Wie erwartet wurden noch keine Preise bekannt gegeben, da wir noch ein Jahr vom offiziellen Start entfernt sind. Es ist also zu erwarten, dass NVIDIA in dieser Zeit die Kosten offenlegt, was sicherlich nicht billig sein wird.
