La GPU H100 ottiene un altro aumento di velocità: Nvidia la sta lanciando con HBM3e invece dei componenti di memoria HBM3. Ciò aumenta la capacità e il throughput della RAM e ha lo scopo di accelerare l’addestramento di modelli AI particolarmente grandi.
annuncio
Nvidia parla una lingua Pubblicità per una mostra di cigrafi di un aumento di un fattore di 3,5 – ovviamente in scenari “casi migliori” selezionati. Tuttavia, per ora, la GPU H100 migliorata è disponibile solo come chip GH200 “di fascia alta” insieme al processore ARM di Nvidia su un circuito stampato generico.
141 GB HBM3e per GPU
In questa variante, l’acceleratore utilizza 141 GB di memoria HBM3e con una velocità di trasferimento di circa 5 TB/s. Nvidia non fornisce alcun background tecnico per questa capacità deformata: alcune locazioni di memoria potrebbero essere fuori servizio. Samsung, SK Hynix e Micron stanno inizialmente producendo componenti con capacità fino a 24 GB, sei dei quali produrranno effettivamente 144 GB.
Nella versione H100 originale, sono attivi cinque dei sei blocchi HBM3 allegati. È possibile utilizzare 80 GB di RAM a una velocità di trasferimento di 3,35 TB/s. Con l’H100 NVL è attiva la sesta unità HBM3. Ciò aumenta la capacità a 94 GB (anche i singoli livelli di archiviazione sono disattivati qui) e la velocità di trasferimento a 3,9 TB/s.
|
GPU |
H100 |
H100 NVL |
H100 (pannello GH200) |
|
core dello shader |
14.592 |
14.592 |
14.592 |
|
magazzinaggio |
80GB HBM3 |
94GB HBM3 |
141HBM3e |
|
tasso di trasferimento |
3,35 TB/sec |
3,9TB/sec |
circa 5TB/sec |
Il resto dell’equipaggiamento non cambia tra le tre versioni. Usano tutti 14.592 core shader, che raggiungono una potenza di calcolo di circa 4 petaflop durante l’addestramento dell’IA. Questo valore si applica al calcolo dell’8° PQ con scarsa precisione, ma è sufficiente per l’addestramento.
annuncio
Con 72 core ARM Neoverse V2, la CPU Grace delle schede GH200 appartiene alla classe medio-alta di questi tempi. Il carico di calcolo principale è la GPU H100.
Non ancora disponibile
I primi sistemi con le nuove schede GH200 dovrebbero essere disponibili nel secondo trimestre del 2024. Per allora, i produttori di memorie dovrebbero essere in grado di offrire componenti HBM3e. Inoltre, Nvidia ha ancora tempo per alleviare i colli di bottiglia nelle consegne.
I sistemi contenenti la precedente combinazione Grace Hopper sono ancora rari. Nvidia lo ha annunciato all’inizio dell’estate 2022 per la prima metà del 2023; I primi modelli sono stati presentati alla fiera Computex di maggio. Tuttavia, deve ancora apparire in commercio.
(Maestro)