La necessità di interconnessioni più veloci e più scalabili

L'aumento delle richieste di calcolo in ambito IA e HPC, inclusa una classe emergente di modelli con milioni di miliardi di parametri, stanno facendo nascere l'esigenza di sistemi multi-GPU e multi-nodo con una comunicazione fluida e ad alta velocità tra tutte le GPU. Per creare la piattaforma di calcolo completa più potente, in grado di soddisfare la velocità dl business, occorre un'interconnessione più veloce e scalabile.

NVIDIA A100 PCIe con connessione GPU-GPU NVLink
NVIDIA A100 con connessioni NVLink GPU-GPU

Prestazioni di NVLink

Prestazioni di NVLink

Collega completamente le GPU con NVIDIA NVSwitch

La terza generazione di NVIDIA NVSwitch si basa sulla capacità di comunicazione avanzata di NVLink per fornire una larghezza di banda più elevata e una latenza ridotta per carichi di lavoro ad alta intensità di calcolo. Per consentire l'esecuzione operazioni collettive ad alta velocità, ogni NVSwitch dispone di 64 porte NVLink dotate di engine per NVIDIA SHARP (Scalable Hierarchical Aggregation Reduction Protocol) per riduzioni in rete e accelerazione multicast.

Collega completamente le GPU con NVIDIA NVSwitch
NVLink e NVSwitch lavorano insieme

Ecco come NVLink e NVSwitch lavorano insieme

NVLink è un'interconnessione diretta GPU-GPU che scala l'input/output (IO) multi-GPU all'interno del server. NVSwitch collega più NVLink per consentire la comunicazione tra tutte le GPU alla massima velocità di NVLink in un singolo nodo e tra più nodi.    

Con la combinazione di NVLink e NVSwitch, NVIDIA ha vinto il MLPerf, il primo benchmark di settore per l'IA.

Scalabilità per addestrare modelli con trilioni di parametri con il sistema NVLink Switch

Con NVSwitch, le connessioni NVLink possono essere estese su più nodi per creare un cluster GPU fluido, a elevata larghezza di banda e multi-nodo, formando efficacemente una GPU di dimensioni data center. Aggiungendo un secondo livello di NVLink Switch esternamente ai server, il sistema NVLink Switch è in grado di collegare fino a 256 GPU e fornire fino a 57,6 terabyte al secondo (TB/s) di larghezza di banda completa, consentendo di risolvere rapidamente anche i processi IA più voluminosi. 

Scalabilità per addestrare modelli con trilioni di parametri
NVIDIA NVLink Switch

NVIDIA NVLink Switch

NVIDIA NVLink Switch include 128 porte NVLink con una capacità di commutazione non bloccante di 3,2 terabyte al secondo (Tb/s). Lo switch rack è progettato per fornire elevata larghezza di banda e bassa latenza nei sistemi NVIDIA DGX e NVIDIA HGX che supportano la connettività NVLink esterna di quarta generazione.

Scalabilità da enterprise a exascale

Connessione piena per prestazioni senza pari

NVSwitch è la prima architettura switch su nodo a supportare da 8 a 16 GPU completamente connesse su un singolo nodo server. NVSwitch di terza generazione interconnette ogni coppia di GPU con un'incredibile velocità di 900 GB/s. Supporta la comunicazione completa all-to-all. Le GPU possono essere utilizzate come singolo acceleratore ad alte prestazioni con fino a 15 petaFLOPS di potenza di calcolo in deep learning. 

La piattaforma per IA e HPC più potente.

NVLink e NVSwitch sono fondamenti essenziali della soluzione completa per data center NVIDIA che integra hardware, rete, software, librerie, modelli e applicazioni IA ottimizzati dalla suite software NVIDIA AI Enterprise e dal catalogo NVIDIA  NGC. Piattaforma IA e HPC completa più potente, consente ai ricercatori di fornire risultati in tempo reale e distribuire soluzioni nell'ambiente di produzione in modo scalabile, generando un'accelerazione senza precedenti su ogni ordine di grandezza. 

Specifiche

  • NVLink

    NVLink

  • NVSwitch

    NVSwitch

  Seconda generazione Terza generazione Quarta generazione
Banda NVLink per GPU 200 GB/s 600 GB/s 200 GB/s
Numero massimo di link per GPU 6 12 18
Architetture NVIDIA supportate Architettura NVIDIA Volta Architettura NVIDIA Ampere Architettura NVIDIA Hopper
  Prima generazione Seconda generazione Terza generazione
Numero di GPU con nodo/connessione diretti Fino a 8 Fino a 8 Fino a 8
Banda GPU-GPU NVSwitch 200 GB/s 600 GB/s 200 GB/s
Banda totale aggregata 2,4 TB/s 4,8 TB/s 7,2 TB/s
Architetture NVIDIA supportate Architettura NVIDIA Volta Architettura NVIDIA Ampere Architettura NVIDIA Hopper

Approfondisci l'architettura NVIDIA Hopper