Der virtuelle Computer der ND H200 v5-Serie wurde entwickelt, um außergewöhnliche Leistung für KI- und HPC-Workloads (High Performance Computing) bereitzustellen. Diese VMs nutzen die Leistungsfähigkeit der NVIDIA H200 Tensor Core-GPU, die eine Erhöhung des Speichers mit hoher Bandbreite um 76 % gegenüber den H100-GPUs bietet, um eine höhere Leistung für moderne generative KI-Modellen zu erzielen. Mit 141 GB Hochgeschwindigkeitsspeicher und 4,8 TB/s Speicherbandbreite kann die H200-GPU größere Datasets und komplexere Modelle verarbeiten, sodass sie ideal für generative KI und wissenschaftliches Computing geeignet ist.
Die ND H200 v5-Serie beginnt mit einer einzelnen VM und acht NVIDIA H200 Tensor Core-GPUs, die mit 900 GB/s NVLink verbunden sind. ND H200 v5-basierte Bereitstellungen können auf Tausende von GPUs mit einer Verbindungsbandbreite von 3,2 TB/s pro VM hochskaliert werden. Jede GPU in der VM verfügt über eine eigene dedizierte, topologieunabhängige NVIDIA Quantum-2 CX7 InfiniBand-Verbindung mit 400 Gbps. Diese Verbindungen werden automatisch zwischen VMs in der gleichen VM-Skalierungsgruppe erstellt und unterstützen GPUDirect-RDMA.
Diese Instanzen bieten hervorragende Leistung für zahlreiche KI-, ML- und Analysetools mit integrierter Unterstützung für GPU-Beschleunigung. Dazu zählen beispielsweise TensorFlow, Pytorch, Caffe, RAPIDS und andere Frameworks. Darüber hinaus wird die horizontal skalierbare InfiniBand-Verbindung von vielen vorhandenen KI- und HPC-Tools unterstützt, die auf den NCCL-Kommunikationsbibliotheken von NVIDIA für das nahtlose GPU-Clustering aufbauen.
Hostspezifikationen
| Teil |
Menge
Anzahl Einheiten |
Spezifikationen
SKU-ID, Leistungseinheiten usw. |
| Prozessor |
96 vCPUs |
Intel Xeon (Sapphire Rapids) [x86-64] |
| Arbeitsspeicher |
1.850 GiB |
|
| Lokaler Speicher |
1 Datenträger |
1.024 GiB |
| Remotespeicher |
16 Datenträger |
|
| Netzwerk |
8 NICs |
|
| Beschleuniger |
8 GPUs |
NVIDIA H200-GPU (141 GB) |
Features, die von dieser Reihe unterstützt werden, finden Sie im Abschnitt "Featureunterstützung ".
Größen pro Serie
vCPUs (Menge) und Arbeitsspeicher für jede Größe
| Name der Größe |
vCPUs (Menge) |
Arbeitsspeicher (GiB) |
| Standard_ND96isr_H200_v5 |
96 |
1,850 |
VM Basics-Ressourcen
Lokale Speicherinformationen (temp) für jede Größe
| Name der Größe |
Temporäre Speicherdatenträger (Qty.) |
Größe des temporären Datenträgers (GiB) |
Max. NVMe-Datenträger (Anzahl) |
NVMe-Datenträgergröße (TiB) |
| Standard_ND96isr_H200_v5 |
1 |
1,024 |
8 |
28 |
Speicherressourcen
Tabellen-Definitionen
- Temp Disk Performance hängt von vielen Faktoren ab, einschließlich Blockgröße, Arbeitsauslastungsmustern von Lese-/Schreibvorgängen, Warteschlangentiefe (QD) und anderen. Leistungsspezifikationen für temporäre Datenträger sollten als optimale Fallleistungsnummern betrachtet werden, vorausgesetzt, 4k-Blockgrößen und QD=256 für IOPS und 256k-Blockgrößen mit QD=64 für den Durchsatz. Darüber hinaus unterscheidet sich die Leistung des temporären Datenträgers häufig zwischen Lese- und Schreibvorgängen. Bei konstanten Zustandsvorgängen wird erwartet, dass die Schreibleistung niedriger als die Leseleistung ist.
- Speicherkapazität wird in GiB-Einheiten oder 1.024^3 Bytes angezeigt. Beachten Sie beim Vergleich von in GB (1.000^3 Bytes) gemessenen Datenträgern mit in GiB (1.024^3 Bytes) gemessenen Datenträgern, dass die in GiB angegebenen Kapazitätszahlen kleiner erscheinen können. Beispiel: 1.023 GiB = 1.098,4 GB.
- Der Datenträgerdurchsatz wird in E/A-Vorgängen pro Sekunde (Input/Output Operations Per Second, IOPS) und MB/s gemessen, wobei MB/s = 10^6 Bytes/Sekunde beträgt.
- Weitere Informationen, wie Sie die beste Speicherleistung für Ihre VMs erzielen können, finden Sie unter Leistung von virtuellen Computern und Datenträgern.
Remotespeicherinformationen (nicht zwischengespeichert) für jede Größe
| Name der Größe |
Max. Remotespeicherdatenträger (Menge) |
Nicht zwischengespeicherte Datenträger-IOPS |
Datenträgergeschwindigkeit ohne Zwischenspeicherung (MBit/s) |
| Standard_ND96isr_H200_v5 |
16 |
40,800 |
612 |
Speicherressourcen
Tabellen-Definitionen
- Einige Größen unterstützen Burstfunktion, um die Datenträgerleistung vorübergehend zu erhöhen. Burstgeschwindigkeiten können bis zu 30 Minuten gehalten werden.
- Spezieller Speicher bezieht sich entweder auf den Ultra Disk - oder Premium SSD v2-Speicher .
- Speicherkapazität wird in GiB-Einheiten oder 1.024^3 Bytes angezeigt. Beachten Sie beim Vergleich von in GB (1.000^3 Bytes) gemessenen Datenträgern mit in GiB (1.024^3 Bytes) gemessenen Datenträgern, dass die in GiB angegebenen Kapazitätszahlen kleiner erscheinen können. Beispiel: 1.023 GiB = 1.098,4 GB.
- Der Datenträgerdurchsatz wird in E/A-Vorgängen pro Sekunde (Input/Output Operations Per Second, IOPS) und MB/s gemessen, wobei MB/s = 10^6 Bytes/Sekunde beträgt.
- Datenträger können mit oder ohne Cache betrieben werden. Beim Datenträgerbetrieb mit Cache ist der Hostcachemodus auf ReadOnly oder ReadWrite festgelegt. Beim Datenträgerbetrieb ohne Cache ist der Hostcachemodus auf None festgelegt.
- Weitere Informationen, wie Sie die beste Speicherleistung für Ihre VMs erzielen können, finden Sie unter Leistung von virtuellen Computern und Datenträgern.
Netzwerkschnittstellen-Informationen für jede Größe
| Name der Größe |
Max. NICs (Menge) |
Maximale Bandbreite (Mbps) |
| Standard_ND96isr_H200_v5 |
8 |
80.000 |
Netzwerkressourcen
Tabellen-Definitionen
- Die erwartete Netzwerkbandbreite ist die maximale aggregierte Bandbreite, die pro VM-Typ für alle Netzwerkschnittstellen und alle Ziele zugeordnet ist. Weitere Informationen finden Sie unter Netzwerkdurchsatz virtueller Computer.
- Die Einhaltung von Obergrenzen wird nicht garantiert. Grenzwerte dienen als Richtlinien bei der Auswahl der richtigen VM-Art für die jeweilige Anwendung. Die tatsächliche Netzwerkleistung hängt von mehreren Faktoren ab. Hierzu zählen beispielsweise Netzwerküberlastung, Anwendungslasten und die Netzwerkeinstellungen. Informationen zum Optimieren des Netzwerkdurchsatzes finden Sie unter Optimieren des Netzwerkdurchsatzes für virtuelle Azure-Computer.
- Unter Umständen muss eine bestimmte Version ausgewählt oder der virtuelle Computer optimiert werden, um die erwartete Netzwerkbandbreite unter Linux oder Windows zu erzielen. Weitere Informationen finden Sie unter Testen der Bandbreite/des Durchsatzes (NTTTCP).
Beschleunigerinformationen (GPUs, FPGAs usw.) zu jeder Größe
| Name der Größe |
Beschleuniger (Anzahl) |
Arbeitsspeicher der Beschleuniger (GB) |
| Standard_ND96isr_H200_v5 |
8 |
1,128 |
Featureunterstützung
Liste aller verfügbaren Größen: Größen
Preisrechner: Preisrechner
Informationen zu Datenträgertypen: Datenträgertypen
Nächste Schritte
Nutzen Sie die neuesten für Ihre Workloads verfügbaren Leistung und Funktionen, indem Sie die Größe eines virtuellen Computers ändern.
Nutzen Sie die von Microsoft selbst entwickelten ARM-Prozessoren mit Azure Cobalt-VMs.
Weitere Informationen finden Sie unter Überwachen von Azure-VMs.