GPU Server

Art der Leistung

Das Fachgebiet "Data & AI Systems" am Fachbereich Informatik der Technischen Universität Darmstadt beabsichtigt die Beschaffung eines hochleistungsfähigen GPU-Servers, der in eine bestehende verteilte ML-Infrastruktur mit 400G-Netzwerkanbindung integriert werden soll. Ziel ist die Nutzung des Systems für rechenintensive Machine-Learning-Trainingsaufgaben im Bereich "Verteiltes Deep Learning".

Umfang der Leistung

GPU-Konfiguration

· 4x NVIDIA H200 GPUs mit jeweils 141 GB HBM Speicher.

· Die GPUs müssen untereinander per NVLink Interconnect verbunden sein, mit einer Gesamtbandbreite von mindestens 900 GB/s.

Netzwerk & PCIe-Anbindung

· 4xNVIDIA ConnectX-7 Netzwerkkarten, Single-Port, OSFP-Formfaktor,400 Gbit/s Ethernet.

· Die PCIe-Konfiguration muss so ausgelegt sein, dass jede Netzwerkkarte über den gleichen PCIe-Switch wie die jeweils zugeordnete GPU angebunden ist. Dies ist er-forderlich, um eine gleichzeitige Nutzung der vollen PCIe-Bandbreite für GPUDirect RDMA sicherzustellen (1:1 Zuordnung: 1 GPU ? 1 NIC am selben Switch).