Skip to content

Arhitektura HPC Vega

Spodaj najdete tabelo, v kateri sta povzeti vrsta in količina večjih komponent strojne opreme predlagane rešitve za sistem Vega:

Računanje

Particija GPU

Kategorija Komponenta Količina Opis
Infrastruktura Predal 2 XH2000 DLC predal s komponentami: PSU, HYC in stikali IB HDR
Računska Vozlišče GPU 60 4 x Nvidia 100, 2 x AMD Rome 7H12, 512 GB RAM, 2 x HDR dual port mezzanine, 1 x 1.92TB M.2 SSD

Particija CPU

Kategorija Komponenta Količina Opis
Infrastruktura Predal 10 XH2000 DLC predal s komponentami PSUs, HYC in stikali IB HDR
Računska Vozlišče CPU standard 768 201 rezina 3 računskih vozlišč (2 x AMD Rome 7H12 (64c, 2.6GHz, 280W) 256GB RAM 1x HDR100 single port mezzanine 1x 1.92TB M.2 SSD)
Računska Vozlišče CPU velik pomnilnik 192 64 rezin 3 računskih vozlišč (2 x AMD Rome (64c, 2.6GHz, 280W) 1TB RAM 1x HDR100 single port mezzanine 1x 1.92TB M.2 SSD)

Pomnilnik

HPST – High-performance storage tier (nivo visokozmogljivega pomnilnika)

Kategorija Komponenta Količina Opis
Pomnilnik Gradnik na podlagi hitrega pomnilnika 10 2U ES400NVX (na napravo: 23 x 6.4 TB NVMe, 8 InfiniBand HDR100, 4 vdelani Lustre VMs, 1 OST in MDT na VM).

LCST – Large Capacity Storage tier (nivo pomnilnika z veliko kapaciteto)

Kategorija Komponenta Količina Opis
Pomnilnik Vozlišče pomnilnika 61 Supermicro SuperStorage 6029P-E1CR24L z 2 x Intel Xeon Silver 421R, 12c, 2.4GHz, 100W, 256GB RAM DDR4 RDIMM 2933MT/s, 1 x 240GB SSD, 2 x 6.4TB NVMe, 24 x 16TB HDD, 2 x 25GbE Mellanox ConnectX-4 DP, 1 x 1GbE IPMI
Notranje omrežje Ceph Stikalo Ethernet 8 Mellanox SN2010. Na stikalo: 18x 25GbE + 4x 100GbE vrata

Prijava in virtualizacija

Kategorija Komponenta Količina Opis
Prijava CPU Vozlišča prijave 4 Atos BullSequana X430-A5 z 2 x AMD EPYC 7H12, 256GB RAM DDR4 3200MT/s, 2 x 7.6TB U.2 SSD, 1 x 100GbE DP ConnectX5, 1 x 100Gb IB HDR ConnectX-6 SP
Prijava GPU Vozlišča prijave 4 Atos BullSequana X430-A5 z 1 x NVIDIA Ampere A100 PCIe GPU in 2 x AMD EPYC 7452 (32c, 2.35GHz, 155W), 256GB RAM DDR4 3200MT/s, 2 x 7.6TB U.2 SSD, 1 x 100GbE DP ConnectX5, 1 x 100Gb IB HDR ConnectX-6 SP
Servis Virtualizacija/servisna vozlišča 30 Atos BullSequana X430-A5 z 2 x AMD EPYC 7502 (32c, 2.5GHZ, 180W) 512GB RAM DDR4 3200MT/s, 2 x 7.6TB U.2 SSD, 1x 100GbE DP ConnectX5, 1 x 100Gb IB HDR ConnectX-6 SP

Infrastruktura omrežja in medsebojne povezave

Kategorija Komponenta Količina Opis
Medsebojno omrežje Stikalo IB 68 40-port Mellanox HDR stikalo, Dragonfly+ topologija
Medsebojne povezave IB HDR100/200 vrata na kartici IB 1230 960 računskih, 60 (x2) GPU, 8 za prijavo, 30 za virtualizacijo, 10 (x8) HCST in 8 (x4) Skyway Gateways z Mellanox ConnectX-6 (enojna ali dvojna vrata)
IPoIB Gateway IB/Ethernet Data Gateway 4 Mellanox Skyway IB do Ethernet Gateway Appliance (na gateway: 8x IB in 8x 100GbE vrat)
Ethernet podatkovno omrežje Stikala Top-Level 2 Cisco Nexus N3K – C3408-S, 192 vrat 100GE aktivirano
Povezljivost WAN IP usmerjevalniki 2 Cisco Nexus N3K – C3636C-R, 5x 100GbE do WAN (na voljo do konca 2021)
Omrežje za glavno upravljanje 10GbE stikalo 2 Mellanox 2410 stikala (na stikalo 48 x 10GbE vrat)
Vhod/izhod omrežja upravljanja pasovne širine 1GbE stikalo 4 Mellanox 4610 stikal (na stikalo 48 x 1GbE + 2 x 10GbE vrata)
Omrežje za upravljanje predalov WELB stikalo 24 Dve integrirani stikali na predal WELB (sWitch Ethernet Leaf Board) s tremi 24-vratnimi Ethernet stikali in enim upravljalnikom za Ethernet (EMC)