Arhitektura HPC Vega
Spodaj najdete tabelo, v kateri sta povzeti vrsta in količina večjih komponent strojne opreme predlagane rešitve za sistem Vega:
Računanje
Particija GPU
Kategorija |
Komponenta |
Količina |
Opis |
Infrastruktura |
Predal |
2 |
XH2000 DLC predal s komponentami: PSU, HYC in stikali IB HDR |
Računska |
Vozlišče GPU |
60 |
4 x Nvidia 100, 2 x AMD Rome 7H12, 512 GB RAM, 2 x HDR dual port mezzanine, 1 x 1.92TB M.2 SSD |
Particija CPU
Kategorija |
Komponenta |
Količina |
Opis |
Infrastruktura |
Predal |
10 |
XH2000 DLC predal s komponentami PSUs, HYC in stikali IB HDR |
Računska |
Vozlišče CPU standard |
768 |
201 rezina 3 računskih vozlišč (2 x AMD Rome 7H12 (64c, 2.6GHz, 280W) 256GB RAM 1x HDR100 single port mezzanine 1x 1.92TB M.2 SSD) |
Računska |
Vozlišče CPU velik pomnilnik |
192 |
64 rezin 3 računskih vozlišč (2 x AMD Rome (64c, 2.6GHz, 280W) 1TB RAM 1x HDR100 single port mezzanine 1x 1.92TB M.2 SSD) |
Pomnilnik
Kategorija |
Komponenta |
Količina |
Opis |
Pomnilnik |
Gradnik na podlagi hitrega pomnilnika |
10 |
2U ES400NVX (na napravo: 23 x 6.4 TB NVMe, 8 InfiniBand HDR100, 4 vdelani Lustre VMs, 1 OST in MDT na VM). |
LCST – Large Capacity Storage tier (nivo pomnilnika z veliko kapaciteto)
Kategorija |
Komponenta |
Količina |
Opis |
Pomnilnik |
Vozlišče pomnilnika |
61 |
Supermicro SuperStorage 6029P-E1CR24L z 2 x Intel Xeon Silver 421R, 12c, 2.4GHz, 100W, 256GB RAM DDR4 RDIMM 2933MT/s, 1 x 240GB SSD, 2 x 6.4TB NVMe, 24 x 16TB HDD, 2 x 25GbE Mellanox ConnectX-4 DP, 1 x 1GbE IPMI |
Notranje omrežje Ceph |
Stikalo Ethernet |
8 |
Mellanox SN2010. Na stikalo: 18x 25GbE + 4x 100GbE vrata |
Prijava in virtualizacija
Kategorija |
Komponenta |
Količina |
Opis |
Prijava CPU |
Vozlišča prijave |
4 |
Atos BullSequana X430-A5 z 2 x AMD EPYC 7H12, 256GB RAM DDR4 3200MT/s, 2 x 7.6TB U.2 SSD, 1 x 100GbE DP ConnectX5, 1 x 100Gb IB HDR ConnectX-6 SP |
Prijava GPU |
Vozlišča prijave |
4 |
Atos BullSequana X430-A5 z 1 x NVIDIA Ampere A100 PCIe GPU in 2 x AMD EPYC 7452 (32c, 2.35GHz, 155W), 256GB RAM DDR4 3200MT/s, 2 x 7.6TB U.2 SSD, 1 x 100GbE DP ConnectX5, 1 x 100Gb IB HDR ConnectX-6 SP |
Servis |
Virtualizacija/servisna vozlišča |
30 |
Atos BullSequana X430-A5 z 2 x AMD EPYC 7502 (32c, 2.5GHZ, 180W) 512GB RAM DDR4 3200MT/s, 2 x 7.6TB U.2 SSD, 1x 100GbE DP ConnectX5, 1 x 100Gb IB HDR ConnectX-6 SP |
Infrastruktura omrežja in medsebojne povezave
Kategorija |
Komponenta |
Količina |
Opis |
Medsebojno omrežje |
Stikalo IB |
68 |
40-port Mellanox HDR stikalo, Dragonfly+ topologija |
Medsebojne povezave |
IB HDR100/200 vrata na kartici IB |
1230 |
960 računskih, 60 (x2) GPU, 8 za prijavo, 30 za virtualizacijo, 10 (x8) HCST in 8 (x4) Skyway Gateways z Mellanox ConnectX-6 (enojna ali dvojna vrata) |
IPoIB Gateway |
IB/Ethernet Data Gateway |
4 |
Mellanox Skyway IB do Ethernet Gateway Appliance (na gateway: 8x IB in 8x 100GbE vrat) |
Ethernet podatkovno omrežje |
Stikala Top-Level |
2 |
Cisco Nexus N3K – C3408-S, 192 vrat 100GE aktivirano |
Povezljivost WAN |
IP usmerjevalniki |
2 |
Cisco Nexus N3K – C3636C-R, 5x 100GbE do WAN (na voljo do konca 2021) |
Omrežje za glavno upravljanje |
10GbE stikalo |
2 |
Mellanox 2410 stikala (na stikalo 48 x 10GbE vrat) |
Vhod/izhod omrežja upravljanja pasovne širine |
1GbE stikalo |
4 |
Mellanox 4610 stikal (na stikalo 48 x 1GbE + 2 x 10GbE vrata) |
Omrežje za upravljanje predalov |
WELB stikalo |
24 |
Dve integrirani stikali na predal WELB (sWitch Ethernet Leaf Board) s tremi 24-vratnimi Ethernet stikali in enim upravljalnikom za Ethernet (EMC) |