AI Cluster Network Design: Spine-Leaf, RoCE & NICs

Gervigreind klasanetahönnun er ferlið við stærðarstærð GPU miðlara NIC, blaða-hryggsbandbreidd, yfiráskriftarhlutfall, RoCE stillingar, ljósfræði og kaðall þannig að dreifð þjálfunarumferð er áfram fyrirsjáanleg eftir því sem þyrpingin stækkar. Gerðu eitthvað af þessu rangt og netið - ekki GPU - verður flöskuhálsinn.

Hvers vegna AI klasanet er öðruvísi

Í hefðbundnu fyrirtækisgagnaveri sér netið um blöndu af norður-suðri notendaumferð, geymsluaðgangi, sýndarvæðingu og stjórnun. Austur-vestur umferð er til staðar en er sjaldan ríkjandi álag. Í gervigreindarklasa snýst ástandið við. GPU netþjónar sem keyra dreifða þjálfun skiptast á halla og samstilla færibreytur í hverju skrefi verksins. Þessi samskipti eru hluti af útreikningnum, ekki fylgifiskur hennar.

Ef 30.000 USD GPU eyðir 30% af tíma sínum í að bíða á netinu meðan á öllum-minnkunaraðgerðum stendur, greiðir þyrpingin í raun fyrir 30% af tölvugetu sinni til að vera aðgerðalaus. Það er efnahagslega ástæðan fyrir því að gervigreind netkerfi fær svo mikla athygli.

Þrír eiginleikar vinnuálags stjórna hönnuninni:

• Sprungin umferð í austur-vestur.Sameiginlegar samskiptaaðgerðir eins og allar-minnka, allar-safna og draga úr-dreifingu framleiða samstillta strauma yfir marga hnúta samtímis.
• Hala-töf næmi.Einn hægur hnútur seinkar öllu þjálfunarskrefinu. Fyrirsjáanleg leynd skiptir meira máli en meðaltöf.
• Minnka-vöxt.Klasar sem byrja á 32 GPU stækka oft í 256 eða 1.024 innan 18 mánaða. Efnið verður að skalast án endurhönnunar.

Hvers vegna hryggur-Leaf passar gervigreindarþyrpingum

Spine-leaf er staðlað efni fyrir ofmetra gagnaver vegna þess að það gefur hverjum netþjóns-til-slóð sama hoppfjölda og sömu fræðilegu bandbreidd. Fyrir gervigreindarálag skilar þessi einsleitni sér beint í fyrirsjáanlegri þrepatíma þjálfunar.

Í hrygg-blaðafræði tengjast GPU þjónum við blaðrofa og hvert blað tengist hverjum hrygg. Öll GPU-til-GPU samskipti fara yfir nákvæmlega eitt laufblað, eitt hrygg og eitt lauf í viðbót. Það eru engin samsöfnunarlög sem kynna breytilega leynd eða chokepoints.

Fyrirsjáanleg bið

Jafn-kostnaður með mörgum-leiðum (ECMP) leið dreifir flæði yfir hryggrofa. Þegar það er stillt á réttan hátt með aðlögunarleið eða kraftmikilli álagsjöfnun kemur þetta í veg fyrir hassárekstra sem valda því að sum flæði eru mun hægari en önnur - þekkt vandamál í kyrrstæðum ECMP efnum sem bera fá en stór flæði, sem er nákvæmlega það sem AI þjálfun framkallar.

Hár tvískurðarbandbreidd

Tvískurðarbandbreidd er afköst sem er tiltæk milli tveggja jafnra helminga klasans. Gervigreindarþjálfun nýtur góðs af hönnun sem er ekki-blokkandi eða nær-ekki-þar sem blaða-til-hleðslugeta upptengilsins er jafn eða næstum því sú niðurtenglageta sem snýr að netþjónunum. IETF skilgreinir og ræðir þessi hugtök íRFC 7938, sem nær yfir BGP-beint Clos efni sem er mikið notað í stórum-gagnaverum.

Auðveldara skala-út

Bættu við fleiri blöðum til að bæta við fleiri netþjónum. Bættu við fleiri hryggjum til að bæta við meiri bandbreidd tvískipta. Fyrir klasa umfram nokkur þúsund GPU, ofur-hrygg (5-þrep Clos) eða járnbrautarbjartsýni næringarfræði teygir sömu meginregluna eitt lag lengra.

Kjarnaþættir gervigreindarþyrpingarnets

GPU netþjónar og NIC

NIC er þar sem efnið mætir gestgjafanum. Í gervigreindarþyrpingum knýr NIC-val allt niðurstreymis - rofatengishraða, val á ljósfræði og kapalþéttleika.

Valviðmið fyrir gervigreind vinnuálag:

• Hafnarhraði:200G, 400G eða 800G á hverja höfn. Passaðu við GPU kynslóð og PCIe bandbreidd.
• PCIe kynslóð:400G NIC þarf PCIe Gen5 x16 til að forðast hýsil-hliðarinngjöf. PCIe Gen4 x16 húfur við ~256 Gbps nothæfar.
• RDMA og RoCEv2 stuðningur:Nauðsynlegt fyrir kjarna-framhjá GPU samskiptasöfnum eins og NCCL.
• GPUDirect RDMA:Leyfir að beina GPU-í-NIC DMA, fjarlægir hýsilminnisafrit.
• Fjöl-teinageta:Margir gervigreindarþjónar nota 4 eða 8 NIC á hvern hnút, einn á hvert GPU par, fyrir járnbrautar-bjartsýni svæðisfræði.

Dæmigerður 8-GPU netþjónn í dag notar annað hvort 4× 400G NIC (einn á tvo GPU) eða 8× 400G NIC (einn á GPU) allt eftir vinnuálagi og fjárhagsáætlun. Tilvísunararkitektúr fráNVIDIA netskjölfara ítarlega yfir hönnunarmálin.

Blað- og hryggrofar

Skiptavalsskilyrði fyrir gervigreindarefni eru frábrugðin fyrirtækisvali. Stærð buffers, hegðun til að stjórna þrengslum og fjarmælingar skipta meira máli en breidd eiginleika.

• Hraða og radix fyrir hverja-höfn:51,2 Tbps rofi ASIC skilar 64× 800G tengi eða 128× 400G tengi. Radix ákvarðar hversu flatt efnið getur verið.
• Buffer arkitektúr:Djúpir biðminni gleypa innkasta springa en bæta við leynd. Grunnir biðminni draga úr leynd en krefjast nákvæmrar stýringar á þrengslum.
• RoCE eiginleikasett:ECN-merking, PFC, DCQCN eða sambærilegt eftirlit með þrengslum og rétta meðhöndlun forgangsraðra enda-til-enda.
• Fjarmæling:Innanbandsnetfjarmæling (INT), skýrslur á-dýptarröð og míkrósekúndu-upplausnarteljarar fyrir ECN-merki og PFC-hlé.

Ljóstækni, DAC og AOC kaðall

Við 400G og 800G verður kaðallverksmiðjan raunverulegt verkfræðilegt vandamál. Formþættir, kostnaðaráætlanir tengdar og útbrotsstillingar þurfa allir að skipuleggja snemma.

• DAC (Direct Attach Copper):Allt að ~3 metrar fyrir 400G, lægsta kostnað og lægsta afl. Þungt og fyrirferðarmikið í mælikvarða.
• AOC (virkur ljóssnúra):Allt að ~30 metrar, þynnri en DAC, en fast-lengd og notar ljósafl í báðum endum.
• Ljósleiðari sem hægt er að tengja:Nauðsynlegt umfram AOC fjarlægð. QSFP-DD og OSFP formþættir ráða 400G/800G. MPO/MTP trefjasamstæður sjá um samhliða-trefjatengingar.

Fyrir innbyrðis-rekkitengla og skipulagða kaðall við 400G/800G er samhliða ljóstækni yfir MPO-loka nú staðalbúnaður. Valið á milli stofnkapla og brotasamsetninga fer eftir úthlutun rofatengis - sjá okkarLeiðbeiningar um MPO útbrotssnúrufyrir hagnýta val rökfræði, og víðtækariSamanburður á MPO skottinu vs breakoutþegar þú ert að skipuleggja hlaup-til-blaða.

RoCE og Lossless Ethernet í gervigreindum dúkum

RoCEv2 (RDMA over Converged Ethernet v2) er ríkjandi Ethernet flutningur fyrir gervigreind vinnuálag. Það gerir NIC kleift að flytja gögn beint á milli GPU minnisvæða án kjarnaþátttöku á hvorum endanum. NCCL, GPU samskiptasafnið sem liggur til grundvallar næstum öllum dreifðum þjálfunarramma, notar RoCEv2 þegar InfiniBand er ekki tiltækt.

RoCE virkar vel þegar það er rétt stillt. Það mistekst ljótt þegar það er rangt stillt. TheInfiniBand Trade Associationbirtir RoCE forskriftirnar og flestir NIC og skiptiframleiðendur gefa út nákvæmar stillingarleiðbeiningar sem ætti að fylgja frá enda-til-.

Hvers vegna tapslaus hegðun skiptir máli

RDMA var hannað með hliðsjón af taplausum flutningi. Þegar pakkar falla er RDMA endurheimt dýr - farðu-til baka-N endursending getur stöðvað þjálfunarskref í millisekúndur, sem er gríðarlegt miðað við míkrósekúndu-kvarða RDMA kostnaðarhámarksins.

Til að meta taplausa hegðun á Ethernet notar efnið tvo kerfi sem vinna saman:

• PFC (Priority Flow Control, IEEE 802.1Qbb):Rofi gerir hlé á komandi umferð í tiltekinni forgangsröð þegar biðminni hennar fyllist. Þetta er síðasta-úrræðiskerfi.
• ECN (Explicit Congestion Notification, RFC 3168):Skiptir merkja pakka þegar biðraðir nálgast þröskuld. NIC dregur úr sendingarhraða sínum áður en biðminni fyllist, helst forðast PFC algjörlega.

Markmiðið er að ECN sjái um nánast alla umferðarstjórnun, með PFC sem öryggisnet. Ef þú sérð tíðar PFC hlé í stöðugri-umferð, eru ECN-þröskuldarnir þínir rangir eða efnið þitt er undirstærð.

Algengar RoCE dreifingarbilanir

Hvernig á að hanna gervigreind klasanet: vinnuramma

Þetta er sá hluti sem flestar greinar um „AI net“ sleppa. Sjö skrefin hér að neðan gefa þér áþreifanleg inntak og úttak á hverju stigi.

Skref 1: Skilgreindu vinnuálag og mælikvarða

Inntak:Tegund vinnuálags (forþjálfun,-fínstilling, ályktun, blandað), markfjölda GPU í dag, markfjölda GPU eftir 18 mánuði, tegundarstærðarsviðs.

Framleiðsla:Vinnuálagssnið sem upplýsir NIC hraða og umburðarlyndi fyrir ofáskrift. Mikil forþjálfun á landamæragerðum krefst ó-blokkandi 400G+ dúk. Fínstilla-vinnuálag getur þolað 2:1 ofáskrift. Ályktunarklasar þurfa oft minni bandbreidd en lægri halaleynd.

Skref 2: Veldu NIC Speed ​​and Count per Server

Rökfræði ákvörðunar:

• Forþjálfun stórra gerða, 8-GPU netþjóna → 4–8× 400G NIC á hvern netþjón, eða 4× 800G
• Mið-þjálfun, 8-GPU netþjónar → 2–4× 400G NIC á hvern netþjón
• Ályktunarþjónusta → 1–2× 200G eða 400G NIC á hvern netþjón, allt eftir samhliða líkani

Staðfestu PCIe bandbreidd á gestgjafanum. Eitt 400G tengi krefst PCIe Gen5 x16 til að keyra á línuhraða; tvöföldun í 800G krefst Gen6 eða skiptingu yfir tvær raufar.

Skref 3: Stærð lauflagsins

Unnið dæmi - 32-hnútaþyrping, 8 GPU á hvern hnút, 4× 400G NIC á hvern hnút:

• Heildar-tengi sem snúa að netþjóni sem þarf: 32 × 4=128 tengi við 400G
• Bandbreidd niðurtengla á hvern hnút: 4 × 400=1.6 Tbps
• Heildarbandbreidd niðurtengils klasa: 32 × 1.6=51.2 Tbps

Með því að nota 64 porta 400G laufrofa (25,6 Tbps heildarafköst), getur hvert lauf tengt 32 netþjónstengi og notað hinar 32 portin sem eftir eru sem upptengi. Með 4 blöðum nærðu yfir öll 128 netþjónstengi. Hvert laufblað leggur til 32 × 400G=12.8 tbps af upptengingu í átt að hryggnum.

Skref 4: Stærð hryggjarlagið

Fyrir hönnun sem er ekki-blokkandi (1:1) verður heildargeta upptengis að vera jöfn heildargeta niðurtenils. Frá skrefi 3:

• Heildarhleðsla blaða sem krafist er: 4 blöð × 12,8 Tbps=51.2 Tbps
• Ef hver hrygg er með 32× 400G tengi=12.8 Tbps, þarftu 4 hrygg
• Hvert laufblað tengist öllum fjórum hryggjunum með 8 upptengla á hvern hrygg (8 × 400G × 4=12.8 tbps á lauf - samsvarar)

Ef þú notar 64 porta 400G hryggrofa hefur hver hryggur aukagetu til að stækka klasann, gagnlegt fyrir 18 mánaða áætlunina frá skrefi 1.

Skref 5: Stilltu yfiráskriftarhlutfallið

Skref 6: Aðskilja tölvu-, geymslu- og stjórnunarumferð

Þrír valkostir, í röð auka einangrun:

• Sameiginlegt efni með QoS flokkum:Reikna, geymsla og stjórnun á aðskildum DSCP forgangsröðun. Lægsti kostnaður; krefst vandlegrar QoS stillingar.
• Röklega aðskilin VLAN/VRF:Sami vélbúnaður, aðskildar stjórnvélar. Gagnlegt fyrir fjöl-leigjandaklasa.
• Líkamlega aðskilin efni:Sérstök NIC, rofar og kaðall fyrir tölvur á móti geymslu. Hæsti kostnaður; algengt í landamæraklösum-líkana þar sem hvers kyns ágreiningur er óviðunandi.

Geymsluumferð fyrir gervigreind er sjálf mikil. - eftirlitsstöð skrifa fyrir stóra gerð getur fært hundruð gígabæta í stuttum hríðum. Skipuleggðu það beinlínis. Uppbyggt kapalverksmiðja með mikilli-þéttleika sem notarMPO/MTP stofnsnúrureinfaldar að keyra samhliða dúkur í sömu líkamlegu innviðum.

Skref 7: Staðfesta fyrir framleiðslu

Netkerfisprófanir- taka upp nokkur vandamál. Vinnuálags-próf ná afganginum.

• Bandbreidd:iperf3 eða ib_send_bw á milli hvers hnútapars; ætti að ná 90%+ af NIC línuhraða.
• Töf:ib_read_lat eða álíka; athuga dreifingu, ekki bara meðaltal. P99.9 skiptir meira máli en meðaltali.
• Pakkatap:Keyra 24-klst. bleytipróf undir álagi; tap sem ekki er núll í RoCE umferðarflokki er vandamál.
• ECN merkingarhegðun:Staðfestu merki birtast áður en PFC kviknar; ef PFC hlé eru tíð í stöðugu ástandi skaltu stilla aftur.
• Sameiginleg samskipti:Keyrðu NCCL próf (all_reduce_perf, all_gather_perf) í fullri klasastærð. Bera saman við tilvísunarnúmer söluaðila.
• Starfsstig-próf:Starf um fulltrúaþjálfun í 4–6 klst. Horfðu á GPU nýtingu - viðvarandi gildi undir 50% á réttri-stærð líkans gefa venjulega til kynna netvandamál.

Hefðbundið netkerfi gagnavera á móti gervigreind hrygg-Blaufefni

Ethernet RoCE vs InfiniBand: Fljótleg ákvörðunarleiðbeiningar

Spurningin kemur upp í næstum öllum gervigreindarklasaverkefnum. Bæði virka. Valið kemur venjulega niður á rekstrarhæfni, ekki hreinni frammistöðu.

• Veldu InfiniBand ef:Teymið þitt rekur nú þegar InfiniBand efni, þú vilt einfaldasta leiðina til taplausra flutninga eða þú ert að kaupa fullkomlega-samþættan tilvísunararkitektúr söluaðila.
• Veldu Ethernet RoCE ef:Rekstrarteymið þitt er Ethernet-innbyggt, þú vilt margfalda-rofavalkosti framleiðenda, þú þarft að samþætta gervigreindarkerfið við núverandi netkerfi gagnavera, eða þú sérð fram á mælikvarða umfram það sem núverandi InfiniBand toppfræði styður hreint.

Ultra Ethernet Consortium, stofnað árið 2023, vinnur virkan að því að staðla Ethernet aukahluti sérstaklega fyrir gervigreind vinnuálag. Fyrir flesta nýja klasa árið 2026 er Ethernet RoCE sjálfgefið sjálfgefið nema það sé sérstök ástæða til að velja annað.

Algeng mistök sem ber að forðast

Uppfærsla rofa án þess að athuga NIC

800G rofaefni gerir ekkert fyrir þig ef NIC tækin þín keyra á 400G eða hýsingar-PCIe þinn verður uppiskroppa með bandbreidd. Hannaðu fyrst hýsilhliðina og síðan rofahliðina. PCIe Gen5 x16 takmarkar eina tengi við um 504 Gbps raunverulegt-afköst í heiminum - þægilegt fyrir 400G, lélegt fyrir 800G.

Fínstillir porthraða en hunsar kapalþéttleika

Þegar 64-port 400G fer, getur kaðallinn undir hverjum rofa orðið líkamlega óviðráðanlegur án skipulagningar. Notaðu útbrotssnúrur þar sem við á, leiðaðu trefjar í gegnum skipulagðar leiðir og staðlaðu á tengitegundum. Tengi gæði og lúkning skipta máli á miklum hraða - okkarLeiðbeiningar um gerð ljósleiðaratengianær yfir málamiðlanir á milli LC, MPO og vaxandi-háþéttni formþátta.

Meðhöndla RoCE sem Plug-and-Play

Stærstu hönnunarmistökin í raunverulegum gervigreindarþyrpingum eru að velja ekki rangan rofa - það er verið að vanmeta hversu mikla end-til-loka RoCE stillingarvinnu er krafist. Fjárhagsáætlunartími til að stilla ECN þröskulda, PFC forgangsröðun og MTU samræmi. Skipuleggðu sérstakan staðfestingarfasa áður en nokkurt framleiðsluálag keyrir.

Blanda allri umferð á einum dúk án QoS

Afritun geymslu, vöktunarmiðlar og stjórnunarumferð geta eyðilagt þrepatíma þjálfunar ef þeir deila biðmunum með tölvuumferð. Annað hvort aðskilja þá líkamlega eða framfylgja ströngum QoS flokkum með aðskildum forgangi og ECN stillingum.

Bygging eingöngu fyrir klasa dagsins

Flestir gervigreindarklasar stækka 4–8× innan tveggja ára frá fyrstu dreifingu. Veldu rofaradix og hryggjarstærð sem leyfir ó-stækkun. Það er dýrt að draga snúrur í lifandi gervigreind gagnaver; áætlanagerð rás og plástur getu á uppsetningu tíma er ódýr.

Hvenær á að stíga upp úr 400G í 800G

800G NIC og rofar eru fáanlegir en dýrari fyrir hvert tengi. Íhugaðu að stíga upp þegar:

• Fyrir hverja-GPU bandbreidd þarf meiri en 400G getur veitt - til dæmis, H100 og nýrri GPU með NVLink 5 búast við meiri ytri bandbreidd
• NCCL allar-minnkar tímakvarða illa með klasastærð, sem gefur til kynna netmettun
• Kapalþéttleiki við 400G er að verða líkamlega óviðráðanlegur - færri 800G tengi geta komið í stað fleiri 400G tengi
• Búist er við að næsta GPU kynslóð í vegakortinu þínu þurfi hana innan afskriftarglugga klasans
• Þú ert að byggja upp landamæra-módelþjálfunarklasa þar sem allur aðgerðalaus reiknitími kostar umtalsvert meira en ljóstækniuppfærslan

Fyrir flesta framleiðsluklasa árið 2026 er 400G áfram rétt jafnvægi á milli kostnaðar, þroska vistkerfa og getu. 800G er skynsamlegt í hámarkinu og sem framvirk fjárfesting fyrir klasa sem verið er að byggja í dag og búist er við að muni standa í 4–5 ár.

Niðurstaða

Sterkasta gervigreind klasanetið er ekki það sem er með hröðustu rofana. Það er sá þar sem NIC val, stærð blaða/hryggs, yfiráskrift, RoCE stillingar, umferðaraðskilnaður og líkamleg kaðall styðja hvert annað og vinnuálagið sem þeir voru valdir fyrir.

Byrjaðu á vinnuálaginu og 18-mánaða vaxtaráætluninni. Reiknaðu bandbreiddarþörf í hverju lagi með því að nota rauntölur, ekki bara þumalputtareglur. Stilltu RoCE end-til-enda og staðfestu með raunverulegum sameiginlegum samskiptaviðmiðum. Fjárhagsáætlun fyrir kapalverksmiðjuna - við 400G og 800G er líkamlega lagið ekki lengur léttvægt.

Klasinn sem heldur GPU sínum uppteknum við 95%+ nýtingu í gegnum hvert þjálfunarskref er sá sem veitti öllum þessum lögum athygli. Þyrpingin sem er send með hraðari rofi og hægari efni mun eyða árum í að útskýra hvers vegna GPU eru aðgerðalaus.

Frekari lestur

• RFC 7938 - BGP í stórum-gagnaverum
• InfiniBand Trade Association - RoCE forskriftir
• NVIDIA netskjöl
• Uppsetningarleiðbeiningar fyrir ljósleiðara
• Innsetningartap vs afturtap útskýrt