InfiniBand vs RoCE fyrir AI ályktunarnet

VelduInfiniBandþegar ályktun vinnuálags þín lifir eða deyr með fyrirsjáanlegri hala leynd, og velduRoCE(RDMA over Converged Ethernet) þegar þú vilt RDMA-afköst á Ethernet efni geturðu skalað, deilt og starfað með teyminu sem þú ert nú þegar með. Hvorugur kosturinn vinnur alls staðar. Rétt símtal fer eftir ályktunarmynstri þínu, p99 og p999 biðtímamarkmiðum þínum, GPU mælikvarða, kostnaðarhámarki og hversu mikið taplaus-Ethernet-stillingarþekking er í teyminu þínu.

Hvers vegna netið skiptir meira máli en ályktunarhópar búast við

Í mörg ár var ályktun meðhöndluð sem auðveldi helmingur GPU-sögunnar: líkan hlaðið á einn hnút, beiðnir gerðar sjálfstætt, mjög lítil austur-vestur umferð. Sú mynd er nú úrelt. Nútímaályktanir eru í auknum mæli dreift og nokkur mynstur setja raunverulegan þrýsting á efnið.

• Tensor samsíðaskiptir einu lagi yfir GPU, þannig að hvert táknskref kallar á allar-minnka eða allar-söfnunaraðgerðir á milli þeirra. Það er tíð, töf-næm, þver-GPU umferð sem GPU blokkir á meðan beðið er.
• Samhliða leiðslahandvirkjanir frá einu stigi til annars, oft þvert á hnúta, sem bætir við -þverhnútaháðum við hverja framrás.
• Sundurliðuð forfylling og afkóðunaðskilur -þunga forfyllingarfasann frá töf-viðkvæma afkóðafasanum og færir svo KV skyndiminni á milli þeirra. Þessar millifærslur eru miklar og sprungnar og allar töf birtast beint sem hægari tími-að-fyrsta-töf og milli-töf.
• Retrieval-augmented generation (RAG)bætir austur-vesturumferð við vektor- og leitarþjónustu. Það er venjulega minni töf-mikilvæg en sameiginlegar aðgerðir, en það hleður samt efninu, sérstaklega við mikið fyrirspurnarmagn.
• Fjöl-leigandaþjónustasetur margar gerðir og notendur á sama efni, þar sem örbylgjur og hávær-nágrannaáhrif verða ríkjandi áhætta.

Þegar netið er flöskuhálsinn eru einkennin dýr: lengri tími-til-fyrsts-tákn, GPU-tölvur stöðvast á meðan þeir bíða eftir gögnum, afköst sem hrynur við hrun og óstöðugar p95 og p99. Og hér er hluturinn sem dregur upp viðmið: meðaltöf felur það allt. Framleiðsluályktun er dæmd á hala, ekki meðaltalinu.

InfiniBand vs RoCE: Yfirlitstafla fyrir AI ályktun

Hvað er InfiniBand?

InfiniBand er tilgangsbundið-netkerfi sem er hannað frá upphafi fyrir litla leynd, mikla afköst og taplaus samskipti. Það er ekki hraðari bragð af Ethernet. Það kemur með eigin hýsilrása millistykki, rofa, undirnetsstjóra, kaðallvistkerfi og -stýringarlíkan. Skilgreiningargildi þess er ákveðin hegðun: margar GPUs geta átt samskipti við ströng tímasetningarkröfur og efnið heldur áfram að hegða sér stöðugt jafnvel þegar sameiginleg umferð er mikil.

Nútíma gervigreindar-stilla InfiniBand pallar stækka þann grunn með getu sem beinist beint að stórum GPU þyrpingum. Quantum InfiniBand lína NVIDIA, til dæmis, bætir viðaðlögunarleið, í-nettölvu og fjarmælingar-tengd þrengslumýringu, sem hjálpa efninu að dreifa umferð á skynsamlegan hátt og einangra álag eins leigjanda frá annars. Til að álykta, á InfiniBand sér stað þegar vinnuálagið þolir ekki kipp eða þegar nokkrir GPU hnútar verða að skiptast á gögnum hratt og stöðugt.

Viðskiptin-eru kostnaður, samþjöppun vistkerfa og sérhæfing í rekstri. Sérstakt InfiniBand efni þýðir sérstaka rofa, millistykki, snúrur eða sjóneiningar, og verkfræðingar sem eru ánægðir með InfiniBand efnisstjórnun. Fyrir fyrirtæki sem þegar rekur stórar Ethernet-eignir, eykur boltun á sérstakt efni innkaupaflókið,-varahlutaáætlanagerð og eftirlit með kostnaði.

Hvað er RoCE (RDMA over Converged Ethernet)?

RoCE færir RDMA, beint minni-til-gagnaflutninga í minni með litlum örgjörvakostnaði, til Ethernet netkerfa. RoCEv2, útgáfan sem notuð er í nútíma gagnaverum, er hægt að beina yfir Layer 3 IP netkerfi og var staðlað afInfiniBand Trade Association. Þessi leiðarhæfni er það sem gerir RoCE kleift að passa náttúrulega inn í Ethernet lauf-hrygghönnun á sama tíma og kunnugleg NIC, rofar, ljósfræði og eftirlitsverkfæri eru endurnotuð.

Gallinn er sá að RDMA flutningar gera ráð fyrir nánast-taplausu neti. Slepptu pakka og flutningurinn fellur aftur í endursendingarhegðun sem eyðileggur seinkun á hala. Þannig að RoCE þarf Ethernet undir því til að haga sér eins og taplaust efni, og það veltur á vandlega uppsetningu á tveimur aðferðum sérstaklega:Forgangsflæðisstýring (IEEE 802.1Qbb), sem gerir hlé á einum umferðartíma til að koma í veg fyrir fall, ogSkýr tilkynning um þrengsli (ECN), sem gefur til kynna þrengsli snemma svo sendendur hægja á sér áður en biðminni flæða yfir. Bættu við því biðröðstjórnun, biðminniúthlutun og QoS kortlagningu og þá verður ljóst að afkastamikil RoCE er ekki venjulegt Ethernet.

Vel gert, RoCE skilar nægilegri leynd og afköstum fyrir margs konar ályktunarþjónustu fyrir framleiðslu, og margt ályktunarálag er minna samstillt en dreifð þjálfun, sem virkar í þágu RoCE. Það er illa gert og veldur pakkatapi,-línulokun-línu, þrengslum sem dreifist og óstöðugt skott, sem allt skilar sér beint í skert þjónustugæði.

InfiniBand vs RoCE leynd: Hver er betra fyrir p99 ályktun?

Bæði efnin geta skilað mikilli-bandbreidd, lítilli-leynd. Það er mismunandi hvernig þeir komast þangað. InfiniBand er ákvarðandi með byggingu, þannig að jitter helst lágt jafnvel undir blönduðu álagi. RoCE getur passað við það fyrir marga vinnuálag, en niðurstaðan fer eftir Ethernet efninu og hversu vel það er stillt.

Frá sjónarhóli dreifingar er raunverulega vandamálið í framleiðslu sjaldan hámarksbandbreidd. Það er skjálfti undir blandaðri, sprunginn, fjöl-leigendaumferð. RoCE efni sem nær yfir hreint, íperf-afkastapróf getur samt misst af p99 markinu sínu um leið og örbylgjur og deilur koma inn í myndina. Það bil á milli rannsóknarstofuviðmiðs og framleiðslu SLA er þar sem flestir koma á óvart.

InfiniBand hefur tilhneigingu til að hafa forskot þegar:

• Þjónustan hefur ströng p99 eða p999 leynd markmið.
• Ályktun nær yfir marga GPU hnúta með tensor eða leiðslu samhliða samsvörun, eða notar sundrað forfyllingu og afkóðun.
• GPU nýting er mjög viðkvæm fyrir nettafir, svo sölubásar eru dýrir.
• Þyrpingin keyrir lítinn fjölda-vinnuálags í forgangi þar sem fyrirsjáanleiki vegur þyngra en sveigjanleiki.

RoCE er venjulega nógu gott þegar:

• Beiðnir eru að mestu óháðar, eða tenging er laus.
• Vinna keyrir innan hnút eða fárra hnúta.
• Lotuafköst skiptir meira máli en ofur-lág töf.
• Liðið rekur nú þegar Ethernet og sveigjanleiki í kostnaði eða söluaðila er forgangsverkefni.
• Klasinn styður marga leigjendur eða blandað vinnuálag.

RoCE vs InfiniBand Kostnaður: Hvað keyrir raunverulega rekstrarkostnað?

RoCE er oft kallaður ódýrari kosturinn, en skiptiverð er lítill hluti af myndinni. Raunhæfur samanburður lítur á allan bunkann: netmillistykki eða HCA, rofa, ljósaeiningar, DAC, AOC og ljósleiðarakafla, staðfræði rekki, afl og kælingu, netstýrikerfið, eftirlit og fjarmælingar, verkfræðitíma, varahluti, stuðning söluaðila og leiðin að 400G eða 800G.

InfiniBand ber venjulega hærri fyrirframkostnað vegna þess að það þarf sérstakt efni og sérhæfða íhluti. Í umhverfi þar sem ákveðin hegðun er í forgangi getur það dregið úr þeirri stillingu og bilanaleit sem taplaust Ethernet efni krefst. RoCE lækkar vélbúnaðarkostnað þegar hægt er að endurnýta núverandi Ethernet bú, með réttum gagnamiðstöð brúarstuðningi, en það breytir krafti í að hanna, staðfesta, fylgjast með og bilanaleita taplausa efnið. Lág-RoCE hönnun verður dýr fljótt ef hún veldur óstöðugri töf og endurteknum slökkvistarfi.

Kostnaður og áhætta einbeita sér að líkamlegu lagi eftir því sem hraðinn hækkar. Í 400G og 800G er ljósfræðin ráðandi bæði reikningnum og bilunarstillingunum. Flestar -háhraðahafnir lenda áQSFP-DD eða sambærilegir formþættir, og passa við hægrieinnar-stillingar eða fjölstillingar ljósfræðitil að ná raunverulegu umfangi þínu er ein einfaldasta leiðin til að forðast ofeyðslu á efni sem þarf ekki langa-fjarlægðareiningar.

Hreint út sagt: RoCE er ekki ódýrari kosturinn ef teymið þitt skortir taplausa-Ethernet sérfræðiþekkingu. Sparnaðinn á vélbúnaði er hægt að borða fljótt af verkfræðikostnaði við að halda efninu stöðugu.

Sveigjanleiki og rekstur

Sveigjanleiki er meira en gáttafjöldi. Það felur í sér hversu auðveldlega efnið er dreift, fylgst með, stækkað og endurheimt þegar eitthvað bilar.

InfiniBand er sterkt þegar klasinn er hannaður sem sérstakt há-afkastaefni frá fyrsta degi. Það skilar stöðugri hegðun í mælikvarða, en það gerir ráð fyrir InfiniBand-sértækum verkfærum, svo sem undirnetsstjóra og sameinuðu efnisstjórnun, og starfsfólki sem er sátt við InfiniBand hugtök. Það gerir það eðlilegt að passa fyrir miðstýrða gervigreindarklasa byggða í kringum GPU vinnuálag.

RoCE raufar inn í hönnun Ethernet gagnavera: blaða-hryggjarvarnir, IP-leiðir, ECMP og kunnuglegar vöktunaraðferðir. Það er einmitt þess vegna sem það höfðar til skýja-stíls og fjöl- GPU innviða. Aginn sem það krefst er samkvæmni. PFC, ECN, QoS, stuðpúðastjórnun og þrengslustýring verða að vera hönnuð með samfelldum hætti yfir alla leiðina, vegna þess að lítil misstilling í einu horni efnisins getur breiðst út og dregið úr mörgum vinnuálagi í einu. Líkamlega lagið þarf líka að skala hreint; hár-þéttleikiMPO og MTP trunk og breakout kaðallheldur stækkandi laufblaði-viðráðanlegum í stað þess að breyta hverri stækkun í kaðalsþraut.

Merki-spegilmyndarinnar er þess virði að taka fram: InfiniBand er erfitt að réttlæta þegar ályktun helst að mestu innan eins hnúts og efnið er varla notað.

Hvaða net fyrir hverja ályktunarvinnuálag

Þegar RoCE er nógu gott og þegar það verður áhættusamt

RoCE er nógu gott fyrir sjálfstæðar eða lauslega tengdar beiðnir, afkasta-stilla hópvinnu og fjöl-leigjandaklasa þar sem þú getur stillt einangrun, sérstaklega þegar teymið er reiprennt í Data Center Bridging Ethernet. Það verður áhættusamt á sérstakan, auðþekkjanlegan hátt:

• PFC stormar.Paus rammar dreifast andstreymis og frysta umferð sem hafði ekkert með upphaflega þrengslin að gera.
• Höfuð-línulokun-.Gróf forgangskortlagning gerir einum þéttum bekkjum kleift að stöðva aðra sem deila biðröð.
• ECN misskilningur.Merktu of seint og þú færð dropa; merktu of ágengt og þú dregur úr afköstum að óþörfu.
• Örþrengsla.Undir-sekúndu yfirflæðisstuðlarar en vera ósýnilegir til að fylgjast með sýnunum í einni-sekúndu upplausn.
• Ósamræmi uppsetning.Ósamræmdar stillingar þvert á laufblöð og hrygg veldur því að þrengsli dreifast frekar en að vera staðbundin.

Ekkert af þessu er ástæða til að forðast RoCE. Þær eru ástæður til að hanna taplausa dúkinn samfellt frá enda til enda og til að fjárfesta í fínni-kornaðri, örbytta-fjarmælingu áður en þú skalar.

Þegar InfiniBand er þess virði og þegar þú ert að kaupa of mikið

InfiniBand er þess virði fyrir ströng p99 og p999 markmið, þétttengda fjöl-hnútaþjónustu og verkefnis-mikilvægu vinnuálagi þar sem SLA refsingar eru háar, sérstaklega á sérstökum GPU klasa sem er hannaður í kringum efnið. Þú ert líklega að kaupa of mikið þegar ályktun er innan hnúts, þegar vinnan er afkastamiðuð-lota, þegar þú þarft sama efni til að bera einnig geymslu, stjórnun og fjöl-skýjaumferð, eða þegar þig skortir einfaldlega rekstrargetu til að keyra InfiniBand vel.

Kostnaðurinn sem kemur ekki fram á skiptatilboðinu er raunverulegur: styrkur vistkerfa, kostnaður við að keyra annað efni samhliða Ethernet netinu þínu og aðskilin áætlanagerð fyrir varahluti, ljósfræði og eftirlit.

Hvernig á að prófa InfiniBand vs RoCE áður en þú velur

Ekki taka ákvörðun um orðspor siðareglur eða sérstakur. Ákveðið viðmið sem líkist framleiðslu. Hagnýt röð:

• Skilgreindu SLA í hala.Stilltu p50, p95, p99 og p999 fyrir tíma-í-fyrsta-töf og milli-tákn, ekki bara meðaltal.
• Endurspilaðu raunhæfa umferð.Notaðu sprungna, blandaðar líkanastærðir og fjöl-leiganda samhliða frekar en einn hreinan straum.
• Álag til þrengsla.Ýttu á efnið þar til það er raunverulega þreytt, mældu síðan GPU nýtingu. Ef GPUs eru að stöðvast á netinu er efnið flöskuhálsinn þinn.
• Horfðu á réttu teljarana.Fylgstu með hlérömmum, ECN-merkjum, pakkafallum, endursendingum, tengivilluteljara og, við 400G og 800G, FEC villur.
• Staðfestu líkamlega lagið.Hreint, rétt uppsett trefjar skipta máli;vandlega lagningu trefjakemur í veg fyrir að-erfitt-að greina villur með hléum sem-háhraða tenglar eru hætt við.

Ef RoCE heldur p99-markmiðinu sínu undir raunhæfu, umdeildu, fjöl-álagi með stöðugum teljara, er það sterkt og-hagkvæmt val. Ef það stenst aðeins hreinar -straumsprófanir, hefur þú ekki enn prófað það sem ákvarðar SLA þitt.

Algeng mistök sem ber að forðast

• Að því gefnu að öll ályktun sé létt netkerfi.Sum ályktun er einföld og óháð; sumir eru dreifðir, töf-viðkvæm og bandbreidd-þung. Að meðhöndla þetta allt sem auðvelt leiðir til undirbyggðra innviða.
• Að bera saman aðeins meðaltal leynd.Framleiðsluályktun fer eftir hala. Metið alltaf p95, p99 og p999 undir raunhæfri umferð.
• Meðhöndla RoCE sem plug-and-play Ethernet.Hár-afkastamikil RoCE þarf vísvitandi taplausa-dúkhönnun, stjórnun á þrengslum og stöðugri sýnileika.
• Að velja InfiniBand eingöngu vegna þess að það er hraðari.Besti árangursvalkosturinn er ekki alltaf besti viðskiptakosturinn. Ef vinnuálagið þarf ekki ákveðna hegðun getur RoCE skilað betri verðmætum.
• Hunsa líkamlega lagið.Við 400G og 800G skapa snúrur, ljósleiðir, tengi og hreinleiki ljósleiðara með hléum villur sem erfitt er að finna og dýrt að laga.

Niðurstaða

Fyrir ályktun gervigreindar eru InfiniBand og RoCE bæði gild og þau þjóna mismunandi forgangsröðun. Veldu InfiniBand þegar þú þarft samkvæmasta net-töf í rauntíma, SLA-næmt eða þétttengda ályktun. Veldu RoCE þegar þú þarft stigstærð, Ethernet-undirstaða, kostnaðar-hagkvæm efni fyrir lotuályktun, fjöl-GPU þjónustu fyrir marga leigjanda, RAG vinnuálag og sveigjanlegan innviði.

Ákvörðunin ætti að byrja á vinnuálaginu, leynd markmiðinu, klasaskalanum, rekstrargetu þinni og uppfærsluleiðarvísinum, ekki með samskiptareglunum. Ef þyrpingin þín verður að halda ströngu p99 undir miklu álagi, verðskuldar InfiniBand alvarlega íhugun. Ef markmið þitt er að stækka ályktanir á hagkvæman hátt yfir Ethernet gagnaver, er RoCE venjulega hagkvæmasta leiðin. Hvort heldur sem er, viðmið undir framleiðslu-eins og hleðslu áður en þú skuldbindur þig.