100G QSFP28 hrygg-Hönnun laufblaða: Forðastu hafnarmistök

100G hrygg-blaðefni er ein áreiðanlegasta leiðin til að tengja 25G netþjóna, 100G upptengla, geymsluklasa og austur-vestur-mikið vinnuálag í nútíma gagnaveri. Aðdráttarafl QSFP28 er sveigjanleiki þess: eitt tengi getur borið innfæddan 100G hlekk eða brotist út í fjórar 25G netþjónatengingar, þannig að einn rofi getur þjónað bæði aðgangsbrúninni og efniskjarnanum.

Hratt rofar eru auðveldi hlutinn. 100G hönnun lifir eða deyr á ákvörðunum sem teknar voru fyrir innkaupapöntunina: hvernig hverri höfn er úthlutað, hvernig yfiráskriftarhlutfallið lítur út við venjulegar aðstæður og bilunaraðstæður, hvaða ljóstækni passar við raunverulegu kapalhlaupin, hversu miklum hita þessi ljósleiðari bætir við og hvort efnið geti vaxið í átt að 400G án uppfærslu á lyftara.

Þessi handbók er -hlutlaus áætlanagerð tilvísunar söluaðila fyrir net- og innviðateymi. Tölurnar hér að neðan fylgja núverandi IEEE 802.3 Ethernet forskriftum og viðeigandi optískum fjöl-samningum, en sérhver rofi og senditæki hafa sitt eigið gagnablað, svo staðfestu nákvæmar tölur fyrir vélbúnaðinn sem þú kaupir.

Hvernig á að lesa dæmin í þessari handbók.Nema annað sé tekið fram, gera þeir ráð fyrir stakum-heimaþjónum með einu 25G NIC hvorum, 48 hýsiltengi á lauf, 100G lauf-til-upptengla, fullu möskva þar sem hvert lauf tengist hverjum hrygg og áframvilluleiðréttingu virkjuð þar sem ljósfræðin krefst þess. Tvöföld-heimsending, hraðari NIC eða mismunandi höfnafjöldi munu breyta hverri tölu sem á eftir kemur.

Hvað er 100G hrygg-blaðnet?

Spine-leaf er tveggja-uppbyggingarkerfi gagnavera byggður úr laufrofum og hryggrofum. Laufarofar sitja efst á hverju rekki og veita miðlara-tengi sem snúa ásamt upptengingum við hrygginn. Hryggjarrofar mynda háhraða burðarásina. Hvert laufblað tengist hverjum hrygg, þannig að umferð milli rekka færir lauf til hrygg til laufs eftir jafnlangri braut.

Hönnunin er vinsæl vegna þess að hún skilar:

• Fyrirsjáanleg, jöfn leiðarlengd milli hvaða tveggja rekka sem er
• Innfæddur stuðningur fyrir mikla austur-vestur umferð
• Allir upptenglar virkir í gegnum ECMP frekar en lokaðir af spantré
• Einföld lárétt stærðarstærð - bættu við laufum fyrir port, bættu við hryggjum fyrir getu

Í 100G efni keyra blað-til-hryggstenglar á 100G, en miðlara-tengi sem snúa að 10G, 25G, 50G eða 100G eftir vinnuálagi. Í dag er 25G aðgangur með 100G upptengingum algengasta fyrirtækjasamsetningin.

Líkamleg hönnun vs rökræn hönnun

„Nethönnun“ nær yfir tvö lög sem auðvelt er að blanda saman. Þessi handbók beinir sjónum að efnislegu og afkastagetu laginu - tengi, ljósfræði, ofáskrift, kaðall - vegna þess að það er það sem þú skuldbindur þig til þegar þú kaupir vélbúnað. En rökrétta lagið ákveður hvernig efnið sendir umferð áfram og það mótar nokkra líkamlega valkosti.

Á líkamlegu hliðinni situr rofi og tengival, NIC hraði, ofáskrift, ljósfræði, kaðall, rafmagn og kæling. Á rökréttu hliðinni situr ECMP álag-jafnvægi yfir upptengla; yfirlag eins og VXLAN með BGP EVPN stjórnplani fyrir fjöl-leiganda Layer 2 og Layer 3 yfir beint undirlag; tvískiptur-heimsending með MLAG eða MC-LAG og LACP við aðgangsbrún; og bilunar-lénsstærð. Fyrir RDMA efni þarftu líka að búa til nánast-taplaust net, sem fjallað er um hér að neðan. Gerðu upp rökrétta líkanið snemma, vegna þess að það hefur áhrif á upphleðslufjölda, hversu margar hryggjar þú vilt fá fyrir ECMP breidd og hvort laufblöð séu notuð sem MLAG pör.

Skref 1 - Skilgreindu þjónshraða og vinnuálag

Byrjaðu á vinnuálaginu, ekki ljósfræðinni. Almennur sýndarþyrping, geymsluefni og gervigreindarþjálfunartæki hafa mjög mismunandi þarfir og rétt hönnun fylgir umferðinni.

25G netþjónar með 100G upptengingum

Fyrir flest fyrirtæki og einkaskýjaumhverfi- er 25G aðgangur með 100G leaf-to-uplinks ljúfi staðurinn: stórt stökk yfir 10G á sama tíma og NIC, kapal og rofakostnaður er sanngjarn. Dæmigert smíði parar 25G niðurtengla, 100G upptengla og 2:1 til 3:1 hlutfall fyrir almenna tölvuvinnslu, með minni yfiráskrift sem er frátekin fyrir geymslu og töf-næm stig. Það passar við sýndarvæðingu, einkaský, vefstig og megnið af gagnaverum fyrirtækja.

Native 100G fyrir geymslu, gervigreind og HPC

Sumt vinnuálag þarf innbyggt 100G á þjóninn: dreifð og NVMe-of geymslu, gervigreind og vélanám, HPC, stór-greining og RDMA með lítilli-leynd. Hér ætti umframáskrift að vera lítil - oft ekki-lokandi eða nálægt því - vegna þess að umferðarmynstrið er vandamálið, ekki bara magnið.

Gervigreind, HPC og RDMA vinnuálag mynda þétta, samstillta, allt-til-alla austur-vestur umferð: margir hnútar senda til margra hnúta á sama augnabliki, þannig að tölfræðileg jöfnun sem sparar þér á sýndarvæðingu á ekki lengur við. RDMA over Converged Ethernet (RoCE) bætir við annarri þvingun, vegna þess að það býst við nánast-tapslausu efni, sem í reynd þýðir forgangsflæðisstýring (PFC) og skýrri tilkynningu um þrengsli (ECN) stillt frá enda til enda. Efni sem sleppir ramma undir þrengslum mun horfa á RoCE-frammistöðu hrynja, þannig að þessir klasar eru venjulega byggðir í 1:1 með varkárri biðminni og þrengslum.

Skref 2 - Hvernig á að reikna út lauf- og hryggskiptatengi fyrir 100G efni

Skipulag hafnar byrjar á laufinu, ekki hryggnum. Vinna út frá netþjónum:

1. Teldu miðlara-gáttir sem snúa í hvert rekki.
2. Ákveðið hvort hver sé innfæddur 25G, innfæddur 100G, eða brotakrein.
3. Pantaðu QSFP28 tengi fyrir hrygg upptengla.
4. Bættu við varahöfnum fyrir vöxt, offramboð, prófun og skipti.
5. Endurreiknaðu umframáskrift eftir að brot er úthlutað, ekki áður.

Telja miðlara-gáttir

Fyrir hvert rekki skaltu festa niður fjölda netþjóna, NIC hraða, NIC á hvern netþjón, einn- eða tvöfaldan-heima og nauðsynlega varahluti. Rekki með 48 netþjónum með einu 25G NIC hver þarf 48 hýsiltengi. Tvöfalda-þessa netþjóna í laufpar og aðgangsportið telur yfir parið tvöfaldast.

Pantaðu upphleðslugáttir og horfðu á tvöfalda-töluna

Eftir hýsilhöfn skaltu panta QSFP28 tengi fyrir hrygginn. Þetta er þar sem algengustu mistökin leynast: ef sömu QSFP28 tengi eru notuð fyrir 4x25G brot eru þau ekki lengur fáanleg sem upptenglar. Stærsta einstaka skipulagsvillan er ekki að reikna rangt með 100G upptengla, heldur ofmeta upptenglatengi sem eftir eru þegar brot hefur étið inn í þá. Úthlutaðu broti fyrir ofáskriftina stærðfræði, eða hlutfallið sem þú reiknaðir út er skáldskapur.

Unnið dæmi hjálpar. Taktu algengt 1U lauf með 48 SFP28 hýsiltengi og 8 QSFP28 tengi:

Með sex upptengla sem bera 1.200G aðgangsumferð, keyrir laufið á 2:1 og tvær QSFP28 tengi eru í varasjóði. Gefðu hverri höfn eitt skýrt hlutverk á töflureikni áður en þú stærðir eitthvað annað.

Skildu eftir vararými

Ekki neyta hverrar ports á fyrsta degi. Pantaðu rými fyrir nýja netþjóna, auka hryggjarliði, tímabundna próftengla, misheppnuð-gáttaskipti, vöktunartöppur og flutningur. Smá ónotuð afkastageta er miklu ódýrari en endurhönnun.

Skref 3 - Reiknaðu út yfiráskrift, þar með talið N-1

Ofáskrift ber saman heildarbandbreidd þjóns-sem snýr að blaðsíðu við heildarbandbreidd upptengilsins við hrygginn:

Yfiráskriftarhlutfall=heildarbandbreidd niðurtengils / heildarbandbreidd upptenils

Fyrir blaðið hér að ofan, 48 x 25G=1,200G niður og 6 x 100G=600G upp, sem gefur 1.200 / 600=2:1. Það þýðir tvöfalt meiri fræðilega aðgangsbandbreidd en upphleðslubandbreidd - venjulega fín fyrir almenna tölvuvinnslu, þar sem þjónar senda sjaldan allir á línuhraða í einu, en raunveruleg þvingun fyrir geymslu, gervigreind, HPC og RDMA.

Athugaðu alltaf N-1 hulstur

Efni getur litið heilbrigt út við venjulega notkun og kafnað við bilun. Íhugaðu laufblað með átta 100G upptengla sem dreifast jafnt yfir fjóra hryggja - tvo á hrygg, 800G samtals, þannig að 1.200G aðgangur gefur 1,5:1. Missir einn hrygg og blaðið fellur tvo upptengla niður í 600G, ýtir hlutfallinu í 2:1 meðan á bilun stendur. Ef markið þitt er "ekki verra en 2:1, jafnvel þegar bilun er," verður þú að byrja nálægt 1,5:1. Reiknaðu bæði eðlilega hlutfallið og N-1 hlutfallið eftir að hafa tapað einum hrygg eða uplink; önnur talan er sú sem bítur við viðhald.

Skipulagssvið eftir vinnuálagi

Það er ekkert alhliða hlutfall, svo meðhöndlaðu eftirfarandi sem áætlunarsvið, ekki staðla, og staðfestu gegn mældri umferð þar sem þú getur:

Við uppfærslu skaltu fara yfir núverandi upptengingarnotkun, topp- og austur-vesturmynstur, geymsluflæði og öryggisafritunarglugga áður en þú skuldbindur þig til hlutfalls.

Skref 4 - Veldu QSFP28 Optics and Cables

QSFP28 100G tengi eru staðlað af IEEE 802.3 - the802.3bm breytingbætti við 100GBASE-SR4, ásamt einfaldri-stillingu LR4 PHY. Veldu ljósleiðara eftir fjarlægð, gerð ljósleiðara, tengi, afl og samhæfni rofa og staðist sjálfgefið að það sé lengst: ná sem þú þarft ekki þýðir venjulega kostnaður og afl sem þú þarft ekki. Passaðu eininguna við keyrsluna með skynsamlegri framlegð.

DAC og AOC fyrir stutta netþjónstengla

Fyrir tengingar í-rekki og aðliggjandi-rekki eru QSFP28 bein-kopar (DAC) og virkar ljóssnúrur (AOC) hagnýtar. Hlutlaus DAC hentar stystu hoppunum - nokkra metra - með lægsta kostnaði og afli, á meðan AOC lengir umfang og er léttara og sveigjanlegra þar sem koparmagn verður vandamál. Fyrir 25G aðgang er QSFP28-til-4x SFP28 brot DAC eða AOC algengt þegar rofinn styður brot.

100GBASE-SR4 fyrir stutta fjölstillinga upptengla

SR4 ber 100G yfirátta þræðir af samhliða fjölstillingumeð því að nota MPO/MTP tengi, sem gerir það að -hagkvæmu vali fyrir stutta blaða-til-hryggjahlaup innan röð. Útbreiðsla þess fer eftir trefjastiginu - u.þ.b. 70 m á OM3 og 100 m á OM4 - svo það borgar sig að vita hversu langt þú getur búist við fráOM3, OM4 og OM5 multimode trefjarí gólfinu þínu. Helsta skipulagsþvingunin er samhliða kaðall: MPO plástur og pólun þarf að vinna fyrirfram.

CWDM4 eða FR fyrir staka-stillingu keyrir í um það bil 2 km

Fyrir milli-raða, milli-herbergja eða milli-saltengla hentar einnar-ljósmyndir eins og CWDM4 eða FR betur. The100G CWDM4 MSAskilgreinir 2 km fjarlægð yfir einu pari af stakri-ham trefjum með tvíhliða LC tengi og FEC. Vegna þess að þeir nota tvíhliða trefjar í stað samhliða MPO, falla CWDM4 og FR ljósfræði oft inn í eina-ham verksmiðju hreinni en SR4 - og yfir þær vegalengdir er valið á milliOS1 og OS2 einn-hamur trefjarbyrjar að skipta máli fyrir kostnaðarhámarkið þitt. Styttri afbrigði af stakri-stillingu eins og DR þekja u.þ.b. 500 m þar sem það er allt sem þú þarft.

100GBASE-LR4 fyrir háskólasvæði og DCI

LR4 er langur-valkosturinn, sem ber 100Gallt að um 10 km yfir tvíhliða einhliða-stillingu trefjarfyrir háskólasvæði, byggingu-í-bygging eða gagna-miðstöð-samtengingar. Notaðu það aðeins þar sem fjarlægðin raunverulega kallar á það; langa-ljóstækni á stuttum-gagnaflutningum-miðstöðvum bætir einfaldlega við kostnaði, krafti og hita án þess að bæta efnið.

QSFP28 100G Optics samanburður

Taflan sýnir hvar hver valkostur passar. Meðhöndlaðu breiddina sem dæmigerðar áætlunartölur og staðfestu nákvæmar tölur, trefjaeinkunn og FEC kröfu á gagnablaði hverrar einingu.

Unnin dæmi: Lítil, meðalstór og stór dúkur

Þetta eru einfölduð skipulagslíkön, ekki teikningar. Hryggjafjöldi er venjulega valinn til að skipta upphlekkjum jafnt og stilla ECMP breidd: tveir hryggir eru hagnýtt lágmark fyrir offramboð, fjórir gefa fínni N-1 kornleika og betri álagsdreifingu og átta henta stórum efnum. Lauftalning mælir með þeim netþjónstengjum sem þú þarft.

Lítið efni

• 8 laufrofar
• 2 hryggrofar
• 48 x 25G netþjónstengi á blað
• 4 x 100G upptenglar á blað
• 384 stakar-heima 25G netþjónstengi

Á laufblað: 1.200G niður, 400G upp, svo 3:1. Nothæft fyrir almenna tölvu, en þétt fyrir mikla geymslu eða gervigreind. Bættu við upptengingum eða klipptu aðgang á blað ef þú þarft lægra hlutfall.

Meðal efni

• 16 laufrofar
• 4 hryggrofar
• 48 x 25G netþjónstengi á blað
• 6 x 100G upptengingar á blað
• 768 stakar-heima 25G netþjónstengi

Á laufblað: 1.200G niður, 600G upp, svo 2:1. Sterkt jafnvægi fyrir sýndarvæðingu og vinnuálag fyrirtækja og fjórar hryggjar dreifa ECMP betur en tvær.

Stórt efni

• 32 laufrofar
• 8 hryggrofar
• 48 x 25G netþjónstengi á blað
• 8 x 100G upptengingar á blað
• 1.536 stakar-heima 25G netþjónstengi

Á laufblað: 1.200G niður, 800G upp, svo 1,5:1. Meira upphleðslurými, en meira ljósleiðara, ljósleiðara, kostnaðar, rafmagns og kapals til að stjórna. Í þessum mælikvarða eru skjöl hluti af hönnuninni: merkingar, hafnarkort, pólun, varaljóstækni, loftflæði og eftirlit þarf að skipuleggja áður en uppsetningin er sett upp.

QSFP28 Breakout Planning (100G til 4x25G)

Breakout er gagnlegasti og misskilningslegasti hluti QSFP28 hönnunarinnar. Þar sem rofinn, kapallinn og uppsetningin leyfa það, skiptist eitt QSFP28 tengi í fjóra 25G SFP28 tengla, sem tengir fjóra 25G netþjóna frá einni 100G tengi. Það vinnur sinn sess þegar þú þarft háan 25G þéttleika, hefur nóg af QSFP28 tengjum, vilt lækka kostnað á hverja netþjónstengingu eða ert að smíða bráðabirgða 25G/100G efni, með því að nota QSFP28-til-4x SFP28 DAC, AOC, eðaMTP/MPO brotsnúrureftir fjarlægð.

Gallinn er sá að brot eyðir QSFP28 tengi. Ef 32-tengi QSFP28 rofi tileinkar 16 tengi fyrir 4x25G brot, styðja þessar 16 tengi 64 netþjóna - en aðeins 16 QSFP28 tengi eru eftir fyrir upptengla, geymslu, samtengingar og varahluti. Þumalfingursreglan er að telja brotports fyrst, telja síðan það sem eftir er fyrir upptengla.

Áður en þú skuldbindur þig skaltu staðfesta nokkur atriði og ákveða snemma hvort hvert hlaup eigi að vera askottinu eða brotasamstæðu:

• Hvaða höfn styðja brot og eru takmarkanir á höfnum-hópa?
• Slökkva á aðliggjandi höfnum að virkja brot?
• Styður rofa stýrikerfið þá stillingu sem þú þarft?
• DAC, AOC eða ljósleiðara fyrir hverja keyrslu?
• Er þörf á öllum fjórum akreinunum núna, eða aðeins síðar?
• Hvernig mun brot hafa áhrif á framtíðarflutning á innfædda 100G netþjóna?

Rafmagns-, kæling- og kapalstjórnun

100G efni framleiðir meira en bandbreidd - það framleiðir hita, loftflæðisálag og kapalþéttleika. Rafmagnsáætlanir ættu að ná yfir undirvagn og viftur fyrir rofa, QSFP28 optískar einingar (og DAC eða AOC þar sem þær eru notaðar), óþarfa birgðir, -rekstrargetu og vaxtarmun. Kæling ætti að taka mið af heitu- og köldu-skipulagi ganganna, samræmdu framan-til-aftan eða aftur-til-loftflæðis að framan, tæmandi spjöldum, hindrun á snúru, umhverfishita og einingar-hitaeftirliti, vegna þess að hryggur sem er fullur af ljósfræði er raunverulegt álag.

Kaðall mælist hratt: 16 blöð til 4 hryggjar eru nú þegar 64 blaða-til-hryggstenglar, sem hver um sig verður að merkja, leiða, prófa og skjalfesta. Miklu auðveldara er að smíða og viðhalda fullri-möskva með for-útgerðMPO/MTP stofnkaðallen með sviðs-lokuðum trefjum. Liðin ættu einnig að gera upp tengi- og skautasamþykktir fyrirfram; thehagnýtur munur á MTP og MPOeru þess virði að staðfesta áður en þú pantar. Slöðin skjöl kosta ekkert á fyrsta degi og mikið í fyrsta straumleysinu.

Hanna fyrir 400G uppfærslu

Hannaðu efnið með raunhæfri uppfærsluleið. Þú þarft ekki 400G alls staðar á fyrsta degi, en þú ættir að forðast val sem gera flutninginn sársaukafullur síðar. Byrjaðu að hugsa um 400G viðbúnað þegar upptenglar á hrygg eru þegar mikið hlaðnir, þegar það verður óþægilegt að bæta við fleiri 100G hryggjum, þegar fjöldi ECMP-slóða er að nálgast mörk vettvangs eða þegar gervigreind, geymsla eða vöxtur í austur-vestur fer hraðar.

Venjuleg stefna er að uppfæra hrygginn fyrst: blöð halda 100G upptengingum sínum á meðan hryggurinn með meiri-getu - notar tengi eins ogQSFP-DD- bætir við loftrými, oft með 400G tengi sem brjótast út í 4x100G aftur í átt að núverandi laufblöðum. Víðtækari brautin er sett af iðnaðinum: theVegvísir Ethernet Alliancekeyrir nú í gegnum 400G, 800G og víðar, að mestu knúið áfram af gervigreind. Þegar þú metur rofa skaltu athuga hvort pallurinn styðji hraða, ljósfræði, brotham og hugbúnaðareiginleika sem uppfærsla í áföngum þarfnast.

Þegar 100G hryggur-blaðahönnun er ekki rétti kosturinn

Þessi hönnun er ekki algild og nokkur tilvik kalla á eitthvað annað. Örfáir netþjónar í einum eða tveimur rekkum réttlæta sjaldan fulla hrygg-blaðabyggingu, þar sem par af óþarfa rofum er einfaldara og ódýrara. Mjög stórir gervigreindarþjálfunarklasar gætu þrýst framhjá því sem 100G aðgangur og 100G hryggdúkur höndlar vel, lenda á 400G eða 800G dúk - eða jafnvel sérstakt InfiniBand net - frá upphafi. Og ef næstum öll umferð er norður-suður að gátt frekar en austur-vestur á milli rekka, skipta austur-vestur kostir hrygg- minna máli, þannig að staðfræði ætti að vera réttlætanleg á vaxtar- og rekstrarforsendum frekar en gert ráð fyrir. Passaðu arkitektúrinn við umferðina og mælikvarðann, ekki öfugt.

Algeng 100G hrygg-Hönnunarmistök í laufblöðum

• Telur QSFP28 tengi tvisvar.Gátt er annað hvort 4x25G brot eða 100G upptenging, aldrei bæði. Gefðu hverri höfn eitt hlutverk.
• Velja ljósfræði eftir hámarksdreifingu.Lengri ná eykur kostnað og kraft; passa ljósleiðara við raunverulega ljósleiðarafjarlægð og gerð.
• Hunsa N-1.Athugaðu hlutfallið við venjulega aðgerð og eftir að þú hefur misst hrygg.
• Að gleyma sjónrænu afli og hita.Hryggur fullur af QSFP28 einingum er ósvikið hitauppstreymi, svo hafðu með ljósfræði í stærðfræði afl og kælingu.
• Meðhöndla kaðall sem eftiráhugsun.Leiðsögn, merkingar, pólun og skjöl tilheyra hönnuninni, ekki uppsetningunni.
• Hannað aðeins fyrir netþjónshraða í dag.Ef 25G aðgangur færist yfir í 100G skaltu skilja eftir pláss fyrir innfæddan 100G eða 400G hrygg.

Niðurstaða

Góð 100G hrygg-hönnun er summa ákvarðana sem teknar eru áður en vélbúnaðurinn kemur: skilgreindu vinnuálag, teldu tengi rétt, reiknaðu ofáskrift bæði við venjulegar aðstæður og bilunaraðstæður, veldu ljósfræði eftir fjarlægð, skipuleggðu brot vísvitandi, kostnaðaráætlun fyrir orku og kælingu og skildu eftir pláss fyrir 400G. Fyrir flestar gagnaver fyrirtækja er 25G aðgangur með 100G QSFP28 upptengingum áfram sterkt jafnvægi milli frammistöðu, kostnaðar og umfangs, á meðan geymsla, gervigreind og HPC kalla einfaldlega á minni ofáskrift og strangari löggildingu. Áreiðanlega nálgunin breytist ekki: hannaðu frá þjóninum út á við, sannaðu stærðfræðina við venjulegar aðstæður og N-1 aðstæður og skjalfestu hverja hlekk fyrir uppsetningu.