400G optiska moduler i moderna nätverk

 

Formfaktorkrigen som ingen vann

 

QSFP-DD och OSFP kom ur standardprocessen som två syskon som inte kunde komma överens om någonting förutom att de båda ville ha 400G. Industrin behövde åtta elektriska banor på 50 Gbps vardera, och två olika konsortier bestämde sig för att lösa det problemet på två olika sätt.

QSFP-DD vann kompatibilitetsargumentet. Den passar befintliga QSFP28-burar om du kisar tillräckligt hårt och inte har något emot den andra raden med stift. Bakåtkompatibilitet spelar roll när du har tiotusentals utplacerade hamnar och en finanschef som ställer skarpa frågor om strandade tillgångar.

OSFP vann det termiska argumentet. Det något större höljet och den integrerade kylflänsen gör att du faktiskt kan avleda de 15-20 watt som dessa moduler drar utan att tillaga intilliggande portar. Jag har sett linjekort där hörn-QSFP-DD-portarna konsekvent körs 8 grader varmare än de mittersta eftersom luftflödesdesignen antog 100G effektkuvert.

Ingen av dem vann riktigt. De flesta hyperskalare använde QSFP-DD för att förenkla inventeringen. De flesta telekominstallationer gick OSFP eftersom deras sammanhängande moduler behövde det termiska utrymmet. Alla andra valde vad deras switchleverantör skickade och gick vidare.

QSFP112-varianten förtjänar att nämnas eftersom den förvirrar alla. Fyra banor på 100G vardera-samma 400G-aggregat, färre banor, nyare SerDes. Det är viktigt för NIC-anslutning där du vill ha server-till-TOR-länkar utan DSP-växellådans komplexitet. Det spelar mindre roll än vad leverantörer hävdar någon annanstans.

 

PAM4 ändrade allt (och slog sönder några saker)

 

Här är vad ingen förklarar tillräckligt när de säljer dig på 400G: PAM4-signalering byter ut brusimmunitet för bandbreddseffektivitet, och den avvägningen är inte gratis.

NRZ-kodning använde två signalnivåer. Hög eller låg. En eller noll. Din mottagare behövde bara skilja mellan dessa två tillstånd, och ögondiagrammet gav dig bekväma marginaler. PAM4 använder fyra nivåer-00, 01, 10, 11-vilket innebär att din mottagare nu måste skilja mellan tre tröskelövergångar med en tredjedel av spänningsseparationen. Det teoretiska 9,54 dB SNR-straffet är inte teoretiskt alls. Det dyker upp i dina pre-FEC BER-räknare varje dag.

DSP inuti en 400G-modul gör ett heroiskt arbete som kompenserar för detta. Feed-framåtutjämning, utjämning av beslutsåterkoppling, klocka och dataåterställning-allt körs på 53,125 GBaud per körfält. När det fungerar är det osynligt. När det inte fungerar får du skurar av korrigerbara fel som avbryts av enstaka okorrigerbara, och lycka till med att ta reda på om problemet är din modul, din fiber, din värd eller den kosmiska bakgrundsstrålningen.

 

 

Våglängdsvarianter: Mer än bara nå

 

Räckviddsspecifikationerna berättar bara en del av historien.

400G-SR8 använder 850nm VCSELs över åtta parallella fibrer, inriktat på 100 meter över OM4. Det är billigt. Det är multimode. Den kräver en MPO-16-kontakt med åtta TX- och åtta RX-fibrer. Inom ett ställ eller mellan intilliggande ställ fungerar detta bra. I samma ögonblick som någon frågar om att köra den "bara lite längre", påminn dem om att modal dispersion vid 850nm inte förhandlar.

400G-DR4 fungerar vid 1310nm över fyra parallella enkel-modefibrer, klassade för 500 meter. MPO-12-kontakten använder de åtta yttre fibrerna och lämnar fyra oanvända-ett faktum som förvirrar kabelinstallatörer ungefär en gång per installation. DR4 har blivit arbetshästen för löv{12}}rygganslutning i singelmodeanläggningar eftersom 500 meter täcker de flesta datacentergeometrier med utrymme över.

400G-FR4 använder CWDM4-våglängder (1271, 1291, 1311, 1331nm) multiplexerade på ett enda fiberpar via duplex LC. Två kilometer räckvidd. Det är här 400G börjar kännas ekonomiskt för campusanslutningar, eftersom du inte drar åtta{11}}fiber MPO-trunkar mellan byggnader.

400G-LR4 sträcker samma CWDM4-inställning till 10 kilometer med högre uppskjutningskraft och bättre mottagare. Prishoppet från FR4 till LR4 överraskar fortfarande inköpsavdelningar som inte har uppdaterat sin mentala modell från 100G-LR4-prissättning.

 

Den sammanhängande elefanten

 

400G-ZR förtjänar ett eget avsnitt eftersom det representerar en fundamentalt annorlunda teknik klädd i samma formfaktor.

Allt jag har beskrivit hittills använder direkt-detektionsoptik. Ljus går in, fotodiod omvandlar det, DSP rensar upp det. Koherent optik kodar information i både amplitud och fas över två polarisationer samtidigt, använd sedan en lokaloscillator och sofistikerad digital signalbehandling för att återställa allt vid mottagaren. Resultatet: 400 Gbps över 120+ kilometer oförstärkt fiber i en pluggbar modul.

OIF 400ZR-standarden specificerar 16QAM-modulering vid 60 GBaud med dubbel polarisering. Den sammanlänkade FEC (soft-decision inner Hamming, hard-decision yttre trappan) ger cirka 10,8dB nettokodningsförstärkning. Det hela drar 15-20 watt och genererar värme som skulle få en QSFP-DD-modul att gråta.

Jag har sett ZR-moduler installerade i switchar som inte var designade för den termiska belastningen. Switchchassit rapporterade normala temperaturer eftersom dess intagssensorer mätte kall luft. Modulen rapporterade 73 grader eftersom den var inklämd mellan två andra ZR-moduler med otillräckligt luftflöde. Länken fungerade-knappt-med förhöjda FEC-korrigeringar som ingen märkte förrän den pre-FEC BER trenden passerade tröskeln och paket började sjunka.

ZR+- och MZR-varianter pressar räckvidden längre på bekostnad av interoperabilitet. Leverantörs-specifika förbättringar för lanseringsström, mottagarkänslighet och FEC-algoritmer kan utöka länkar över 400 km, men du köper en lösning snarare än en vara.

 

 

Tredjepartsfrågan-

 

Jag har haft det här samtalet ungefär sexhundra gånger.

"Kan vi använda 400G-optik från tredje-part?"

Tekniskt sett ja. MSA-specifikationerna finns just för att möjliggöra interoperabilitet mellan flera-leverantörer. En kompatibel QSFP-DD från tillverkare X bör bete sig identiskt med en från tillverkare Y. IEEE-standarderna definierar de optiska och elektriska parametrarna. CMIS (Common Management Interface Specification) standardiserar hur värden pratar med modulen.

Rent praktiskt beror det på.

Ciscos autentiseringsmekanismer har utvecklats från den trubbiga "fel-avaktivera porten"-metoden på äldre plattformar till mer sofistikerad leverantörsverifiering som loggar varningar men inte nödvändigtvis inaktiverar funktionalitet. Tjänsten som inte stöds-sändtagare-kommandot förblir utrymningsluckan. Arista tenderar att vara mer tillåtande men kommer att avböja att stödja problem som kan härröra från tredjepartsmoduler. Junipers hållning varierar beroende på plattform och programvaruversion på sätt som kräver att man konsulterar deras kompatibilitetsmatriser.

Jag kör tredje-optik i labbmiljöer utan att tveka. För produktionsvägar som bär inkomsttrafik klockan 02.00 när något misslyckas? Jag vill kunna ringa TAC och få dem att faktiskt hjälpa till istället för att omedelbart avböja för att "ersätta med stödda transceivers."

Kostnadsmatematiken ändrar denna beräkning för hyperskalare som köper moduler i tiotusentals och anställer optikingenjörer som kan karakterisera och kvalificera leverantörer oberoende. Det är en annan matematik för företag som köper hundratals moduler via distributionskanaler med begränsade tekniska resurser.

 

Termisk verklighet

 

En 400G QSFP-DD-modul drar någonstans mellan 10 och 15 watt beroende på variant och leverantör. En 400G koherent ZR-modul drar 15-20 watt. En 800G QSFP-DD800-modul-redan distribuerad i AI-kluster drar 18-25 watt.

Sätt 64 av dessa i en 2RU-switch och du har 640 watt bara från optik innan du tar hänsyn till switchen ASIC, minne, fläktar och strömförsörjning. Det termiska designproblemet har flyttats från "tillräckligt" till "kritiskt" på en enda generation.

Jag såg en värmekamera svepa en full-laddad 400G ryggradsbrytare under ett kvalificeringstest. De hetaste modulerna var inte de du förväntade dig. Hörnpositioner, i motvind från ASIC-avgaserna, blev varmare än mittmoduler på front- som fick frisk luft. Standard DDM-temperaturavläsningarna visade en spridning på 17 grader över portar som antogs vara identiska.

Modulspecifikationerna lovar drift från 0 grader till 70 grader, men prestandakurvorna ser inte likadana ut vid 70 grader som de gör vid 25 grader. Lasertröskelströmmen ökar. Sluttningseffektiviteten minskar. Våglängdsdrift-och för CWDM4- och DWDM-system betyder våglängdsdrift överhörning med intilliggande kanaler.

Luftkylda-system närmar sig sina gränser. Vätskekylning för switchar förblir exotisk men alltmer nödvändig för AI/ML-kluster där GPU:er och optik konkurrerar om samma termiska budget.

 

 

Testa verkligheten

 

IEEE-standarderna definierar överensstämmelsepunkter. De garanterar inte att din specifika länk kommer att fungera.

TDECQ (Transmitter and Dispersion Eye Closure Quaternary) är PAM4-motsvarigheten till OMA (Optical Modulation Amplitude) men mer komplicerad. Den försöker karakterisera sändarens kvalitet på ett sätt som förutsäger mottagarens prestanda. Mätningen kräver referensmottagare och matematiska transformationer som varierar mellan leverantörer av testutrustning på sätt som orsakar oändliga diskussioner om standardkommittéer.

Pre-FEC BER-testning är viktigare än någonsin. "Fingeravtrycket" för dina bitfel-slumpmässigt kontra bursty, enhetligt fördelat kontra koncentrerat i specifika PAM4-symboler-avgör om din FEC faktiskt kan korrigera dem. Sanna slumpmässiga fel spelar bra med Reed-Solomon-koder. Burst-fel från klockåterställningsproblem eller DSP-fel kan överväldiga FEC även när den råa BER ser acceptabel ut.

Jag har lärt mig att kräva pre-FEC-statistik från varje 400G-länk, inte bara post-FEC. En länk som visar 0,00 post-FEC BER när du kör pre-FEC BER på 2×10⁻⁴ ser bra ut tills du inser att det nästan inte finns någon marginal kvar. Lägg till en lite smutsig kontakt eller en åldrande laser, så tippar den länken över FEC-klippan utan förvarning.

 

Kontaktförorening

 

Vid 400G blir kontamineringsproblemet akut. Det modulerade ögat har mindre marginal. Partiklar som skulle ha varit osynliga vid lägre hastigheter dämpas nu tillräckligt för att göra något.

Enkel-fiberkärnor är 9 mikrometer i diameter. En MTP/MPO-12-kontakt bär åtta aktiva fibervägar (fyra TX, fyra RX) plus fyra oanvända. Varje parningscykel riskerar kontaminering. Varje kontaminerad ändyta riskerar att förlust av insättning som tär på din länkbudget.

Den städdisciplin som krävs är inte-förhandlingsbar men följs sällan konsekvent. Rengöringsmedel med ett-klick, torrservetter med statiska problem, våtrengöring med isopropylalkohol som måste torkas torrt omedelbart istället för att tillåtas avdunsta-varje metod har anhängare och kritiker. Vad alla är överens om: inspektera med fiberkikare innan du ansluter, och om det är smutsigt, rengör det och inspektera igen.

Jag såg ett distributionsteam bränna en hel eftermiddag och felsöka en intermittent 400G-DR4-länk. Flera modulbyten. Konfigurationsrecensioner. Till slut bröt ut inspektionsomfattningen och hittade byggrester på skottadaptern som ingen hade tänkt kontrollera. Tjugo sekunder med ett rengöringsverktyg fixade det som fyra timmars felsökning inte kunde.

 

 

Vad allt detta betyder för planering

 

Om du implementerar nytt datacentertyg idag är 400G baslinjen för ryggradsskikt och alltmer för blad-rygg upplänkar. Kostnaden per bit har sjunkit till där 4×100G breakout från en 400G-modul ofta är billigare än enskilda 100G-moduler. DR4 för allt över 30 meter inuti en byggnad. FR4 för campusanslutningar. LR4 eller ZR om du når mellan webbplatser.

Om du är ett företag som överväger din första 400G-distribution, har byte av plattformar mognat, modulförsörjningskedjan har stabiliserats och prissättningen kräver inte längre exekutiv signering- av varje inköpsorder. Börja med en uppfräschning- av ryggraden, bevisa att din kabelinfrastruktur kan hantera den snävare kontamineringstoleransen och förstå att dina hanteringsverktyg måste börja samla in FEC-statistik innan du faktiskt behöver dem.

Om du är en hyperskalare som läser detta, har du redan passerat 400G för GPU-kluster och undrar hur 1.6T faktiskt kommer att distribueras. Lycka till med de termiska problemen; Jag ska läsa dina papper om två år.

Modulerna i sig har blivit anmärkningsvärt tillförlitliga. Problemen lever överallt annars: kontaminerade kontakter, felkonfigurerade FEC-lägen, termiska konstruktioner som antog gårdagens strömuttag och stödorganisationer som fortfarande lär sig att felsöka PAM4-signalintegritetsproblem. De oglamorösa grunderna-rensar dina kontakter, mäter dina temperaturer, förstår din FEC-budget-är viktigare än vad specifikationsdebatterna någonsin kommer att göra.