De 40GE BiDi interface voor de Nexus switches

Samenvatting

De IEEE standaard voor 40Gbps Ethernet (40GE) over multimode fiber vereist vier/zes fiberparen, zodat bij een migratie van een datacenter van 10GE naar de standaard 40GE interface extra fibers nodig zijn.

De Cisco 40GE BiDi interface maakt het mogelijk om zonder extra fibers te installeren de migratie van 10GE naar 40GE te maken.

 

De IEEE 40GBASE-SR4 standaard

De IEEE heeft voor 40 Gbps Ethernet (40GE) een aantal interface-standaarden gestandaardiseerd, zoals bijvoorbeeld:

*  40GBASE-SR4     voor 40GE over multimode fiber

*  40GBASE-LR4     voor 40GE over singlemode fiber

*  40GBASE-CR4     voor 40GE over twinax koper

…voor al deze interfaces geldt dat de 40 Gbps bitstroom wordt verdeeld over vier parallelle kanalen van ieder 10 Gbps.

Bij het gebruik van multimode is ervoor gekozen om deze kanalen over aparte glasaders te versturen: er worden dus meerdere fibers gebruikt voor één 40GE verbinding en in alle fibers wordt 850 nm licht gebruikt.

De normale – in datacenters veelgebruikte – interface om glasvezels af te monteren is de MPO interface, waarbij twaalf of meer aders in één connector afgemonteerd worden:

Van de twaalf aders worden er vier gebuikt om ieder een kwart van een 40GE stroom te verzenden en vier om een kwart van een 40GE te ontvangen:

…en zo blijven er van de twaalf aders vier ongebruikt.

Twee 40GBASE-SR4 QSFP’s aan weerszijde van een ribbon-multimode fiber zien er dus uit als:

Merk op: het ziet er uit alsof er viermaal 10GE gechanneld wordt, maar dat is niet zo. Een pakket wordt parallel over vier aders verstuurd en er is dus echt 40Gbps per sessie mogelijk:

… en aan de ontvangende kant:

De bekabeling in het datacenter zal normaliter bestaan uit gestructureerde bekabeling van twaalf (of veelvouden van twaalf) aders in een ribbon afgemonteerd op MPO-connectors:

Nu lijkt het alsof de migratie van 10GE naar 40GE vlekkeloos kan verlopen: 40GBASE-SR4 gebruikt MPO-interfaces en deze zijn al onderdeel van de bekabling….

…echter: deze MPO interfaces worden altijd gebruikt voor meerdere 10GE verbindingen. Een extra cassette splitst de twaalf (of meer) aders uit in zes (of evenredig meer) fibers van twee aders…

Ieder van deze 10GE verbindingen is in gebruik voor verbindingen tussen switches of van switches naar servers. Als we nu deze zes verbindingen willen migreren naar 40GE….

…dan past er slechts één 40GE verbinding in de fibers waar we eerst zes 10GE verbindingen hadden. We moeten helaas fibers gaan bijtrekken voor de andere vijf verbindingen!

 

De Cisco 40GE BiDi interface

 De Cisco 40GE BiDi QSFP is beschikbaar voor alle 40GE poorten van de Nexus switches. In de BiDi QSFP wordt het 40GE signaal niet verdeeld over vier kanalen maar over twee kanalen en voor deze twee kanalen worden twee verschillende kleuren licht gebruikt:

Omdat er met twee kleuren licht wordt gewerkt, kan op beide aders zowel worden gezonden als ontvangen en hebben we aan twee aders genoeg om een 40GE verbinding te maken.

Een 40 Gbps bitstroom wordt nu gesplitst in twee 20 Gbps stromen, die parallel verstuurd worden:

Nu er nog maar twee aders nodig zijn voor een multimode 40GE verbinding… kunnen we net zoveel 40GE verbindingen maken als we eerst 10GE verbindingen hadden. Dus over onze twaalf aders van de MPO connector kan nu niet één, maar kunnen wederom zes verbindingen lopen:

De BiDi interface heeft minder transmitters en receivers nodig dan een SR4 interface en ook minder electronica om de bitstromen te scheiden en later weer te combineren. Hierdoor is zijn listprijs minder dan de helft van de listprijs van een SR4 interface. Daarbij is bij de keuze voor de BiDi interface ook nog sprake van een aanzienlijke besparing op de aanlegkosten van de bekabeling….

 

De optische modules voor 40GE en 100GE

Eerst de geschiedenis: 1GE en 10GE modules

Sinds in 1998 Gigabit Ethernet gestandaardiseerd is, worden optische Ethernet interfaces op switches of routers meestal uitgevoerd middels aparte modules en niet direct op de switch/router en ook niet direct op een lijnkaart. Zo werden de optische Gigabit interfaces in 1998 geïmplementeerd met GBICs en later middels de kleinere SFPs.

Voor optische TienGigabit poorten is er nog meer keuzes: in 2001 is de XENPAK module gedefinieerd, in 2002 de XFP, in 2003 de X2 en in 2006 de SFP+

Tegenwoordig worden haast alle nieuwe switches en routers uitgevoerd met SFP+ of XFP modules: hiervan kunnen er meer op een rackunit dan van de twee andere modules en daarmee bereikt men dus de hoogste poortdichtheid.

Overigens dient er opgemerkt te worden, dat XENPAK, XFP, X2 of SFP+ geen onderdeel zijn van de IEEE-standaarden, het zijn industrieafspraken tussen leveranciers van de optische modules. Zo is er bijvoorbeeld een IEEE standaard 10GBASE-SR voor 10GE over multimode fiber.  Er bestaan X2-10GB-SR, SFP-10G-SR en XFP-10GSR-MM modules. Dit zijn allemaal standaard 10GBASE-SR interfaces, die probleemloos met elkaar kunnen communiceren.

De 40GE en 100GE modules

Voor 40GE en 100GE gebeurt hetzelfde: de IEEE heeft een serie standaarden gedefinieerd, zoals bijvoorbeeld 40GBASE-SR4 of 100GBASE-CR10. De fabrikanten van de optische interfaces zijn weer bijeengekomen en hebben de modules vastgelegd waarin dit soort interfaces zullen komen.

Voor 40GE zijn er op dit moment twee modules: QSFP+ (ook wel QSFP genoemd) en CFP. Voor 100GE zijn er ook twee modules: CXP en CFP.

Er is afgesproken door de leveranciers van de modules dat als de QSFP+ wordt gebruikt voor 40GBASE-SR4 of CR4, deze module ook gebruikt kan worden om vier aparte 10GBASE-SR of CR interfaces te leveren. Hiervoor bestaan octopuskabels met aan één kant de 40GE MPO-12 connector en aan de andere kant acht maal een LC connector (vier trancieve en vier receive connectors voor de vier 10GE poorten).

Met de SFP+ die voor 10GE afgesproken is, hebben we dus 4x 13mm ruimte op een switch nodig om vier 10GE poorten te bieden, met de QSFP+ en de octopuskabel hebben we slechts 1x 18mm ruimte op de switch nodig om 4 10GE interfaces aan te bieden. Met 40GE poorten en QSFP+ kan dus een hogere poortdichtheid aan 10GE poorten op een switch worden bereikt dan met ‘echte’ 10GE poorten.

Terug naar 40GE en 100GE:

Er zijn switches die QSFP+ gebruiken om 40GE aan te bieden, er zijn switches die daar CFP voor gebruiken. Voor 100GE is op dit moment CFP de meest gebruikte module. Enkele voorbeelden:

• De 6904 lijnkaart van de Cat6500 biedt vier 40GE poorten met CFP modules.
• De M206FQ lijnkaart van de Nexus7000 biedt zes 40GE poorten met QSFP+ modules.
• De Nexus3016Q: Een switch met zestien QSFP+ poorten voor 16x 40GE, of natuurlijk 64x 10GE met de octopus kabels.
• De M202CF lijnkaart van de Nexus7000 biedt twee 40GE/100GE poorten. Hier kunnen zowel 40GE CFP’s als 100GE CFP’s in.
• De A9K-2X100GE-xx is een tweepoorts 100GE lijnkaart voor de ASR9000 en gebruikt CFP modules.

De CFP is een vrij brede module, zodat er slechts acht 100GE poorten in een rackunit passen… Verwacht u meer 100GE poorten per lijnkaart nodig te hebben? Geen nood, de leveranciers zijn al aan het praten om in de komende jaren te komen met CFP2 modules (half zo breed als een CFP) en CFP4 modules (een kwart van de breedte van een CFP), zodat er na 2015 lijnkaarten zullen zijn met minstens 24 100GE poorten per kaart….

Glasvezels en 1/10Gigabit Ethernet

Glasvezelbekabeling is populair voor hogere snelheden Ethernet. Voor de meeste mensen is het verschil tussen multimode en singlemode fiber duidelijk, maar sommigen kijken je vragend aan als je over OM1, OM2 of OM3 multimode begint en hebben zich nog niet afgevraagd wat de ‘modal bandwidth” is, die hun multimode vezels blijken te hebben.

Eerst maar over de ‘modal bandwidth’:
Over glasvezels kunnen veel bits worden verstuurd en over grote afstanden, maar er zijn limieten: bij iedere meter die het signaal aflegt, wordt het ietsje vervormd en hoe hoger de bitrate, hoe erger het effect van die verstoring.
15 jaar geleden was het normaal om voor LANs multimode fibers te gebruiken met een modal bandwidth van 160 Mhz.km (*). Dat wil zeggen dat een signaal van 160 Mhz 1 km kan afleggen voor het te veel verstoord is, terwijl een signaal van 80 Mhz een afstand van 2 km zal halen.
Voor zowel 1GE als 10GE kan met een hogere modal bandwidth een grotere afstand overbrugd worden. Let ook op dat in één fiber voor verschillende kleuren de modal bandwidth verschillend kan zijn.

OM1 fibers zijn de fibers die 15 tot 20 jaar normaal waren, ze hebben – voor 850 nm – een modal bandwidth van 160 tot 200 Mhz.km
OM2 fibers hebben een iets kleinere core-diameter en een modal bandwidth van 500 Mhz.km
De nieuwste soort multimode fiber is OM3: die heeft voor 850 nm een modal bandwidth van 2000 Mhz.km

Dit alles heeft effect op de afstanden die met 1GE en 10GE gehaald kunnen worden. Twee voorbeelden:
1000BASE-SX gebruikt 850 nm en haalt over:
OM1 (160 Mhz.km) – 220 meter
OM1 (200 Mhz.km) – 275 meter
OM2 (400 Mhz.km) – 500 meter
OM2 (500 Mhz.km) – 550 meter

10GBASE-SR gebruikt ook 850 nm en haalt over:
OM1 (200 Mhz.km) – 33 meter
OM2 (500 Mhz.km) – 82 meter
OM3 (2000 Mhz.km) – 300 meter

Alle details staan op: http://www.cisco.com/en/US/prod/collateral/modules/ps5455/ps6577/product_data_sheet0900aecd8033f885.html
– of –
http://www.cisco.com/en/US/prod/collateral/modules/ps5455/ps6574/product_data_sheet0900aecd801f92aa.html

(*) Regelmatig zal je Mhz/km tegenkomen als eenheid, maar het is echt Mhz.km

De ontwikkeling van Ethernet

Vijftien jaar geleden waren er vele verschillende wired LAN protocollen in gebruik binnen bedrijven; naast Ethernet herinnert u zich misschien nog termen als Token Ring, ATM, FDDI, ArcNet en VG-AnyLAN. Daarvan is alleen Ethernet overgebleven, dat alle desktop PCs en printers verbindt met het datacenter. Het is ook in toenemende mate bezig het protocol te worden om huizen en bedrijven aan te sluiten op de netwerken van service providers. Vrijwel alle soorten applicaties worden over Ethernet vervoerd: kantoorautomatisering, businesskritische applicaties, telefonie, tv en video. Er is binnen een bedrijf slechts één toepassing overgebleven, waarvoor Ethernet niet algemeen aanvaard is als het logische onderliggende netwerk en dat is storage: het bewaren van de data van een server op een centrale opslageenheid.

Er zijn wel datacenters waar Ethernet gebruikt wordt als storage netwerk, maar de meerderheid van de organisaties verkiest Fibre Channel voor deze toepassing. Echter ook hier rukt Ethernet op. Om Ethernet meer geschikt te maken als netwerk voor storage, werkt het Institute of Electrical and Electronics Engineers (de IEEE) aan meerdere uitbreidingen van het Ethernetprotocol om te komen tot wat genoemd wordt ‘unified I/O’. Dit is de combinatie van het LAN en SAN verkeer op een enkele interface, waar dan beide verstuurt en ontvangen kunnen worden. Een uitbreidingen die minimaal nodig op het Ethernetprotocol is de stap om Lossless Ethernet te krijgen.

Lossless Ethernet of ook wel Priority Based Flowcontrol
Fibre Channel waarborgt het afleveren van pakketten, Ethernet biedt deze garantie niet. Als op een Ethernet netwerk een pakket verloren gaat, moet dit later opnieuw verstuurd worden. Dat lijkt ernstig, maar elke dag werkt iedere applicatie overal ter wereld probleemloos met deze hertransmissies.
Binnen het Ethernetprotocol bestaat al de mogelijkheid om met ‘pauze’ frames een zender even te laten stoppen als een ontvanger de pakketten niet meer kan verwerken. Helaas is de controle met deze pauze-frames te grof: als op een server twee applicaties draaien en één applicatie wordt met een pauze-frame gevraagd even niet meer te zenden, dan mag ook de tweede applicatie niets meer versturen tot de pauze wordt opgeheven.
Met Priority Based Flowcontrol worden op iedere Ethernet verbinding acht kanalen gedefinieerd, met ieder hun eigen buffer en ook ieder hun eigen pauze-frames, zodat per kanaal het zenden gecontroleerd kan worden.

Lossless Ethernet zal een belangrijke stap zijn om FCoE (Fiber Channel over Ethernet) uit te breiden van een single-hop toepassing naar een techniek die Ethernet de fysieke netwerklaag onder Fiber Channel zal maken.

Wat betekenen al die afkortingen van de Ethernet-bekabeling

Hebt u zich ooit afgevraagd wat 1000BASE-CX betekent? Of 10GBASE-LRM?
Er is een – schijnbare – wildgroei aan namen voor Ethernet-bekabeling, sommige delen van de namen zijn redelijk te begrijpen, anderen zijn voor de meeste mensen volkomen ondoorzichtig.
Enkele voorbeelden:
100BASE-TX
1000BASE-T
1000BASE-SX
10GBASE-SR
De cijfers voor het woord BASE zijn helder: de snelheid. Het woord BASE zelf wordt er meteen tegenaan geplakt en staat voor ‘baseband’, iets anders komt u waarschijnlijk nooit tegen, maar in de oertijd van de LANs heeft er een broadband-Ethernet optie bestaan (10BROAD36)
Maar dan de letters die de vraagtekens geven: een T na het streepje duidt op twisted pair, de R of de X daarna op de codering, blijkbaar is die voor 10BASE en 1000BASE anders dan voor 100BASE.
De S na het streepje duidt op…. Nee, niet op Short distance, wat veel mensen denken. Het is de S van Short wavelength, ofwel 850 nm. Nu is het wel zo dat licht van 850 nm minder ver komt dan licht van 1310 nm (L) of van 1550 nm (E), zodat de verwarring te verklaren is.

Nu is het volgende rijtje te begrijpen
1000BASE-T
1000BASE-SX
1000BASE-LX/LH
1000Base-ZX
Allemaal 1GE:
-T is over twisted pair,
-S gebruikt 850 nm licht,
-L gebruikt 1310 nm
En –Z dan? Dat is helemaal geen IEEE standaard, maar wordt wel door alle leveranciers ondersteund. De X slaat op de codering.
Blijft over de –LH: opnieuw geen officiële standaard, maar een door alle leveranciers ondersteunde uitbreiding op de –LX standaard.

De echte verwarring komt pas bij 10GE:
10GBASE-T
10GBASE-SR
10GBASE-LR
10GBASE-ER
10GBASE-LX4
10GBASE-CX4
10GBASE-LRM
-T, -S, -L, -E moeten duidelijk zijn. De –C is over twinax koper.
Een R of een X na deze letters slaat op de codering: LR en LX zijn dus beide over 1310 nm, maar verschillend gecodeerd.
En dan is er soms nog een derde letter. Die kan van alles betekenen:
– Een ‘4’ betekent dat dit signaal over 4 verschillende kanalen van ieder 2.5 Gbps wordt doorgegeven.
– Een ‘M’ betekent multimode. 10GBASE-LR is voor singlemode kabel, 10GBASE-LRM is voor multimode kabel.

Maar wat men echt wil weten, is: welke afstand haal je nu met al deze interfaces…
Tja, dat heeft de IEEE nu juist niet in deze lettercodering gezet, dat moet je in een tabel opzoeken.
Zie daarvoor op: http://www.cisco.com/en/US/prod/collateral/modules/ps5455/ps6577/product_data_sheet0900aecd8033f885.html
– of –
http://www.cisco.com/en/US/prod/collateral/modules/ps5455/ps6574/product_data_sheet0900aecd801f92aa.html