Basis beginselen van 40-Gbps Bidirectional QSFP Transceiver Modules

 

De snelheden van datacenternetwerken worden snel hoger: 10 Gbps in de accesslaag en 40 Gbps aggregatie zijn niet langer uitzonderlijk. Dat komt voornamelijk door server-virtualisatie, waardoor het aantal applicaties per rack-eenheid enorm is toegenomen. Daarbij stijgen de algemene Internetsnelheden natuurlijk ook alleen maar.

Helaas werken 40 Gbps verbindingen niet over de vertrouwde CAT6 kabel en in de meeste gevallen zelfs niet over standaard glasvezel: er is dus een upgrade van de kabel-infrastructuur nodig, wat, gezien de kosten en de verstoring van de continuïteit, in veel datacenters een blokkade op de weg naar hogere snelheden.

Cisco maakt van die blokkade een klein hobbeltje met de innovatieve 40 Gbps Quad Small Form-Factor Pluggable (QSFP), bi-directionele (BiDi) technologie. Hiermee kunnen bestaande 10 Gbps glasvezelverbindingen toch worden ingezet voor 40 Gbps.

Het bijgaande filmpje legt in 5 minuten uit hoe dat allemaal precies in elkaar zit.

Groetjes,

Nicole Wajer

De 40GE BiDi interface voor de Nexus switches

Samenvatting

De IEEE standaard voor 40Gbps Ethernet (40GE) over multimode fiber vereist vier/zes fiberparen, zodat bij een migratie van een datacenter van 10GE naar de standaard 40GE interface extra fibers nodig zijn.

De Cisco 40GE BiDi interface maakt het mogelijk om zonder extra fibers te installeren de migratie van 10GE naar 40GE te maken.

 

De IEEE 40GBASE-SR4 standaard

De IEEE heeft voor 40 Gbps Ethernet (40GE) een aantal interface-standaarden gestandaardiseerd, zoals bijvoorbeeld:

*  40GBASE-SR4     voor 40GE over multimode fiber

*  40GBASE-LR4     voor 40GE over singlemode fiber

*  40GBASE-CR4     voor 40GE over twinax koper

…voor al deze interfaces geldt dat de 40 Gbps bitstroom wordt verdeeld over vier parallelle kanalen van ieder 10 Gbps.

Bij het gebruik van multimode is ervoor gekozen om deze kanalen over aparte glasaders te versturen: er worden dus meerdere fibers gebruikt voor één 40GE verbinding en in alle fibers wordt 850 nm licht gebruikt.

De normale – in datacenters veelgebruikte – interface om glasvezels af te monteren is de MPO interface, waarbij twaalf of meer aders in één connector afgemonteerd worden:

Van de twaalf aders worden er vier gebuikt om ieder een kwart van een 40GE stroom te verzenden en vier om een kwart van een 40GE te ontvangen:

…en zo blijven er van de twaalf aders vier ongebruikt.

Twee 40GBASE-SR4 QSFP’s aan weerszijde van een ribbon-multimode fiber zien er dus uit als:

Merk op: het ziet er uit alsof er viermaal 10GE gechanneld wordt, maar dat is niet zo. Een pakket wordt parallel over vier aders verstuurd en er is dus echt 40Gbps per sessie mogelijk:

… en aan de ontvangende kant:

De bekabeling in het datacenter zal normaliter bestaan uit gestructureerde bekabeling van twaalf (of veelvouden van twaalf) aders in een ribbon afgemonteerd op MPO-connectors:

Nu lijkt het alsof de migratie van 10GE naar 40GE vlekkeloos kan verlopen: 40GBASE-SR4 gebruikt MPO-interfaces en deze zijn al onderdeel van de bekabling….

…echter: deze MPO interfaces worden altijd gebruikt voor meerdere 10GE verbindingen. Een extra cassette splitst de twaalf (of meer) aders uit in zes (of evenredig meer) fibers van twee aders…

Ieder van deze 10GE verbindingen is in gebruik voor verbindingen tussen switches of van switches naar servers. Als we nu deze zes verbindingen willen migreren naar 40GE….

…dan past er slechts één 40GE verbinding in de fibers waar we eerst zes 10GE verbindingen hadden. We moeten helaas fibers gaan bijtrekken voor de andere vijf verbindingen!

 

De Cisco 40GE BiDi interface

 De Cisco 40GE BiDi QSFP is beschikbaar voor alle 40GE poorten van de Nexus switches. In de BiDi QSFP wordt het 40GE signaal niet verdeeld over vier kanalen maar over twee kanalen en voor deze twee kanalen worden twee verschillende kleuren licht gebruikt:

Omdat er met twee kleuren licht wordt gewerkt, kan op beide aders zowel worden gezonden als ontvangen en hebben we aan twee aders genoeg om een 40GE verbinding te maken.

Een 40 Gbps bitstroom wordt nu gesplitst in twee 20 Gbps stromen, die parallel verstuurd worden:

Nu er nog maar twee aders nodig zijn voor een multimode 40GE verbinding… kunnen we net zoveel 40GE verbindingen maken als we eerst 10GE verbindingen hadden. Dus over onze twaalf aders van de MPO connector kan nu niet één, maar kunnen wederom zes verbindingen lopen:

De BiDi interface heeft minder transmitters en receivers nodig dan een SR4 interface en ook minder electronica om de bitstromen te scheiden en later weer te combineren. Hierdoor is zijn listprijs minder dan de helft van de listprijs van een SR4 interface. Daarbij is bij de keuze voor de BiDi interface ook nog sprake van een aanzienlijke besparing op de aanlegkosten van de bekabeling….

 

De optische modules voor 40GE en 100GE

Eerst de geschiedenis: 1GE en 10GE modules

Sinds in 1998 Gigabit Ethernet gestandaardiseerd is, worden optische Ethernet interfaces op switches of routers meestal uitgevoerd middels aparte modules en niet direct op de switch/router en ook niet direct op een lijnkaart. Zo werden de optische Gigabit interfaces in 1998 geïmplementeerd met GBICs en later middels de kleinere SFPs.

Voor optische TienGigabit poorten is er nog meer keuzes: in 2001 is de XENPAK module gedefinieerd, in 2002 de XFP, in 2003 de X2 en in 2006 de SFP+

Tegenwoordig worden haast alle nieuwe switches en routers uitgevoerd met SFP+ of XFP modules: hiervan kunnen er meer op een rackunit dan van de twee andere modules en daarmee bereikt men dus de hoogste poortdichtheid.

Overigens dient er opgemerkt te worden, dat XENPAK, XFP, X2 of SFP+ geen onderdeel zijn van de IEEE-standaarden, het zijn industrieafspraken tussen leveranciers van de optische modules. Zo is er bijvoorbeeld een IEEE standaard 10GBASE-SR voor 10GE over multimode fiber.  Er bestaan X2-10GB-SR, SFP-10G-SR en XFP-10GSR-MM modules. Dit zijn allemaal standaard 10GBASE-SR interfaces, die probleemloos met elkaar kunnen communiceren.

De 40GE en 100GE modules

Voor 40GE en 100GE gebeurt hetzelfde: de IEEE heeft een serie standaarden gedefinieerd, zoals bijvoorbeeld 40GBASE-SR4 of 100GBASE-CR10. De fabrikanten van de optische interfaces zijn weer bijeengekomen en hebben de modules vastgelegd waarin dit soort interfaces zullen komen.

Voor 40GE zijn er op dit moment twee modules: QSFP+ (ook wel QSFP genoemd) en CFP. Voor 100GE zijn er ook twee modules: CXP en CFP.

Er is afgesproken door de leveranciers van de modules dat als de QSFP+ wordt gebruikt voor 40GBASE-SR4 of CR4, deze module ook gebruikt kan worden om vier aparte 10GBASE-SR of CR interfaces te leveren. Hiervoor bestaan octopuskabels met aan één kant de 40GE MPO-12 connector en aan de andere kant acht maal een LC connector (vier trancieve en vier receive connectors voor de vier 10GE poorten).

Met de SFP+ die voor 10GE afgesproken is, hebben we dus 4x 13mm ruimte op een switch nodig om vier 10GE poorten te bieden, met de QSFP+ en de octopuskabel hebben we slechts 1x 18mm ruimte op de switch nodig om 4 10GE interfaces aan te bieden. Met 40GE poorten en QSFP+ kan dus een hogere poortdichtheid aan 10GE poorten op een switch worden bereikt dan met ‘echte’ 10GE poorten.

Terug naar 40GE en 100GE:

Er zijn switches die QSFP+ gebruiken om 40GE aan te bieden, er zijn switches die daar CFP voor gebruiken. Voor 100GE is op dit moment CFP de meest gebruikte module. Enkele voorbeelden:

• De 6904 lijnkaart van de Cat6500 biedt vier 40GE poorten met CFP modules.
• De M206FQ lijnkaart van de Nexus7000 biedt zes 40GE poorten met QSFP+ modules.
• De Nexus3016Q: Een switch met zestien QSFP+ poorten voor 16x 40GE, of natuurlijk 64x 10GE met de octopus kabels.
• De M202CF lijnkaart van de Nexus7000 biedt twee 40GE/100GE poorten. Hier kunnen zowel 40GE CFP’s als 100GE CFP’s in.
• De A9K-2X100GE-xx is een tweepoorts 100GE lijnkaart voor de ASR9000 en gebruikt CFP modules.

De CFP is een vrij brede module, zodat er slechts acht 100GE poorten in een rackunit passen… Verwacht u meer 100GE poorten per lijnkaart nodig te hebben? Geen nood, de leveranciers zijn al aan het praten om in de komende jaren te komen met CFP2 modules (half zo breed als een CFP) en CFP4 modules (een kwart van de breedte van een CFP), zodat er na 2015 lijnkaarten zullen zijn met minstens 24 100GE poorten per kaart….