Postavljanje 10GbE
Ako čitate samo jedan dio, pročitajte ovaj:
- Oba kraja svake veze trebaju 10GbE sučelje. Jedan brzi NIC ne stvara brzu vezu.
- Mediji između njih moraju biti kompatibilni s oba priključka:Cat6A za RJ45, DAC ili optiku za SFP+.
- Dva uređaja mogu se spojiti izravno. Prekidač je potreban samo kada se pridruži treći uređaj.
- Ostavite MTU na 1500 tijekom puštanja u pogon. Jumbo okviri su optimizacija, a ne uvjet.
- Dokažite mrežu siperf3prvi. Tek tada okrivite NAS, CPU ili protokol.
- Sve u nastavku objašnjava kako ispravno donijeti tih pet odluka i kako prepoznati koja komponenta koči vezu kada brojke razočaraju.
Što vam je potrebno za 10GbE mrežu?
Minimalna 10GbE veza su dvije sposobne krajnje točke i kompatibilna veza između njih. Veća mreža dodaje preklopnik s dovoljno 10GbE priključaka.
- 10GbE kartice mrežnog sučelja ili ugrađeni 10GBASE-T priključci
- 10GbE prekidač - osim ako su dva uređaja izravno povezana
- Bakreni kablovi, DAC-ovi, AOC-ovi ili primopredajnici plus vlakna
- Hostovi i pohrana dovoljno brzi za predviđeno radno opterećenje
- Podrška za upravljačke programe, firmware i OS za odabrani hardver
Operativna riječ jekompatibilan. SFP+ priključak neće prihvatiti RJ45 patch vod osim ako se između njih nalazi podržani 10GBASE-T SFP+ modul ili konverter medija, a SFP+ jefaktor oblika priključka i modula, a ne optički konektor - optički SFP+ moduli gotovo uvijek završavaju u duplex LC.
Odabir kartice mrežnog sučelja
Prije naručivanja NIC-a, četiri stvari odlučuju hoće li doista raditi na 10 Gbps: utor mora biti fizički dostupan; utor mora osigurati dovoljno korisne PCIe propusnosti (kartica može stati u x8 utor koji je električno ožičen x1); upravljački program mora postojati za vaše izdanje kernela ili poslužitelja; a kartica se ne smije sama kuhati u pasivno hlađenom desktopu. Stariji poslužitelji rade, a neki 10GBASE-T silikoni rade izrazito vruće.
Najčešće iznenađenje ovdje je raspodjela traka. NIC koji se nalazi u utoru spojenom na skup čipova koji dijeli propusnost s M.2 pogonom pregovarat će o užoj PCIe vezi, a operativni sustav će sretno prijaviti "10 Gbps" na strani Etherneta dok vas sabirnica tiho ograničava na 6–7 Gbps.
Prekidač ili izravna veza?
Prekidač nije uvijek potreban. Izravna veza dobro funkcionira kada točno dva sustava trebaju propusnost - radna stanica za uređivanje videa i NAS, na primjer - sa statičkim parom adresa na namjenskoj podmreži.
Premjesti na apreklopni dizajnkada više od dva uređaja trebaju 10GbE, kada nekoliko radnih stanica pogodi isti skladišni prostor, kada 10GbE segment mora doseći postojeći LAN ili kada su VLAN-ovi i centralizirano upravljanje važni. Kada to učinite, pošteno prebrojite portove: prekidač s osam portova brzo gubi portove prema NAS vezama, uzlaznim vezama usmjerivača i vezama između prekidača.
Pohrana i izvedba hosta
10GbE veza ima brzinu linije od 10 gigabita u sekundi. Prijenos datoteka nema ništa slično. Ograničen je brojem diskova i rasporedom RAID-a, NAS CPU-om, ponašanjem predmemorije SSD-a, opterećenjem datotečnog sustava, SMB ili NFS konfiguracijom, enkripcijom, CPU-om klijenta, PCIe propusnošću i brojem korisnika koji dijele skup.
Zbog toga su referentna vrijednost mreže i referentna vrijednost prijenosa datoteka dva različita testa i zašto je redoslijed kojim ih pokrećete važniji od bilo kojeg parametra podešavanja.
Trebate li zapravo 10GbE?
10GbE ostvaruje svoje troškove tamo gdje lokalna mreža redovito premješta skupne podatke ili opslužuje mnogo istodobnih klijenata: uređivanje videa visoke razlučivosti iz zajedničke pohrane, premještanje projektnih datoteka između radnih stanica i NAS-a, sigurnosno kopiranje više sustava na jedan poslužitelj, pokretanje VM-ova iz mrežne pohrane, repliciranje između poslužitelja ili pružanje uzlazne veze velikog kapaciteta između preklopnika.
Internetsku vezu ne čini bržom. Poboljšava promet samo ako cijeli put podržava višu stopu.
Kada je 2,5GbE ili 5GbE bolja kupovina
Multigigabitna nadogradnja često je pametniji novac kada većina krajnjih točaka već ima ugrađenih 2,5 GbE, kada sustav za pohranu ionako ne može pristupiti 10 Gbps, kada je dominantno radno opterećenje pristup internetu, a ne lokalni prijenos, ili kada se kablovi ne mogu zamijeniti.
Uobičajen i učinkovit obrazac za male urede: 2,5 GbE na stolovima, 10 GbE između preklopnika, poslužitelja i pohrane. Propusnost ide tamo gdje se promet skuplja umjesto da se raspršuje preko priključaka koji je nikada neće koristiti.
Zahtjevi, topologija i mediji
| Situacija | Topologija | Mediji za ocjenu prvi |
|---|---|---|
| Dva uređaja, ista prostorija, ispod 3 m, SFP+ priključci na oba kraja | Izravna veza | Pasivni SFP+ DAC |
| Radna stanica i NAS, ista soba, RJ45 priključci na oba kraja | Izravna veza | Cat6A patch lead |
| Uredsko kabliranje unutar zidova do 100 m | Djelomična 10GbE nadogradnja | Instaliran i testiran Cat6A kanal |
| Između katova ili kroz područja s biljkama s električnom bukom | Djelomično ili prebačeno | OM3/OM4 višemodni sa SR optikom |
| Između zgrada ili infrastrukture koja bi trebala nadživjeti 10G | Zamijenjeno | Jednomodno vlakno s LR optikom |
| Nekoliko radnih stanica koje dijele jedan NAS ili poslužitelj | Promijenjeni 10GbE | 10GbE prekidač plus mješoviti DAC/fiber/Cat6A |
RJ45, DAC ili vlakno?
| Veza | Tipična upotreba | Snage | Ograničenja |
|---|---|---|---|
| 10GBASE-T RJ45 | Strukturirano kabliranje, zidne utičnice | Poznati konektor, povratno pregovaranje o podržanim portovima | Obično troši više energije i radi toplije od kratke DAC veze |
| SFP+ DAC | Isti stalak ili susjedna oprema | Mali broj komponenti, niska cijena, ništa za čišćenje | Fiksni sklop, ograničen doseg, kruti radijus savijanja |
| SFP+ AOC | Kratke veze gdje je velika količina kabela problem | Tanji i lakši od DAC-a, električno izoliran | Krajevi primopredajnika nisu zamjenjivi |
| 10GBASE-SR | Višemodne veze zgrada i soba s opremom | Fleksibilno krpanje, koristan doseg | Potrebna je usklađena optika i čiste čeone strane |
| 10GBASE-LR | Jednomodna infrastruktura, duge veze | Dugi doseg; jednomodno postrojenje općenito je put koji se može više nadograditi | Optika obično košta više od alternativa kratkog dometa |
Ciscova dokumentacija 10GBASE SFP+navodi pasivni twinax DAC u duljinama do 5 metara i aktivne verzije do 10 metara,10GBASE-SRdosežući 300 m na OM3 i 400 m na OM4, i10GBASE-LRdosegnuvši 10 km na standardnom jednomodnom vlaknu. Tretirajte ih kao gornju granicu definiranu standardima i potvrdite u odnosu na stvarne module i sklopke koje namjeravate kupiti.
10GBASE-T preko Cat6 ili Cat6A
Gdje već postoji RJ45 strukturno kabliranje, 10GBASE-T je obično put najmanjeg otpora. Praktična pravila:
- NavediteCat6Aza svaki novi 100-metarski 10GbE kanal.
- Cat6 može prenositi 10GbE na kraće staze - 55 m je brojka koja se obično navodi, pod odgovarajućim uvjetima - ali ovo je dopuštenje, a ne jamstvo.
- Testirajtekanal, a ne bubanj za kabel. Patch paneli, keystones, spojnice i patch kablovi se računaju, a kanal je dobar onoliko koliko je dobar njegov najgori dio.
Također razlikujete izvorni 10GBASE-T switch port od bakrenog SFP+ modula. Bakreni SFP+ moduli općenito imaju kraći doseg od 10 Gbps i veće toplinske zahtjeve; Cisco navodi do 30 metara pri 10 Gbps za jedan od svojih SFP+ RJ45 modula. Ako još uvijek vagate bakar i staklo za trčanje,usporedba kategorije bakraje korisna polazna točka.
Vlakna: SR, LR i što zapravo pođe po zlu
Koristite SR s ispravnom višemodnom ocjenom, LR s jednomodnom. Uskladite Ethernet standard, valnu duljinu i vrstu vlakna na oba kraja, zadržite snagu prijema unutar podržanog prozora i potvrdite da će sklopka prihvatiti modul koji ste kupili.
U praksi, kvarovi koje vidimo na optičkim 10GbE vezama rijetko su egzotični. To su prljave čeone strane, APC patch vod u UPC lancu i modul koji prekidač pristojno odbija prepoznati. Poliranje konektora nije detalj: LC/UPC dominira u datacomu, a miješanje UPC i APC krajeva pouzdan je način da se izgubi nekoliko dB. Ako prvi put puštate u pogon vlakna, odvojite vrijemeočistite i pregledajte svaki konektorprije nego što ga uključite - i ako je razlika SR/LR i dalje nejasna, pročitajteusporedba single-mode naspram multimodeprije narudžbe optike ne možete vratiti.
Kako postaviti 10GbE mrežu, korak po korak
Korak 1: Mapirajte uređaje i promet
Navedite svaki uređaj i identificirajte koji su tokovi podataka danas zapravo ograničeni. Zabilježite izvor i odredište, trenutne brzine priključaka, udaljenosti kabela, očekivane istodobne korisnike, dostupne utore za proširenje i postojeće uzlazne veze. To je ono što sprječava zamjenu cijele mreže kada je potrebna nadogradnja tri veze.
Korak 2: Odaberite topologiju i medij
Upotrijebite gornju tablicu odluka, a zatim napravite popis materijala koji navodi svaki priključak, modul i kabelkraj. Optički primopredajnik naručen bez znanja što se nalazi na drugom kraju je bacanje novčića.
Korak 3: Provjerite kompatibilnost na papiru
Provjerite podržane brzine priključaka, popise kompatibilnosti SFP+ i DAC-a, ponašanje automatskog pregovaranja, upravljačke programe, NIC i firmware preklopnika, najveći podržani MTU i termička ograničenja. Neki SFP+ priključci rade samo pri 10 Gbps; drugi također prihvaćaju 1G SFP module. Neki 10GBASE-T priključci pregovaraju 1G/2.5G/5G/10G; drugi podržavaju uži skup.
Korak 4: Instalirajte NIC i pripremite prekidač
Sustavi napajanja za interne kartice nisu izričito podržani bez uključivanja. Zatim instalirajte trenutni upravljački program, ažurirajte NIC firmware tamo gdje ga proizvođač preporučuje, potvrdite da OS vidi sučelje i - ovo je korak koji ljudi preskaču - potvrdite da je NIC dogovorio očekivanu PCIe generaciju i širinu veze. Ažurirajte firmware sklopke prije nego što krene u proizvodnju i označite priključke i kabele dok se još uvijek sjećate što su.
Korak 5: Povežite se i potvrdite brzinu veze
Svaka veza trebala bi se prijaviti, 10 Gbps, puni dupleks, bez brojača grešaka koji se penju. Na optičkim vezama s digitalnom dijagnostikom, pogledajte temperaturu i primite napajanje. Ako veza radi na 1G, 2,5G ili 5G, prestanite i popravite to. Nema smisla podešavati protokole na vrhu fizičkog sloja koji vam već laže.
Korak 6: Konfigurirajte IP adresiranje (uz radni primjer)
Na postojećem LAN-u, 10GbE sučelje može jednostavno živjeti na normalnoj podmreži. Za izravnu vezu za pohranu, zasebna podmreža održava brzi put čistim. Konfiguracija koja radi pouzdano:
- Radna stanica, 10GbE priključak: 192.168.50.10 / 255.255.255.0, pristupnik ostavljen prazan
- NAS, 10GbE priključak: 192.168.50.20 / 255.255.255.0, pristupnik ostavljen prazan
- Oba uređaja zadržavaju svoja postojeća 1GbE sučelja
Ostavljanje gatewaya praznim na 10GbE sučelju je ono što zaustavlja običan internetski promet koji luta na vezu koja ne vodi nikamo. Da potvrdite da se usmjeravanje ponaša, provjerite ide li promet prema NAS-u brzom stazom - Get-NetRoute i Test-NetConnection na Windowsima, ip ruta dobiva 192.168.50.20 na Linuxu - i montirajte dijeljenje prema njegovoj adresi 192.168.50.x, a ne prema nazivu glavnog računala, jer će vam rezolucija imena često dati 1GbE adresu umjesto toga.
Gdje se koriste VLAN-ovi, konfigurirajte ih na preklopniku, uskladite označene/neoznačene postavke na glavnom računalu, potvrdite da je VLAN dopušten na uzlaznim vezama i testirajte osnovnu dostupnost prije nego što dodirnete performanse. Promijenite jednu po jednu stvar.
Korak 7: Ostavite MTU na miru (za sada)
Provizija na standardni MTU od 1500 bajta. Jumbo okviri mogu smanjiti opterećenje CPU-a po paketu pri velikim sekvencijalnim prijenosima, aliIntelove smjernice su jasne: omogućite ih samo kada ih svaki uređaj na putu podržava i ako je konfiguriran na istu veličinu okvira. Prvo odredite osnovnu liniju; ne možete reći je li promjena pomogla ako nikada niste mjerili "prije".
Korak 8: Testirajte mrežu pomoću iperf3 - i ispravno pročitajte rezultat
iperf3, koji održava ESnet, mjeri dohvatljivu propusnost IP-mreže bez dodirivanja diska. Server na jednom stroju:
iperf3 -s
Klijent s druge strane:
iperf3 -c
iperf3 -c
iperf3 -c
iperf3 -c
Sada dio koji većina vodiča izostavlja - što brojevi znače:
- 9,3–9,5 Gbita/s pojedinačni tok:zdrava 10GbE veza. TCP i okvirni režijski račun za ostalo; nećete vidjeti 10.0.
- Oko 8 Gbits/sek pojedinačni tok, ali 9,4 s -P 4:link je u redu. Jedan tok vezan je za CPU na jednoj jezgri. Normalno na skromnim stolnim CPU-ima i nije greška.
- Nema poboljšanja s paralelnim tokovima i zasićenom jezgrom:CPU je strop. Pogledajte RSS i postavke rasterećenja prije nego što okrivite mrežu.
- Brzo naprijed, sporo s -R:točke asimetrije na jednoj krajnjoj točki, a ne na kabelu. Sumnjate da upravljački program, virtualni prekidač ili sigurnosni softver provjeravaju dolazni promet.
- 4–6 Gbits/sec u oba smjera, stabilno:gotovo uvijek ograničenje PCIe ili vanjskog adaptera, a ne Etherneta.
- Brzi deset sekundi, a zatim pada:toplinski. Provjerite modul i NIC hladnjak.
Zabilježite uvjete s rezultatom: OS, verzija upravljačkog programa, MTU, CPU, broj streamova, trajanje testa. Broj propusnosti bez okoline je glasina.
Korak 9: Testirajte stvarno radno opterećenje
Tek nakon što mreža prođe, trebali biste testirati NAS, posao sigurnosne kopije ili vremensku traku za uređivanje - zajedno promatrajući propusnost čitanja/pisanja, iskorištenost diska, CPU, iskorištenost NIC-a i RAID aktivnost. Jedna velika sekvencijalna datoteka ne ponaša se nimalo kao deset tisuća malih, stoga zabilježite radno opterećenje uz rezultat umjesto da izvješćujete o jednom vršnom broju.
Dvije dijagnoze na koje ćete vjerojatno naići
Slučaj 1: iperf3 je brz, kopije datoteka nisu
NAS s četiri ležišta i rotirajućim diskovima, povezan DAC-om na obližnji prekidač. iperf3 javlja 9,4 Gbits/sec u oba smjera. Kopiranje videodatoteke od 40 GB radi pri otprilike 190 MB/s i odbija ići više.
Ništa nije pokvareno. 190 MB/s je oko 1,5 Gbits/sec, što je prilično obična sekvencijalna gornja granica za taj niz. Mreža nikada nije bila ograničenje - niz jest. Dodavanje jumbo okvira, ugađanje rasterećenja ili zamjena DAC-a proizveli bi točno isti broj. Popravak, ako se želi, je SSD predmemorija ili više vretena, a ne mrežna promjena.
Dijagnostičko pravilo koje ovo ilustrira: kada test mreže prođe, a test datoteke ne, mreža nije primarno usko grlo. Testirajte pohranu lokalno na oba kraja prije nego što dodirnete bilo što drugo.
Slučaj 2: Veza je dosegla brzinu od 1 Gbps
Novi 10GBASE-T NIC u uredu s postojećim Cat6 kablovima. Sučelje prijavljuje 1Gbps. Vodoravni kabel je u redu; patch panel je Cat5e, instaliran godinama ranije i nikad ponovno posjećen.
Kanal, a ne kabel, je ono što pregovara. Ovo je najčešći pojedinačni uzrok "pokvarene" implementacije 10GbE i to je u potpunosti papirološki problem - vidljivo u koraku 3 ako se tablica kompatibilnosti pošteno ispuni.
Uobičajena 10GbE uska grla
- Fizički sloj:kategorija kabela i završetak, konfiguracija brzine porta, nepodržani SFP+ moduli ili DAC kodiranje, oštećena vlakna, prljavi konektori, brojači grešaka pri penjanju.
- Skladištenje:broj pogona, razina RAID-a, nasumični I/O, paritet, politika pisanja i predmemorije, snimka ili dedupiranja, enkripcija, ponovna izgradnja u pozadini.
- Sabirnica i CPU:sužena širina PCIe veze, utori koji dijele propusnost, zasićene jezgre, nedostaju RSS ili prijenosi, USB/Thunderbolt adapteri dijele propusnost s pohranom, neodgovarajući virtualni NIC unutar VM-a, sigurnosni softver koji provjerava svaki bajt.
- Termi:bakreni SFP+ moduli velike snage, prekidači bez ventilatora, guste SFP+ grupe, zatvoreni ormarići, hladnjaki zaštićeni od prašine. Simptom: dobro u početku, ponižavajuće nakon nekoliko minuta.
- Uplinkovi s prevelikom pretplatom:10GbE radna stanica koja razgovara s poslužiteljem koji se nalazi iza 1GbE uzlazne veze nije dobila ništa. Pregledajte cijeli put - veze između prekidača, sučelja vatrozida, veze kontrolera za pohranu, veze virtualnog prekidača.
Napredne opcije: Jumbo okviri, agregacija, višekanalni
Ovo su optimizacije za mrežu koja već radi. Primijenjeni na one koji to ne čine, uglavnom otežavaju pronalaženje izvorne greške.
Jumbo okvirimože pomoći velikom sekvencijalnom prometu i prometu pohrane. Najprije osnovna linija na 1500, potvrdite da svaki uređaj na putu - uključujući virtualne prekidače i sučelja za pohranu - podržava planiranu veličinu okvira, dosljedno je primijenite, testirajte s paketima koji se ne mogu fragmentirati, ponovno pokrenite iperf3 i radno opterećenje i zadržite promjenu samo ako je mjerljivo pomogla. Nedosljedan MTU proizvodi istinski zbunjujuće simptome: pingovi su uspješni, veliki prijenosi se zaustavljaju, a veze rade samo u jednom smjeru.
Agregacija vezadodaje agregatni kapacitet i redundanciju u mnogim tokovima. Ne udvostručuje prijenos pojedinačne datoteke: agregacija prekidača obično pričvršćuje tok na vezu jednog člana koristeći hash, tako da jedna sesija ostaje na jednoj vezi.
SMB višekanalnije drugačiji mehanizam. PoMicrosoftova dokumentacija, SMB 3.x uspostavlja višestruke TCP veze po sesiji, agregirajući dostupnu širinu pojasa, pružajući toleranciju na pogreške i - na RSS-sposobnom adapteru - širenje obrade na CPU jezgre umjesto pričvršćivanja na jednu. Upravo je ta posljednja točka razlog zašto rezultat iperf3 s jednim tokom može izgledati osrednje dok je stvarno radno opterećenje u redu.
Sažetak
Za kratku vezu između NAS-a i obližnjeg SFP+ preklopnika, počnite s podržanim DAC-om. Za nove zidne kablove koji moraju prenositi 10GbE preko udaljenosti zgrade, instalirajte i certificirajte Cat6A kanal. Za prostorije s opremom, od poda do poda i okruženja s električnim šumom, procijenite vlakna - SR sOM4 višemodni patch kabeli, LR s jednim modom gdje doseg ili budući kapacitet to opravdavaju. U domu ili malom uredu nadogradite samo veze koje nose koncentrirani promet; 10GbE NAS i core uplink preko 2,5GbE korisnički pristup obično je bolji od zamjene svakog priključka u zgradi.
I testirajte mrežu odvojeno od pohrane. Uspješno postavljanje 10GbE nije definirano oznakom na preklopniku. Definiran je kompatibilnom stazom od kraja do kraja koja izdržava radno opterećenje za koje ste ga izgradili.
FAQ
P: Koja je oprema potrebna za 10GbE mrežu?
O: Dva ili više uređaja s 10GbE sučeljima, kompatibilnim kablovima ili optikom i - za više od dva uređaja - preklopnik s dovoljno 10GbE priključaka. Hostovi i pohrana također moraju biti dovoljno brzi da bi iskoristili propusnost.
P: Može li Cat6 kabel pokretati 10GbE?
O: Preko kraćih, ispravno instaliranih veza, da - 55 metara je često navedena brojka pod odgovarajućim uvjetima. Cat6A je sigurnija specifikacija za nove 10GBASE-T kanale pune duljine od 100 metara i mora se ispitati cijeli kanal, a ne samo kabel.
P: Je li SFP+ brži od RJ45 10GBASE-T?
O: Oba nose 10GbE. Razlika je u mediju, udaljenosti, snazi, latenciji, fleksibilnosti priključka i onome što je već instalirano - ne nominalnoj brzini Etherneta.
P: Trebam li 10GbE switch?
O: Ne za jednu vezu od točke do točke. Dva uređaja mogu se izravno povezati ako su njihova sučelja i mediji kompatibilni. Prebacivanje postaje potrebno kada se više uređaja pridruži ili kada su vam potrebni VLAN-ovi i značajke centraliziranog prebacivanja.
P: Čine li jumbo okviri 10GbE bržim?
O: Ponekad, za neka radna opterećenja. Oni nikada nisu obavezni i trebali bi biti omogućeni samo kada cijeli put podržava dosljednu veličinu okvira i testiranje pokazuje stvarnu korist.
P: Zašto je moj 10GbE prijenos datoteka sporiji od očekivanog?
O: Redoslijedom vjerojatnosti: pohrana ne može održati brzinu, CPU je zasićen, NIC je na ograničenoj PCIe vezi, protokol dodaje opterećenje, veza je dogovorena ispod 10 Gbps, MTU nije usklađen, nešto se pregrijava ili sporija veza postoji negdje drugdje na putu.
P: Kakav iperf3 rezultat mogu očekivati na ispravnoj vezi?
O: Otprilike 9,3–9,5 Gbits/sec. Niža jednostruka brojka koja se oporavlja s -P 4 obično ukazuje na ograničenje jedne jezgre, a ne grešku. Konzistentni rezultati ispod 7 Gbits/sec u oba smjera upućuju na sabirnicu, upravljački program ili fizički sloj.
