Verkkoprojekti: Intel NUC (2x NIC) ja pfSense Proxmoxin päällä + kytkin + AP:t

[svani]

Tässä iski into viritellä kotiverkko kuntoon, kun erehtyi katsomaan pfSensen hehkutusta Youtubesta ja lukemaan täällä foorumia. Avovaimo myös valittaa nurkissa pyörivästä johtohässäkästä niin on sekin hyvä syy päivittää.

Nettiyhteys on 1000/200 ethernet nousulla kerrostaloasuntoon. Kytkentäkaappiinhan nykyinen Asus RT-AC88U ei mahdu, eikä tuolta langaton verkko mihinkään kuuluisi, joten purkki on nyt keskeisessä huoneessa, josta sitten paluu kytkentätaululle hallitsemattomaan kytkimeen langallisille laittelleille jaettavaksi. Raspberry pi mahtui toki kytkentäkaappiin, jolla pyörii mm. Plex server ja Samba. Sinänsä mitään vikaahan tässä järjestelyssä ei ole ollut.

Palomuuri/reititin toimintaan olisi tarkoitus laittaa siis pfSense. Tuolla pfSense langassa näyttää olevan hyviä vaihtoehtoja dedikoidun raudan suhteen, mutta hinnat alkavat olla jo lähellä uuden sukupolven NUCeja (nurkissa olis muistit ja levy valmiiksi), joissa löytyy kaksi verkkoliitäntää. Tehoa on kuitenkin sen verran, että ajattelin ajaa pfSensen Proxmoxin päällä, jolloin rinnalle saisi vielä linuxin pyörittämään raspin tehtävät ja kaikenlaista muuta mukavaa. Muutenkin olisi mielenkiitoa säätää kunnon virtuaalialusta samalla.

Ajatuksena olisi hankkia myös hallittava PoE-kytkin (Ubiquiti) ja UniFi AP:t. OpenVPN tulee olemaan myös jatkossa käytössä. Ja kamat on siis tarkoitus saada mahtumaan tuonne kytkentäkaappiin. NUC ja pieni kytkin sinne pitäsi mittojen mukaan mennä.
Sitten kysymyksiä:

1. Miten tuo NUC+proxmox+pfSense kannattaa konfata? Jos yksi NIC menee WAN ja yksi LAN käyttöön niin eikö silloin täydellä kaistalla netistä ladattaessa nopeus kärsi, jos käyttää samaan aikaan vaikka virtuaali linuxilla pyörivää sambaa? Onko tähän ratkaisu virittää VLAN? Saako sillä NUCilta nettin liikkumaan yhdellä portilla ja toinen jäisi proxmoxin/muiden virtuaalikoneiden käyttöön täydellä kaistalla?
2. Kannaataako kytkimissä ja AP:ssa mennä Ubiquitin tuotteilla vai onko jotain järkevämpää tarjolla?
3. Toimiiko Ubiquitin UniFi controller softa tällaisella konfiguraatiolla järkevästi tuolta virtuaalilinuxin päältä?
4. Onko tämän suuntaisessa suunnitelmassa yleensäkään mitään järkeä? Mitä pitää muuttaa?

 

[escalibur]

En suosittele NUC:ia raudaksi, mikäli siitä ei löydy kaksi fyystistä verkkokorttia. Enemmän koko aiheesta löydät jo olemassaolevasta ketjusta: Tee-se-itse: Rautapalomuurit (pfSense, Sophos UTM..) (Mitä käytätte ja miksi juuri se vaihtoehto?)

 

[Ogeli]

En suosittele NUC:ia raudaksi, mikäli siitä ei löydy kaksi fyystistä verkkokorttia. Enemmän koko aiheesta löydät jo olemassaolevasta ketjusta: Tee-se-itse: Rautapalomuurit (pfSense, Sophos UTM..) (Mitä käytätte ja miksi juuri se vaihtoehto?)

Tästä tuntui löytyvän kaksi NIC:iä tosin emolle juotetuna. Mitä muuhun tulee onko tämä reititin vai ohjelmistopuolelle kuuluva Proxmox kysymys ?.

laitteessa tulisi ehdottomasti olla PCI-E-liitin, johon saat ostettua vaikka Intelin 4-porttisen gigabitin verkkokortin

Kyllä kahdellakin NIC:llä pärjää toiseen WAN ja toisessa tarvittaessa useampikin IP osoite. Tosin lisäportit helpottavat eri aliverkkojen säätöä.

Syy miksen itse ole ottanut "Proxmox reititintä" käyttöön on että mun systeemit on vaatinut liikaa buutteja jolloin koko DHCP verkko alhaalla (olis kyllä ratkaistavissa erillisellä DHCP serverillä?)

Mulla on samassa portissa useampi IP, NAS ja käyttiksiä (ja välillä joutuu nmap lla etsimään )

 

[svani]

Kyllä kahdellakin NIC:llä pärjää toiseen WAN ja toisessa tarvittaessa useampikin IP osoite. Tosin lisäportit helpottavat eri aliverkkojen säätöä.

Syy miksen itse ole ottanut "Proxmox reititintä" käyttöön on että mun systeemit on vaatinut liikaa buutteja jolloin koko DHCP verkko alhaalla (olis kyllä ratkaistavissa erillisellä DHCP serverillä?)

Näin olen ymmärtänyt, että kahdellakin portilla pärjää. Lähinnä mietin onko kuinka järkevää ja saanko jotain pullonkauloja aikaan. Itsellä ei pitäisi onneksi erityisen runsaasti ylimääräisiä bootteja tarvita.

Tietokoneen suhteen käytetyt pienet tornipalvellimet tai työasemat voisivat ajaa asiansa, toki ne ovat kooltaan NUC:a isompia.

Nurkista löytyisi kyllä sopivaa isoa rautaa, mutta koko on se ongelma. Sitä päivää odotellessa, kun pääsee virittelemään verkot ja palvelimet ilman tilarajoitteita.


Pitää vielä selvitellä, että toimiiko nuo Intelin NUC11:n i225-LM verkkopiirit nykyisellään kunnolla. Näyttää olleen ongelmia.

 

[Ogeli]

Itsellä ei pitäisi onneksi erityisen runsaasti ylimääräisiä bootteja tarvita.

Mullakin noi ongelmat oli enemmän harjoitteluvaiheessa, en aina saanut noita virtuaalikoneita sammumaan (edes terminaaliloitsuilla)
Muutenhan Proxmox vaatii Linux:n tavoin bootin lähinnä kerneli päivityksessä.

Reippaammassa käytössä en osaa sanoa NIC:tä mitään.

Muutenhan tää on energiatehokas keino korvata monta pikkupurkkia mulla teho yleensä n. 20W tai 20€/v

 

[svani]

Pitää vielä selvitellä, että toimiiko nuo Intelin NUC11:n i225-LM verkkopiirit nykyisellään kunnolla. Näyttää olleen ongelmia.

pfSenselle on ilmeisesti ajuri tehty tuolle piirille, joskaan ei ilmeisesti Intelin toimesta. Netgate 6100 purkissahan tuota piiriä löytyy. Porukalla kuitenkin ollut ilmeisesti vielä ongelmia vapailla alustoilla:
https://forum.pfsense.com/topic/159994/intel-ethernet-controller-i225-lm-support/78?lang=en-US

Proxmox/Debian puolella ei homma mene myöskään saumattomasti vaan pitää kikkailla, että saa asenneltua ajurit:
r/intelnuc - Guide to installing ProxMox on NUC11
Tietty vanhempi post, mutta ei nyt äkkiseltään tuoreempaa tietoa löytynyt.

Homma ei taida olla vielä niin kypsä, että uskaltaisi luottaa netin toimivuuden tuolle raudalle. Lähinnä pelottaa, että vaikka homman saa alkuun toimimaan niin yksi päivitys rikkoo sitten herkästi kaiken. Eikä taida NUCejakaan saada edes ostettua tällä hetkellä mistään . Mutta hyvinhän tässä muutama ilta on mennyt selvitellessä.

 

[kya]

Yksi vaihtoehto lisää pohdittavaksi: Log - Lenovo M720Q Tiny router/firewall build with aftermarket 4 port NIC

 

[svani]

Yksi vaihtoehto lisää pohdittavaksi: Log - Lenovo M720Q Tiny router/firewall build with aftermarket 4 port NIC

Kiitos, tuo vaikuttaa kyllä lupaavalle. Kokoluokka olisi täydellinen tuonne kaappiin.

Mulla on lähtenyt homma vähän rönsyilemään ja olen jo vakavissaan alkanut harkita mini-ITX kokoonpanon rakentelua Streacom FC8 Alpha koteloon. Tuohon saisi myös 3,5" levyn tai parikin mahtumaan low profile verkkokortin lisäksi. Mahtuisi ilmeisesti juuri ja juuri tuonne kaappiinkin. Mutta pitää nyt miettiä asiaa vielä uudemman kerran, kun tuo Lenovon optio ajaisi alkuperäisen käyttötarkoituksen hyvin.

 

[dot1q]

En olekaan Opnsense muuria joutunut suuremmin alku setuppien jälkeen joutunut tunkkaamaan. En kaipaa all-in-one purkkeja lainkaan. Ajattelin itse että passiivi jäähdytettynä olisi paras A-I-O korvaaja, mutta modasin hiljaiset tuulettimet paikalleen ja.. tainnut vissiin puoli vuotta mennä ennen kuin kertyi pölyä niihin niin että äänessä kuulee eroa. Pitänee puhdistaa tuo tässä kun ehtii, puhdistuksen voi tehdä sammuttamatta laitetta.
Jok.tap. suosittelen miettimään vähän paljonko mikä on ensisijainen tarve. Itselle se oli hiljaisuus, vakaus ja säännölliset turvapäivitykset. Eka ruutu toimii osittain, loput täysin. Noh, joutuupa vähän puuhastelemaan tämän kanssa kerta puoleen vuoteen tms.

 

[tle88]

Mukava aloitus. Kävin itse läpi näitä samoja juttuja kesällä, kun tänne vihdoinkin kaivettiin kaapeli tv:n kaapeli. Vaihdoin lennosta vanhan adsl2+ yhteyden kaapeli yhteyteen. Kävi hyvä säkä, paketin mukana sai Sagemcomin aivan käypäisen uuden modeemin, jossa on 4 porttinen reititin ja kytkin, ja vehkeen sisäkalut jaksavat pyörittää asiallisen tiukaksi säädettävää palomuuria. Sain siis tähän asiaan hiukan hengähdysaikaa. Palomuuri kaikkein tiukimmilla asetuksilla verottaa 400/40 linjan sisääntulosta noin 10%. Olen tilanteeseen ihan tyytyväinen.

Löysin nuc koneen kahdella sisäisellä 2.5 GbE portilla. (jota en siis ole ostanut, homma on edelleen mietinnän alla minullakin) Minisforum TL50, siinä on sisällä Tiger lake prosessori. Hinta ei ole hinnan kiroissa, mutta varoituksen sana: Firma myi sitä amd mallia muka joillakin hiilikuitukuorilla, ja ihmiset olivat aika vittuuntuneita, koska kuoret osoittautuivatkin aivan tavalliseksi muoviksi. Kyllähän tuo firman luotettavuuteen laittaa perään pienen kysymysmerkin. Tuossa linkki heidän nettikauppaansa:

Minisforum TL50

EliteMini TL50 EliteMini TL50 is an ultra-compact, high-performance mini computer designed for home and office use. Equipped with Intel 11th generation CPU and Intel® Iris® Xe graphics card.

store.minisforum.com

Tiger laken yhden ytimen säikeen nopeus olisi eduksi, jos käyttää joskus myöhemmin open vpn yhteyttä johonkin suuntaan, koska siinä hommassa käytetään tällä hetkellä yhtä ydintä. Mistä sen vielä tietää, mitä myöhemmin johonkin julkiseen ja säädyttömään rölläämiseen on ihan järkevää käyttää.

HP:llä oli/on edelleen Proliant mikroserveri, ja siitä vielä se isompi muistaakseni jokin kymppi malli full atx kuorilla. Kumpaankin noista menee ClearOS community edition ihan suoraan. En ole käyttänyt moista, mutta noin kuvien perusteella se vaikutti joltain sellaiselta, minkä tulevaisuudesta epätietoinen kotikäyttäjä voisi itselleen haluta.

ClearOS Server Community

ClearOS 7, Community Edition is an open-source, linux server operating system. This edition is built for linux experts and hobbyists who enjoy bleeding edge code, and contributing to a community of global users with suggestions and forums support. All updates, bug fixes, patches and security...

www.clear.store

Proliant on jopa aika suorituskykyinen läpäisykyvyltään. Ja uudemmat koneet ovat tietenkin vielä paljon nopeampia. Olisihan se harmittavaa maksaa jostain gigaisesta linjasta, jos palomuuri sen sitten kuristaisi murto-osaan. Lyhyt reilu minuutin video aiheesta:



ClearOS:lle vain tuli mutkia matkaan, kun se perustui CentOS:lle joka oli aiemmin luotettava alusta. Kun RedHat muutti sen luonteen, puristit eivät sitä enää kelpuuta. En tiedä mikä on tilanne tällä hetkellä ClearOS:n kehityksessä, en ole sitä asiaa seurannut. Alustaksi vaihtunee joko Alma- tai Rock linux. Niillä taitaa olla sisäistä keskinäistä erimielisyyttä tästä asiasta. Mutta asia varmasti selkiintyy ajan kanssa, on voinut jo selkiintyä.

Kyllä se minustakin näyttää siltä, että kotiverkko täytyy tulevaisuudessa erottaa internetistä ihan oikealla täysimittaisella palomuuritietokoneella, ja siinä samallahan sellainen laite hoitaa sitten open vpn yhteydet ja nassina toimimisen ja aivan kaiken muunkin, mitä sen niskoille vain keksii sälyttää.

T -.-

ClearOS menee siis liki koneeseen kuin koneeseen, mutta se toimii aivan testatusti tuollaisen Proliantin kanssa. Nuo Proliantit ovat kuitenkin tekniikaltaan jo vähän vanhoja ja merkkikoneina myös hiukan ylihintaisia.

 

[tle88]

Heh.... ja minäkin olen noita Streacomin koteloita ihmetellyt. Niillä on mini atx versiona se FC9 kotelo, mihin menevät puolikorkeat kortit:

FC9 – Fanless Micro-ATX Case – Streacom

streacom.com

Koppa on niin kaunis, että sen pistää vaikka seinälle kyljelleen ja jättää näkyviin. Tuon päällikannen voi halutessaan hyvin helposti itse vaihtaa sopivaan neliskanttiseen pleksiin, johon voi pistää vaikka jonkin äärimmäisen hitaasti pyörivän 200 millisen Noctuan tuulettimen. Yksi oikein hitaasti pyörivä tuuletin ei tuota liiemmin ääntä, kun sen vielä säätää sopivasti.

Onhan tuo vähän kallis tuolleen raiskattavaksi, mutta omatekoisella kannella sille ei tapahtuisi mitään peruuttamatonta.

Älä tunge konetta tuulettamattomaan kaappiin, vaan pistä se ihan reilusti seinälle kaapin viereen tai sen yläpuolelle. Ledi tuulettimella varustettuna se toimii vielä hyvänä yövalona ko. tilaan.

T -.-

Intelin X710 T4L sisältää 10, 5 ja 2.5 , 1 GbE nopeudet. Sitä vanhempaa versiota ilman tuota lopun viimeistä L -kirjainta lienee syytä välttää. (käy kuumempana, eikä noita välinopeuksia ole) Noita saa Streacomin koteloon sopivina puolikorkeina malleina, ja kolmen kortin koteloon tekee vaikka 12 porttisen ratkaisun. Kortteja voi etsiä käytettyinä ja "huollettuina" versioina (mitä tuo sitten tarkoittaneekin...), jos uusien hinta alkaa liikaa hirvittämään. Ei tarvitsisi enää edes sitä kytkintäkään tuolloin.

Intel® Ethernet Network Adapter X710-T4L Product Specifications

Intel® Ethernet Network Adapter X710-T4L quick reference guide including specifications, features, pricing, compatibility, design documentation, ordering codes, spec codes and more.

ark.intel.com

 

[svani]

Löysin nuc koneen kahdella sisäisellä 2.5 GbE portilla. (jota en siis ole ostanut, homma on edelleen mietinnän alla minullakin) Minisforum TL50, siinä on sisällä Tiger lake prosessori. Hinta ei ole hinnan kiroissa, mutta varoituksen sana: Firma myi sitä amd mallia muka joillakin hiilikuitukuorilla, ja ihmiset olivat aika vittuuntuneita, koska kuoret osoittautuivatkin aivan tavalliseksi muoviksi. Kyllähän tuo firman luotettavuuteen laittaa perään pienen kysymysmerkin. Tuossa linkki heidän nettikauppaansa:

Tuo näyttää kyllä ihan hyvälle laitteelle. Omalla kohdalla kuitenkin samat ongelmat kuin tuon Intelin NUCin kanssa eli todennäköisesti samaiset verkkopiirit tai Realtekin versiot. IrisXe ilmeisesti potkii myös vastaan. Ehdin jo jokseenkin ihastua tuohon Proxmoxiin ja muutenkin pysyttelisin mielelläni Debian pohjaisissa jakeluissa.

Koppa on niin kaunis, että sen pistää vaikka seinälle kyljelleen ja jättää näkyviin.

Streacomin kopat kyllä hivelee omaa silmää eikä sitä mielellään laittaisi kaappiin piiloon. Ja hintakin on kova siinä mielessä että mikä tahansa rumilus tuossa kokoluokassa ja laajennettavuudessaan kävisi tarkoitukseen. Vastaavaa koteloa en vain en ole onnistunut löytämään. Iski siis pakottava tarve saada se 3,5" levykin sinne mahtumaan (toki joudun ehkä ajatuksesta vielä luopumaan). Realistisestihan 65W prosessori passiivijäähdytyksellä + HDD + verkkokortti tuulettamattomassa pienessä tilassa ei kuulosta hyvältä.

Intelin X710 T4L sisältää 10, 5 ja 2.5 , 1 GbE nopeudet. Sitä vanhempaa versiota ilman tuota lopun viimeistä L -kirjainta lienee syytä välttää. (käy kuumempana, eikä noita välinopeuksia ole)

Verkkokortti on tosiaan vielä harkinnan alla. Tuo X710 alkaa olla over kill omaan käyttöön varsinkin tuolla hintaluokalla. Olen yritellyt selvittää olisiko X550 sarjan kortti sopiva. Gigabyten versiota saisi halvahkolla: GIGABYTE CLN4222/ 2x10G BASE-T X550-AT2 8xPCIe (9CLN4222NR-00) ~200e. Aidot Intelin piirit, mutta onko mukana sitten jotain kiinavalvontaa? Tuota oli haukuttu jossain kuumaksi, mikä ei edellä todettu käyttö huomioiden ole hyvä. Ilmeisesti lämpöasia ongelmallinen kaikissa tuon sarjan piireissä. Sitä myös pohdin, että osaako tuo sitten neuvotella tarvittaessa 2,5 tai 5 gb nopeudet kun korttia ajetaan Proxmoxissa (Intel ark 10/5/2.5/1GbE (NBASE-T in Linux Only)). Jotenkin muistan lukeneeni jossain välissä, että ei välttämättä toimi. Muutenhan piiri on siis hyvin tuettu. Voi olla, että menen tässä vaiheessa suosiolla vielä perus 1 gb nopeuksilla.

E: korjattu verkkokortin linkki

 

[Ogeli]

Jos ymmärrän oikein niin NUC:n pitäis toimia tällä kernelillä?

Kernel 5.11

We just uploaded a 5.11 kernel into our repositories. The 5.4 kernel is still the default on Proxmox VE 6.x series, 5.11 is an option. How to install: apt update apt install pve-kernel-5.11 reboot Future updates to the 5.11 kernel will now get installed automatically. Feedback is welcome!

forum.proxmox.com

Ja edelleen mikäli en ymmärrä väärin niin proxmoxissa on virtuaaliajurit verkolle eli esim pfSense toimii tän läpi.

 

[svani]

Jos ymmärrän oikein niin NUC:n pitäis toimia tällä kernelillä?

Kyllä se 5.11 kernelillä pitäisi tosiaan toimia. Tuossa edellä liikkamassani ohjeessa juurikin se asennettiin. Tosin ohjeessa oli asennuksen ajaksi tarve erilliselle usb-verkkokorttille, joskin tuo todettiin turhaksi jollakin foorumilla. Mutta kaikkiaan saa siis toimimaan.

Proxmox VE 7 versiossa tuo 5.11 on vakiona. Olin koko ajan katsonut että tuo 7 olisi ollut kehitysasteella, mutta stable tuo näyttääkin olevan. Eli ei kai tässä pitäisi mitään ongelmaa sitten olla.

Ja edelleen mikäli en ymmärrä väärin niin proxmoxissa on virtuaaliajurit verkolle eli esim pfSense toimii tän läpi.

Noinhan se on. Jotenkin olen mielessäni ollut ajamassa verkon passthroughna, mutta eihän sitä niin voi tehdä NUCin kanssa

 

[jaripetteri]

Itse tutustunut tässä pari viikkoa pfSenseen Asrock 4x4 "NUC" pc:n kanssa niin että pohjalla Ubuntu ja siinä kvm virtuaalikoneessa pfSense. Tuossa on kaksi realtekin verkkokorttia mutta virtualisoinnin kautta tunnistuivat ja löytyivät psSensellä. Ubuntu siksi kun pääserverikin on Ubuntupohjainen ja tuttu. Kauhena kovilla tuo pfSense ei vielä ole ollut kun meidän kuitu on vaan 100M/10M mutta tarkoitus olisi päivittää nopeammaksi. Ehkä 300M/100M nyt alkuun. Toistaiseksi ei ole ollut ongelmia mutta tosiaan vasta hetken käytettykin. Tuo rautahan on lähinnä järjetön kanuuna pelkästään reititys käyttöön mutta sinne voi virtuaalikoneisiin nyt rakennella kaikkea muutakin. Mahdollisesti jopa vanhan pääserverin korvata kokonaan.

Mulla on pari TP-Link Archer C7:a ja yksi TP-Link N900 OpenWRT:llä AP:inä ja toinen noista Archereista ilmeisesti rautavikainen kun pätkii 5Ghz verkkoa. Pudotin lähetystehoa oletus maksimista hieman ja nyt se on pysynyt kyllä pystyssä mutta mielessä käynyt jos tuon korvaisi jollain AX AP:llä, ja pikkuhiljaa sitten loputkin. Tuli PoE kytkin sähkökaappiin niin voisi vaikka PoE:lla uuden AP:n poweroida. Tai sitten ostan samanlaisen Archerin tilalle. Olisi ainakin edullinen ratkaisu.

ASRock Industrial - 4X4 BOX-4500U

www.asrockind.com

 

[svani]

Nyt viikonlopun aikana lähti tavarat tilaukseen. Päädyin lopulta siis puhtaaseen mini-ITX kokoonpanoon: Asrock B560M-ITX/AC ja i5-11400 ja nanoPSU.

Kotelon hankinta tässä oli kokorajoitusten vuoksi ongelmallista. Sitten tuli vielä tuo päähänpinttymä, että täytyy vielä saada 3,5" levykin tuonne mahtumaan. Valinta oli sitten Logic Supply (OnLogic) MC600 OnLogic Compact Mini-ITX Case with Expansion Toimitushan tuossa kirpaisi (40-50e), mutta turhautuneena oli vaan pakko tilata kun ei sopivaa meinannut löytyä.

Kahden portin Intel X550 piirin verkkokortti tilattu Amazonista. Unifi 6 AP:t täytyi tilata Amazonista kun Suomessa ei näytä olevan missään saatavilla. Olivat sattumalta tarjouksessa ~100e ilmaisella toimituksella. Tilausta seuraavana päivänä hinta oli noussut jo 120 euroon, että tältäosin homma meni hyvin. Katotaan mitä tuolta tulee perille. Lähtöilmoitukset tulivat jo tämän päivän aikana.

Kytkimeksi valikoitui lopulta MikroTik Cloud Smart Switch CSS610-8G-2S+IN ja SFP+/RJ45 vastaanotin. Tähän päädyin lähinnä siksi, että myöskään Ubiquitin kytkimiä ei ole saatavilla. Tosin MikroTik vaikuttaa muutenkin hyvin järjevälle laitteelle varsinkin hintaansa nähden (kiitokset vinkistä @Sepeservu ). Ainut että PoE tukea tuossa laittessa ei nyt ollut niin joutuu pari injenktoria tuonne kaappiin vielä tunkemaan, ylimääräisen johtohässäkän olisin halunnut välttää. Pitääne laitella vielä päivitystä sitten kun näkee mikä on lopputulos.

 

[svani]

Laitetaan nyt väliaikatietona, että Amazonista tilattu Intel??? X550-T2 lähti viime viikolla palautukseen. Yhdellä 10Gbe linkillä pysyi pystyssä, mutta kun laittoi molemmat liitännät kiinni niin alkoi sammutella itseään ylikuumenemisen vuoksi. Sama homma toistui myös Fractalin varmasti riittävästi tuuletetussa kopassa eli ongelmasta ei pääse syyttämään pientä koppaakaan. Manittakkoon, että toisella piuhalla oli pituutta karkealla arviolla noin 30m, joka toki nostaa hieman kulutusta. Tosin ongelmaa ilmaantui sittemmin yhdelläkin lyhyellä piuhalla ja ilman kuormaa. En ole myöskään varma oliko kortti aito Intel. Oli kuitenkin varsin jämäkkää laatua ja käytänössä identtisen näköinen verrattuna netistä löytyviin aidon kortin kuviin. Hologrammitarraa ei ollut, joskin ymmärsin selvittelyjen perusteella, että siitä olisi luovuttu. Intelin printattua logoa ei piirilevyltä löytynyt, joten ehkä oli kuitenkin kopio. Valmistusmaa Kiina. Tokihan nuo käyvät kuumana olivat aitoja tai ei, mutta jos ei kunnon ilmavirralla olevassa kopassakaan toimi, niin eipä tuota voi käyttöön jättää. Tilalle tilasin sitten X710-t2l kortin Suomesta. Eli turhaan yritin säästää.

Selvittelin tuossa muutenkin 10Gbe verkkokorttien tilannetta. Pääkoneeseen ostin jo aiemmin TP-Link TX401 kortin (piiri Marvell/Aquantia AQtion AQC107???) ~100e. Erityisempiä onglemia ei ole vielä tullut esiin. Testailuissa X550 päässä olevalle VM:lle meni iperf3 testeissä päälle 9Gbps. Tosin pitkiä testejä en ole vielä ajanut eli mitään varmaa en osaa sanoa kuorman kestävyydestä. Kortti toimii myös Proxmoxissa ja tänään laitoin tuon kiinni TrueNASilla (FreeBSD 12.2-RELEASE-p10) pyörivään koneeseen ja yllätyksekseni kortti tunnistui automaattisesti. Ovat ilmeisesti saaneet ajurit siihen vaiheeseen, että ovat jo valmiiksi aktivoituna, aiemmin piti käsittääkseni laittaa erikseen päälle. Valitettavasti 10GBe nopeuksia en pääse nyt tuolla testailemaan eikä muutenkaan vakaudesta ole tietoa. Ja ennen kuin kukaan alkaa huudella niin, ei näitä kortteja ole tarkoitus missään tuotannossa ajella, mutta halpoihin kotivirityksiin voivat olla ihan kelpoja vehkeitä. Pitänee kertoa vielä jatkossa kokemukset kunhan saa nopeamman verkon kokonaisuudessaan kasaan. TrueNAS tosin jäänee kokonaan pois, kun ajattelin laittaa tuon vanhan koneen kuitenkin Proxmox käyttöön, josta vanha pooli jakoon LXC kautta. Mutta onko muilla kokemuksia linux/TrueNAS käytöstä TP-Linkin tai Asus XG-C100C (ilmeisesti sama piiri) korteilla?

 

[dot1q]

Katselin muuten tuossa että oma 2x2 AX Intel Wifi kortti puhuu 80MHz kaistalla vajaata 890Mbps profiilia WiFi6 tukiasemilleni. Toihan on brutto nopeus mistä kyse. Tarkka luku taisi olla tämä; 864.7
802.11ax MCS Table | 802.11ax MCS Rates

Näköetäisyydellä 3 metrin päässä tukiasemasta. Toi on vasta kahdeksas steppi 11:sta. Jos meinaat ajaa testiä enemmän wifin suuntaan, täytynee ajaa 160MHz kanavalla ja olla nolla muuta tukiasemaa samoilla taajuuksilla että saa sen laulamaan sitä maksimia.

Toki itsellä häiriötekijänä siinä lähellä TV ruutu 43" kokoluokassa. Joka voi tiputtaa dataratea alaspäin.

 

[user9999]

Katselin muuten tuossa että oma 2x2 AX Intel Wifi kortti puhuu 80MHz kaistalla vajaata 890Mbps profiilia WiFi6 tukiasemilleni. Toihan on brutto nopeus mistä kyse. Tarkka luku taisi olla tämä; 864.7
802.11ax MCS Table | 802.11ax MCS Rates

Näköetäisyydellä 3 metrin päässä tukiasemasta. Toi on vasta kahdeksas steppi 11:sta. Jos meinaat ajaa testiä enemmän wifin suuntaan, täytynee ajaa 160MHz kanavalla ja olla nolla muuta tukiasemaa samoilla taajuuksilla että saa sen laulamaan sitä maksimia.

Toki itsellä häiriötekijänä siinä lähellä TV ruutu 43" kokoluokassa. Joka voi tiputtaa dataratea alaspäin.

Itsellä kun 2x2 AX Broadcom Wifi ja 80MHz ja tukiasema seinässä noin 3m päässä. MacBook Pro M1

Huono minimi tulee aina kun iPerf käynnistyy.

Edit:
Eli MCS11 kun 80MHz, 2xSS

 

[svani]

WiFi nopeuksia en ole erityisemmin vielä testaillut. Mielestäni laitoin aiemmin kummallekin UniFi6 Lite AP:lle 80MHz kaistat käyttöön. Nyt ei ole säädettävissä kun edellisen asennuksen controllerista jäi ottamatta backup ennen kun vedin Proxmoxin sileäksi enkä vielä jaksanut laittaa uusiksi. Läppärillä (Intel Wi-Fi AX200 kortilla) ilmoittaa muutaman metrin päässä linkiksi noin 1000/1000 Mbps. Iperfillä antoi 10 piipulla noin 600 Mbps TrueNAS koneelle ja netistä speedtestillä lataa noin 650 Mbps. Puhelin ja ehkä toinenkin oli myös kiinni AP:ssa. WiFi:ä oli tarkoitus testailla tarkemmin sitten myöhemmin.

Tässä verkkokortteja odotellessa testasin nyt pikaisesti tuota TrueNAS + TP-Link TX401 comboa. Pääkoneen Asuksen emolla on Realtekin 2.5 Gbps piiri, joten laitoin TrueNASin tuohon suoraan kiinni. 2.5 Gbps linkki määrittyi automaattisesti. Muutamat iperfit ajoin ja testasin tiedostonsiirron. Näyttäisi toimivan, usemmalla rinnakkaisella streamillä pitää aikakin tasaisesti nopeudet. Mitään erityisiä säätöjä ei ole tehty. JumboFramet ei käytössä.

Spoileri: Iperf3 -c 10.10.10.1

C:\iperf-3.1.3-win64>iperf3.exe -c 10.10.10.1 Connecting to host 10.10.10.1, port 5201 [ 4] local 10.10.10.2 port 55156 connected to 10.10.10.1 port 5201 [ ID] Interval Transfer Bandwidth [ 4] 0.00-1.00 sec 258 MBytes 2.16 Gbits/sec [ 4] 1.00-2.00 sec 274 MBytes 2.29 Gbits/sec [ 4] 2.00-3.00 sec 250 MBytes 2.10 Gbits/sec [ 4] 3.00-4.00 sec 191 MBytes 1.60 Gbits/sec [ 4] 4.00-5.00 sec 229 MBytes 1.92 Gbits/sec [ 4] 5.00-6.00 sec 273 MBytes 2.29 Gbits/sec [ 4] 6.00-7.00 sec 221 MBytes 1.86 Gbits/sec [ 4] 7.00-8.00 sec 191 MBytes 1.60 Gbits/sec [ 4] 8.00-9.00 sec 257 MBytes 2.16 Gbits/sec [ 4] 9.00-10.00 sec 274 MBytes 2.29 Gbits/sec - - - - - - - - - - - - - - - - - - - - - - - - - [ ID] Interval Transfer Bandwidth [ 4] 0.00-10.00 sec 2.36 GBytes 2.03 Gbits/sec sender [ 4] 0.00-10.00 sec 2.36 GBytes 2.03 Gbits/sec receiver

Spoileri: Iperf3 -c 10.10.10.1 -P 10

[ ID] Interval Transfer Bandwidth [ 4] 0.00-10.00 sec 192 MBytes 161 Mbits/sec sender [ 4] 0.00-10.00 sec 192 MBytes 161 Mbits/sec receiver [ 6] 0.00-10.00 sec 196 MBytes 165 Mbits/sec sender [ 6] 0.00-10.00 sec 196 MBytes 165 Mbits/sec receiver [ 8] 0.00-10.00 sec 370 MBytes 310 Mbits/sec sender [ 8] 0.00-10.00 sec 370 MBytes 310 Mbits/sec receiver [ 10] 0.00-10.00 sec 370 MBytes 310 Mbits/sec sender [ 10] 0.00-10.00 sec 370 MBytes 310 Mbits/sec receiver [ 12] 0.00-10.00 sec 190 MBytes 160 Mbits/sec sender [ 12] 0.00-10.00 sec 190 MBytes 160 Mbits/sec receiver [ 14] 0.00-10.00 sec 372 MBytes 312 Mbits/sec sender [ 14] 0.00-10.00 sec 372 MBytes 312 Mbits/sec receiver [ 16] 0.00-10.00 sec 194 MBytes 162 Mbits/sec sender [ 16] 0.00-10.00 sec 194 MBytes 162 Mbits/sec receiver [ 18] 0.00-10.00 sec 192 MBytes 161 Mbits/sec sender [ 18] 0.00-10.00 sec 192 MBytes 161 Mbits/sec receiver [ 20] 0.00-10.00 sec 372 MBytes 312 Mbits/sec sender [ 20] 0.00-10.00 sec 372 MBytes 312 Mbits/sec receiver [ 22] 0.00-10.00 sec 368 MBytes 309 Mbits/sec sender [ 22] 0.00-10.00 sec 368 MBytes 309 Mbits/sec receiver [SUM] 0.00-10.00 sec 2.75 GBytes 2.36 Gbits/sec sender [SUM] 0.00-10.00 sec 2.75 GBytes 2.36 Gbits/sec receiver

Kirjoitus SMB jakoon (3x4TB IronWolf raidz1):

 

[juuhokei]

Mitenkäs tietoturva kun käytetään virtualisoituna internetin palomuuria? Olisiko turvallisempi käyttää passthrough modessa sitä verkkokorttia? Jotenkin tuntuu epäilyttävältä paljastaa virtuaalinen verkkoadapteri (linux bridge) suoraan nettiin. Jos siinä proxmoxissa sattuisi vaikka joku bugi tai haavoittuvuus olemaan niin pääsisi suoraan alustalle sisään.

 

[svani]

Mitenkäs tietoturva kun käytetään virtualisoituna internetin palomuuria? Olisiko turvallisempi käyttää passthrough modessa sitä verkkokorttia? Jotenkin tuntuu epäilyttävältä paljastaa virtuaalinen verkkoadapteri (linux bridge) suoraan nettiin. Jos siinä proxmoxissa sattuisi vaikka joku bugi tai haavoittuvuus olemaan niin pääsisi suoraan alustalle sisään.

Tätä asiaa itseasiassa mietin muutaman kerran ja katsoin nyt vielä uudemman kerran keskusteluja aiheesta. Käsittääkseni ongelmaa ei pitäisi olla, jos WAN porttina toimivan bridgen laittaa ainoastaan pfSensen käyttöön eikä käytä sitä muilla virtuaalikoneilla tai anna sille ip:tä. Nimeksi bridgelle sopii hyvin vmbr666 niin ei mene sekaisinkaan herkästi.

 

[juuhokei]

Tätä asiaa itseasiassa mietin muutaman kerran ja katsoin nyt vielä uudemman kerran keskusteluja aiheesta. Käsittääkseni ongelmaa ei pitäisi olla, jos WAN porttina toimivan bridgen laittaa ainoastaan pfSensen käyttöön eikä käytä sitä muilla virtuaalikoneilla tai anna sille ip:tä. Nimeksi bridgelle sopii hyvin vmbr666 niin ei mene sekaisinkaan herkästi.

Samat taisin löytää myös googlesta, hirveästi tuosta ei keskustelua ollut. Mietin saisiko jotain lisäturvaa proxmoxin omalla palomuurilla estämällä tuolle WAN vmbr:lle kaiken sisääntulevan liikenteen (pl. tietty jos jotain palveluja kuten vpn on auki sisään).

 

[svani]

Suoraa vastausta ei tosiaan heti saa googlella, mutta kun lähtee syvemmälle lukemaan ketjuja niin kyllä homman pitäsi olla ok. Ja bridgellähän tuota mennään myös pfSensen omalla dokumentaatiolla: pfSense Configuration Recipes — Virtualizing with Proxmox® VE | pfSense Documentation (netgate.com). En edes muistanut, että tuolta alkujaan olen ohjeet katsonut.

Kaiken liikenteen estäminen ennen vm:lle (pfSense) menoa ei liene voi tehdä, kun sinne muurille astikaan pääse sitten mitään sisään. Palveluja/portteja ei ole tarve säätää proxmoxin muurilla, kun kaikki ulkoa päin tuleva liikenne menee pfSensen kautta, joka hallinnoi sitten kaiken mitä sisäverkkoon ja myös proxmoxissa pyöriviin palvelimiin pääsee. Jos pfSense ei ole päällä, niin ei ole sisäverkkoakaan kun dhcp asuu myös tuolla. E: Tajusin jälkikäteen mitä tarkoitit. Mutta en näkisi tarvetta kuitenkaan tupla muurille.

Toki Pci passthrough olisi varmasti hyvä vaihtoehto, jos vaan kortteja löytyy. Olin muuten siinä uskossa, että emolle integroitua NIC:ä ei pysty pistämään yksinään virtuaalikoneelle, mutta se saattaakin olla mahdollista. IOMMU pitäsi olla tuettuna, mutta sitä en tosin tiedä onko integroitu NIC omassa ryhmässään. Joka tapauksessa tuota kahden portin 10GBe korttia en voi laittaa kokonaan pfSenselle, kun tarvitsen linkit myös muille koneille Proxmoxissa. Ja vielä mainittakkoon, että mitään osaamista minulla ei aihealueelta ole, puhtaasti harrastusmielessä näitä asioita pyörittelen.