Käyttäjien Homelabit

[Paha.]

4U 16baylle tuli railit (iStarUSA TC-RAIL-26), samat myös diy 2U:lle joka vielä cooleria vaille valmis.
4U 16bay tuli myös päiviteltyä täältä ostamilla 4x32GB DDR4 REG kepeillä hienosti.

Myös uutena 3kpl Huawei:n RH1288v3, joissa juuri nyt on, 2x E5-2620v4, 8x16GB DDR4 ECC 2133, pieni SSD boottina ja 1TBx2 mirror lokaaleille backupeille. Kiinasta tilattu tehokkaammat prossut (5x E5-2666v3 & 1x BBS kautta) ja myös hankinassa isommat SSD VMille yms.

Patch paneeli on pahasti myöhässä, piti tulla viime kuun lopussa mutta saapuukin vasta n. 25pv tätä kuuta Kun saapuu saa laiteltua hienosti kytkimet ynnämuut.

Myös uusi SuperMicron 45bay JBOD jossa nyt 15kpl 4TB SAS levyjä yhdistettynä 7950X:n kanssa
JBOD vielä vähän WIP koska ei pysty millään tämän kanssa nukkumaan kun kauhea melu tuulettimista.. Mietinnässä vielä miten modata, mutta päivisin menee.

Kuvina justiinsa kun tuli laitettua hyväksi taas & pakollinen kuva kun Proxmoxi boottailee ylös

 

[Paha.]

Nyt on komeasti kytkimet patch paneelin kanssa, myös tuli „hienot” ja halvat Deltaco PDU:t taakse että pistorasiat riittää näille pizzalaatikoille.

Myös vähän configuraatioita muutettu, esim Huaweista poistettu energia tehokkaat 6x E5-2620v4 (ostakaa pois) ja vaihdettu tilalle 6x E5-2666v3 Vähän enemmän single threadia ja paljon parempi multithread.

JBODiin hankittu myös 14x 4TB levyä lisää myös ettei nyt vahingossa loppuisi kesken.

Samalla hankittu uusi ja komea r720xd jossa mm 2x E5-2680v2, 24x8GB ECC ja 512GB SSD + 11x4TB levyt (piti olla 12kpl, mutta yksi olikin rikki, odottamassa 'takuuta').

Tavaraa tullut hankittua enemmän kun ehdin softia sun muita deployaamaan, mutta parempi että liikaa hardware kuin liian vähän.. kai.

Voin kyllä sanoa, että kerrostalo-asunto pysyy lämpimänä ja kuuluu äänet jopa rappukäytävälle vähän

Deltacon PDUt väittää että olisi idlenä räkki viemässä 2kW (226v*9a), en ihan näihin nyt usko mutta jos tämä pitää paikkaansa niin ei helvetti...

Ehkä sitä pitäisi kaikkiin softat sun muut laittaa pyörimään ennen kuin lisää ostelisi... Hmm.

Vikana myös (pakollinen) Proxmox kuva...

 

[jamituohino]

Päivitetääs omankin labin tietoja tänne:

Kuten viime postauksesta hyvin näkee, niin suuri osa tavaroista on siirtynyt talon puolelle portaiden alle. Tähän syynä varaston liika lämpeneminen. Tällä hetkellä n. 60W kuorma varastossa, ja silloinkin jo melko lämpöistä (lämminvesivaraaja lämmittää). Todennäköisesti melko moni kone siirtyykin varaston puolelle talveksi, jolloin lämmitykselle onkin tarvetta. Portaiden alla sen sijaan kulutus n. 160W (ei ole mittaria kiinni)

Mikä on muuttunut varastossa:

• Lenovo ThinkCluster (2x ThinkCentre M720q, 1x P330 Tiny). Näissä pyörii Proxmox, ja jokaisessa 10G SFP+ NIC. Prosessoreina 8-genin i5, ja muisteina 32GB+16GB (olen tietoinen haitoista - valitsen mielummin tasajaon kaikkien nodejen välillä).
• Vanhat HP:t on myyty ja Corsairin kotelo on tätä nykyä tyhjillään.
• Dell PowerEdge R440, jolle ei paljoa käyttöä ole ollut (Tämä kauppapaikalla myynnissä!). Tässä Xeon Silver 4208 ja 128GB RAMia. Lähinnä ollut käytössä, jos on tarvinnut todella suurta muistimäärää johonkin kokeiluun ja/tai CPU-voimaa. Mm. OpenFOAMia tällä testattu (vaikka taidot eivät riitäkään). Tässä 25G NIC, joka käytössä 10G nopeuksilla.
• Dell PowerEdge T330, jolle ei myöskään ole paljoa käyttöä ollut. Kaipa tästä värkkäisi paremman varmuuskopiopalvelimen, mutta Optiplex (tiedot myöhemmin) toimii vielä varsin hyvin. Tässä 32GB RAMia ja E3-1225v5. Tällä hetkellä sisällä myös 8x600GB 15K SAS kovalevyt, mutta taitaa jäädä vähälle käytölle nämä virrankulutuksen myötä.
• Dell PowerEdge R410, jota ei olla taidettu koskaan edes käynnistää. Käytännössä on telineenä T330:lle.
• Varaston pääkytkimenä tällä hetkellä vaivainen ZyXEL GS1900-24E, joka kyllä ajaa asiansa (hyvin alhaisen virrankulutuksen myötä). Tästä kahden johdon LAG Mikrotikkiin.
• Yhä käyttämättömänä Huawein joku yksilö, josta ei tunnu tietoa löytyvän. Tässä tosin 4x10G SFP+, josta voisi olla hyötyä iSCSI Multipathissa, jos sitä varten löytyisi muutkin osat.
• Viime ja seuraavan talven pääkytkimen virkaa toimittava Brocade ICX7250-48P. Tämä on kyllä hirviö, vääntöä löytyy. Käyttää vain +50W, joten jäänyt kesällä pois käytöstä. Tulee mahdollisesti hoitamaan sisäverkon reitityksen tulevaisuudessa. Plussana myös 8x10G SFP+.

Portaiden alla on paljonkin muuttunut:

• Pääkytkimenä Mikrotikin CSS326-24G-2S+RM, joka on tuota ZyXELiä kyllä huomattavasti laadukkaampi, vaikka ei vielä mitään Enterprise-tasoa olekaan.
• Proxmox Backup Serverin virkaa toimittaa HP Elitedesk 800 G2 Mini. Tästä ei ole kummempaa sanottavaa, SSD sisällä ja perus i5. Hyvin on toiminut.
• Topton J4125 4x2,5Gb hoitaa edelleen OPNSense-reitittimen virkaa. Saattaa vaihtua valokuidun myötä tehokkaampaakn. Nykyisellä 1000/100 liittymällä kyllä ajanut asiansa.
• Dell Wyse 5070, joka hoitaa Jellyfinin ja vara-dashboardin. Vaikka tuolla ThinkClusterilla olisi mahdollista näitä ajaa, niin tämä sentään ei mene rikki aivan heti asioita testaillessa. Monitorointisoftatkin voisi tälle siirtää.
• Aivan uutena hankintana Juniper EX2300-C-12P, joka todennäköisesti korvaa Mikrotikin (Mikrotik saattaa silti jäädä kakkoskytkimeksi). Isona plussana L3 vähäisellä virrankäytöllä.
• Dell Optiplex 7010, jossa TrueNAS Core. 3x4TB kovalevyt Raid-Z1:ssä hoitaa varmuuskopiot pää-NASsilta. i5-3470 ja 32GB RAMia.
• Whitebox-NAS, jossa myös TrueNAS Core. Hoitaa pää-NASsin virkaa, ja tässä on 12TB ja 14TB Mirrorina (erikokoiset ovat, mutta halvalla sain ja on toiminut), 2x1,6TB SAS SSD Mirrorissa ThinkClusterin iSCSI:a varten sekä 4x2TB SATA SSD "RAID-10" peruskäyttöä varten. Tästä menee omaan koneeseen ja Mikrotikkiin suoraan 10G linkit.
• Deco M4, joka paremman puutteessa hoitaa Wifi-verkon Access Point -modessa.
• Lisäksi tuuletin hieman noita passiivisia laitteita viilentämään sekä legoista värkätyt virtalähde"telineet"

Tulevaisuudessa suunnitteilla viritellä OSPF noilla L3 kytkimillä, vaihtaa reititin sekä siirtää suurin osa tavaroista takaisin varastoon. Myöskin Kubernetes, Ansible (ja muu automatisoint) sekä Windows AD kiinnostaisi. Tällä hetkellä tosiaan Linuxilla pyörittävät erinäisiä Docker-kontteja sekä muita palveluita. Jäänyt hieman vähälle tuo värkkääminen, vaikka tavaraa onkin tullut lisää.

*Proxmoxin kuvassa näkyy nodena P330-2, johon syynä se, että yhdessä M720q koneessa on P330 Tiny emolevy.

 

[Zimeon]

Heitetään tänne vielä vuoden vanha kuva mistä olen jonkin verran yksinkertaistanut setuppia. Päälaitteena edelleenkin tuo Dell R730xd palvelinrauta, jossa 256GB muistia ja tupla Intel(R) Xeon(R) CPU E5-2695 v4 prossut. Levytilaa noin 18TB yhteensä, sekaisin SSD:tä että pyörivää. Palvelinrungolle tulee ens keväällä 10v ikää Kuvan mukainen Minio serveri poistettu kokonaan. Jos joku innostuu, ja haluaa moista kokeilla niin Dell Poweredge R730xd with Asus Hyper NVMe Adapter – Null Byte (null-byte.org) linkin takaa pientä kertomusta Asus Hyper kortin käytöstä palvelimessa. Palo Alton palomuuri vaihtunut Unifi Dream Machine SE muuriin, ja samalla myös vanha Unifi Video (End of Life) korvautunut samalla appliancella. Ei vaan jaksanut enää säätää noiden kanssa kotona, niin valitsin helpomman tien OVH boxi korvattu Hetznerin VPS koneella, mut muuten about sama setup. Pitää napata pari kuvaa ja laittaa päivitystä tänne.

 

[Herbert]

Postaillaan sitten omakin tuotos "koska kaikki muutkin" päivityksen yhteydessä.
Node 804 koteloon ängetty kaikki (koska mahtuu sopivasti Ikean tv-tasolle).

Prossuna 5950X (NH-U12A yrittää pitää viileänä)
DDR4 128gb 3600mhz dominator (RGB OFF, tietysti)
Nvidia A4500 20gb (tekoäly testailuun, GPU-P:llä jaettu eri virtuaalikoneille)
i350-T4V2 verkkokorttina
Random sata-kortti tällä hetkellä.
850W SFL poweri
Sitten syy miksi mylly painaa kuin synti: Löytyy 10x 3.5" kiintolevyjä. random kokoisia, pienimmät 8 teraa ja isommat 16t yhteensä tällähetkellä 104tb näyttää (jatkuvasti päivitellään).
Aquacomputer quadro ohjailee tuulettimia ja temp-sensoreita on pitkin konetta (ml. tuota intelin nicin lämpötilaa valvomaan).

Pitäisi joku LSI kortti tai vastaava pistää, mutta todennut että MSIn emossa löytyy niin paljon sata paikkoja että mennään toistaiseksi software raidilla. Koko mylly pyörii Windows Server 2022 datacenterin takana tällä hetkellä, pitäisi linuxiin jossain kohtaa siirtyä muttei ole rohkeus riittänyt

Qnapin 2-bay NAS löytyy myös missä 24 teraa at the moment. Toimii yhtenä backuppina

 

[Hanziz]

Postaillaan sitten omakin tuotos "koska kaikki muutkin" päivityksen yhteydessä.
Node 804 koteloon ängetty kaikki (koska mahtuu sopivasti Ikean tv-tasolle).

Prossuna 5950X (NH-U12A yrittää pitää viileänä)
DDR4 128gb 3600mhz dominator (RGB OFF, tietysti)
Nvidia A4500 20gb (tekoäly testailuun, GPU-P:llä jaettu eri virtuaalikoneille)
i350-T4V2 verkkokorttina
Random sata-kortti tällä hetkellä.
850W SFL poweri
Sitten syy miksi mylly painaa kuin synti: Löytyy 10x 3.5" kiintolevyjä. random kokoisia, pienimmät 8 teraa ja isommat 16t yhteensä tällähetkellä 104tb näyttää (jatkuvasti päivitellään).
Aquacomputer quadro ohjailee tuulettimia ja temp-sensoreita on pitkin konetta (ml. tuota intelin nicin lämpötilaa valvomaan).

Pitäisi joku LSI kortti tai vastaava pistää, mutta todennut että MSIn emossa löytyy niin paljon sata paikkoja että mennään toistaiseksi software raidilla. Koko mylly pyörii Windows Server 2022 datacenterin takana tällä hetkellä, pitäisi linuxiin jossain kohtaa siirtyä muttei ole rohkeus riittänyt

Qnapin 2-bay NAS löytyy myös missä 24 teraa at the moment. Toimii yhtenä backuppina

Mikäs emolevy tuossa on, itsellä myös node 804 ja on kyllä mukava kotelo ollut serverille + fractal lähetti ilmaiseksi uuden sivuikkunan kun kyselin varaosaa heiltä naarmuuntuneen tilalle.

 

[Zimeon]

Nvidia A4500 20gb (tekoäly testailuun, GPU-P:llä jaettu eri virtuaalikoneille)

Makee tuo A4500 20G kortti. Tilasitko ebay kautta`?

 

[Herbert]

Mikäs emolevy tuossa on, itsellä myös node 804 ja on kyllä mukava kotelo ollut serverille + fractal lähetti ilmaiseksi uuden sivuikkunan kun kyselin varaosaa heiltä naarmuuntuneen tilalle.

https://www.amazon.com/dp/B0BDCZRBD6?ref_=pe_386300_442618370_TE_sc_as_ri_0

Tätä emoa en mistään Euroopasta löytänyt Persiistä tuossa on nuo x1 slotit (vaikka onkin x16 kokoisia). Mutta esim I350-T4 ei tuosta ulise ja antaa kyllä 5gb linkin intelin softan mukaan. Kerran testasin ja kaikki portit kyllä 4gb download antoi, harvoin tosin tuota tulee full speed käytettyä.

Pääasiassa 8x sata liittimien takia ostin.

Makee tuo A4500 20G kortti. Tilasitko ebay kautta`?

Otin Torista riskin ja tilasin Pakettia avatessa vielä mietin että mikähän GT710 täältä tulee… Tosiaan nuo maksaa hunajaa eBayssa ja en kehtaa edes tähän sitä sanoa mitä tuosta maksoin. Ymmärsin että Lenovon workstation koneesta irroitettu ja GPU-Z löytää lenovon tuosta.

 

[Zimeon]

Otin Torista riskin ja tilasin Pakettia avatessa vielä mietin että mikähän GT710 täältä tulee… Tosiaan nuo maksaa hunajaa eBayssa ja en kehtaa edes tähän sitä sanoa mitä tuosta maksoin. Ymmärsin että Lenovon workstation koneesta irroitettu ja GPU-Z löytää lenovon tuosta.

No ovat tosiaan aikas arvokkaita, parhaimmillaan 1000e näyttää olevan vieläkin

 

[jamituohino]

https://www.amazon.com/dp/B0BDCZRBD6?ref_=pe_386300_442618370_TE_sc_as_ri_0
Tätä emoa en mistään Euroopasta löytänyt

Nämä MSI:n Pro/Workstation emot ovat kyllä varsin hyviä ja edullisia juuri NAS-käyttöön. Itselläni NASissa MSI Workstation C236A.