DIY Raspberrypi 4 klusteri

[dun]

Hei, en nähnyt täällä vielä erillistä DIY/Build lankaa raspberrypi klusterille (tästä eteenpäin käytän pelkkiä huonoja anglismeja kun suomeksi sanojen kääntäminen ärsyttää enemmän kuin anglismin käyttö).

Eli, haluaisin siis rakentaa jotain tämmöistä: Raspberry PI4, tuolta tilaamalla ei ole missään nimessä poissuljettu, mutta haluaisin tehdä projektin jossa lähdettäisiin 3:lla raspilla liikkeellä ja voisin stäkätä/lisätä noita lisää tarpeen mukaan. Onko tietoa mistä noita kannttaisi tänne Suomeen tilailla.

Kiinnostaisi nähdä mitä 3+ raspberrypi4 (4c/4t, 4gb ram, 16gb sdxc) kubernetes/docker swarm etc... pystyy tekemään. Minulla on nykyisessä nassissa helposti resurrsseja (epyc 3251) ajaa useampaakin (tällä hetkellä ajan n. 8 yksittäistä docker containeria composella) ja haluaisin rakentaa siihen päälle vähän vikasietoisuutta (eli containerit ei tarvitse lokaalia levyä vaan ne käyttäisi levyresursseja nassilta).

Pistelkää linkkejä hyviin resurrseihin, niin katsotaan minne tämä menee. Aloitan testailun Kubernetesillä, koska se on ehkä toimivin noista, mutta tämä on puhtaasti omalla rahalla tehtävää protoilua siksi voikin oikeastaan rakentaa minkälaisen haluaa. Budjettikaan ei ole sinällään hakattu mihinkään, joten riippuen minkähintaisia palasia alkaa löytymään, niin teen sitten päätökset siitä että mitä tolle tekee.

Mutta pitäisi löytää jokin hyvä tapa saada virta 8:lle rpi:lle, koska ajattelin käyttää maksimissaan 8-porttista 1Gbps kytkintä. Jos rpi4 onnistuu PoE tekniikalla niin se olisi aika makeaa (käsittääkseni toimii).

sdxc kortit olisi hyvä saada vain read-only tilaan, jolloin ei tarvisi pelätä niiden hajoamista. Mutta jos se ei onnistu, niin löytyykö jotain tosi hyviä ja kestäviä sd-kortteja. Toinen vaihtoehto olisi tietenkin usb-kotelossa kiintis, mutta jos koneita alkaa olla 8 kpl, niin ne levyt vie tilaa aika rajusti...

 

[nilikka]

Vähän ajatuksia hw toteutukseen:
Ota huomioon kytkimen kanssa, että tarvitset myös yhden portin jolla kytket klusterin muuhun verkkoon. Lisäksi jos kytkimessä on vain 1GB portteja ja klusterista on tarkoitus liikkua enemmänkin dataa muualle verkkoon, tulee portin kapasiteetti äkkiä vastaan. Tämä tuskin tulee olemaan vielä kahdeksalla raspilla ongelma, mutta koneiden määrän kasvaessa myös mahdollisen samanaikaisen datan määrä kasvaa. Kannattaa myös miettiä järkevästi päivittelyt ja muut, ei ole kiva jos kaikilla klusterin koneilla käynnistyy päivittämis skripti samaan aikaan ja kodin nettiliittymä kyykkää.

POE:n voit unohtaa. Ensinnäkin, siinä tulee ainoastaan turhia välimuunnoksia jotka heti heikentävät hyötysuhdetta -> enemmän hukkalämpöä. Lisäksi POE kytkimien hinta pomppaa heti verrattuna tavallisiin. Ja vielä lisäksi, raspin POE toteutus vaatii ylimääräisen hatin, joka on suunniteltu erittäin huonosti ja ymmärtääkseni on jopa vaarallinen. Lisäksi se vie muostaakseni suunnilleen raspin verran tilaa, eli kahdeksan raspin klusterisi olisi poe hattujen kanssa 16 raspin kokoinen. Ei kiva! Toki etuna olisi nopea kytkeminen, mutta tekstistäsi ymmärsin että klusteria ei ole tarkoitus hirveän usein muutella, eli virtakaapelin kytkeminen ethernetin lisäksi ei ole ongelma.

Virransyötön voi hoitaa joko USB-C liittimen kautta tai GPIO pinnirivistön kautta. Muistaakseni virralle oli speksattu 5V 3A eli 15W per raspi. Kahdeksan klusteri söisi siis 24A eli 120W. Ihan ATX poweri taitaa olla helpoiten saatava virtalähde jossa riittää virranantokyky 5V linjassa, toki useissa pitää kuormittaa 12V vähän että saa 5V täysin auki. Virransyöttö sitten oman maun mukaan joko USB-C:n tai pinnien kautta. Pinneissä tosin on suurempi väärinkytkemisriski.

Raspi 4:ssä ei ole vielä kunnolla tehtyä USB boottausta, joten muistikortti on pakollinen paha. Muistikortille riittää kuitenkin pelkkä boot osio ja muut voi siirtää esim. hyväksi todetulle muistitikulle. Klusterin tapauksessa periaatteessa myös verkon yli tapahtuva PXE on vaihtoehto jos vaan taidot riittää verkkohommien kanssa säätämiseen.

Niin ja kun raspien kulutus on 120W, niin kannattaa muistaa että myös lämmöntuotto on sitä luokkaa. Eli ei kannata säästellä heatsinkkien ja tuuletinten kanssa.