Kotipalvelin/homelab rakentelut ja keskustelut

Tällä hetkellä harkinnassa on seuraavat osat:

Emolevy:
  • ASRock B550M-ITX/ac
  • Gigabyte B550I AORUS PRO AX
Prosessori:
  • AMD Ryzen 7 5700G
  • AMD Ryzen 5 5600G
No mielestäni B550 ja ryzen 5000 sarjan G prossut on oiva valinta. Itsellä ollu ajossa useampikin 5600G ja on tällä hetkelläkin 2kpl 5600G servua ajossa 5Gbit linjalla. Toinen on esim. Opnsense reitittimenä.

Mulla olis täällä Asus Strix B550-F emo ilman wifiä + G.skill TridentZ 2x8GB 3600Mhz CL16-16-16 muistikitti vapaana jos tarviit, poistu reititin käytöstä 5700G prossulla (prossu myyty tällä jo) 2-3 viikkoa sit. Pistä YV:tä jos kiinnostaa.
 
No mielestäni B550 ja ryzen 5000 sarjan G prossut on oiva valinta. Itsellä ollu ajossa useampikin 5600G ja on tällä hetkelläkin 2kpl 5600G servua ajossa 5Gbit linjalla. Toinen on esim. Opnsense reitittimenä.

Mulla olis täällä Asus Strix B550-F emo ilman wifiä + G.skill TridentZ 2x8GB 3600Mhz CL16-16-16 muistikitti vapaana jos tarviit, poistu reititin käytöstä 5700G prossulla (prossu myyty tällä jo) 2-3 viikkoa sit. Pistä YV:tä jos kiinnostaa.
Kiitos tarjouksesta, mutta emolevyn on pakko olla Mini-ITX kokoluokkaa :)
 
Mikä niissä Inteleissä mielestäsi syö sähköä? Nehän idlaavat alhaisemmilla lukemilla kuin AMD. 7 watts idle on Intel 12th/13th gen: the foundation for building a low power server/NAS | mattgadient.com
Juuri tätä varten kirjoitin kommentin tänne, kiitos. Olen saattanu tuijottaa liikaa AMD:n ja Intelin ilmottamia TDP-lukuja...

Kyllähän Intelin 12-sarjalainen pyörittäisi myös vallan mainiosti verkkolevyä, Plexiä jne.

Laitan mietintämyssyn uudelleen päähän ja pähkäilen lisää.

Edit: Ja mikäli teiltä tulee suosituksia suuntaan tai toiseen niin luen ne mielelläni!
 
Viimeksi muokattu:
Edit: Ja mikäli teiltä tulee suosituksia suuntaan tai toiseen niin luen ne mielelläni!

Tästä onkin hyvä "kaapata" ketjua kun samaa aihetta mietin. Omassa autotallissa nyt R5600 kone jossa TrueNas ja kasa appeja/kontteja jotka hyödyntävät NAS jakoja (Plex, Nextcloud, Immich, Arr-stack yms), mutta ajatuksena kasailla toinen mATX tai ITX levylle pohjautuva Intel kone Proxmoxille. Tähän koneeseen ei tulisi kuin OS levy ja pari SSD levyä VM/LXC tarpeisiin. Tämä uusi sitten korvaisi pari vanhaa Dellin pikkukonetta.

Ytimiä pitänee olla sen verran että useampi VM ja LXC pyörii hyvin ja ehkä 32Gb muistia (4 RAM paikkaa jotta laajennusvaraa). P4000 Quadro löytyy vapaana laatikosta, eli yksi PCIe väylä pitäisi löytyä. Lähtökohtana alhainen virrankulutus, mutta riittävästi ominaisuuksia levyille.

Mikäs Intel mATX/ITX emo/prossu yhdistelmä olisi sellainen kohtuu hinta/laatu luokassa?
 
Mihin tarvitset P4000 jos tulee Intel jossa QSV? Riippuen budjetista, saattaisin itse harkita esim. Intel 250K Plus + sopiva emo. Ihan passeleita nuo uudet Intelit. En kyllä tiedä virrankulutuksesta :D.
E: redditistä lainauksia:
Jonsbo N5 w/5 120mm fans
Intel Core Ultra 235
ASRock Z890 Riptide
48GB Ram

I was seeing 19watts in unRaid with no disk attached installed from old server yet.
My core ultra 265k, running with 3 SSDs and 96GB ram and frigate with 8 cams is running at 30-40W.
 
Viimeksi muokattu:
Mihin tarvitset P4000 jos tulee Intel jossa QSV? Riippuen budjetista, saattaisin itse harkita esim. Intel 250K Plus + sopiva emo. Ihan passeleita nuo uudet Intelit. En kyllä tiedä virrankulutuksesta :D.
E: redditistä lainauksia:
Nojoo, ajattelin jos siitä olisi johonkin käyttöön hyötyä, vaikka sitten siirtäisi BlueIris DVR omalta koneelta virtuaaliksi ja käyttää siihen. Ultrat ja niiden emot vielä aika kalliita, mutta käytettyjä saa sit päivitellä taas aikaisemmin.
 
BlueIris toimii loistavasti Intel QSV:llä. Se onkin asia erikseen onnistuuko iGPU:n jako sekä esim. Plex-kontille että BlueIris-virtulle.

E: Tukee SR-IOV:ta ilmeisesti Arrow Lake.
 
Mulla on ollu pari i3-10100 perus serveriä ja yks i3-12100 aikalailla ne pyöri siinä 40-50W tienoolla, kun niissä oli m.2 ja pari kovoa kiinni. Menee nekin ja hyvin jaksaa. Sittemmin vaihdoin ryzeniin kaikki serverit. Tai no on mulla yks mitx 2core Atom serveri vielä ajossa...
 
Mulla on ollu pari i3-10100 perus serveriä ja yks i3-12100 aikalailla ne pyöri siinä 40-50W tienoolla, kun niissä oli m.2 ja pari kovoa kiinni. Menee nekin ja hyvin jaksaa. Sittemmin vaihdoin ryzeniin kaikki serverit. Tai no on mulla yks mitx 2core Atom serveri vielä ajossa...
Minkä tyyppisiä palveluita Intelit pyöritti ja miksi päätit vaihtaa valmistajaa?
 
Intel-alustalla että saa tuon matalan kulutuksen pitää sitten valita lisäkortit huolella että jokainen tukee ASPM (yleisistä korteista esimerkiksi LSI:n vanhemmat HBA:t, Intelin X520 ei tue)

Jotkin vendorit (esim. Asrockin kuluttajaromut) tiputtaa tuon ASPM:n pois päältä kun törkätään prossun 8x/16x-slottiin mikä tahansa kortti. Miksi tällä on sitten mitään merkitystä? Ilman toimivaa ASPM:ää prossu ei mene ikinä package c-state -tiloihin joka johtaa tehonkulutuksen nousuun idlenä, hatusta heittäisin että plussaa tulee 5-20 W.
 
Itsellä myös unraid koneessa Asus PRIME B450M-A II ja ryzen 5 3600 ollut kivenä ja gpuna 1060 6gb mutta ostin juurikin tuon 5700g tilalle että saisi virrankulutusta/idleä pienemmäksi jota tänään pääsee asentelemaan. Toiveena olisi että ainakin 15-20w saisi idleä alaspäin, pitää bios vielä perkaa läpi että mitä asetuksia siellä olisi kun toistaiseksi ollut plug and play. Onko kokemuksia mitä tuolta bioksesta kannattaisi säätää?

Edit: pelkkä cpu vaihto tiputti idleä noin 30w, 50w jäi kun samassa laskurissa on myös reititin+5g modeemi
 
Viimeksi muokattu:
Noissa iGPU-versioissa on sitten PCIe 3.0 ja ei toimi ECC ollenkaan. Ei välttämättä vaikuta mihinkään, mutta hyviä huomioida.

AM5:sella myös vähemmän PCIe-linjoja käytettävissä.

Jos kiinnostaa hifistellä virrankulutusta lisää niin VSOC alivoltituksella sain deskarin 5800X3D:stä n. 15W pois (1000mV). Threadripperillä laskin myös tuohon 1000mV, lähtiköhän jopa 30-40W pois.
E: tosin tuo 5700G on kyllä ihan eri arkkitehtuuria, tuskin toimii 1000mV.
 
Viimeksi muokattu:
Noissa iGPU-versioissa on sitten PCIe 3.0 ja ei toimi ECC ollenkaan. Ei välttämättä vaikuta mihinkään, mutta hyviä huomioida.

AM5:sella myös vähemmän PCIe-linjoja käytettävissä.

Jos kiinnostaa hifistellä virrankulutusta lisää niin VSOC alivoltituksella sain deskarin 5800X3D:stä n. 15W pois (1000mV). Threadripperillä laskin myös tuohon 1000mV, lähtiköhän jopa 30-40W pois.
E: tosin tuo 5700G on kyllä ihan eri arkkitehtuuria, tuskin toimii 1000mV.
Tämän osasin jopa ihan ite hoksata myös, jos haluaa AM4 iGPUn pitää hankkia PRO-sarjan prossu (5650G, 5750G). Nämäpä maksavatkin sitten jo ainakin kolme kertaa enemmän. Enpä taida vaivautua...

Tuskin tulen vanhemman PCIe-väylän vaikutustakaan huomaamaan, kunhan pääsee opettelemaan ja saa jonkinlaisen toimivan serverihökkelin kasattua.
 
Noissa iGPU-versioissa on sitten PCIe 3.0 ja ei toimi ECC ollenkaan. Ei välttämättä vaikuta mihinkään, mutta hyviä huomioida.

AM5:sella myös vähemmän PCIe-linjoja käytettävissä.
Tuon pcie 3.0 takia vaihdoinkin ryzen 9000 sarjalaiseen reititin servussa. Olin jo hommannu GT1030 näyttiksen pcie 3.0 x4 slottiin ja meinasin pitäytyä 5000 sarjalaisissa ja ostaa 5700x prossun mut uudempi ja parempi rauta vei mennessään.

En tuosta ECC muistista kyllä osaa sanoo mitään että onko siitä oikeasti mitään hyötyä. Melkein 25 vuotta pyöritelly useita erilaisia servereitä ja ikinä en ole ECC muistia käyttäny tai edes ajatellu mihinkään laittaa :) ja täällä se tuntuu olevan jokaisella must.

Noista pcie linjoista, en ole ainakaan huomannu käytännössä mitään eroa AM4/AM5 että joku olisi erilailla. Tärkein ominaisuus itselle on että x16 slotin saa jaettua x8/x8 ja sit kaveriksi on se x4 vielä. Tuon tosin saa vaan paremmilla emoilla. Jos tuon splitin tarvii niin se on sit melkein ProArt emo hankittava. ja tietty 2 kpl m.2 SSD:tä saatava emolle. Ja AM5:lla Gigabyten emoa ei kannata ostaa koska siinä lane jaot menee ihan hölmösti.
 
Sitä pitäis alkaa niitä levyjä hankkimaan lisää arkistoon. Alkaa tuo tila olemaan kortilla aika nopeesti... enää vapaana 60TB. Tuntuu kuluvan n. 10-15TB/kk. Levytkin niin pirun kalliita... Pitää varmaan alkaa miettimään että monessako osassa sitä hankkii nuo 12x28TB. Jos tilailee 2-3 osassa niin ei tunnu niin kalliilta :rofl: Sit tulis kotelo1 täyteen levyjä. Kotelo2 joka tulee olemaan pelkkä levykotelo on jo hankittuna, siihen löytyy intel 36-port sas expander... näitä mulla on 2kpl.
 
Ajattelin alkaa testailemaan local AI:ta. Pärjääkö 5950x + RX6900XT + 64GB RAM kombolla?
 
Päivitystä omaan tilanteeseen: Päätin kuin päätinkin tilata 5700G:n pyörittämään aloittelijan pikku serveriä, eiköhän se aja asiansa ihan tarpeeksi hyvin. Seuraavana ostoslistalla on sopiva Mini-ITX-emolevy, muistit ja Flex-ATX-virtalähde. Matka jatkuu!
 
Alkaa tuo 25Gbit lanin päivitys lähenemään kun viimeinen tärkeä palikka saapui just pakettiautomaatista. Mikrotik CRS510-8XS-2XQ-IN saapui taloon.

CRS510-8XS-2XQ-IN-arrived.jpg
 
Nyt ei paljoa ole servereitä rassattu. Tai no kasasin mä ajankulukseni yhden 9950X serverin lisää vaikka ei olis ehkä tarvinnu enää.. mut kun noita osia on tos sen verran nurkissa, periaatteessa prossu+cooler ja räkkikoppa oli ainoot mitä piti ostaa et sai uuden koneen kasaan ;)

Täällä on tehty vaan laitetilan eiku autotallin faceliftiä. Nyt on epoksimaali lattiassa ja nyt poistetaan kaikki vanhat hyllyt/kaapistot pois seiniltä. On ostettu ja sit myös tilattu uutta varastohyllyä muutamia erilaisia malleja. Jos loppuviikosta olis jo uutta varastohyllyä saanu jo askarreltua pystyyn osaan tallia. En tiä millon jykevä iso hylly saapuu kotiinkuljetuksena mut toivottavasti olis perjantaina täällä.

25G lan päivitys ei ole tapahtunu vielä. Kytkin on paikallaan ja siinä on yks serveri kiinni mutta kytkimelle tulee vielä 10G uplink. Menny talliprojekti edelle tässä kesälomalla. Menee varmaan Heinäkuulle lan päivitys.
 
uutena innostujana tähän ketjuun.
Alkanut kiinnostaa ajatus 24/7 pyörivästä koneesta johon voisi laittaa erinäisiä palveluita pyörimään. Testaillut peliPC:llä yhtä ja toista palvelua, kuten Pi-hole, joka on hyvä olla siirretty serverikoneelle, joka pyörii koko ajan. ja lisätyllä videovalvonnalla.
Videovalvontakin on vähän meh mitä sillä oikeasti on käyttöarvoa omalle kohdalleni. Onko se hauska vain rakentaa ja sit sen ns unohtaa.. kerrostaloasujalle tuntuu olevan vähän turhake. Koiraa voisi välillä kattella, jos osuu olohuonetilaan mut muuten en näe suurta iloa.
Tämä harrastusprojekti voisi maksaa vaikka 200-500e pohdituttaa että rahan hassaaminen, jos tämä on vain itselleen tekemisen ilo ja todistelu projekti, että osaan rakentaa serverin koti käyttöön.
Tällaiset palvelut eivät vaadi juuri mitään tehoja joten melko raakile kone käy omaan käyttöön.
Minua ei ole peliPC:llä kiinostanut local ai käyttäminen muuta kuin kokeilu mielessä. Muistiinpano ohjelmaan olen sellaisen vain lisännyt, joka auttaa oikeinkirjoituksessa ja pohtimaan oliko hyvä muistiinpano. Tämäkin toiminto on vain kokeilu enkä jaksa sitä pyörittää koska vie koneen resursseja ja kone huutaa lujaa. Pohdin että se voisi olla koko ajan päällä jos minipc olohuoneesta hoitaa taustalla tarkisteluja ja en itse ns edes huomaa että ai tekee hommia minulle.

Miten mahtaa olla jos local ai on pyörimässä minipc koneella onko se kasvattanut local mallien käyttöastetta, kun ei vie pääkoneen resursseja?
Minä käytän tyytyväisenä cli ai malleja muutamalta taholta joiden ilmaiset rajat ovat juuri riittänyt tyydyttämään tarpeet.

pohdinpa siis ostaakko nyt edullisin järkevähintainen miniPC alle 500e luokasta serveriksi ja localAi kokeiluihin. Tuntuu että tämä olisi järkevin valinta. Onko joku menny tätä polkua ja melko nopeasti nälkä kasvanut ja hankkii sit tuliterää..
odottaako mac mini 5 julkaisua ai mallin parhaaseen rakentamiseen. Mutta ymmärtänyt että mac ei taida olla otollisen "serveriksi" ja on melkoisen suljettu ympäristö.
ostaa n 1000-1500e minipc viimesintä huutoa oleva ai cpu ja paljon ram ja muodostaa serveri + osaavampi ai malli. Tässä on pelko että yli 1000e laite jää alkuinnostuksen jälkeen pölyyntymään.
näkisin että minulle ei sovellu iso PC tähän käyttöön koska en halua äänekästä paljoa sähköä vievää laitosta. Pääkone PeliPC on jo.
onkohan joku käynyt tällaista läpi ja miten ratkoa mikä on järkevä tie kuljettavaksi.
 
uutena innostujana tähän ketjuun.
Alkanut kiinnostaa ajatus 24/7 pyörivästä koneesta johon voisi laittaa erinäisiä palveluita pyörimään. Testaillut peliPC:llä yhtä ja toista palvelua, kuten Pi-hole, joka on hyvä olla siirretty serverikoneelle, joka pyörii koko ajan. ja lisätyllä videovalvonnalla.
Videovalvontakin on vähän meh mitä sillä oikeasti on käyttöarvoa omalle kohdalleni. Onko se hauska vain rakentaa ja sit sen ns unohtaa.. kerrostaloasujalle tuntuu olevan vähän turhake. Koiraa voisi välillä kattella, jos osuu olohuonetilaan mut muuten en näe suurta iloa.
Tämä harrastusprojekti voisi maksaa vaikka 200-500e pohdituttaa että rahan hassaaminen, jos tämä on vain itselleen tekemisen ilo ja todistelu projekti, että osaan rakentaa serverin koti käyttöön.
Tällaiset palvelut eivät vaadi juuri mitään tehoja joten melko raakile kone käy omaan käyttöön.
Minua ei ole peliPC:llä kiinostanut local ai käyttäminen muuta kuin kokeilu mielessä. Muistiinpano ohjelmaan olen sellaisen vain lisännyt, joka auttaa oikeinkirjoituksessa ja pohtimaan oliko hyvä muistiinpano. Tämäkin toiminto on vain kokeilu enkä jaksa sitä pyörittää koska vie koneen resursseja ja kone huutaa lujaa. Pohdin että se voisi olla koko ajan päällä jos minipc olohuoneesta hoitaa taustalla tarkisteluja ja en itse ns edes huomaa että ai tekee hommia minulle.

Miten mahtaa olla jos local ai on pyörimässä minipc koneella onko se kasvattanut local mallien käyttöastetta, kun ei vie pääkoneen resursseja?
Minä käytän tyytyväisenä cli ai malleja muutamalta taholta joiden ilmaiset rajat ovat juuri riittänyt tyydyttämään tarpeet.

pohdinpa siis ostaakko nyt edullisin järkevähintainen miniPC alle 500e luokasta serveriksi ja localAi kokeiluihin. Tuntuu että tämä olisi järkevin valinta. Onko joku menny tätä polkua ja melko nopeasti nälkä kasvanut ja hankkii sit tuliterää..
odottaako mac mini 5 julkaisua ai mallin parhaaseen rakentamiseen. Mutta ymmärtänyt että mac ei taida olla otollisen "serveriksi" ja on melkoisen suljettu ympäristö.
ostaa n 1000-1500e minipc viimesintä huutoa oleva ai cpu ja paljon ram ja muodostaa serveri + osaavampi ai malli. Tässä on pelko että yli 1000e laite jää alkuinnostuksen jälkeen pölyyntymään.
näkisin että minulle ei sovellu iso PC tähän käyttöön koska en halua äänekästä paljoa sähköä vievää laitosta. Pääkone PeliPC on jo.
onkohan joku käynyt tällaista läpi ja miten ratkoa mikä on järkevä tie kuljettavaksi.
"Miniserveriksi" itse hommasin Torista edullisesti 10th gen Intel NUC:in 16GB RAM:lla. Asensin Ubuntun, ja konteissa pyörii juuri näitä erinäisiä virityksiä (mm. valvontakamera MotionEye, koneeseen lyöty kiinni Logitechin USB-webcam). Autotallissa on sitten Dellin pöytäserveri ESXi:llä "raskaampaa ajoa" varten.. :) AI jos kiinnostaa, niin siihen en välttämättä miniserveriä hankkisi. Perustason virittelyyn taasen tuollainen NUC on onnen omiaan (hiljainen ja virtapihi).
 
20260610_075654.jpg


Itsellä on askarteluhuoneessa töistä ilmaiseksi saatu Dell Optiplex i3-9100T prosessorilla ja 20GB RAM jossa on ubuntu server asennettu kahdelle 500GB SSD levylle raid 1 moodiin. Tässä pyörii päällä meikän oma vibe koodattu virtuaalisointisofta joka sitten pyörittää ja manageroi läjää ubuntu virtuaalikoineita tuossa, laitteessa pyörii 24/7. Käytännössä kaikki softat olen vibe koodannut näihin ja kaikki on customoitu aika rankasti. Virrankulutus noin 4-5W 24/7 käytöllä.

-Zigbee lämpötila/kosteusantureiden monitorointi ja loggaus softa
-Tailscalella saavutettava muistiinpanojen ja salasanojen vaultti
-Zigbee kotiautomaatio, valaistus, smart plugit yms iso läjä toimintoja
-Erilaisia tabletilla ja kännykällä avattavia infotauluja ja sääpalveluita
-YOLO softa joka nappaa valvontakameran kuvaa ja tekee henkilöntunnistusta ja tallentaa/käsittelee kuvia jos talon ympärillä liikkuu henkilö

20260610_075703.jpg

Jonsbo N5 pyörittää Unraid NAS jossa noin 40-50TB tilaa.

20260610_075724.jpg

Kotiserverin alapuolella on paikallinen AI serveri nvidia 5090 näyttiksellä headless setupissa, ubuntu server 2x2TB raid 1, kotiverkosta tai tailscalella puhelimesta saa yhteyden. Tässä pyörii ComfyUI ja iso läjä erilaisia llama.cpp wrappereita ja työkaluja mitä olen rakentanut, kuvan/äänen/videon muokkausta ja erilaisia sensuroimattomia DIY chattipalveluita, tämä ei yleensä ole 24/7 päällä mutta saan sen etänä päälle mistä tahansa. Idlessä vie noin 80W ja kun näyttis käy kovaa niin noin 650W total kulutus.

20260610_075602.jpg

Sitten on Beelink ser5 Ryzen 7 6800U miniPC jossa myös 2x500GB ssd raid 1 ja ubuntu server pyörittämässä kotiverkon ulkopuolisia palveluita eli nettisivuja ja muita julkisia palveluita, virrankulutus noin 8-9W kun 5 virtuaalikonetta tekee hostausta. Tämä on kytketty niin että modeemi antaa tälle oman julkisen IP:n ja kotiverkolla on toinen julkinen IP eli ovat kokonaan eri verkoissa siltä varalta jos vaikka käy pieni kämmi tietoturvan kanssa...

Sitten on myös raspberry pi 5 johon on kytketty ovikello ja ovikellokamera, nämä myös liitetty kotiserverillä olevaan automaatiosoftaan joka käyttäjän ollessa pois kotoa aktivoi hälytinjärjestelmän ja laittaa kuvia ja informaatiota kännykän discordiin jos joku murtautuu taloon silloin kun käyttäjän kännykkä ei ole wifi verkossa eli hälytys kytkeytyy automaattisesti päälle.
 
Viimeksi muokattu:
Onko täällä kukaan rakennellut näitä 10" Mini rack setuppeja?

1000033139.png


Kuvalla vain huomio. Ei ole oma setti, mutta vastaavaa tässä suunnitteila
 
Pitäsköhän itekkin osallistua viimein tähänki keskusteluun :psmoke:

Itellä on tullu jonkun vajaa 15 vuotta pyöritettyä jonkunlaista amatöörin kotipalvelinta kaikenlaisella hinnat alkaen -roskaraudalla, lähtien Raspberry Pi:stä, myöhemmin kaikenlaisia vanhoja läppäreitä ja joskus joku 24/7 pöytäkonekkin hostannut jotakin. Itellä on aina ideana ollut nimenomaan tämä "hinnat alkaen" mentaliteetti että euroakaan omia tarpeita enempää en näihin SER-jäte kotiservereihin laita. Plussaa vielä siitä jos saa tungettua johonki kaappiin pois näkyvistä ja "set and forget" mentaliteetilla. Käytännössä kun pääasiallinen syy koko serverille on NAS, mediaserverin, SSH serverin pito ja sitten mitä muuta pelipalvelimista nettisivuihin on keksinyt milloinkin hostata. Ja osa palveluista onkin pyörinyt pilvessä tai VPS:llä tai Kapsin servereillä millon mitenkin.

Tuli tossa viime vuoden loppupuolella päästettyä edellinen, varmaan viimeset 5 vuotta 24/7 pyörinyt, 12" Elitebookki (i7-6500U, 8GB RAM) ja USB-kovalevykotelo ja baremetal Debian käyttiksenä, pääserverin virasta eläkkeelle ja ostin satasella Proxmox alustaksi jonkun yrityspoisto SFF koneen i5-7500:lla ja 24GB RAM, joku laatikonpohjalle jäänyt LP Nvidian kortti ja tuo 3,5" USB kotelossa vuosikausia vakaasti palvellut NAS-lätty suoraan SATA:lla kiinni serveriin. Siinä samalla tuli opeteltua baremetal servicejen päälle nää IaC (Ansible, Terraform, Docker/K3s) lelut ja kirjotettua kaikki konffit jne koodiksi niin muistaa itekkin mitä siellä pyörii missäkin nodessa ja portissa eikä tartte reverse engineerata omia konffeja ja skriptejä jatkuvasti. Sekoäly aika nopeasti sen duunin tekee kun tarpeeks promptaa.

Jokusen kuukauden uutuudenviehätyksissä Proxmoxilla ja LXC/VM leikkimisen tuloksena piti sitten investoida rautaan parisataa lisää ja kokosin mATX-kokosen, TV-tasoon tai kaapin perälle haudattavaksi sopivan kokosen pöytäkoneen Chieftecin mATX-kuutioon ni saa useamman 3,5 HDD:n aiemman yhden sijaan kiinni ja halvat AM4 standardikomponentit joita sit tarvittaes vaihdella jos joku osa päättää joskus sulaa käsiin tai tarvitsee enemmän laskentatehoa. Tuloksena nyt on sit Ryzen 3300X, 48GB RAM, Nvidia GTX 1070 8GB ja kaikki laatikosta löytyneet toimivat kovalevyt kiinni serveriin ja kas kummaa, raudan ollessa "tehokasta", alkoi sieltä Proxmoxin päältä löytyä sitten jo omaa AI-serveriä (Ollama + OpenWebUI), Jellyfin, Immich, Steam Remote Playta PCI-passthroughin kanssa, kaikkien edellisten päälle ja lisää vaan tulee kun nythän sitä tehoa piisaa vaikka koko kaupungille :cigar:

1000049380.jpg


Vanha hyvin palvellut Elitebookki lensikin sitten sähkökaappiin reitittimen vierustoveriksi vastaamaan uuden Debian-asennuksen kera Pi-Holesta, toimii ulkoverkosta WireGuard endpointtina ja hoitaa samalla monitointia perus Node Exporter, Prometheus, Grafana jne stackilla niin sai eriytettyä nuo kriittisimmät osat infrasta eri raudalle. OpnSenseä tuli edge routerina (Proxmoxin päällä virtuaalikoneena) kans pari kuukautta testailtua mut sille ei varsinaisesti perus kuluttajarouterin päälle ole tarvetta niin siitä tuli luovuttua tällä erää niin ei serverisähläyksen ja boottailun tuloksena koko kämpän netti joka kerta pimene ja tarvi lähtä kaivelee näyttöä ja näppistä serverin kylkeen kolmelta aamuyöstä kun jonkun käyttäjäperäsen ongelman takia joku pilkkuvirhe konffitiedostossa vetää koko palvelimen solmuun.

Eli tämmönen enemmänkin minimalistinen lähestymiskulma tänne räkkikaappien sekaan, vaikka omaan makuun tämä mATX-kokoonpano ja vanha pikkuläppäri sähkökaapissa on vähän jo overengineeringiä pikkuhiljaa. Mutta, saapahan ulkoistettua laskentatehoa vaativat tehtävät random romuläppäreiltä yhdelle koneelle ja ainakin 1080p pelaaminen Steam Remote Playlla pikatestillä näkyi toimivan LANissa Proxmoxin päällä pyörivältä virtuaalikoneelta hyvin. :psmoke:
 
Viimeksi muokattu:
Kaippa se SAS teoriassa menee myös SATA liittimen läpi, hotswap puolella Jonsbossa näytti olevan SAS yhteensopiva lovi ja jokaista liitintä kohden oma SATA liitin eli ilmeisesti passiivinen backplane kuitenkin. Todennäköisesti pitää 3,3v nyppästä irti niin kuin jouduin nykyisen sata power -> sas adapterin kanssa tekemään.

1781550781890.png


SAS port B pinnit ovat ilmeisesti redudantti optio eli jos olisi kaksi SAS ohjainta vikasietoisuudelle.
 
Tullu vähän askarreltua viime aikoina tuolla räkkikaapeilla.

Tässä on ekana tuo Beastin asennus. Vähän on dac kaapelit vinksin ja vonksin kytkimellä kun 2m kaapelit just ja just ylettää koneille. Hyllyssä on uudet 3m kaapelit odottamassa vaihtoa. Voipi olla että siirrän tänne nyt ainakin tuon toisen 9950X serverin. Kolmas on tuossa hyllyssä odottamassa joko uutta omistajaa (myynnissä) tai tähän kaappiin muuttoa ja sit ajoon.

UDM-Beast_25G-setup-v2.jpg


----------

Sitten tuon toisen räkkikaapin puolelle tuli uus reititin tänään. Unifi Cloud Getaway Fiber ja sen takana on tuommonen MokerLink 4x10G RJ45 + 8x10G SFP+ hallittava kytkin. Tämä on ihan sama laite kuin Sodola merkkinen kytkin, kalliimmalla ostohinnalla amazon.de:ssä. Mutta silloin kuin tarvitsin vastaavaa kytkintä Sodolan tilalle niin Sodolaa ei ollu tietenkään saatavilla niin lähti tämä MokerLink matkaan. Hyvin puksuttaa tuo UCG-Fiber, nakuttaa sinne maksimiin kumpaankiin suuntaan.

MokerLink-10G.jpg
 
Ei tuo Fiber nyt oikeen onnistunu meikäläisellä. Alkuviikosta siirsin sen tuonne räkkikaapin yläosaan omalle hyllylle kun tuossa ylemmässa kuvassa kun se oli tossa kohtaa niin sen ilmanotto aukot oli just noissa päissä. Se rupes tippuun linjalta kokoajan. Ajattelin että se toimis paremmin omalla hyllyllään ja lähellä räkkikaapin poistotuulettimia että se autotallin lämmin ilma ei niin haittaisi enää. Mulla oli tuossa alkuviikosta pitkää päivää töissä ja autotallin nosto-ovi ollu kiinni päivät pitkät niin ei se siellä kuumassa tallissa oikeen toiminu. Joten viime yönä parin kaljan jälkeen tilasin Tampereen verkkikseen noudon ja kävin tänään vielä illalla hakemassa tämmösen sen tilalle. Kun tuo Beast on tuolla puksuttanu ihan omassa rauhassaan mitään mukisematta niin vaihdetaan huomenna sitten tämmönen Fiberin tilalle.

udm-pro-max.jpg

Mukaan tuli unifin oma 10G RJ45 SFP+ moduuli. Niin tämähän kytkeytyy sit tuohon USW-Aggregation kytkimeen, semmonen löyty hyvään hintaan torista ja semmonen asennettu myös tällä viikolla, oli melkein uus se aggregation kytkin.

Huomenna jousto- ja säätöpäivä taas :rofl2:

Fiber lähtee näillä näkymin palautukseen verkkikseen. Tai jos joku sen haluaa ostaa niin voi YV:llä tavoitella. Tilasin siihen unifi storesta sen seinään kiinnityslevyn, se piti saapua tänään mut Fedex paketti jäikin turkuun lojumaan, ehkä huomenna sitten. Se on semmonen tarviketilaus, tulee kaikkee tarpeellista palikkaa, johtoo, poe injektoreita... sun muuta.
 
Pitäisi alkaa vähitellen päivittämään 8 vuotta vanhaa pannua, joka tällä hetkellä toimii lähinnä NASsina. Uudessa pannussa tulee ehkä ajettua sitten muutamia muitakin palveluja, HA nyt ainakin. Mahdollisesti Proxmoxin päällä.

Osia löytyy jo M.2 SSD ja muistia DDR4 ja DDR5 SO-DIMM kampoja.

Aika vähän näyttää olevan SO-DIMM kampoja käyttäviä emoja. Osaisiko täällä kukaan auttaa? Kovin tarkkaa ei ole speksien suhteen:
  • 1 - 2 x M.2
  • 2 x SATA tai 1 x PCI-e (SATA kortille, jos liittimiä ei ole emolla)
  • Prossu voi olla Intel tai AMD, mutta saisi olla vähän kuluttava ainakin idlessä
  • Tunnettu valmistaja, ei kiinan ihmeitä
Vai onko vain parasta laittaa muistit myyntiin ja ostaa niillä rahoilla UDIMM muistit, jolloin avautuu ihan eri mahdollisuudet.
 
Halusin rakentaa 2U "compute" palvelimen, eli ei tallennustilaa kun NASi löytyy jo. Kaikki komponetit olivat valmiina. En tiedä mitä tapahtui mutta virtalähde jotenkin poltti emolevyn. Nyt ei boottaa ollenkaan. Ensimmäinen kerta elämän aikana vaikka olen rakentanut kuinka paljon koneita.
Nyt löytyy Ryzen 3700X mutta ei mATX emolevyä. Ja tällä / Torilla ei ole kovin paljon AM4-vaihtoehtoja. Kaduttaa maksaa 100 € näin vanhasta sukupolvesta jos ostaisin uuden emon kaupasta mutta näköjään ei ole muuta vaihtoehtoa enää.

Varmaan ostan Asrock B550M Pro4 -emon. 4 muistipaikkaa, 2x m.2 kovalevyjä varten, m.2 EA wifi (tai muutakin) varten, mATX, 2x 16x PCIe paikkaa. Ja hinta on noin 100 € Asrock B550M Pro4 - Hinta 98,9 €
 
Viimeksi muokattu:
Ei tullu pro max käyttöön, fiber on nopeampi ja ids toimii 5G asti fiberissa. Pro Max hyytyy 3.5G:hen vaikka web sivulla sanotaan et 5G. Fiberilla saa nopeudet tappiin ja pro max jää kauas taakse. Joten se oli turha ja kallis ostos....

Asentelin fiberin seinäkiinnikkeellä autotallin seinään räkkikaapin ulkopuolelle, toivottavasti se pysyy linjoilla nyt sit.

Perkele mikä farssi!
 
Halusin rakentaa 2U "compute" palvelimen, eli ei tallennustilaa kun NASi löytyy jo. Kaikki komponetit olivat valmiina. En tiedä mitä tapahtui mutta virtalähde jotenkin poltti emolevyn. Nyt ei boottaa ollenkaan. Ensimmäinen kerta elämän aikana vaikka olen rakentanut kuinka paljon koneita.
Nyt löytyy Ryzen 3700X mutta ei mATX emolevyä. Ja tällä / Torilla ei ole kovin paljon AM4-vaihtoehtoja. Kaduttaa maksaa 100 € näin vanhasta sukupolvesta jos ostaisin uuden emon kaupasta mutta näköjään ei ole muuta vaihtoehtoa enää.

Varmaan ostan Asrock B550M Pro4 -emon. 4 muistipaikkaa, 2x m.2 kovalevyjä varten, m.2 EA wifi (tai muutakin) varten, mATX, 2x 16x PCIe paikkaa. Ja hinta on noin 100 € Asrock B550M Pro4 - Hinta 98,9 €
Perspektiiviksi vaan, tuon ikäpolven ryzeni kelpaa aivan kevyesti varmaan kaikkeen mitä kotiserverillä tulisi mieleen ajaa. Eli sikäli ihan fiksua varmasti hyödynnellä nurkissa lojuvia vanhoja osia tämmöseen romuserveriin.

Itse kasasin all-in-one Proxmox-serveriksi täysin hinnat alkaen -mentaliteetilla mATX purkin hurraamaan kaappiin, emoksi halvin löytämäni neljän muistipaikan 75€ arvoinen AM4, pultattuna 52€ Chieftecin mATX -kuutioon, halvimman asiallisen powerin kanssa sekä täältä ja Torista yksitellen metsästettyihin 64GB RAM (4x 16GB DDR4, tyylillä jokainen kampa eri laatua ja nopeutta jne). Ja kaverilta puoli-ilmaseksi saadut Ryzen 3300X ja GTX 1070 8GB näyttis hoitamaan laskemista. Tätä roskarautaa sitten vaihtelee SER-jätteestä tilalle jos joku komponentti päättää sulaa niin ei tarvitse perään sen enempää itkeskellä. Ja hyvin skulaa 24/7 ajoissa raskaammassakin kuormassa vaikka lämmöt hetkittäin nousisikin. Kovalevytki pysyy viileenä tossa kopassa kun laitto 120mm tuulettimia puhaltelemaan lämpöjä pois. Lähinnä näyttis voisi sisältää integroidun GPU:n niin tarvittaessa jos tuon pcie näyttiksen on passthroughilla antanut jollekin virtuaalikoneelle niin saisi emon omasta liitännästä tarvittaessa Proxmoxin terminaalin auki mutta eipä ole tota varten tarvinnut lähtä sellasta metsästämään. :psmoke:
 
Perspektiiviksi vaan, tuon ikäpolven ryzeni kelpaa aivan kevyesti varmaan kaikkeen mitä kotiserverillä tulisi mieleen ajaa. Eli sikäli ihan fiksua varmasti hyödynnellä nurkissa lojuvia vanhoja osia tämmöseen romuserveriin.

Itse kasasin all-in-one Proxmox-serveriksi täysin hinnat alkaen -mentaliteetilla mATX purkin hurraamaan kaappiin, emoksi halvin löytämäni neljän muistipaikan 75€ arvoinen AM4, pultattuna 52€ Chieftecin mATX -kuutioon, halvimman asiallisen powerin kanssa sekä täältä ja Torista yksitellen metsästettyihin 64GB RAM (4x 16GB DDR4, tyylillä jokainen kampa eri laatua ja nopeutta jne). Ja kaverilta puoli-ilmaseksi saadut Ryzen 3300X ja GTX 1070 8GB näyttis hoitamaan laskemista. Tätä roskarautaa sitten vaihtelee SER-jätteestä tilalle jos joku komponentti päättää sulaa niin ei tarvitse perään sen enempää itkeskellä. Ja hyvin skulaa 24/7 ajoissa raskaammassakin kuormassa vaikka lämmöt hetkittäin nousisikin. Kovalevytki pysyy viileenä tossa kopassa kun laitto 120mm tuulettimia puhaltelemaan lämpöjä pois. Lähinnä näyttis voisi sisältää integroidun GPU:n niin tarvittaessa jos tuon pcie näyttiksen on passthroughilla antanut jollekin virtuaalikoneelle niin saisi emon omasta liitännästä tarvittaessa Proxmoxin terminaalin auki mutta eipä ole tota varten tarvinnut lähtä sellasta metsästämään. :psmoke:

Hmm, kiitos. Aika asiallinen emo. Olen huomannut että vain kympillä enemmän saa GIGABYTE B550M DS3H R2 joka on täysin samanlainen kuin sinun mutta DS3H:ssä on kaksi 16x PCIe slottia (16x ja 4x) ja 1x PCIe slotti. Ehkä homelabin tarkoituksiin on vähän parempi vaihtoehto. Toinen 16x slotti on PCIe 3.0 4x, mikä on 4 GB/s eli 40 Gbit/s. Riittää hyvin jos laittaa tulevaisuudessa SATA-adapterin, verkkokortin tai vaikka mitä vaan.
 
Perspektiiviksi vaan, tuon ikäpolven ryzeni kelpaa aivan kevyesti varmaan kaikkeen mitä kotiserverillä tulisi mieleen ajaa. Eli sikäli ihan fiksua varmasti hyödynnellä nurkissa lojuvia vanhoja osia tämmöseen romuserveriin.

Itse kasasin all-in-one Proxmox-serveriksi täysin hinnat alkaen -mentaliteetilla mATX purkin hurraamaan kaappiin, emoksi halvin löytämäni neljän muistipaikan 75€ arvoinen AM4, pultattuna 52€ Chieftecin mATX -kuutioon, halvimman asiallisen powerin kanssa sekä täältä ja Torista yksitellen metsästettyihin 64GB RAM (4x 16GB DDR4, tyylillä jokainen kampa eri laatua ja nopeutta jne). Ja kaverilta puoli-ilmaseksi saadut Ryzen 3300X ja GTX 1070 8GB näyttis hoitamaan laskemista. Tätä roskarautaa sitten vaihtelee SER-jätteestä tilalle jos joku komponentti päättää sulaa niin ei tarvitse perään sen enempää itkeskellä. Ja hyvin skulaa 24/7 ajoissa raskaammassakin kuormassa vaikka lämmöt hetkittäin nousisikin. Kovalevytki pysyy viileenä tossa kopassa kun laitto 120mm tuulettimia puhaltelemaan lämpöjä pois. Lähinnä näyttis voisi sisältää integroidun GPU:n niin tarvittaessa jos tuon pcie näyttiksen on passthroughilla antanut jollekin virtuaalikoneelle niin saisi emon omasta liitännästä tarvittaessa Proxmoxin terminaalin auki mutta eipä ole tota varten tarvinnut lähtä sellasta metsästämään. :psmoke:
Ootko katsonut mitä vie virtaa kokoonpano?
 
Hmm, kiitos. Aika asiallinen emo. Olen huomannut että vain kympillä enemmän saa GIGABYTE B550M DS3H R2 joka on täysin samanlainen kuin sinun mutta DS3H:ssä on kaksi 16x PCIe slottia (16x ja 4x) ja 1x PCIe slotti. Ehkä homelabin tarkoituksiin on vähän parempi vaihtoehto. Toinen 16x slotti on PCIe 3.0 4x, mikä on 4 GB/s eli 40 Gbit/s. Riittää hyvin jos laittaa tulevaisuudessa SATA-adapterin, verkkokortin tai vaikka mitä vaan.

Joo, ehdottomasti tämä kahden x16 paikan emo on parempi kympin lisähinnalla. Tota en itse huomannut kun omani tilasin, selailin vaan halvimman neljän muistipaikan AM4 emon minkä löysin ja sen enempää muita speksejä tuijottamatta ruksin tilaukseen. Hyvin tosin ajaa asiansa, kun en ainakaan itse kahdelle x16 paikalle keksi käyttöä serverissä, tässä ainoassa on näytönohjain ja toisessa 1x 1Gbit verkkokortti josta saa emolevyn oman NIC:n lisäksi toisen NIC niin saa fyysisillä linjoilla eriytettyä LAN ja WAN yhteydet toisistaan kun osa virtuaalikoneista on kytketty omaan kuluttajarouteriin ja sen DHCP:n taakse sekä halutessa saa osan virtuaalikoneista Proxmoxista klikkaamalla sitten ottamaan suoraan ISP:ltä julkisen IP:n (joita Elisa kuluttajaliittymiin tarjoaa 5 kpl) jos sille jonkun käyttötarkotuksen keksii.

SATA liitäntöjähän saa lisää ilmeisesti noihin m.2 ssd (joita emolla on 2 kpl, kummassakaan ei itsellä SSD:tä ole kun käyttislättynä on joku kaapinpohjalta löydetty ikivanha 2,5" SSD joka pelaa hyvin Proxmoxin tyhmänä käyttislättynä) paikkoihinkin jollain Amazonista yms löytyvillä riser kortilla, tossa munkin emossa on 4x SATA liittimiä jotka riittää täysin omaan käyttöön kun ei ole tarkotus mitään kovalevyjen hautausmaata tosta serveristä kuitenkaan tehdä vaan pitää kahta tai max kolmea tarpeeksi isoa lättyä siellä hurisemassa, lähinnä jonkunlaisen redundancyn saavuttamiseksi jos joku HDD päättää työsopimuksensa irtisanoa jossain kohtaa ja ZFS:llä saa sen datan autohealing tms ominaisuuden toimimaan. Ja mulle riittää standardi 1Gbit lähiverkko kun 110MB/s tiedonsiirtonopeus LAN:ssa riittää täysin ainakin omiin tiedonsiirtotarpeisiin ja erityisesti kun ISP:n rajoituksista johtuen yli 1gbit WAN nopeuksia ei tule saamaan joka tapauksessa niin senkään puolesta ei tarvetta noille kaikenkattaville liitännöille ole.

Ootko katsonut mitä vie virtaa kokoonpano?

En ole katsonut, lähinnä Linuxin/Proxmoxin komentoriviltä ulos saatavia TDP lukemia olen toisinaan kattellut ja käskenyt AI:takin niistä laskemaan et paljo tämä 99% ajasta idlaava Ryzen-serveri vie sähköä, tulos on ollut aina millä tahansa laskuopilla luokkaa muutaman euron per kuukausi sähkölaskuun eli ei yhtään mitään.

1784358520314.png

Tässä nyt screenshot Grafanasta viimeisen 7 vrk ajalta CPU:n metriikoista josta näkee hyvin et omassa käytössä tulee tälle serverille käytännössä vain hetkittäin lyhyitä piikkejä kuormaa ja muuten käytännössä muun ajan tää kone idlaa. Eli idlenähän tää tuskin montaa kymmentä wattia vie sähköä ja kuorman alla luonnollisesti enemmän. Noitakin piikkejä nyt tällä hetkellä tulee lähinnä siitä, jos tekee jotain tiedonpakkausta (ffmpeg/tar) tai Immichin valokuvapalvelimelle laittaa kameralta uudet valokuvat prosessoitavaksi niin hetken aikaa tuo prossu aina huutaa hoosiannaa ja palaa sitten idlaamaan. Sekoälyn mukaan tuo GTX 1070 näyttis (joka on valtaosin myös tyhjänpanttina, lähinnä jos remote playlla pelaa sen kautta jotain tai leikkii Local AI:lla) on virtasyöppö mutta eipä tuo ole itseäni ainakaan häirinnyt kun puhutaan kokonaisuudessaan muutamasta eurosta per kk. Voishan tosta varmasti mielenkiinnosta ottaa jollain virtamittarilla ulos tarkempia lukuja mitä tämä syö niin saisi vertailukohtaa vaikka noille räkkiservereiden yms lukemille.
 
Pitäisi alkaa vähitellen päivittämään 8 vuotta vanhaa pannua, joka tällä hetkellä toimii lähinnä NASsina. Uudessa pannussa tulee ehkä ajettua sitten muutamia muitakin palveluja, HA nyt ainakin. Mahdollisesti Proxmoxin päällä.

Osia löytyy jo M.2 SSD ja muistia DDR4 ja DDR5 SO-DIMM kampoja.

Aika vähän näyttää olevan SO-DIMM kampoja käyttäviä emoja. Osaisiko täällä kukaan auttaa? Kovin tarkkaa ei ole speksien suhteen:
  • 1 - 2 x M.2
  • 2 x SATA tai 1 x PCI-e (SATA kortille, jos liittimiä ei ole emolla)
  • Prossu voi olla Intel tai AMD, mutta saisi olla vähän kuluttava ainakin idlessä
  • Tunnettu valmistaja, ei kiinan ihmeitä
Vai onko vain parasta laittaa muistit myyntiin ja ostaa niillä rahoilla UDIMM muistit, jolloin avautuu ihan eri mahdollisuudet.
Aika paljon jää vielä arvailun varaan. Esim. 10GbE vai riittäkö 2.5GbE?

Kelpaavatko "tunnetut" kiinabrändit?
 
Aika paljon jää vielä arvailun varaan. Esim. 10GbE vai riittäkö 2.5GbE?

Kelpaavatko "tunnetut" kiinabrändit?
2.5 GBe riittää hyvin. Valmistaja saisi olla sellainen, että esim. BIOS-päivityksiä tulee ja mitään isompia bugeja ei ole.
 
2.5 GBe riittää hyvin. Valmistaja saisi olla sellainen, että esim. BIOS-päivityksiä tulee ja mitään isompia bugeja ei ole.
Itse tykkään gh.de:n hausta, en tiedä saako tuota englanniksi.


Tuolla olen usein filtteröinyt sopivia malleja tiettyjen vaatimusten mukaan ja sitten sen perusteella tutkinut lisää.
 
Hyvä haku, mutta eipä löytynyt silläkään sopivaa. Taitaa mennä muistit myyntiin.
 
Kyselen täältä josko tietäisitte, ei varmaan ihan paras mahdollinen paikka ole kysyä mutta :asif:

Mulla on siis Fractal Meshify 2 XL, jossa rupee olemaan 16 levyä täynnä se (todennäköisesti ei tähän jää). Tähän päälle näyttis, coolerit, hx1200i jne.
Painoa rupee olemaan enemmän kuin se kuuluisa synti.

Huopatassut sinne alle jo vedin että "liukuu" vähän paremmin parketilla kun tarve asennella tai säätää jotain. Porukka on tähän ruuvaillut erinnäisiä rullia alle. Ei ihan niin roughia meinannut mutta mietin kyllä tätä:
Tämän pyytäisin Bauhausilta sahaamaan (kerrostalossa vähän vaikea tasosirkkeliä omistaa) ja ruuvaan siihen tälläset kiinni:

Mielipiteitä? Kestääköhän tollanen melamiinilevy tätä n. 40 kiloa, jos laitan Terramaster D6-320 6:llä levyllä tähän päälle niin varmaan 50kg hujakoille päästään. Täyspuuta katselin myös mutta tässä se ongelma että se täytynee jotenkin käsitellä sauhauksen jälkeen.

Myös jotain muita hyviä vaihtoehtoja otetaan vastaan, sellanen jossa tuo synti ei ole riskinä kaatua meikäläisen hyvien DYI projektien takia :cigar2:
 
Viimeksi muokattu:
En osaa itse tuohon kysymykseen sanoa, mutta kiinnostaa että miksi pitää niin paljon sitä siirrellä :D?
 

Statistiikka

Viestiketjuista
313 186
Viestejä
5 314 552
Jäsenet
84 444
Uusin jäsen
portimo

Hinta.fi

Back
Ylös Bottom