Steam Library Nassiin (1G/1G full duplex verkko)

[dun]

Eli ihan kokeilumielessä päätin siirtää Red Dead redemptionin (ja pari muuta peliä) ZFS NAS:iin. Verkkona on vielä 1G verkko, joten siirtonopeudet on päätähuimaavat 118-121M/s, joten hetki siirrossa menee. Mutta kiinnostaa tietää pari asiaa ennen kuin vaihdan verkkorautaa vähän järeämmäksi (taino, vaihdan joka tapauksessa, mutta tuleepahan testattua).

1) Mahdollistaako tämä pienemmän ssd:n pelikoneessa (ettei tarvi ostaa 4TB levyä).
2) Voiko sambajaollisen hakemiston jakaa kahdelle koneelle jossa sama account käytössä.
3) Mikä on suorituskyky, onko latausajat pitkiä.

Testatut Pelit:
1) Red Dead Redemption (118G)
2) Steel Divison: Normandy 44 (38G)
3) Warhammer 40k: Dawn of War III (30G)

 

[dun]

Testatut Pelit:
1) Red Dead Redemption 2 (118G)

• Ei suostunut käynnistymään, kokeillaan tiedostojen validointia jos korjaisi. Sama kävi kahden alemman pelin kanssa. Voi olla DRM ongelma myös.
• Kaikkea yritrin, mutta DRM blokkaa. Ei toimi.

2) Steel Divison: Normandy 44 (38G)

• Käynnistysaika vähän pidempi.
• Tehtävät yms. latautuu samaa vauhtia kuin SSD:ltä (en ainakaan huomaa juuri eroa), joten pelikokemus ei muutu juuri mitenkään.

3) Warhammer 40k: Dawn of War III (30G)

• Latausaika pelin käynnistyksessä oli vähän pidempi.
• Tehtävien / benchmarkin lataus kesti yllättävän kauan. Mutta latauksen loputtua kenttä toimi nykimättä ja ei ollut pauketta eikä mitään. Lopputuloksena sanotaan ettei pelikokemus juuri muuttunut. 1G verkko rajoittaa selvästi tehtävien ja pelin latausnopeutta, mutta se on n. mekaanisen levyn luokkaa, paitsi pikkutiedostojen kanssa jotka tulee saman tien (koska Nas lataa keskusmuistista ensimmäiset 60 gigaa dataa).

 

[ississ]

2) Voiko sambajaollisen hakemiston jakaa kahdelle koneelle jossa sama account käytössä.

Toivottavasti ymmärsin oikein.
Samaan sambajakoon voi ottaa kiinni usealla koneella samalla tai eri tunnuksella. Konffauskysymys kuka saa tehdä ja mitä.

Se voiko 2 konetta käyttää samaa jakoa on varmaan enemmän kiinni siitä mitä sieltä käytetään ja miten softat lukitsee/kirjoittaa tiedostoja.

Suorituskyky riippuu tietysti nassista ja verkosta, se selviää varmaan vain testaamalla.

 

[Raxama]

Vaikee kyllä logiikalla keksiä järkeä tässä hommassa. SSD on kuitenkin lähtökohtaisesti aina nopeampi, sillä NASilta vetäessä siinä voi olla kaks pullonkaulaa, ite nasin kovot ja sitten se sisäverkon nopeus. Sit jos molemmat on samassa tasossa sen sisäsen SSD:n kanssa, niin herää vaan kysymys et miksei sillä SSD:llä ois pärjänny, ois tullu halvemmakskin varmaan.

Toki jos näkee tärkeänä sen et samoja pelejä voi pelata useammalta koneelta, niin sithän se jopa saattaakin olla ehkä fiksua. En vaan tiedä voiko kahdeltakaan koneelta pelata samanaikaisesti ilman et kovo tai sisäverkko alkaa kuristumaan, enkä ainakaan rahojani laittais sen puolesta et se toimis täysin ongelmitta.

 

[minapamina]

Onhan tuossa logiikkaa, jos haluaa pitää koko kirjaston asennettuna, toki 2021 bitti sen verran nopea että voi asennella tarpeen mukaan. NASsiin asennellessa saa äänekkään metallikiekot kauemmaksi, eikä tarvitse koneeseen teroittain SSDtä. Yhtään isommissa pakoissa kuitu on ihan kiva, käytettynä sfp+ vermeitä saa aika edukkaasti netistä, ei tarvitse rajoittua gigaseen kuparibittiin. Viiveethän tuossa kanssa kasvaa, kun ei olla enää sisäisessä tallennustilassa.

 

[iccb]

Tee sinne nassiin iscsi file lun ja käytä sitä levynä windowsissa niin toimii kaikki pelit normaalisti.
Tuossa oma pikainen Crystaldiskmark testaus kun tein Qnapin nassiin iscsi file lunin ja liitin sen windowssiin vs. kingstonin 960Gb A400 SSD.

Spoileri: Nopeudet

------------------------------------------------------------------------------
CrystalDiskMark 7.0.0 x64 (C) 2007-2019 hiyohiyo
Crystal Dew World: Crystal Dew World
------------------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
* KB = 1000 bytes, KiB = 1024 bytes

[Read]
Sequential 1MiB (Q= 8, T= 1): 118.252 MB/s [ 112.8 IOPS] < 70297.71 us>
Sequential 1MiB (Q= 1, T= 1): 111.032 MB/s [ 105.9 IOPS] < 9427.47 us>
Random 4KiB (Q= 32, T=16): 115.659 MB/s [ 28237.1 IOPS] < 18081.41 us>
Random 4KiB (Q= 1, T= 1): 16.557 MB/s [ 4042.2 IOPS] < 247.03 us>

[Write]
Sequential 1MiB (Q= 8, T= 1): 115.081 MB/s [ 109.7 IOPS] < 72212.47 us>
Sequential 1MiB (Q= 1, T= 1): 107.964 MB/s [ 103.0 IOPS] < 9666.92 us>
Random 4KiB (Q= 32, T=16): 53.263 MB/s [ 13003.7 IOPS] < 36493.53 us>
Random 4KiB (Q= 1, T= 1): 8.123 MB/s [ 1983.2 IOPS] < 503.56 us>

Profile: Default
Test: 1 GiB (x2) [Interval: 5 sec] <DefaultAffinity=DISABLED>
Date: 2020/09/06 15:42:55
OS: Windows 10 [10.0 Build 19041] (x64)

QNAP 1gb


------------------------------------------------------------------------------
CrystalDiskMark 7.0.0 x64 (C) 2007-2019 hiyohiyo
Crystal Dew World: Crystal Dew World
------------------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
* KB = 1000 bytes, KiB = 1024 bytes

[Read]
Sequential 1MiB (Q= 8, T= 1): 476.246 MB/s [ 454.2 IOPS] < 17562.27 us>
Sequential 1MiB (Q= 1, T= 1): 450.103 MB/s [ 429.3 IOPS] < 2328.80 us>
Random 4KiB (Q= 32, T=16): 165.819 MB/s [ 40483.2 IOPS] < 12602.26 us>
Random 4KiB (Q= 1, T= 1): 31.847 MB/s [ 7775.1 IOPS] < 128.46 us>

[Write]
Sequential 1MiB (Q= 8, T= 1): 19.864 MB/s [ 18.9 IOPS] <405288.65 us>
Sequential 1MiB (Q= 1, T= 1): 467.152 MB/s [ 445.5 IOPS] < 2242.76 us>
Random 4KiB (Q= 32, T=16): 19.638 MB/s [ 4794.4 IOPS] <105273.84 us>
Random 4KiB (Q= 1, T= 1): 80.145 MB/s [ 19566.7 IOPS] < 50.97 us>

Profile: Default
Test: 1 GiB (x2) [Interval: 5 sec] <DefaultAffinity=DISABLED>
Date: 2020/09/06 15:46:20
OS: Windows 10 [10.0 Build 19041] (x64)

2,5" A400 ssd

 

[dun]

Tee sinne nassiin iscsi file lun ja käytä sitä levynä windowsissa niin toimii kaikki pelit normaalisti.
Tuossa oma pikainen Crystaldiskmark testaus kun tein Qnapin nassiin iscsi file lunin ja liitin sen windowssiin vs. kingstonin 960Gb A400 SSD.

Spoileri: Nopeudet

------------------------------------------------------------------------------
CrystalDiskMark 7.0.0 x64 (C) 2007-2019 hiyohiyo
Crystal Dew World: Crystal Dew World
------------------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
* KB = 1000 bytes, KiB = 1024 bytes

[Read]
Sequential 1MiB (Q= 8, T= 1): 118.252 MB/s [ 112.8 IOPS] < 70297.71 us>
Sequential 1MiB (Q= 1, T= 1): 111.032 MB/s [ 105.9 IOPS] < 9427.47 us>
Random 4KiB (Q= 32, T=16): 115.659 MB/s [ 28237.1 IOPS] < 18081.41 us>
Random 4KiB (Q= 1, T= 1): 16.557 MB/s [ 4042.2 IOPS] < 247.03 us>

[Write]
Sequential 1MiB (Q= 8, T= 1): 115.081 MB/s [ 109.7 IOPS] < 72212.47 us>
Sequential 1MiB (Q= 1, T= 1): 107.964 MB/s [ 103.0 IOPS] < 9666.92 us>
Random 4KiB (Q= 32, T=16): 53.263 MB/s [ 13003.7 IOPS] < 36493.53 us>
Random 4KiB (Q= 1, T= 1): 8.123 MB/s [ 1983.2 IOPS] < 503.56 us>

Profile: Default
Test: 1 GiB (x2) [Interval: 5 sec] <DefaultAffinity=DISABLED>
Date: 2020/09/06 15:42:55
OS: Windows 10 [10.0 Build 19041] (x64)

QNAP 1gb


------------------------------------------------------------------------------
CrystalDiskMark 7.0.0 x64 (C) 2007-2019 hiyohiyo
Crystal Dew World: Crystal Dew World
------------------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
* KB = 1000 bytes, KiB = 1024 bytes

[Read]
Sequential 1MiB (Q= 8, T= 1): 476.246 MB/s [ 454.2 IOPS] < 17562.27 us>
Sequential 1MiB (Q= 1, T= 1): 450.103 MB/s [ 429.3 IOPS] < 2328.80 us>
Random 4KiB (Q= 32, T=16): 165.819 MB/s [ 40483.2 IOPS] < 12602.26 us>
Random 4KiB (Q= 1, T= 1): 31.847 MB/s [ 7775.1 IOPS] < 128.46 us>

[Write]
Sequential 1MiB (Q= 8, T= 1): 19.864 MB/s [ 18.9 IOPS] <405288.65 us>
Sequential 1MiB (Q= 1, T= 1): 467.152 MB/s [ 445.5 IOPS] < 2242.76 us>
Random 4KiB (Q= 32, T=16): 19.638 MB/s [ 4794.4 IOPS] <105273.84 us>
Random 4KiB (Q= 1, T= 1): 80.145 MB/s [ 19566.7 IOPS] < 50.97 us>

Profile: Default
Test: 1 GiB (x2) [Interval: 5 sec] <DefaultAffinity=DISABLED>
Date: 2020/09/06 15:46:20
OS: Windows 10 [10.0 Build 19041] (x64)

2,5" A400 ssd

Pitää katsoa tätä myöhemmin kun on enemmän aikaa josko saisi toimimaan hyvin. Nyt viikonlopun aikana tulee 10G vehkeet postista/VK:sta, niin kestää viritellä hetki. En saa nykyisessä nas-kotelossa 10G mahtumaan (mini-itx koppa, niin ei ole portteja/väyliä ilman riseriä tarjolla), niin pitää bondata 4 x 1G NIC:t, mutta routterista/kytkin kombosta loppuu tehot kesken, niin piti vähän päivitellä että saa 10G piuhoja huoneistossa tarpeeksi tarjolle (pari kpl ei riitä tähän päivitykseen). Ja koska nykyinen nas ei ole rakennettu ssd:t päälle, niin en oleta että pääsisin edes teoriassa yli 400M/s nopeuksiin edes sequentaalisesti (noita lukuja on tullut sisäisessä siirrossa nähtyä välillä, yleensä lähemmäs 300M/s), jolloin 4 x 1G riittää oikein mainiosti vielä kytkimelle asti. Siitä sitten pöytäkoneelle 10G SFP => RJ45 adapterilla. Tämäkin tosin aiehuttaa ongelman kun halusin päivittää pöytäkoneen NZXT H1:een, mutta ei löydy kuin 2,5G NIC:llä amd:n B550/X570 emoja (tosin, 2,5G on parempi kuin 1G, joten ehkä silläkin pärjää).

 

[jpo]

Sequential siirroissa et saa LACP:sta hyötyä, koska siirto tapahtuu vain yhtä linkkiä pitkin. Jos sulla olisi monta eri hostia joihin otat yhteyttä, ne jakaantuisi eri linkeille ja saisi etuja käyttöön. 10 gig vermeiden hinnat kyllä tulee mukavaa tahtia alas, mutta harmillisen vähän missään kuluttajaemoissa vielä näkee.

 

[minapamina]

Sequential siirroissa et saa LACP:sta hyötyä, koska siirto tapahtuu vain yhtä linkkiä pitkin. Jos sulla olisi monta eri hostia joihin otat yhteyttä, ne jakaantuisi eri linkeille ja saisi etuja käyttöön. 10 gig vermeiden hinnat kyllä tulee mukavaa tahtia alas, mutta harmillisen vähän missään kuluttajaemoissa vielä näkee.

Tämä, kytkin osoittaa session menemään jotain tiettyä rööriä pitkin LACPissa, jolloin ko. sessio voi käyttää max sen gigasen linkin. Kuten yllä sanottiin, sessioita pitäisi olla useita (mieluusti monesta sourcesta moneen destinationiin), ja sessioiden pitäisi olla maltillisen kokoisia vrt. yhden linkin maksimikapasiteettiin, jotta LACPista saisi kaiken irti.

 

[samim]

Multipath TCP - Wikipedia

en.wikipedia.org

Ei vaan kovin moni softa taida vielä osata tätä.

 

[Mechanical Man]

Onkos iscsi vielä juttu, ainakin solariksen zfs implementaatiossa toimi. Sillä varmaan pelit pyörähtää.

 

[dun]

No voi jösses kuinka vaikea Winkkarissa on saada iscsi toimimaan. En ole saanut vielä millään vaikka linuxissa pyörrii just nätisti ja kaikki toimii bueno.

Seurasin tätä ohjeta (How to Setup an iSCSI Storage Server on Ubuntu 20.04 LTS) ja tein Ansiblella itselle uuden roolin joka pistää paikoilleen. Ei silti toimi.

Onkohan onglma siinä että target on ZFS dataset jota ei ole alustettu millään tavalla. Ainakin target tulee ylös näillä tiedoilla.

# iSCSI serveri
$ sudo iscsiadm -m discovery -t st -p 192.168.XXX.XXX
192.168.XXX.XXX:3260,1 steamlibrary.localdomain:lun1

$ sudo iscsiadm -m session -o show
tcp: [8] 192.168.XXX.XXX:3260,1 steamlibrary.localdomain:lun1 (non-flash)

# Windows 10 WSL2
$ nc -v 192.168.XXX.XXX 3260
Connection to 192.168.XXX.XXX 3260 port [tcp/iscsi-target] succeeded!

Edit:
No voi huoh, tämä steppi puuttui

sudo tgtadm --lld iscsi --op bind --mode target --tid 1 -I ALL

Tuon kun syötti käsin niin alkoi toimia, pitääpä lisätä Ansible rooliin tuo...

 

[samim]

Ei ole ollut mitään haastetta saada Winkkariserveriä käyttämään valmista iSCSI-Lunia. Service päälle ja iscsicpl.exe:llä konffaamaan yhteydet päälle.

 

[dun]

Ei ole ollut mitään haastetta saada Winkkariserveriä käyttämään valmista iSCSI-Lunia. Service päälle ja iscsicpl.exe:llä konffaamaan yhteydet päälle.

Hyvä sinulle, minulla kesti aika kauan saada toimimaan. Ajelen winkkarin puolelta AS SSD testin 1G allokaatiolla (isoimmalla oli hieman erilainen vaikutus, kaikki allokaatioluvut mahtuu tosin ARC-muistiin, niin ei ole niin hirveästi väliä) ja aika hyvin rasittaa kyllä serverin cpu:ta

Tässä itse Winkkarin puolelta tulokset kanssa. Tein 100G zvol:in tuolle (dataset ei toimi).

Verokkina nopeus Samsung 970 EVO 1TB:llä

Ja Samsung 840 Evo 1TB:llä

Plussaa on myös se että lennosta voi muutela voluumin sisältöä niin kuin block-levyjaossa pitääkin pystyä. Onneksi Microsoft ei ole sössinyt tätä...

Ärsytykset Winkarista:

• 16-bittinen salaus (eli 12-16 merkkiä pitkä salasana toimii, mikään muu ei).
• Speksit on vähän sinnepäin mitä pitää syöttää ja mitä ei. Jotenkin aika ysärifiilis ja että on menty siitä missä aita on matalin.

Mitä tämä sitten mahdollistaa?

• 10G verkon enabloituani (osa raudasta jo päivitetty, kytkintä vielä mietiskelen) pitäisi sequentaalinen nopeus nousta, en tiedä vielä miten vaikuttaa random-write/reads kohtaan.
• Jokaiselle clientille oma zvol (tämä on plussa ja miinus, saman voluumin mounttaminen kahdessa paikassa on ei ei). Tässä ehkä pitää miettiä deduplikoinnin enablointia, niin ei tarvitse maksaa saman binäärin uudelleen tallentamisesta isoa tallennushintaa. Toistaiseksi ei ole tarvetta tälle, helppo kuitenkin toteuttaa ZFS:llä.
• Yllättävästi latausajassa ollaan täysin verkkoviiveen varassa, eli pyörivään kiekkoon nähden nopeus on n. 10-12x (ARC/L2ARC on ihana asia... Tosin minulla ei ole L2ARC enabloitu nyt kun siitä ei ole mitään hyötyä ennen ZFS 2.0 versiota joka ei tule vielä hetkeen).

 

[dun]

Katsotaanpa mitä Red Dead Redemption 2 sanoo nyt...

Edit: Voi jösses asennusaikaa (30-70MB/s tulee steamista normisti)...

Edit2: Sama kone, lataus aloitettu uudelleen NVME levylle (eli ei pitäisi olla levyn pullonkaulana)

Kokeilen ladata ensin NVME libraryyn ja sitten siirtää iscsi levylle (jolloin siirto tapahtuu sequentaalisti randomin sijaan). Tällöin pitäisi olla nopeampi, saa nähdä miten vaikuttaa pelin latausaikohin...

Edit3: Jep, toimii just niin kuin ajattelin. Eli random-write / suora lataus steamista on huono idea...

 

[dun]

Jeps, hyvin toimii. Latausajat on hitaammat, mutta ei mitenkään merkittävästi. Vastaa varmaankin aika tarkkaan 7200rpm mekaanista levyä (paitsi task managerin mukaan latenssi pysyy kokoajan kurissa ja pyörii pelin aikana alle 10ms, mikä on parempi kuin perinteisellä ruosteella). Tarpeeksi suorituskykyinen z2 pakka näköjään riittää pelaamiseen ihan hyvin.

Testailen vielä 10Gbe verkolla (tosin mini-itx emolevyltä löytyy vain intelin 2,5G linkki, mutta on sekin parempi kuin 1G) kunhan saan sen jossain vaiheessa konffitua ja otettua käyttöön (en ole vielä päättänyt mallia jonka tilaan), verkko räkissä on vielä 1U tilaa. Joku hiljainen pitäisi löytää. Muu verkkolaitteisto on Ubiquiti Unifi:n rautaa, mutta XG switchi ei kiinnosta pätkääkään, mutta oikein parempaa ei ole tarjolla Ubiquitilta joka olisi järkevä.

Joka tapauksessa tämä ei ole millään tavalla kyllä järkevää, halvemmaksi tulee hommata Sandisk Ultra 370€ 4TB Amazonista (tarjouksessa nyt), koppaan ei mahdu 3.5" levyt ja 2,5" tuumaisissa ei ole kuin noita SSD:tä vaihtoehtona. Nykyiseltä Nassilta 4-8TB zvolumin dedikoiminen tähän tarkoitukseen pienentää rajusti käytettävissä olevaa tilaa... Varsinkin kun tämä tiedon ei tarvitse olla snapshotattavaa ja tärkeää. No aina voi olla syy perustella itselle että pitää ostaa 8 x 20TB levyjä korvaamaan vanhat. Tai 8 x sas SSD levyjä (tosin, hinta on vielä 4-10x mitä ruosteraudalla).

No pääasia että tuli testattua ja varmistettua itselle että tälläkin tavalla saa toimimaan. Homelab pyöritys on ihan jees, mutta ei tässä kyllä mitään järkeä ole rahallisesti.

Edit: Juuri pääsin sanomasta niin tp-link julkaisi passiivisen 5 portin 10GbE kytkimen (tp-link tl-sx105), joka täyttäisi speksit juuri sopivasti. Isompi 8-porttinenkin olisi, mutta siinä on tuuletin. Löytyi hyvä m.2 => pci-e (3.0 x4) 30cm letkulla niin saa tarvittaessa 10GbE kotitkin kiinni molempiin vehkeisiin. Hyvä hyvä, pääsee taas eteenpäin.