Uusi benchmark/analysointityökalu Bonthrox PC Analyzer – palautetta scoringista ja telemetryistä

[ZapotaZ]

Hei,

olen kehittänyt harrasteprojektina Windowsille benchmark- ja analysointityökalua nimeltä Bonthrox PC Analyzer.

Projekti lähti alun perin omasta tarpeesta kilpailulliseen koneen säätämiseen. Ja jossain vaiheessa kun eri mittausohjelmistojen 1% low ja muita virhe arvoja ei pystynyt selittämään.
Tuli ajatus siitä että toimivatko nuo ohjelmistot? Joten testasin tuottaa itse samanlaisia mittausohjelmistoja eri mittaustilanteista. Ja tosin en itse pystynyt tuottamaan samoja virheitä.
Joten optimointi noilla ohjelmistoilla oli hukkaan heitettyä aikaa. Noh sittemmin, tämä on ryöpsähtänyt jo aika monelle eri osa-alueelle, jotka ei enää liity varsinaisesti kilpapelaamiseen.

Tarkoitus ei ole korvata nykyisiä benchmark-ohjelmia tai overclocking-työkaluja, vaan tuoda lisää variaatioita, uusia benchmark-ideoita ja vaihtoehtoisia tapoja tarkastella suorituskykyä.
Itselläni on vakaa ohjelmistokehitys osaaminen, mutta koneiden ylikellotamisessa olen vielä alkutekijöissä.
Olisi mukava saada teknistä palautetta benchmark- ja koneen säätöä harrastavilta, sekä yleistä palautetta eri kokoonpanoilla.

Kaikki palaute kiinnostaa:

bugit ja vakausongelmat
- UI-/UX-ehdotukset
- visuaalinen tyyli ja layout
- uudet benchmark-ideat
- sensoridata ja yhteensopivuus
- scoring-järjestelmän toimivuus
- painoarvojen tasapaino
- benchmarkien realismi
- frametime- ja latency-metriikat

Otan vastaan myös kriittistä palautetta, jos jokin benchmark-logiikassa, scoringissa tai käyttöliittymässä tuntuu huonolta tai epäreilulta.
Yhteisön palaute olisi tärkeä lisä ohjelmiston toimivuudesta. Esim tuota Benchmark scorea piti jo säätää vaikeammaksi, koska se antoi liian helposti täydet.

Ohjelmisto on tarkoituksella kehitetty siten että UI ja tausta logikka on erotettu eriksi.
Näin tuohon bäckendiin, voidaan toteuttaa erillaisia console ohjelmia, ja myös tehty niin
että tulevaisuudessa AI voi suoraan napata kiinni, ja suorittaa kaiken mitä ohjelmassakin voi tehdä.
Bäckendissä löytyy API rajapinta kuvaus, jos haluat itse nikkaroida console tai ui ohjelmaa.
Itsellä esim oli tulossa tuohon, Side monitoria varten ohjelma, joka tuolta nappaisi tiedot.

Asenusohje,
- Asenna ensiksi Bonthrox Core Bridge
- Asenna PawIO (sensori datoja varten)
- Asenna Bonthrox PC Analyzer

Note: Ilmaiset lisenssi avaimet nettisivulla.

Käyttö,
- Käynnistä ensiksi Bonthrox Core Bridge
- Sitten Bonthrox PC Analyzer

Note: Ohjelmat herjaa tuntemattomasta installerista. Jos haluaisi tuon herjan pois pitäisi maksaa certistä 200e vuodessa.

GitHub / lataus:
- Releases · eexzapo/bonthrox-core-bridge
- Releases · namazso/PawnIO.Setup
- Releases · eexzapo/bonthrox-pc-analyzer
Nettisivu / lataus:
- eex9se - Bonthrox core bridge
- eex9se - Bonthrox Pc Analyzer

 

[ZapotaZ]

Moro,

Tässä joitakin esimerkkejä, ohjelmasta,

- Noiden cashe latencejen lisäksi myös Cashe Hits and Miss. Et ihan mielenkiintosta vertailua Intel / AMD, et tuntuu toimivan ihan eri tavalla. -> Eli käytetäänkö noita oikeasti? Et joissakin testaissä näyttäs et ohittaa suoraan L1 ja siirtyy L2. Jollon 2 kertaa suurempi latency.

- Sitten testailin DDR5 calculatoria, tommosiakaan ei taija olla. Sitten Extraks lisäsin nuo Timing taulut. Kun jos jotain säätää, miten vaikuttaa ja mihin? niin tuon pitäs samasa suhteessa säätää noita. + Otettu myös standarin säännöt, eli tulee virhe huomautus jos jotakin koitaa säätää hassusti.

- Sitten joitakin uusia testejä, esim Virtual Memory Stress, -> Kun kaikki ohjelmat ja pelit kuitenkin käyttää virtuaali muistia, niin kuinka hyvin se toimii? Jne,ihan mielenkiintonen.

- Sitten FPS optimointiin, tein omat suljetut grafikka testit että saadaan tosi tarkasti jokanen frame. Eikä mittaus ohjelman kautta. Jollon jos tuolla saa optimoitua niin auttaa peleissä. + Paljon nopeampaa kuin käynistää peli aina uusiksi.

- GPU stress testeissä myös DirecX shader cashe, Optimointi, Eli tilanne jossa peli alkaa lennosta generoimaan koodia, ja laitta tai hakee sitä kovalevyltä. Jollon tuo hetki tuo sutteria. Eli kun tuon pystyy generisesti tuottaamaan, sitä voi koittaa optimoida pienemmäksi. Eli pienempi latency. Jne.

 

[Requiem]

Täytyypä kokeilla kun palaan mökkeilemästä.

 

[ZapotaZ]

Moro,

Tein uuden buildin ja lisäsin, (eli pitää poistaa vanha softa ja asentaa uusiks :/ )

1. Network stress -> Elikkä jos epäilee netin toimivuutta, niin lisäsin tähän vielä "Reittipisteet" eli hops. Eli minkä reititimien/nodejen läpi se sukeltelee. Ja niiden väliset viiveet. Tolla voi vähän haarukoida missä kohti se pullon kaula vois olla. Jos epäilee nettiä. Ja tuossa on vielä sekin pätkä Oma kone <-> Reititin. Et koko polku. Jotkut Hops ei aina vastaa tuohon nii voi olla arvo tyhjä.

2. Sitten lisäsin tuohon AI benchmarkaukseen vielä GPU ohjauksen. Eli joko CPU tai GPU kyvykkyyttä paikallisen mallin pyörittämiseen testaan. Ja paikalliset mallit pitää ladata. Esim tuo PHI3 mitä käytin niin pienin.

microsoft/Phi-3-mini-4k-instruct-onnx at main

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

microsoft/Phi-3-mini-4k-instruct-onnx at main

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

2.1 Elikkä tuosta saa sitten et kuinka monta tookenia sekunnisa pyöräyttää. Et tostaa sit et vaikka, 30 tokens/s / 1.3 ≈ 23 sanaa/s. ... Eli tällä voi vähän testailla työasemien AI kyvykkyyttä,
2.2 Tähän pitäs vielä jatkokehittää jossai vaihessa et pysty NPU yksikölle intelille ohjaamaan. Mut en tiiä meneekö se sit vähän samana gategoriaan kun intelin BitOptimointi. työkalut. Eli parempi ihan vapaalla CPU testailla.
Ja semmonen huomio näistä paikallisten mallien pyörittämisestä. Eli tartee olla sen verran vapaata RAM ku mallin koko et jos malli vaikka 96 gigaa, nii yhtäpaljon rammia. Tai jos näytiksellä nii siellä rammia.

3. Sitten lisäsin tuohon CPU stress testiin, Ampeerit, Mut noh sitten tuli ajatus et sama lisätä muitakin energian mittaus arvoja.
Näistä nyt sitten saa kaikkee jännää,
3.1 Esim (PAPR / power Burst Factor), Jos kerroin 1 tasanen kuorma, jos enempi, epätasanen kuorma. Jos haluaa"tasaisemman" ja vakaamman tehonkulutuksen pitäs olla lähemnpänä 1. Sitten jos haluaa hetkellisesti enempi tehoja lisää lyhytaikaista "burst"-potkua (Luku suuremmaksi).
3.2 Dynaaminen vastus (Dynamic Resistance) -> Kun piiri kuumenee, sen sisäinen vastus muuttuu ja ns. vuotovirta (leakage current) kasvaa. Tämä on tärkeä arvo, jotka haluavat optimoida emolevyn virransyötön (Load-Line Calibration eli LLC) toimintaa. Eli ymmärtääkseni menis 33 mΩ tai alempi -> Voi nostaa akressiivisemmaks, tai 50–60 mΩ tai enempi Pidä LLC-taso löysänä / matalana. ... yleisestihän tuon on neuvottu olevan medium tasolla. Sen kummemmin kertomatta miksi, mut noilla pystyy nyt vähän haarukoimaan.
3.3 Jäähdytyksen tehokkuuskerroin (Terminen vastus) -> °C/W -> Se paljastaa suoraan jäähdyttimen laadun riippumatta siitä, kuinka paljon prosessori kuluttaa virtaa. Jos kahdella käyttäjällä on sama CPU, mutta toisella tulos on 0,35 °C/W ja toisella 0,60 °C/W, jälkimmäisellä on huono kontakti lämpötahnassa tai alitehoinen jäähy. Pienempi luku on parempi.
3.3.1 Eli periaateessa tuolla pystys tekemään Eri jäähdytimien tai jäähdytystahnojen mittausta. Et mimmosia eroja tulee.

 

[ZapotaZ]

Ja sellainen huomio tuosta DDR5 calculaatorista, et siinä tosiaan oli liian tiukat rajat nii ei voinu itte säätää. Löysennetty.

Site esim jos koittaa laittaa näitä buildzoid arvoja siihen, niin Osa näistä arvoista on Emolevy kohtaisia eikä JEDEC spec mukasia. Nii jos laittas tuen kaikille arvoille nii pitäs tietää kaiki emolevyvalmistajien omat nimeämiset. Joten helpompi pysyä vain JEDEC.

System memory multilier:60
Infinity fabric freguenzy:2000mhz
CAS latency:30
tRCDWR:36
tRCDRD:36
tRP:36
tRAS:30
tRC:68
tWR:48
tREF:65535
tRC1:500
tRC2:400
tRCsb:300
tRTP:12
tRRD_L:8
tRRD_D:4
tFAW:20
tWTRL:16
tWTRS:6
tRDRD_SCL:4
tRDRDSC: AUTO (8)
tRDRDSD: AUTO (8)
tWRWR_SCL:4
tWRWRSC:1
tWRWRSD: AUTO (15)
tWRWRDD: AUTO (15)
tWRRD:2
tRDWR:16

 

[ZapotaZ]

Lisätty uuteen release versioon,
- Sientific benchmark -> Eli eri vuosina on tehty matemaatisia laskenta kilpailuita tietokoneen suoriutusmiskyvylle eri osa alueilla. Nii nää on näitä kisa testejen laskentoja. Et näillä pystys hakemaan vielä pieniä eroja CPU,MEM, GPU toiminnasta. (Nuita on aika iso nippu niin toteuttu jo suurin osa)

- CPU stress testiin lisätty, jännite sensorin valinta, Kun tosiaan buildzoid videolla esim esitettiin et noi ei vältis oo taarkoja. Ja Esim AMD uusilla emolevyillä tuota ei saa oikein kiinni. Mistä kohti oikeasti ottaa ton.

-- Mut sitten kun saadaan oikea jännite kiinni. Esim Intelillä antaa kivasti jänniteen valita ja saadaan LLC käppyrät. Täsät oli tuossa toisessa keskustelusta, että voidaan mitata tuota LLC piikki jännitettä mikä iskee linjaan jos liian kovasti mitattu. Et ehdotus ois toi.

- Sitten oli tuolla toisessa keskustelussa hyvää pöhinää tuosta ´Muisti latency mittauksessta, ja ehkä siitä et huijaako muistivalmistajat. Tai onko käytöjärjestlemässä jotain säätö ongelmia.
-- Lisätty, lähellä rautaa oleva mittaus,. Latencylle.

-- Ja tämä mittaus tapa jolla saatas tuota eroa selville. Se sitten on eri asia mistä tämä johtuu. Onko Bios / Win säädöt väärin, vai mistä kyse. Mutta esim tässä kun testaan ajaa muisti testi 1cpu - 8 cpu. Niin huomataan et toi ei ookaan tehokkaampi aina useammalla korella, jotain ihme notkahduksia
.. Noh mitä tuolla tiedolla tekee? Kilpapelaamisessa kun metsästetään noita 1 prossa low, nii tolla vois vähän haarukoida mistä vois johtua. Yks osa alue

-- Ja tehokkuudesta, Niin jostain syystä toi 8 coree ampu ilmeisesti 60% hukkaan tuota tietoo. Jollon vaikka ois nopeampi, tekee kauheesti sotkua.

 

[Salaliittoteoreetikko]

Eex9se sivustot tallentavat kysymättä luuriin 7.1mb data, mitä? Itse ohjelmaan en ole tutustunut ja sivustoonkin vasta mobiililaitteella.

 

[ZapotaZ]

Eex9se sivustot tallentavat kysymättä luuriin 7.1mb data, mitä? Itse ohjelmaan en ole tutustunut ja sivustoonkin vasta mobiililaitteella.

Kiitos huomiosta.

Tuo johtuu todennäköisesti ihan sivuston toteutustekniikasta. Sivusto on tehty WebAssembly-pohjaisella tekniikalla, jossa osa käyttöliittymästä ja sen tarvitsemista tiedostoista ladataan selaimeen, eikä kaikkea renderöidä palvelimella jokaisella sivulatauksella.

Tuo 7.1 MB on todennäköisesti selaimen normaalia välimuistia: kuvia, fontteja, CSS/JS-tiedostoja ja muuta sivun staattista materiaalia. Eli ei käyttäjädataa tai mitään laitteen sisältöä, vaan sivun lataukseen liittyviä tiedostoja, jotka selain cachettaa nopeampaa käyttöä varten.

Tarkistan vielä assettien koon ja cache-asetukset, koska mobiilissa 7 MB voi näyttää turhan isolta. Sivusto ei kuitenkaan tarkoituksella tallenna henkilökohtaisia tietoja ilman lupaa. Kiitos kun nostit tämän esiin.

 

[ZapotaZ]

Joitakin featureja lisätty,

- Testitulosten "tarkastelu", esim tulosten normalisointi, et voi kahtoo noi halutut ajot vierekkäin. -> ja koska tommosta isoa numero dataa vaikea vertailla niin tommosta 1 dataa ehket helpompi (eli normalisoidaan). Ja valitsemalla normalisoinnin kohde voidaan valita minkä mittauksen suhteen noita tarkastellaan.

- Laitettu myös varotustekstit ohjelmistojen käynnistyksiin, näitähän ei monessakaan "AS IF" - ohjelmistossa ole, tai muutenkaan stressitesti ohjelmistoissa, mut ehkä selkeyden vuoksi.... Jos tuon haluaa pois -> asetusvalikosta täppä.

- GPU stress testiin lisätty AVG fps rinalle aritmeettinen, harmoninen, ja geometrinen mean. + testituloksen mahdollinen Quantization error effect.

 

[ZapotaZ]

Lisätty uuten buildiin 6 uutta rasitus testiä kovolle.
- Esim itte ostin ton Western Digital 14900 MB/s ssd. Niin tuntuu et noi perinteiset nopeustesti ei oikein päde/pure tuohon, niin nuo 6 uutta, koitaa häivyttä tuota et ssd sisällä on oma nopea muisti tai pakkaustekniikka. Niin lähinnä et onko toi saatu vaan näytämään 14900 MB/ .. mut oikeesti se ois sitten joku 6000-8000. Tolla vois koittaa tuota kaivella

- Sitten toisella forumilla oli polemiikkia tuosta et huijaako komponettivalmistajat, benchmark tai stressi testeissä. Et ne tunnistaa et nyt mitataan, ja samalla muuttaa testin ajaks tietokoneen asetuksia.
Tässä nyt ois ala reunasta klikattava Integrity monitor, jolla voi koitaa seurata tuota.
Nyt mitataan,

• Windowsin aktiivisen power planin muutokset
• monitorin oman heartbeatin viiveet, eli mahdolliset seurantakatkot
• benchmarkin measurement-session käynnistyminen, virheet ja datagapit
• Sensorilähteen saatavuus ja mahdolliset sensoridatan katkokset
• PresentMon-capturen tila, frame-datan katkokset ja virheellinen päättyminen
• monitorin omat sampler-/tallennusvirheet
• kesken jääneet monitorointisessiot restartin tai stopin jälkeen

Tuohon voisi esim lisätä, että mimmosia keskeytyksiä tai taustapalveluja pyörii ajojen aikana. Eli periaateessa tämä on "Anti-cheat" feature.

 

[ZapotaZ]

Testasin tuota Kovon rasitustestiä -> WD_BLACK SN8100 2000GB -> Et miten pääsee tohon ilmotettuun 14,000MB/s.

Et vasta tuommosella 128gb / 4 workeriä , 1mb blokkeja, kuormalla sai 13 424 MB/s

Ja pienemmällä 32gb ja 1mb blokkeja, sai ton 14000 MB/s.

Sitte tommosella normi käytöllä 32gb 4kb blokki--> 1 900–2 000 MB/s jos pikku tietoja haetaan.

Tosin myös jos sallitaan windows puskurin käyttö, eli pitää levylle menevää ja tulevaa RAMilla, jollon päästään 20 000mbs 32gb Rammilla.

Et toki juurikin tuo et miten ohjelmat on koodattu. Et toi viimenen vois olla myös lähempänä oikeeta käyttötapausta. Et peli dataa ei joudu ihan kylmiltään hakemaan ssd kuin noissa ekoissa, et uskoisin et peleissa ja modeneis ohjelmis toi puskuri on käytössä. Mut sitte taas, mittaako tuo enemmän RAM toimivuutta. Jollon noi ylemmät ois oikeempi tapa.

Mut AnyWay, säädettävät asetukset nii voi tutkia.

 

[VVS]

Yritin testata, mutta Analyzer valitti vain, että ei yhteyttä bridgeen. Bridge kuitenkin käynnissä. Tiedä sitten mikä blokkasi yhteyden.

EDIT: Tämä siis kun yritin ajaa benchmarkkia.

 

[ZapotaZ]

Yritin testata, mutta Analyzer valitti vain, että ei yhteyttä bridgeen. Bridge kuitenkin käynnissä. Tiedä sitten mikä blokkasi yhteyden.

EDIT: Tämä siis kun yritin ajaa benchmarkkia.

1. Eka apu on vain käynnistää Ohjelmat uudestaan.... Ekana Bridge, sen jälkeen UI ohjelma.

1.1 Jos ei auta Sammuta UI ohjelma, ja Luo tookenit url uusiksi
1.1.1 Tarkasta Bridgestä onko Protect state kohdassa estoja, voit postaa ne painamalla -> Clear Active protections
1.1.2 Luo Tooken uudestaan -> Regenerate token
1.1.3 Lopuksi -> Save
(Tämä tallennus voi kestää jonkin aikaa kun se odottaa että palvelu sammuu. Mut jos jää liian pitkäksi aikaa niin sitten vois sammutaa.)

Bridgen pitäisi automaattisesti luoda Tookenit ja URL ympäristö muuttujaan, Josta PC analycer käynnistyessään hakee ne.

Tässä joitakin mitä voi tarkastaa.

2.1 UI puolella Tooken ja url:
Settings valikosta löytyy URL ja tooken, Ja nappi (Test connection) voi kokeilla,

2.2 Bridgen puolella, Tooken ja url,

2.3 Windows ympäristö muuttujat, URL ja Tooken,

3. Debuggaus logit:
Bäckendistä löytyy logi josta näkee mitä ohjelma tekee virheet,

Ja UI puolella, Logs, ajaa testejä, logit tulee tänne

Yleensä jos joku tommonen jumi, niin käynnistää ohjelmat uudestaan. Eka Bridge sitten PC analycer. Jos ei auta, katsoo onko estoja, tai luo tookenin uudestaan, tai Save napista pakkokäynistää uusiksi.

 

[ZapotaZ]

Semmonen piti vielä mainita, et jos tuntuu että ajo jää jumiin tai kestää liian pitkään, niin bridgen puolelta Background jobs, nii täältä voi nähdä ajon jos päällä. Ja voi myös sammuttaa. Muistaakseni suurin osa ajoista ellei kaikki pyörähdä tausta-ajo workereinä.

 

[ZapotaZ]

Joo, tuossa tosin oli hieman haasteita noiden sensori datojen kanssa. Niin testailin tämmöstä vaihtoehtoo et HWinfo:sta haetaan datat. Eli tämmönen hwinfo integraatio,
Niin tämä nyt tarjoaa esim AMD 328 sensoria.

Eli idea, et voidaan valita halutut mittaritiedoit mitkä kaapataan mukaan eri stressi testeissä.

Esimerkiksi, valitaan tosta halutut sensorit. Sit tallennetaan ja laitetaan start. (eli hwinfo pitää olla päällä ja käynnistetty + asetuksitta laitettu shared memory 12h päällä, se nollaa sen ilmase veriossa ina 12h käytön jälkeen joten se pitää käydä aina laittamassa takasin.) Siten kun ajetaan vaikka muisti rasitustesti,

Ja ajon jälkeen täältä sit saa auki ton. Et tämmönen esitys tapa vois ehket olla paljon selkeämpi. Ja saa itte valita, et minkä suhteen haluaa asioita tarkastella.