Keskustelua yliskaalaustekniikoista ja frame generaatiosta Nvidia Dlss, Amd Fsr, Intel Xess, Lossless Scaling

[pomk]

Kuulostaa aika paljon säteenseurantaa hyödyntävien pelien käyttämiltä denoisereilta. Myös ne toimivat screen space filtterin tavoin ja väistämättä haaskaavat alkuperäistä ehtaa säteenseurannalla saatua valaistusinformaatiota prosessoidessaan siitä loppukuvan. Syy miksi tähän valaistusinformaation uhraamiseen lähdetään on denoisereiden kohdalla sama kuin DLSS 5:nkin: estetiikan tavoittelu.

Denoiser on tyypillisesti pelissä väkisin käytössä, kun asetuksista isketään säteenseuranta efektiä kehiin.

Arvaan, ettet kuitenkaan niiden kehitystä tai edes päälle pakotusta juurikaan vastusta?

Kertoisitko ihan esimerkein että miten denoiseri haaskaa säteenseurannalla laskettua dataa? Keskiarvoahan se laskee niistä säteistä nvidialla vieläpä mallin pinnoille, eli ei haaskaa mitään. (Oikeasti toki ovat monimutkaisempia rakenteita)

Tavallaan voi sanoa että dlss6 voi sisältää mitä vaan, ja tavallaan ei.

Jep. Turhaa spekuloida siis. Siitä on hauskempi spekuloida että onko tällä nykytekniikalla mitään tulevaisuutta.

 

[hik]

Turhaa spekuloida siis. Siitä on hauskempi spekuloida että onko tällä nykytekniikalla mitään tulevaisuutta.

Nykytekniikan tulevaisuuden nykyisyys alkaa vasta syksyllä

 

[pomk]

Nykytekniikan tulevaisuuden nykyisyys alkaa vasta syksyllä

Onhan tuo jo olemassa, demottu jopa. Nykytekniikkaa siis.

 

[Halpuuttaja]

Kertoisitko ihan esimerkein että miten denoiseri haaskaa säteenseurannalla laskettua dataa?

Mun ymmärtääkseni se denoiseri, etenkin tekoälyllä tehty, lähinnä ennustaa/arvioi miltä kuvan pitäisi näyttää sen sädedatan perusteella. Ja tämä ennustaminen on aina enemmän tai häviöllistä/virheellistä. Tätä tarkoitin haaskaamisella.

Voi olla että se käyttääkin kaiken saadun datan mitään haaskaamatta ja sitten ilmaisuni oli huono.

Onko siis niin, että jos me käytettäisiin jotain tyypillistä videopelin denoiseria erittäin isolla budjetilla, vaikkapa 100 000 sädettä/pikseli rendattuun PT-kuvaan, ei kuvan laatu kärsisi siitä filtteristä lainkaan? Jos kärsii, mielestäni voidaan sanoa, että säteenseurannalla laskettua dataa haaskataan denoiserilla.

Oli miten oli, vähintäänkin denoiserin käyttäminen haaskaa GPU-aikaa, jolloin säteitä on varaa ampua vähemmän.

 

[pomk]

Mun ymmärtääkseni se denoiseri, etenkin tekoälyllä tehty, lähinnä ennustaa/arvioi miltä kuvan pitäisi näyttää sen sädedatan perusteella. Ja tämä ennustaminen on aina enemmän tai häviöllistä/virheellistä. Tätä tarkoitin haaskaamisella.

Tällöin kyseeessä ei ole denoiseri vaan img2img generatiivinen tekoäly. ML toteutukset eivät todellakaan kaikki toimi kuten esität.

Vaatii aika herkän testiasettelun tuloksineen jotta voisi väittää että se heittää hukkaan osan sädedatasta, jota ilman denoiseria näytettäisiin käyttäjälle.

Onko siis niin, että jos me käytettäisiin jotain tyypillistä videopelin denoiseria erittäin isolla budjetilla, vaikkapa 100 000 sädettä/pikseli rendattuun PT-kuvaan, ei kuvan laatu kärsisi siitä filtteristä lainkaan?

En tiedä. Riippuu denoiserista ja niitä on kymmeniä erilaisia eri peleissä.

Oli miten oli, vähintäänkin denoiserin käyttäminen haaskaa GPU-aikaa, jolloin säteitä on varaa ampua vähemmän.

Samoin kuin TAA (kuten dlss) haaskaa gpu aikaa ja saatais korkeampi resoluutio ilman. Kyllä niitä säteitä kannattaa aiemmilta ruuduilta käyttää hyödyksi kun uutta kuvaa lasketaan. Ruudulle jää mustia pikseleitä ja korostettua rakeisuutta jos mitään denoiseria ei käytettäisi.

 

[Halpuuttaja]

Riippuu denoiserista ja niitä on kymmeniä erilaisia eri peleissä.

Ok eli sanot, että on denoisereita, jotka toimivat niin, etteivät täydellistä, äärettömän budjetin PT-kuvaa lainkaan muuttaisi. Jos noin, niin mulla oli väärä käsitys denoiserien toimintatavoista ja seison korjattuna.

 

[Kaotik]

Juu mutta tuo on sivuseikka ottaen huomioon että AMD voisi FSR 5 mallissaan tasan samoja inputteja hyödyntää kuin tuollainen denoiser etkä silti omien sanojesi mukaan toivo heidän sellaista kehittävän.

Unohdin edelliseen vastaukseen mainita, että AMD:llahan on siis ~vastaava Ray Regeneration -denoiseri kuin NVIDIAlla. Mutta ajatukset säteenseurannasta ei sillä tietenkään muutu.

 

[Halpuuttaja]

Tuosta DLSS5 filtteristä puhuin etten toivo, ehkä ilmaisin itseni huonosti tai luin hätäiseen.
Mutta kuten jo totesin (ja huomasitkin) IMO säteenseurannalla voisi heittää vesilintua kunnes voidaan ampua tarpeeksi säteitä (sisältäen tarpeeksi korkean reson eikä mitään skaalainroskaa)

Itseasiassa mä luin hätäisesti.
AMD FSR 5:lla viittasin siis juurikin DLSS 5:ttä vastaavaan hommaan, kun sanoit ettet toivo AMD:n sellaista tuovan vaikka kuinka kehittyisi. Sanoit että denoiser toimii tyypillisesti g-bufferissa, sekoitin z-bufferiin ymmärtäen että tarkoitit että syvyyttä käytetään inputtina ja siitäpä sotkeutui asiat.