Keskustelua yliskaalaustekniikoista ja frame generaatiosta Nvidia Dlss, Amd Fsr, Intel Xess, Lossless Scaling

[pomk]

AI ei simuloi mitään. Se koittaa jäljitellä sitä, mille realistisesti valaistu kuva näyttää, eikä osaa kunnolla huomioida, mitä valonlähteitä siinä kuvassa oikeasti on. Tällä hetkellähän tässä käytetään liikevektoreita ja väri dataa pohjana, mikä ohjaa sitä AI:n teoksia. Ehkä tulevaisuudessa tähän saadaan lisää inputteja, mitkä ohjaa tuota, jolloin ylimääräisiä valonlähteitä ei ehkä tule mukaan.

Onhan tämä siinä mielessä takapakkia, että mennään oikeasta valon simuloinnista taas feikkaamiseen, mutta eihän tätä ole mikään pakko käyttää. Varmasti joissain peleissä, kuten Star Field, tästä voi olla oikeasti iso hyöty, jos haluaa tavoitella realistisempia yleisilmettä peliin, välittämättä siitä, onko se skenen valaistus ihan prikulleen simuloitu niiden valonlähteen mukaisesti.

Noniin, ja jos kerran tekaistu valaistus on ihan ok, niin miksi ajaa path tracingia ylipäänsä? En ymmärrä, etenkin jos konteksti otetaan edellisestä viestistäsi:

Tämän teknologian tarkoitushan on tuoda sitä korkean tarkkuuden path tracingin tuomaa realisistisuutta kuvaan jo nyt

Tämä ei lisää tai tuo korkean tarkkuuden path tracingin realistisuutta. Se vaatisi sitä path tracingia tai parempaa denoiseria.

 

[P c L A Y E R]

Noniin, ja jos kerran tekaistu valaistus on ihan ok, niin miksi ajaa path tracingia ylipäänsä? En ymmärrä, etenkin jos konteksti otetaan edellisestä viestistäsi:

Tämä ei lisää tai tuo korkean tarkkuuden path tracingin realistisuutta. Se vaatisi sitä path tracingia tai parempaa denoiseria.

Enkö juuri sanonut, että se antaa yleisilmeeltään paremman tason path tracingiä muistuttavan kuvan. Ei se ole tietenkään sama tai yhtä hyvä asia, kun oikeasti korkeatasoinen path tracing, joka oikeasti simuloi sen valon.

Sitä olen itsekkin miettinyt, että meneekö path tracing siellä pohjalla ihan hukkaan tämän kanssa, vai osaako se hyödyntää sitä kuitenkin jotenkin? Tämä DLSS5 toimii kuitenkin vain screen spacessa 2D tasolla.

 

[Kaotik]

Tämä ei lisää tai tuo korkean tarkkuuden path tracingin realistisuutta. Se vaatisi sitä path tracingia tai parempaa denoiseria.

Tämä monin paikoin myös vähentää realismia (tai ainakin taitelijan ajatusta siitä) vaikka jätettäisiin huomiotta studiovalaistuspuoli. Monessa esimerkissä on nostettu esiin DFn videolta kohtaus, jossa hahmolla on lippis ja valaistus tulee selvästi ylhäältä luoden lipasta varjon kasvoille. DLSS5:n kanssa ko. varjoa ei ole ja valaistus tulee ties mistä. Ja toinen on tosiaan sumujen katoaminen tyystin

 

[pomk]

Sitä olen itsekkin miettinyt, että meneekö path tracing siellä pohjalla ihan hukkaan tämän kanssa, vai osaako se hyödyntää sitä kuitenkin jotenkin?

Kyllä se sitä hyödyntää varmasti. Osaa maskata sen pohjalta että mikä alue kuvasta slopataan.

Enkö juuri sanonut, että se antaa yleisilmeeltään paremman tason path tracingiä muistuttavan kuvan.

Miltä tiedät että se antaa paremman tason path tracingia muistuttavan kuvan? Eikö se vaatisi sitä paremman tason path tracingia, jotta vertailu on mahdollista ja moista kehtaisi laukoa täällä? Voi ihan hyvin pitää paikkansa että rajattomalla sädebudjetillakin se nykyinen pt olisi lähempänä kuin tämä slopattu versio?

 

[P c L A Y E R]

Kyllä se sitä hyödyntää varmasti. Osaa maskata sen pohjalta että mikä alue kuvasta slopataan.

Miltä tiedät että se antaa paremman tason path tracingia muistuttavan kuvan? Eikö se vaatisi sitä paremman tason path tracingia, jotta vertailu on mahdollista ja moista kehtaisi laukoa täällä? Voi ihan hyvin pitää paikkansa että rajattomalla sädebudjetillakin se nykyinen pt olisi lähempänä kuin tämä slopattu versio?

Mikä tässä nyt taas on niin vaikeeta. AI:n avulla voidaan nyt luoda hyvin aidon näköisesti valaistuja materiaaleja/pintoja reaaliajassa, mutta valaistus on AI:n tulkinta eikö välttämättä kunnioita pelimaailman valonlähteitä. Pystytään luomaan näennäisesti elokuva tason PT:n tarjoamaa lookia, materiaalien ja pintojen valaistuksen osalta, vaikka se ei olisikaan maailman valonlähteitä tarkasti kunnioittavaa, kun sitä ei simuloida.

Tuo on ainakin omasta mielestä tämän DLSS5:n tavoite. Se että miten hyvin se toteutuu on sitten eri asia.

Varmasti rajattomalla säde budjetilla päästään samaan ja parempaankin yleisilmeeseen, ja kaikkien pintojen valaistus mätsäisi täydellisesti maailman valonlähteen kanssa. Tällä hetkellä ei vaan ole rautaa joka sitä jaksaa pyörittää tarpeeksi nopeasti reaaliajassa.

 

[pomk]

AI:n avulla voidaan nyt luoda hyvin aidon näköisesti valaistuja materiaaleja/pintoja reaaliajassa

Mistä tiedät että ne on aidon näköisesti valaistu? Eikö siihen tarvita vertailukuva siitä loppuun asti lasketusta versiosta?

Pystytään luomaan näennäisesti elokuva tason PT:n tarjoamaa lookia, materiaalien ja pintojen valaistuksen osalta, vaikka se ei olisikaan maailman valonlähteitä tarkasti kunnioittavaa, kun sitä ei simuloida.

Joo, jotain lookia voidaan luoda, tarkemmin sanottuna slop lookia. PT:tä ei. Eikä oikeastaan PT lookiakaan (ellei voida osoittaa että tossa skenessä säteitä lisää ampumalla se lopulta muodostaisi ominaisuuksiltaan vastaavan kuvan).

Tuossa olisi ollut nvidialla nyt miljoonan dollarin paikka, näyttää kuinka heidän näyttis PT:t maksimissa tunnin jauhamalla olis tehny hyvin tarkkaan saman ku superslopperi tekee n. 30 millisekunnissa. Jostain kumman syystä moista ei haluttu tehdä, vaan hallusinoidaan paskaa ja vedetään kontrastit maksimiin, eikä verrata referenssiin.

Ei ole mitään syytä olettaa että tuo superslopperi arvaisi lähemmäs sen todellisen PT kuvan kuin mitä heidän nykyinen rajallinen PT toteutus laskee.

 

[P c L A Y E R]

Mistä tiedät että ne on aidon näköisesti valaistu? Eikö siihen tarvita vertailukuva siitä loppuun asti lasketusta versiosta?

Joo, jotain lookia voidaan luoda, tarkemmin sanottuna slop lookia. PT:tä ei. Eikä oikeastaan PT lookiakaan (ellei voida osoittaa että tossa skenessä säteitä lisää ampumalla se lopulta muodostaisi ominaisuuksiltaan vastaavan kuvan).

Tuossa olisi ollut nvidialla nyt miljoonan dollarin paikka, näyttää kuinka heidän näyttis PT:t maksimissa tunnin jauhamalla olis tehny hyvin tarkkaan saman ku superslopperi tekee n. 30 millisekunnissa. Jostain kumman syystä moista ei haluttu tehdä, vaan hallusinoidaan paskaa ja vedetään kontrastit maksimiin, eikä verrata referenssiin.

Ei ole mitään syytä olettaa että tuo superslopperi arvaisi lähemmäs sen todellisen PT kuvan kuin mitä heidän nykyinen rajallinen PT toteutus laskee.

Etkö ymmärrä eroa simuloinnin ja lookin välillä. AI voi luoda kuvan, joka näyttää sille, että on ammuttu tsiljoona sädettä ja hemmetisti bounceja, jolloin se materiaali/pinta voi näyttää näennäisesti aidommalle, vaikka sen valaistus ei vastaisi kunnolla sen pelimaailman valaistusta siinä tilanteessa. Eli se ei näytä välttämättä totuudenmukaiselle ympäristön valaistukseen kohden, mutta muuten aidommalle. Tällä tavallahan peligrafiikka on feikattu ikuisuudet. Luodaan illuusio "aidosta".

Tekoälyä on treenattu milettömällä määrällä dataa, mille eri materiaalit näyttää erilaisissa valaistuksessa, joten tottakait se pystyy luomaan hyvin aidon oloisesti valaistuja pintoja/materiaaleja.

 

[pomk]

Etkö ymmärrä eroa simuloinnin ja lookin välillä.

Etkö ymmärrä miltä ns. slop look näyttää?
chatgpt vaan auki ja sinne "make it more realistic" muutaman kerran.

Toivottavasti ymmärrät että slop look ja PT look on varsin eri asioita, eikä niitä kannata sekoittaa toisiinsa. PT lookissa olennaista on että valot vaikuttavat tulevan loogisista suunnista, ja esim. ei ole samanaikaisesti kahteen suuntaan piirtyviä varjoja ulkona suorassa auringonpaisteessa. Ns. slop look taas sallii tuollaisen meiningin ja on sille suorastaan tyypillinen ominaisuus.

Tekoälyä on treenattu milettömällä määrällä dataa, mille eri materiaalit näyttää erilaisissa valaistuksessa, joten tottakait se pystyy luomaan hyvin aidon oloisesti valaistuja pintoja/materiaaleja.

Onko tälläisestä jotain esimerkkejä heittää? Mielellään ne referenssit siihen viereen niin tiedetään että oliko ne AI:n tuotokset aidon oloisesti valaistu vai ei.

 

[P c L A Y E R]

Etkö ymmärrä miltä ns. slop look näyttää?
chatgpt vaan auki ja sinne "make it more realistic" muutaman kerran.

Toivottavasti ymmärrät että slop look ja PT look on varsin eri asioita, eikä niitä kannata sekoittaa toisiinsa. PT lookissa olennaista on että valot vaikuttavat tulevan loogisista suunnista, ja esim. ei ole samanaikaisesti kahteen suuntaan piirtyviä varjoja ulkona suorassa auringonpaisteessa. Ns. slop look taas sallii tuollaisen meiningin ja on sille suorastaan tyypillinen ominaisuus.

Onko tälläisestä jotain esimerkkejä heittää? Mielellään ne referenssit siihen viereen niin tiedetään että oliko ne AI:n tuotokset aidon oloisesti valaistu vai ei.

SItähän oon koittanut koko ajan selittää, että DLSS5 AI kuvassa ei välttämättä kunnioiteta niitä valonlähteitä. Silti esimerkiksi se materiaalien pinta ja mikrodetailit/valaistus saattavat näyttää enemmän valo-/video kuvalle, kun rajallisella määrällä säteitä toteutetussa PT:ssä tai muuten piirrettyssä kuvassa.

Kyllähän noissa demoissakin melkein kaikissa ne DLSS5 kasvotkin näyttää kuitenkin enemmän oikeille valokuvilla, kun ilman DLSS5:sta.

Se on mun mielestä ihan selvää, että NVIDIA:n tavoite tässä on juuri se, että voidaan saada tietyllä tapaa realistisempaa materiaalia/niiden valaistusta peleihin. Se miten hyvin se onnistuu, on sitten eri asia ja jää nähtäväksi. Mutta se, että NVIDIA olis tehnyt tän vaan siksi, että saadaan vaan jotkut "snap chat filtterit" peleihin, on jo lähtökohtaisesti aika absurdi ajatus, vaikka moni tuntuu niin ajattelevan.

Onko jotain syytä epäillä, että ai mallia ei olisi treenattu nimenomaan valaisemaan erilaisia materiaaleja/pintoja... Koska sehän tässä koko DLSS5:sa on se pointti.

 

[hese_e]

Tämä monin paikoin myös vähentää realismia (tai ainakin taitelijan ajatusta siitä) vaikka jätettäisiin huomiotta studiovalaistuspuoli. Monessa esimerkissä on nostettu esiin DFn videolta kohtaus, jossa hahmolla on lippis ja valaistus tulee selvästi ylhäältä luoden lipasta varjon kasvoille. DLSS5:n kanssa ko. varjoa ei ole ja valaistus tulee ties mistä. Ja toinen on tosiaan sumujen katoaminen tyystin

Minua kyllä häiritsi enemmän se jalkapallo siinä Fifa demossa, se morphaa muotoaan kuin The Thing konsanaan. Kuvakaappauksissa pelaajan käsikin muljuaa aika oudosti.
Niistä tulee kyllä olo, että tuo on kyllä outo yhdistelmä AI kaunistusfiltteriä ja raakakuvakehityssoftan AI automaattiparannusta. Jos tehtäisiin vain pinnan geometrian ja tekstuurien valonheijastuskorjauksia, värikorjausta yms, niin noin pahoja temporaalisia artefakteja ei tulisi. Kuvittelisin muodon säilyvän siinä kohtaa, ja tuo näyttää enemmän "AI reimagine" tekniikalle.

No syksyyn on aikaa ja demoon on efektit vedetty taatusti yhteentoista, että kaikki näkee miten kuva muuttuu. Ainakin se, että on paljon maskaus ja efektin voimakkuussäätöjä eri asioille olemassa antaa toivoa paremmasta.

 

[Troublematic]

Minua kyllä häiritsi enemmän se jalkapallo siinä Fifa demossa, se morphaa muotoaan kuin The Thing konsanaan. Kuvakaappauksissa pelaajan käsikin muljuaa aika oudosti.
Niistä tulee kyllä olo, että tuo on kyllä outo yhdistelmä AI kaunistusfiltteriä ja raakakuvakehityssoftan AI automaattiparannusta. Jos tehtäisiin vain pinnan geometrian ja tekstuurien valonheijastuskorjauksia, värikorjausta yms, niin noin pahoja temporaalisia artefakteja ei tulisi. Kuvittelisin muodon säilyvän siinä kohtaa, ja tuo näyttää enemmän "AI reimagine" tekniikalle.

No syksyyn on aikaa ja demoon on efektit vedetty taatusti yhteentoista, että kaikki näkee miten kuva muuttuu. Ainakin se, että on paljon maskaus ja efektin voimakkuussäätöjä eri asioille olemassa antaa toivoa paremmasta.

Ne jalkapallon breakup-artifaktit on luultavammin frame generoinnista johtuvia ongelmia. Toki voi olla että tämä valaistusefekti myös kärsii temporal disocclusion -ongelmista kuten nämä muutkin ML-tekniikat. Mutta onhan heillä tosiaan aikaa hioa tätä.

Kaikilla optimointikikoilla on omat ongelmansa, eikä mitään aitoa framea ole koskaan olemassa ollutkaan, edes sillä ammattilaisten offline säteenseurantamallinnusohjelmalla. Simuloida voidaan mahdollisimman tarkasti, mutta reaaliaikaiseen suorituskykyyn välttämättä tarvitaan AI-kikkoja. Path Tracingin denoisauskin on tehdään AI:lla, koska on varaa pomputella vain muutamia säteitä pari kertaa, ja loput inferoidaan AI-denoiserilla koska sitä kohinaa on muuten tuhottomasti.

 

[pomk]

Kyllähän noissa demoissakin melkein kaikissa ne DLSS5 kasvotkin näyttää kuitenkin enemmän oikeille valokuvilla, kun ilman DLSS5:sta.

Riippuu aivan täysin siitä että miten niitä alkaa analysoimaan. Mikrodetaileja on enemmän, tekstuurit pääsääntöisesti näyttää tarkemmalta muutenkin, mut sit jos noista yrittäisi analysoida valaistusta niin illuusio hajoaa täysin. Korkeintaan aivan pintapuoleisesti ne voi näyttää ”aidommalta”, sitä kuitenkaan olematta.

Miksei vaan laitettu kunnon tekstuureja siihen alkuperäiseen, en ymmärrä. Tällöin saatais se pt:llä laskettu kunnon valaistus yhdistettynä parempiin tekstuureihin.

Se on mun mielestä ihan selvää, että NVIDIA:n tavoite tässä on juuri se, että voidaan saada tietyllä tapaa realistisempaa materiaalia/niiden valaistusta peleihin.

Eikö me just käyty läpi että tällä tuotettu valaistus ei ole realistista. Ei edes ”tietyllä tapaa”.