NVIDIA esitteli DLSS 3:n ja tulevia RTX-pelejä

[Kaotik]

Kaotik kirjoitti uutisen/artikkelin:
NVIDIAn nahkatakkinen toimitusjohtaja Jensen Huang julkaisi eilen odotetusti Ada Lovelace -arkkitehtuurin ja ensimmäiset GeForce RTX 40 -sarjan näytönohjaimista. Uusien näytönohjainten rinnalla julkaistiin myös uusia teknologioita, joista suurinta huomiota huutaa osakseen DLSS 3.

DLSS:n jokainen suuri versio on merkinnyt isompaa muutosta koko teknologiaan. Alkuperäiset DLSS 1.x -versiot olivat vielä spatiaalisia skaalaimia, jotka vaativat NVIDIAn supertietokoneen jauhamaan dataa opetuskäyttöön joka pelille erikseen. DLSS 2.x -versiot ovat puolestaan temporaalisia skaalaimia, jotka käyttävät geneeristä opetusdataa pelikohtaisen sijasta. DLSS 3.x ei muuta 2.x:n konseptia skaalauksen osalta, vaan nimeää sen nyt Super Resolutioniksi ja lisää sen rinnalle uuden ominaisuuden, Frame Generationin eli ruutujen luonnin.

[gallery link="file" ids="79742,79741,79740"]

DLSS Frame Generation käyttää NVIDIAn aiempaa järeämpää Optical Flow Accelerator -yksikköä lukeakseen ruuduista liikedataa pelienginen liikevektoreiden lisäksi. Sen kerrotaan pystyvän seuraamaan kuvasta esimerkiksi heijastuksia ja vastaavia pikselitasolla asti. Esiopetettu neuroverkko rakentaa näistä ongitun datan ja edeltävien ruutujen perusteella tarvittavat tiedot luodakseen täysin itsenäisesti uuden ruudun, mikä parantaa suorituskykyä sekä prosessori- että näytönohjainriippuvaisissa tilanteissa. Teknologia olikin käytössä NVIDIAn uusien näytönohjainten suorituskykygraafeissa osassa pelejä mahdollistamassa lupaukset jopa nelinkertaisesta suorituskyvystä.



Automaattisesti luodut ruudut tarkoittavat kuitenkin samalla käytännössä sitä, etteivät luodut ruudut ota huomioon käyttäjän viimeisimpiä liikkeitä, vaan aiemmat. Osin tämänkin vuoksi DLSS 3 -pelit tukevat automaattisesti myös NVIDIA Reflexiä varmistamaan mahdollisimman pienet viiveet muutoin.



Pelien ja teknologioiden kuvanlaatua tutkiva Eurogamerin Digital Foundry on saanut NVIDIAlta luvan julkaista rajatun ennakkokatsauksen teknologiaan jo nyt. Se osoittaa samalla sudenkuoppia teknologiassa, sillä DLSS Frame Generationin luomat ruudut tunnistaa useissa eri skenaarioissa artifakteistaan, jotka puuttuvat DLSS Super Resolutionin skaalaamista ruuduista.

[gallery link="file" columns="2" size="medium" ids="79743,79744"]

DLSS 3 -teknologia on tuettu vain Ada Lovelace -arkkitehtuuriin perustuvilla GeForce RTX 40 -sarjan näytönohjaimilla. Tuki teknologialle on luvattu nyt jo 35 peliin, joista osan kohdalla kyse on nykyisen tuen päivittämisestä DLSS 3:een. Nykynäytönohjainten omistajien ei kuitenkaan tarvitse vaipua epätoivoon, sillä pelit tukevat automaattisesti myös DLSS 2.x:ää, koska DLSS 3:n Super Resolution -skaalauskomponentti ei ole muuttunut mihinkään.



DLSS:n lisäksi muita ohjelmistopuolen uutuuksia olivat esimerkiksi Portal with RTX, eli säteenseurantaominaisuuksilla päivitetty versio valheellisesta kakusta, Marble-demon henkinen Racer RTX kaahailu radio-ohjattavien kokoluokassa sekä Cyberpunkin RT Overdrive -tila, jossa säteenseurantaefektit on käännetty yhteentoista. Vanhojen pelien modaajille on puolestaan tarjolla työkalut, jotka käytännössä nappia painamalla muuntavat vanhoja pelejä nykyaikaisemmiksi luomalla automaattisesti PBR-materiaaleja (Physically Based Rendering), lisäämällä säteenseurantatuen, terävöittämällä tekstuureja ja niin edelleen.

Lähteet: NVIDIA (1), (2)

Linkki alkuperäiseen juttuun

 

[jipx]

Racer RTX:ssä Fazerin salmiakkia!

 

[Kaotik]

Tässä on neljän peräkkäisen framen sarja videolta, missä näkyy noita artifakteja hyvin

Spoileri

 

[hese_e]

Tässä on neljän peräkkäisen framen sarja videolta, missä näkyy noita artifakteja hyvin

Myös siinä videon hämis hyppää ikkunasta osuudessa on osassa frameista rajun jpg pakkauksen näköistä tavaraa hämiksen ympärillä ja sitten ne katoaa, kun tulee tulee oikea frame. Cyberpunkin tasainen liike näytti kyllä hyvälle.

 

[hsalonen]

Ymmärrän tästä ainakin perusperiaatteen, mutta en osaisi itse toteuttaa. Kiinnostaisi tietää, onko toteutuksia, joissa vaan interpoloidaan väliframea? Mielellään jotenkin fiksusti ja AI:n kanssa, eikä vaan keskiarvoilla.

Näin saisi helposti kerralla paremman kuvanlaadun ja kunnon lagin. Sitten Nvidia Reflex ja muut laginpienennysteknologiat yhtäaikaa käyttöön, niin voisi jopa olla minulle parempi vaihtoehto. Ihan tyhmällä matematiikalla 2 framea jäljessä oleva olisi 20ms viive, jos FPS on 100. Tämmöisiä lageja olen saanut pahimmillaan jo vsyncin käytöstä. Eli hyväksytään se lagi ja teknologiset paukut sen pienentämiseen, ja mahdollistetaan FPS:n helppo kaksinkertaistaminen.

Tämä ei nyt vakuuta, kun nuo viivat hyppivät silmissä ja kun ruudulla on tekstiä, niin siitä varmasti tulee täyttä roskaa väliframeissa.

 

[Hiikeri]

Peleissä jotka eivät ole täyttä adhd-kisa meininkiä joita on 99% julkaistuista peleistä eli simulaattorit, RTS, yksinpelit kuten CP2077, seikkailupelit, 3rd person, Puttlefield/Kodi pelien yksinpeli kampanjat yms. niin toi DLSS3 varmasti toimii.

10.000 pelin joukosta niille 5-10 adhd pelille joita porukka haluaa pelata 5000fps tai 5000Hz näytöllä energiajuoma pärinöissään on aivan sama tuleeko jtn. artefakteja kun pitää saada minimi viiveet muutenkin mieli pärjätä.

 

[Kaotik]

Peleissä jotka eivät ole täyttä adhd-kisa meininkiä joita on 99% julkaistuista peleistä eli simulaattorit, RTS, yksinpelit kuten CP2077, seikkailupelit, 3rd person, Puttlefield/Kodi pelien yksinpeli kampanjat yms. niin toi DLSS3 varmasti toimii.

10.000 pelin joukosta niille 5-10 adhd pelille joita porukka haluaa pelata 5000fps tai 5000Hz näytöllä energiajuoma pärinöissään on aivan sama tuleeko jtn. artefakteja kun pitää saada minimi viiveet muutenkin mieli pärjätä.

Siinä videolla on myös Cyberpunk 2077, ihan samaan tapaan piisaa artifaktia heti kun mennään vaikka ajelemaan autolla. Ei siihen tarvita mitään kärjistämääsi adhdsekoilua ainakaan tässä vaiheessa.

 

[Anvi]

4090 natiivi suorituskyky taitaa olla n. 1,5x vrt. 3090 Ti.

Alla olevalla videolla oli vertailtu pelien suorituskykyä, joissa ei ole RT:tä tai DLSS(3) tukea.
RTX "4080" 12GB häviää 3090 Ti:lle noissa tapauksissa.

Viisainta odotella RX7000 sarjan tietoja ja arvosteluita.

 

[Juhanator]

Tuntuu siltä, että kun näille ylihintaisille korteille on pitänyt kuin väkisin vääntää houkuttimia, DLSS 3 on venytetty liian pitkälle. Olen ollut aiempiin DLSS versioihin tyytyväinen, kokemusta on sekä 4k ja 2k-pelailusta dlss-tekniikan kanssa, aina kun peli sitä tulee. DLSS quality on nykyisellään kautta linjan ollut hyvä valinta, mitä tulee kuvan laatuun ja latenssiin. Ja nvidian paneelista matalan viiveen tila aina päällä kun mahdollista, sen kanssa.

Tässä sukupolvessa DLLS 3 ilmeisesti sitten alkaa jo tuomaan eroja, riippuen pelistä. Noh hämmästyttävää toki miten tämä tekniikkaa kehittyy, mutta auttaakohan latessiasetukset nvidian paneelin puolelta menoa riittävästi? Ehkä se riittää hitaampiin seikkailupeleihin, nopeatempisia fps-pelejä netissä toki pelaisi mielellään mahdollisimman pienellä latenssilla (jos siis kokee dlls:lle tarvetta).

 

[Lamanka]

Tuntuu siltä, että kun näille ylihintaisille korteille on pitänyt kuin väkisin vääntää houkuttimia, DLSS 3 on venytetty liian pitkälle.

Sama ensivaikutelma, ei saatu rasterointiin tehoja tarpeeksi joten keksittiin tälläinen kuvanparannus joita telkkareissa on käytetty jo vuosia. Noh, testit sitten näyttävät lopputuloksen

 

[EmDzei]

Kovasti pöhinää ja aikaa käytetty tuon DLSS:n parissa uutuusnäytönohjainten osalta. Luulisi, että uutukaisissa riittäisi potkua natiiviin 4K pelaamiseen ja 144 fps:ään. 1080p grafiikoista 4K:oon.. Hmm..

Ladataanko noita koneoppimisen datoja nyt sitten pelikohtaisesti nVidian palvelimilta vai mitä tapahtuu taustalla? Ladataanko ne pelin aikana vai "päivityksinä" ennen pelaamista?

Testaajat astunevat valmistajien ilmoittamaan nopeusansaan siten, että toistavat elokuvamaisia pelin sisäisiä benchmarkkeja, jossa liike on ennustettavissa. Näin saadaan kovia fps lukemia. Toisaalta oikeat pelikohtaiset sessiot eivät ole sitten vertailukohtaiset, koska pelitilanne on jokaisella kerralla dynaaminen. On kuitenkin suuntaa antava ja mielestäni kuitenkin tarkempi kuin elokuvan aka pelin sisäisen benchmarkin ajaminen.

Olla puhua, ugh.

 

[AvatarX]

Sama ensivaikutelma, ei saatu rasterointiin tehoja tarpeeksi joten keksittiin tälläinen kuvanparannus joita telkkareissa on käytetty jo vuosia. Noh, testit sitten näyttävät lopputuloksen

Eipä tällä ole mitään tekemistä telkkareiden interpoloinnin kanssa. Ei tuo DLSS3 tosin vielä tässä vaiheessa hirveästi vakuuta, mutta voihan se olla, että saavat tuon kehitettyä nopeastikin..saa nähdä.

4090:ssa pitäisi olla raakaa tehoa vaikka kuinka paljon ilman dlss/rt, mutta testeissä tuon sitten näkee.

 

[Karvalisko]

Eipä tällä ole mitään tekemistä telkkareiden interpoloinnin kanssa.

No eikös tuo vaikuta juuri täsmälleen samalta mitä nykytelevisiot tekee? Turha ominaisuus joka tulee kytkettyä pois ettei lagit ala häiritsemään.

 

[Kaotik]

No eikös tuo vaikuta juuri täsmälleen samalta mitä nykytelevisiot tekee? Turha ominaisuus joka tulee kytkettyä pois ettei lagit ala häiritsemään.

Teknisellä toteutuksella ei ole mitään yhteistä.

 

[finWeazel]

En usko, että dlss3 on mitenkään pois nvidian resursseista kehittää perinteistä raster-engineä, säteenseurantaa, ajureita tms. DLSS on tutkijapoppoon tekele. Tutkijoiden mandaatti nimenomaan tehdä tulevaisuusjuttuja koneoppimisen avulla. Tuskin rautapuolella on muuta tuon eteen tehty kuin parempi optical flow yksikkö. Tuskin kovin iso juttu se optical flow yksikön parantaminen ja tuskin vie giganttisesti transistoreita.

Lähde ylläolevalle oletukselle:
Twiittaajan positio nvidialla

VP, Applied Deep Learning Research @ NVIDIA

 

[Lamanka]

Teknisellä toteutuksella ei ole mitään yhteistä.

Suora lainaus Nvidian sivulta

"Ada’s Optical Flow Accelerator analyzes two sequential in-game frames and calculates an optical flow field. The optical flow field captures the direction and speed at which pixels are moving from frame 1 to frame 2."

"Generating frames using engine motion vectors alone would result in visual anomalies like stuttering on the shadow."

Eli yksinkertaistettuna verrataan kuvaa 1 ja 2, tsekataan motion vector ja interpoloidaan tähän väliin todennäköisin ruutu. Eli ei samaa kuin töllöissä, mutta hieman hienompaa. Vai ymmärsinkö väärin? Tuolta markkinointi-bull-shitin seasta on välillä vaikea löytää kultaista lankaa

 

[hese_e]

Eli yksinkertaistettuna verrataan kuvaa 1 ja 2, tsekataan motion vector ja interpoloidaan tähän väliin todennäköisin ruutu. Eli ei samaa kuin töllöissä, mutta hieman hienompaa. Vai ymmärsinkö väärin? Tuolta markkinointi-bull-shitin seasta on välillä vaikea löytää kultaista lankaa

Tavallaan. DLSS2 generoi framen käyttämällä edellisen framen tai parin dataa yhdistettynä nyt piirrettävään, käyttäen liikevektoreita kohdistaakseen ne oikein. Se nostaa tarkkuutta, kun on enemmän dataa käytössä. Sama idea on osin käytössä nykykameroissa: liikkumattomasta kohteesta otetaan sarja, joko siirtämällä kennoa aavistuksen, tai luottamalla käsikuvauksen epävakauteen. Kuvat kohdistetaan uusiksi ja kun on enemmän dataa käytössä, voidaan saada tarkempi kuva aikaan.

DLSS3 vetää liikevektorien käytön pidemmälle, se yrittää laskea seuraavan framen edellisteten framejen perusteella arvioiden mihin kappaleet ovat liikkumassa. Siinä taas syntyy artefakteja, kun asioita tulee esiin kappaleiden takaa, tai kappale kääntyy. Eli DLSS3 joutuu keksimään asiat, joita edellisissä frameissa ei ollut ja arvaamaan mihin liike jatkuu. TV puolestaan näyttää katsottavaa kuvaa viiveellä, jolloin se voi laskea millainen ruutu pitäisi olla kahden tiedossa olevan välillä.

 

[hik]

DLSS3 vetää liikevektorien käytön pidemmälle, se yrittää laskea seuraavan framen edellisteten framejen perusteella arvioiden mihin kappaleet ovat liikkumassa. Siinä taas syntyy artefakteja, kun asioita tulee esiin kappaleiden takaa, tai kappale kääntyy. Eli DLSS3 joutuu keksimään asiat, joita edellisissä frameissa ei ollut ja arvaamaan mihin liike jatkuu.

Mun mielestä on mahdollista että DLSS 3 saattaa toimia ja olla oikein fiksu.

Kaikki perustuisi siihen, että silmä ei pysty näkemään yhden framen mittaisia artefakteja. Ongelmia syntyy vasta silloin, kun
sama artefakti näkyy framesta toiseen (ja vain joka toisessa) usean (ehkä hyvinkin monen) framen ajan. Silloinkin artefakti näkyy himmeänä artefaktin
puolikkaana.

Edes 24 fps elokuvavauhdissa ei oikein pysty näkemään yhden ruudun mittaisia välähdyksiä, joissa on joku tahallinen piiloviesti.
Kun tuplataan 70 Hz 140 hertsiin, pienet virheet joka toisessa framessa ei ehkä tunnu juuri missään.

 

[Archon]

Io-techin testejä odotellessa. Rasterointikyky on itselleni se tärkein, kikka3:t tulevat sitten bonarina avuksi, jos on ihan pakko käyttää. Sen verran härskiä on Nv:n (ei se armeijan karvalakki) toiminta että taitaa jäädä ko. firma boikottiin pidemmäksi aikaa.

 

[Halpuuttaja]

DLSS3 vetää liikevektorien käytön pidemmälle, se yrittää laskea seuraavan framen edellisteten framejen perusteella arvioiden mihin kappaleet ovat liikkumassa. Siinä taas syntyy artefakteja, kun asioita tulee esiin kappaleiden takaa, tai kappale kääntyy. Eli DLSS3 joutuu keksimään asiat, joita edellisissä frameissa ei ollut ja arvaamaan mihin liike jatkuu. TV puolestaan näyttää katsottavaa kuvaa viiveellä, jolloin se voi laskea millainen ruutu pitäisi olla kahden tiedossa olevan välillä.

Ei toimi ihan noin. DLSS 3 generoi freimin kahden jo rendatun varsinaisen freimin perusteella niiden väliin. Se ei siis yritä ennustaa tulevaisuutta menneisyyden perusteella. Eli @Lamanka oli oikeilla jäljillä.

Kun verrataan tilanteeseen, jossa DLSS 2 + reflex on käytössä, DLSS 3 lisää input lagia (vähintään) puolen freimin verran, kun uusimman aidon freimin näyttämistä on viivytettävä, jotta saadaan tehtyä tilaa generoidun freimin näyttämiselle.

Jensen kertoo että "Pairs of frames from the game, along with the geometry and pixel motion vectors, are then fed into a neural network, that generates the intermediate frames.":

 

[Clarenz]

Mun mielestä on mahdollista että DLSS 3 saattaa toimia ja olla oikein fiksu.

Kaikki perustuisi siihen, että silmä ei pysty näkemään yhden framen mittaisia artefakteja. Ongelmia syntyy vasta silloin, kun
sama artefakti näkyy framesta toiseen (ja vain joka toisessa) usean (ehkä hyvinkin monen) framen ajan. Silloinkin artefakti näkyy himmeänä artefaktin
puolikkaana.

Edes 24 fps elokuvavauhdissa ei oikein pysty näkemään yhden ruudun mittaisia välähdyksiä, joissa on joku tahallinen piiloviesti.
Kun tuplataan 70 Hz 140 hertsiin, pienet virheet joka toisessa framessa ei ehkä tunnu juuri missään.

Toisaalta jos joka toinen kuva on vain virheetön, niin silmä ei ehdi nähdä sitä virheetöntä kuvaa virheellisten välissä. Nojoo tämä oli vähän kärjistys.

Varmasti tuo tekniikka on parhaimmillaan hidastempoisissa peleissä, eiköhän joku vastaava tekniikka ole se millä jatkossa mahdollistetaan laajemman säteenseurannan lisääminen peleihin. Toivottavasti se tekniikka tosin on joku kaikille avoin silloin. Vielä kun tekniikka kehittyy siihen, että myös monissa moninpeleissä olisi järkevä käyttää niin se olisi hyvä. Nykyinen ei oikein vielä ole toimiva noihin.

 

[L2K2]

Mun mielestä on mahdollista että DLSS 3 saattaa toimia ja olla oikein fiksu.

Kaikki perustuisi siihen, että silmä ei pysty näkemään yhden framen mittaisia artefakteja. Ongelmia syntyy vasta silloin, kun
sama artefakti näkyy framesta toiseen (ja vain joka toisessa) usean (ehkä hyvinkin monen) framen ajan. Silloinkin artefakti näkyy himmeänä artefaktin
puolikkaana.

Edes 24 fps elokuvavauhdissa ei oikein pysty näkemään yhden ruudun mittaisia välähdyksiä, joissa on joku tahallinen piiloviesti.
Kun tuplataan 70 Hz 140 hertsiin, pienet virheet joka toisessa framessa ei ehkä tunnu juuri missään.

Tämä toki pätee vain jos se virhe on joka ruudussa satunnaisessa kohdassa. Tämä ei näyttänyt olevan tapauksena ainakaan siinä verkossa kiertäneessä kuvasarjassa hämähäkkimiehestä pilvenpiirtäjän seinällä – joka toisessa ruudussa puuttui sama osa ikkunoiden välisistä saumoista. Tuo näkyisi juurikin kontrastin selvänä putoamisena.

Ja, tämänkaltainen joka toisessa ruudussa näkyvä ongelma näkyy hyvin selvästi ainakin allekirjoittaneen silmään. Itse tuli tämä aikoinaan koettua oikein kokeellisesti (silloin kuin nvidian 3d-lasit ja niiden kanssa vaaditut 3d-yhteensopivat näytöt olivat tekemässä sitä 2010-luvun alun hetkellistä suosiohuippuaan). Ainakin se näyttö jota käytin, ei ollut riittävän nopea reuna-aluiella (keskellä näyttöä oli riittävän nopea alue), joten se naapurikuva vuosi läpi jos katsoi näytön reuna-alueita. Ihan hirveää puuroa jos ne eri silmien kuvat poikkesivat liikaa...

 

[hik]

Tuo näkyisi juurikin kontrastin selvänä putoamisena.

Juu, kontrastin paikallinen tiputus voisi olla puolikkaan artefaktin lopputulos.

Ihan hirveää puuroa jos ne eri silmien kuvat poikkesivat liikaa...

3d-lasit ei välttämättä ole vertailukelpoinen keissi. Siinä voi olla kovemmat laatuvaatimukset.

 

[Halpuuttaja]

Kiinnostaa nähdä miten tämä selviää alemmilla ruudunpäivityksillä. Silloin aitojen freimien välissä ehtii tapahtua suurempi muutos eli tekoälyllä haastavampi tehtävä generoida kunnollinen välifreimi. Artefakteja voisi kuvitella olevan siis enemmän ja niitä ehtii katsoakin kauemmin.

 

[hik]

Kiinnostaa nähdä miten tämä selviää alemmilla ruudunpäivityksillä. Silloin aitojen freimien välissä ehtii tapahtua suurempi muutos eli tekoälyllä haastavampi tehtävä generoida kunnollinen välifreimi. Artefakteja voisi kuvitella olevan siis enemmän ja niitä ehtii katsoakin kauemmin.

Jos tästä tulee puolikas frame lisää latenssia, niin käyttökelpoisuus laskee nopeasti kun fps putoaa. 120 Hz tuplaaminen 240 hertsiin taas voi olla hyvä keissi.

Eli matalampi fps, huonompi kuva, isompi latenssi. Huonosta setistä ei ehkä saa hyvää tällä, mutta hyvästä taas voi saada erinomaisen.

 

[Halpuuttaja]

Jos tästä tulee puolikas frame lisää latenssia, niin käyttökelpoisuus laskee nopeasti kun fps putoaa. 120 Hz tuplaaminen 240 hertsiin taas voi olla hyvä keissi.

Eli matalampi fps, huonompi kuva, isompi latenssi. Huonosta setistä ei ehkä saa hyvää tällä, mutta hyvästä taas voi saada erinomaisen.

Jos kuvanlaatu on kelvollista jo 60 -> 120 tyyppisessä tilanteessa, niin tämä olis ihan käytännöllinen tekele. Input lagi olisi tuossa sama kuin 40fps tilanteessa (edit, jos nyt oikein laskin... alkuun meni ainakin väärin)

Jos tarvitaan tosiaan joku 120 -> 240 hyppy että kuvaa sietää katsoa niin menee melkoseks niche touhuksi.

 

[hik]

Jos kuvanlaatu on kelvollista jo 60 -> 120 tyyppisessä tilanteessa, niin tämä olis ihan käytännöllinen tekele. Input lagi olisi tuossa sama kuin 90fps tilanteessa.

Jos tarvitaan tosiaan joku 120 -> 240 hyppy että kuvaa sietää katsoa niin menee melkoseks niche touhuksi.

Juu, mutta missä raja menee, voi olla makuasia. Jäädään odottamaan testejä.

Input lagi olisi tuossa sama kuin 90fps tilanteessa.

Vai onko se 60 fps input lagi + 90 fps input lagi?

Esim. tämmöisellä monitorilla fps-tuplaus olisi kiva.

Samsung 49" Odyssey Neo G9 C49G95, 240Hz kaareva pelimonitori, musta - 1 899,00€

Uudenlaista muotoilua Näytön 1000R-kaarevuus perustuu ihmissilmän muotoon. Lisäksi 32:9-kuvasuhde ja Samsungin ainutlaatuinen C

www.jimms.fi

Voi olla niche-touhua mutta olisi mulle passeli niche.

 

[Halpuuttaja]

Vai onko se 60 fps input lagi + 90 fps input lagi?

Joo editoin just tuonne aiempaan, eli input lagi olis 60fps:n alkuperäinen 16,7ms input lagi + yksi 120fps:n freimi eli 8,3ms = 25ms. Eli sama kuin 40fps pelatessa.

 

[AvatarX]

Ei toimi ihan noin. DLSS 3 generoi freimin kahden jo rendatun varsinaisen freimin perusteella niiden väliin. Se ei siis yritä ennustaa tulevaisuutta menneisyyden perusteella. Eli @Lamanka oli oikeilla jäljillä.

Kun verrataan tilanteeseen, jossa DLSS 2 + reflex on käytössä, DLSS 3 lisää input lagia (vähintään) puolen freimin verran, kun uusimman aidon freimin näyttämistä on viivytettävä, jotta saadaan tehtyä tilaa generoidun freimin näyttämiselle.

Jensen kertoo että "Pairs of frames from the game, along with the geometry and pixel motion vectors, are then fed into a neural network, that generates the intermediate frames.":

Eihän Jensen niin sano, sanoo vaan että nuo väliruudut lasketaan kahdesta peräkkäisestä ruudusta käyttäen noita vektoreita apuna. eihän tuossa muuten olisi kovin paljon järkeä. Ellei tuosta sitten ole tarkempaa tietoa jossain.

 

[Halpuuttaja]

Eihän Jensen niin sano, sanoo vaan että nuo väliruudut lasketaan kahdesta peräkkäisestä ruudusta käyttäen noita vektoreita apuna. eihän tuossa muuten olisi kovin paljon järkeä. Ellei tuosta sitten ole tarkempaa tietoa jossain.

Jensen sanoo, että freimipareja hyödyntäen generoidaan välifreimi.

Nvidia on vähän sekoittanut asiaa kun on markkinoinnissaan hehkuttanut, että latenssi ei ole ongelma, koska Reflex. Latenssia tuo kuitenkin lisää.

Tuossa vielä Digital Foundryn artikkelista sama asia, jos heidän sanomanaan helpompi uskoa:

Essentially, two frames are generated using existing rendering techniques, then a third 'interpolated' frame is inserted between them using the new frame generation technology. The buffering of two frames in this manner will obviously have latency implications, which means that Nvidia's input lag reduction technology - Reflex - is a mandatory third addition to the DLSS 3 suite. The idea is to mitigate the extra lag introduced by frame interpolation with the use of Reflex.

Digital Foundry is now hands-on with RTX 4090 and DLSS 3

Getting to grips with the next big AI innovation - frame generation.

www.eurogamer.net

 

[finWeazel]

Eihän Jensen niin sano, sanoo vaan että nuo väliruudut lasketaan kahdesta peräkkäisestä ruudusta käyttäen noita vektoreita apuna. eihän tuossa muuten olisi kovin paljon järkeä. Ellei tuosta sitten ole tarkempaa tietoa jossain.

Ei se noin yksinkertaisesti mene. Allaolevan linkin päässä tarkempi kuvaus. Optical Flow:lla ennustetaan pikselitasolla asioita joille ei ole liikevektoreita. Liikevektoreiden avulla ennustetaan isompien kappaleiden liikkeitä. Lopuksi neuroverkko yhdistää nuo kaksi ennustusta uudeksi kuvaksi Epäilemättä löytyy tapauksia joissa toinen tai molemmat ennustuksista menevät pieleen ja/tai neuroverkko sössii kuvanluonnissa ja syntyy artifaktaa.

Ada’s Optical Flow Accelerator analyzes two sequential in-game frames and calculates an optical flow field. The optical flow field captures the direction and speed at which pixels are moving from frame 1 to frame 2. The Optical Flow Accelerator is able to capture pixel-level information such as particles, reflections, shadows, and lighting, which are not included in game engine motion vector calculations. In the motorcycle example below, the motion flow of the motorcyclist accurately represents that the shadow stays in roughly the same place on the screen with respect to their bike

Whereas the Optical Flow Accelerator accurately tracks pixel level effects such as reflections, DLSS 3 also uses game engine motion vectors to precisely track the movement of geometry in the scene. In the example below, game motion vectors accurately track the movement of the road moving past the motorcyclist, but not their shadow. Generating frames using engine motion vectors alone would result in visual anomalies like stuttering on the shadow.

For each pixel, the DLSS Frame Generation AI network decides how to use information from the game motion vectors, the optical flow field, and the sequential game frames to create intermediate frames. By using both engine motion vectors and optical flow to track motion, the DLSS Frame Generation network is able to accurately reconstruct both geometry and effects, as seen in the picture below.

Introducing NVIDIA DLSS 3

Multiply frame rates by up to 4X!

www.nvidia.com

Optical Flow algoritmista: Optical flow - Wikipedia

 

[hese_e]

Ei toimi ihan noin. DLSS 3 generoi freimin kahden jo rendatun varsinaisen freimin perusteella niiden väliin. Se ei siis yritä ennustaa tulevaisuutta menneisyyden perusteella. Eli @Lamanka oli oikeilla jäljillä.

Kun verrataan tilanteeseen, jossa DLSS 2 + reflex on käytössä, DLSS 3 lisää input lagia (vähintään) puolen freimin verran, kun uusimman aidon freimin näyttämistä on viivytettävä, jotta saadaan tehtyä tilaa generoidun freimin näyttämiselle.

Jensen kertoo että "Pairs of frames from the game, along with the geometry and pixel motion vectors, are then fed into a neural network, that generates the intermediate frames.":

Intermediate frames oli muuten Nvidian dlss3 sivullakin. Eli pakko kai se on uskoa, artefaktien ja esim spiderman videon välistä popupin tavoin tulevat ikkunat näytti kyllä sille, että se ryökäle rendaa sitä mihin se olisi menossa, eikä väliframeja.

 

[Heseman]

HUB testasi DLSS 3:sta. Aika paljon latenssia tuo, joten Timin mukaan ei sovi kilpapelaajille. Muutenkin oli vähän mixed fiilikset.