Keskustelua yliskaalaustekniikoista ja frame generaatiosta Nvidia Dlss, Amd Fsr, Intel Xess, Lossless Scaling

[pomk]

Kuulostaa aika paljon säteenseurantaa hyödyntävien pelien käyttämiltä denoisereilta. Myös ne toimivat screen space filtterin tavoin ja väistämättä haaskaavat alkuperäistä ehtaa säteenseurannalla saatua valaistusinformaatiota prosessoidessaan siitä loppukuvan. Syy miksi tähän valaistusinformaation uhraamiseen lähdetään on denoisereiden kohdalla sama kuin DLSS 5:nkin: estetiikan tavoittelu.

Denoiser on tyypillisesti pelissä väkisin käytössä, kun asetuksista isketään säteenseuranta efektiä kehiin.

Arvaan, ettet kuitenkaan niiden kehitystä tai edes päälle pakotusta juurikaan vastusta?

Kertoisitko ihan esimerkein että miten denoiseri haaskaa säteenseurannalla laskettua dataa? Keskiarvoahan se laskee niistä säteistä nvidialla vieläpä mallin pinnoille, eli ei haaskaa mitään. (Oikeasti toki ovat monimutkaisempia rakenteita)

Tavallaan voi sanoa että dlss6 voi sisältää mitä vaan, ja tavallaan ei.

Jep. Turhaa spekuloida siis. Siitä on hauskempi spekuloida että onko tällä nykytekniikalla mitään tulevaisuutta.

 

[hik]

Turhaa spekuloida siis. Siitä on hauskempi spekuloida että onko tällä nykytekniikalla mitään tulevaisuutta.

Nykytekniikan tulevaisuuden nykyisyys alkaa vasta syksyllä

 

[pomk]

Nykytekniikan tulevaisuuden nykyisyys alkaa vasta syksyllä

Onhan tuo jo olemassa, demottu jopa. Nykytekniikkaa siis.

 

[Halpuuttaja]

Kertoisitko ihan esimerkein että miten denoiseri haaskaa säteenseurannalla laskettua dataa?

Mun ymmärtääkseni se denoiseri, etenkin tekoälyllä tehty, lähinnä ennustaa/arvioi miltä kuvan pitäisi näyttää sen sädedatan perusteella. Ja tämä ennustaminen on aina enemmän tai häviöllistä/virheellistä. Tätä tarkoitin haaskaamisella.

Voi olla että se käyttääkin kaiken saadun datan mitään haaskaamatta ja sitten ilmaisuni oli huono.

Onko siis niin, että jos me käytettäisiin jotain tyypillistä videopelin denoiseria erittäin isolla budjetilla, vaikkapa 100 000 sädettä/pikseli rendattuun PT-kuvaan, ei kuvan laatu kärsisi siitä filtteristä lainkaan? Jos kärsii, mielestäni voidaan sanoa, että säteenseurannalla laskettua dataa haaskataan denoiserilla.

Oli miten oli, vähintäänkin denoiserin käyttäminen haaskaa GPU-aikaa, jolloin säteitä on varaa ampua vähemmän.

 

[pomk]

Mun ymmärtääkseni se denoiseri, etenkin tekoälyllä tehty, lähinnä ennustaa/arvioi miltä kuvan pitäisi näyttää sen sädedatan perusteella. Ja tämä ennustaminen on aina enemmän tai häviöllistä/virheellistä. Tätä tarkoitin haaskaamisella.

Tällöin kyseeessä ei ole denoiseri vaan img2img generatiivinen tekoäly. ML toteutukset eivät todellakaan kaikki toimi kuten esität.

Vaatii aika herkän testiasettelun tuloksineen jotta voisi väittää että se heittää hukkaan osan sädedatasta, jota ilman denoiseria näytettäisiin käyttäjälle.

Onko siis niin, että jos me käytettäisiin jotain tyypillistä videopelin denoiseria erittäin isolla budjetilla, vaikkapa 100 000 sädettä/pikseli rendattuun PT-kuvaan, ei kuvan laatu kärsisi siitä filtteristä lainkaan?

En tiedä. Riippuu denoiserista ja niitä on kymmeniä erilaisia eri peleissä.

Oli miten oli, vähintäänkin denoiserin käyttäminen haaskaa GPU-aikaa, jolloin säteitä on varaa ampua vähemmän.

Samoin kuin TAA (kuten dlss) haaskaa gpu aikaa ja saatais korkeampi resoluutio ilman. Kyllä niitä säteitä kannattaa aiemmilta ruuduilta käyttää hyödyksi kun uutta kuvaa lasketaan. Ruudulle jää mustia pikseleitä ja korostettua rakeisuutta jos mitään denoiseria ei käytettäisi.

 

[Halpuuttaja]

Riippuu denoiserista ja niitä on kymmeniä erilaisia eri peleissä.

Ok eli sanot, että on denoisereita, jotka toimivat niin, etteivät täydellistä, äärettömän budjetin PT-kuvaa lainkaan muuttaisi. Jos noin, niin mulla oli väärä käsitys denoiserien toimintatavoista ja seison korjattuna.

 

[Kaotik]

Juu mutta tuo on sivuseikka ottaen huomioon että AMD voisi FSR 5 mallissaan tasan samoja inputteja hyödyntää kuin tuollainen denoiser etkä silti omien sanojesi mukaan toivo heidän sellaista kehittävän.

Unohdin edelliseen vastaukseen mainita, että AMD:llahan on siis ~vastaava Ray Regeneration -denoiseri kuin NVIDIAlla. Mutta ajatukset säteenseurannasta ei sillä tietenkään muutu.

 

[Halpuuttaja]

Tuosta DLSS5 filtteristä puhuin etten toivo, ehkä ilmaisin itseni huonosti tai luin hätäiseen.
Mutta kuten jo totesin (ja huomasitkin) IMO säteenseurannalla voisi heittää vesilintua kunnes voidaan ampua tarpeeksi säteitä (sisältäen tarpeeksi korkean reson eikä mitään skaalainroskaa)

Itseasiassa mä luin hätäisesti.
AMD FSR 5:lla viittasin siis juurikin DLSS 5:ttä vastaavaan hommaan, kun sanoit ettet toivo AMD:n sellaista tuovan vaikka kuinka kehittyisi. Sanoit että denoiser toimii tyypillisesti g-bufferissa, sekoitin z-bufferiin ymmärtäen että tarkoitit että syvyyttä käytetään inputtina ja siitäpä sotkeutui asiat.

 

[pomk]

Ok eli sanot, että on denoisereita, jotka toimivat niin, etteivät täydellistä, äärettömän budjetin PT-kuvaa lainkaan muuttaisi. Jos noin, niin mulla oli väärä käsitys denoiserien toimintatavoista ja seison korjattuna.

Uskoisin että vaikka archicadin denoiseri on sellainen. Ei ole mitään teknistä estettä tuottaa säteiden määrän mukaan adaptoituvaa denoising algoa jonka luotto kuvan laatuun kasvaa säteiden määrän kasvaessa.

Ja se on kans aivan eri asia että denoiseri ei lainkaan muuttaisi kuvaa vs. että se heittää dataa pois. Se voi olla laskennallisesti yksinkertaisesti epäoptimaalinen ja tulla eri lopputulokseen. Pyöristää vaikka lukuja eri tavalla tms.

 

[Halpuuttaja]

Uskoisin että vaikka archicadin denoiseri on sellainen. Ei ole mitään teknistä estettä tuottaa säteiden määrän mukaan adaptoituvaa denoising algoa jonka luotto kuvan laatuun kasvaa säteiden määrän kasvaessa.

Ja se on kans aivan eri asia että denoiseri ei lainkaan muuttaisi kuvaa vs. että se heittää dataa pois. Se voi olla laskennallisesti yksinkertaisesti epäoptimaalinen ja tulla eri lopputulokseen. Pyöristää vaikka lukuja eri tavalla tms.

Aivan paskan screen space denoiserin sisuksiin syötetään input-kuva sellaisenaan, pikseliäkään haaskaamatta. Se laskee yksityiskohtaisen PT-kuvan kaikkien pikseleiden värikeskiarvon ja ulostaa 1x1 möntin. Mun mielestäni on ihan ok sanoa, että aiemmassa rendausvaiheessa säteenseurannalla saatua valaistusinformaatiota on haaskattu, kun loppukuvaa varten myöhemmässä vaiheessa on käytetty tätä denoiseria.

Onko sanavalinnat huonoja vai ihan asiatasollakin jotain näkemyseroa?

 

[pomk]

Aivan paskan screen space denoiserin sisuksiin syötetään input-kuva sellaisenaan, pikseliäkään haaskaamatta. Se laskee yksityiskohtaisen PT-kuvan kaikkien pikseleiden värikeskiarvon ja ulostaa 1x1 möntin. Mun mielestäni on ihan ok sanoa, että aiemmassa rendausvaiheessa säteenseurannalla saatua valaistusinformaatiota on haaskattu, kun loppukuvaa varten myöhemmässä vaiheessa on käytetty tätä denoiseria.

No riippuu mitä se denoiseri edelleen tekee. Jos outputti muuttuisi yhdenkin säteen saaman väriarvon muuttuessa niin ei niitä teknisesti ottaen olla haaskattu vaan kaikki säteet osallistuivat lopullisen kuvan tuottamiseen.

Keskiarvoittaahan ne archicadinkin denoiserit. Jokaisen pikselin vaikka 100+ sädettä keskiarvotetaan ja ulos tulee 1x1 möntti per pikseli. Tai sit siel on painotettu keskiarvo. Vaikea sanoa.

Missä kohtaa menee haaskaamisen puolelle kun output resoluution yhtä pikseliä kohden lasketaankin yli yksi säde? Esimerkissäsi esim. 8miljoonaa sädettä (oletin 4k reson lähtökuvan) per yksi pikseli outputissa oli ilmeisesti liikaa ja verrattavissa haaskaamiseen?

 

[Halpuuttaja]

No riippuu mitä se denoiseri edelleen tekee. Jos outputti muuttuisi yhdenkin säteen saaman väriarvon muuttuessa niin ei niitä teknisesti ottaen olla haaskattu vaan kaikki säteet osallistuivat lopullisen kuvan tuottamiseen.

Värikeskiarvo muuttuisi. Voidaan valaistusinformaation haaskaamisen sijaan puhua vaikka visuaalisen fideliteetin menettämisestä tms. denoisausvaiheessa, jos se auttaa, mutta yhäkään en tarkoita että input-datasta poistettaisiin mitään vaan sitä, että sitä käytetään epätäydellisesti.

Missä kohtaa menee haaskaamisen puolelle kun output resoluution yhtä pikseliä kohden lasketaankin yli yksi säde?

Siinä kohtaa kun siirrytään täydellisestä denoiserista epätäydelliseen. Noin matemaattisesti en tiedä onko täydellinen denoiseri edes validi konsepti, vai ovatko ne pikemminkin taideteoksia tms, mutta pointtina lähinnä että kompromisseja niillä tehdään aina.

Ja kompromisseja tehdään jossain määrin samaan tapaan myös kun käytetään DLSS 5:n kaltaista kuvanihanninta. Se muistaakseni oli alkuperäinen pointtini.

 

[pomk]

Siinä kohtaa kun siirrytään täydellisestä denoiserista epätäydelliseen.

Täh? Ehkä et nyt ymmärrä miten säteenjäljitys edes toimii, mutta on siis erittäin normaalia ampua ihan järjetön määrä säteitä per pikseli (kenties vähän eri sub pixel koordinaateilla) ja sitten keskiarvottaa ne. Jos vaikka on joku puoliheijastava pinta, niin sun on pakko laskea se heijastus yhtenä säteenä ja lasin läpi menevä osa toisena ja keskiarvottaa lopputulos. Sitten esim. ihoa mallinnettaessa säteitä pitää ampua ihan hemmetisti jotta saadaan ihon alainen valoa satunnaisesti hajottava kudoskerros laskettua järkevästi.

Mikäli ammutaan vain yksi säde per pikseli niin lopputulos on kaoottisen rakeinen kasa paskaa.

Quake rtx pelissä voit säätää moottorista denoisingin kokonaan pois päältä, ja rajoittaa säteiden määrän yhteen per pikseli. Kantsii käydä kattomassa miltä sekin sitten näyttää.

Se mitä esität on vähän vastaavaa kuin jos sanoisi että SSAA haaskaa laskettuja pikseleitä, ja kuinka kuva ilman mitään AA totuetusta olisi ”täydellinen”.

Ja kompromisseja tehdään jossain määrin samaan tapaan myös kun käytetään DLSS 5:n kaltaista kuvanihanninta. Se muistaakseni oli alkuperäinen pointtini.

Yritätkö todella jotain keskiarvofunktiota verrata generatiiviseen img2img tekoälyyn ja esittää että ne olisi yhtälailla epätäydellisiä tapoja esittää säteenjäljityksen lopputulosta ihmisille?

”Täydellisessä” maailmassa meillä olisi rajattoman tarkka näyttö ja siinä sitten vaikka miljardi sädettä piirrettynä. Näin meidän oma silmä saisi tehdä sen denoisingin. Oikeastaan tässä olisi varmaan se oikea lähtökohta jotta voidaan sanoa milloin denoiseri toimii ”täydellisesti”, eli jos ihminen ei erota sitä tälläisestä teoreettisesta esitystavasta.

 

[Halpuuttaja]

Quake rtx pelissä voit säätää moottorista denoisingin kokonaan pois päältä, ja rajoittaa säteiden määrän yhteen per pikseli. Kantsii käydä kattomassa miltä sekin sitten näyttää.

Quake 2 RTX on oikein tuttu ja erittäin hyvä esimerkki, kiitos. Siinä pelissä kun laittaa settareista denoiserin pois päältä, niin screen space algoritmi nimeltään SVGF otetaan pois käytöstä. Mistähän syystä jätit tämän mainitsematta kun liittyy erittäin olennaisesti siihen mistä on kokoajan keskusteltu?

Mun ymmärtääkseni denoiserin käytöstä poistaminen ei tossa pelissä vaikuta ammuttujen säteiden määrään lainkaan vaan nimenomaan vain togglettaa tuota SVGF algoa. Voit havainnoida tätä siitä sisäänrakennetusta diagnostiikka indikaattorista, joka näyttää kuinka paljon mikäkin elementti render pipelinestä maksaa gpu timeä.

Muistaakseni voit myös yhä säätää low, medium ja high asetuksia säteiden määrille riippumatta siitä onko denoiser päällä vai pois, mistä syystä oletan ettei säteiden määrää muuteta riippumatta denoiser on/off asetuksesta. Yli vuoteen en ole yli vuoteen tohon peliin koskenut ja nämä asiat enimmäkseen ulkomuistista joten en ole tuosta varma.

Tuo SVGF algoritmi suttaa kuvaa voimakkaasti, kuva on terävämpi mutta toki rakeinen ilman sitä. Hyvä esimerkki epätäydellisestä reaaliaikaisesta screen space denoiserista.

Mä olen tässä kokoajan puhunut vain ja ainoastaan juuri SVGF:n kaltaisista screen space denoisereista, jotka toimii post-process vaiheessa, säteiden ampuisen jälkeen. Menee nyt saman toistoksi mutta: Ammut äärettömän määrän säteitä ja keskiarvotat ne ja saat täydellisen PT-kuvan Quake 2 RTX:ssä. Sitten lyöt ton SVGF:n tulille ja mun vahva olettamukseni on että suttaa kuvaa ikävästi -> menetetään visuaalista fideliteettiä (tai miten ikinä tämä nyt sitten pitääkään ilmaista).

Se mitä esität on vähän vastaavaa kuin jos sanoisi että SSAA haaskaa laskettuja pikseleitä, ja kuinka kuva ilman mitään AA totuetusta olisi ”täydellinen”.

En lainkaan esitä. Esitän, että SSAA:lla saatua kuvainformaatiota heitetään enemmän tai vähemmän hukkaan, jos sen jälkeen käytetään jotain post-process filtteriä joka tuhoaa niitä yksityiskohtia joita sillä SSAA:lla loihdittiin. Vaikka jotain motion blurria tms. Tai DLSS 5-kuvansööttääjää.

 

[pomk]

Mun ymmärtääkseni denoiserin käytöstä poistaminen ei tossa pelissä vaikuta ammuttujen säteiden määrään lainkaan

Jep, kuten kirjoitin niin molemmat voit pelistä säätää ja katsoa lopputulosta, kun denoisingia ei tapahdu ja säteitä ammutaan tasan yksi per pikseli. Säteiden määrän nostaminen yli yhteen keskiarvottaa niitä, ja tämä on ilmeisesti huono idea?

Menee nyt saman toistoksi mutta: Ammut äärettömän määrän säteitä ja keskiarvotat ne ja saat täydellisen PT-kuvan Quake 2 RTX:ssä. Sitten lyöt ton SVGF:n tulille ja mun vahva olettamukseni on että suttaa kuvaa ikävästi -> menetetään visuaalista fideliteettiä (tai miten ikinä tämä nyt sitten pitääkään ilmaista).

Eikö se todella muutu terävämmäksi säteiden määrää nostamalla, vaan algoritmi suttaa tästä tietämättä kuvan aina samanlaiseksi, heittäen hukkaan suuren osan lasketuista säteistä? Jos näin niin silloin algoritmia olisi syytä kehittää.

En lainkaan esitä. Esitän, että SSAA:lla saatua kuvainformaatiota heitetään enemmän tai vähemmän hukkaan, jos sen jälkeen käytetään jotain post-process filtteriä joka tuhoaa niitä yksityiskohtia joita sillä SSAA:lla loihdittiin. Vaikka jotain motion blurria tms. Tai DLSS 5-kuvansööttääjää.

Eli SSAA keskiarvottamassa laskettuja pikseleitä on ok, mutta jos sen nimi olisi ”denoiser”, niin silloin se olisi huono juttu? Keskiarvottava denoiseri se SSAA:kin teknisesti ottaen on.

 

[Halpuuttaja]

Säteiden määrän nostaminen yli yhteen keskiarvottaa niitä, ja tämä on ilmeisesti huono idea?

Ei ole enkä ole tuommoista millään tavalla yrittänyt viestittää. Ehkä olen väärässä mutta ei tota denoisaamiseksi kutsuta kun ammutaan useita säteitä pikseliä kohden ja sitten sitä pikseliä kohden se tulokset keskiarvotetaan. Samplaamiseksi tota mun ymmärtääkseni kutsutaan.

Eli SSAA keskiarvottamassa laskettuja pikseleitä on ok, mutta jos sen nimi olisi ”denoiser”, niin silloin se olisi huono juttu?

En pysy kärryillä, mä en ole missään vaiheessa yrittänyt mitään tollaista sanoa SSAA:sta tai siitä että ammutaan helvetisti säteitä, eli kerätään sampleja.

Meniköhän tässä asiat sekaisin kun yritin kuvailla surkeaa post-process denoiseria, joka ottaa kuvan kaikki pikselit (siis sen jälkeen kun säteet tai ssaa on samplattu ja keskiarvotettu) ja laskee niistä värikeskiarvon ja näyttää sen ruudulle.
Loppu kuva on 3840x2160 pikseliä joista kaikki on tasan saman värisiä, 1x1 möntiksi nimitin, mistä ehkä lähti joku väärinymmärrysten ketju liikkelle tai jotain. Muuten en oikein tiedä mistä olet saanut päähäsi että samplejen keskiarvoistamista olen pitänyt denoisaamisena.

 

[pomk]

Ei ole enkä ole tuommoista millään tavalla yrittänyt viestittää. Ehkä olen väärässä mutta ei tota denoisaamiseksi kutsuta kun ammutaan useita säteitä pikseliä kohden ja sitten sitä pikseliä kohden se tulokset keskiarvotetaan. Samplaamiseksi tota mun ymmärtääkseni kutsutaan.

Se keskiarvottaa ne jollain alalla. Denoiseri se siis on. Jos sampleja on liian vähän per pikseli niin sit keskiarvotetaan yli pikselin alallla.

Aiemmassa esimerkissäsi myös keskiarvotettiin kauhea määrä säteitä 1x1 möntiksi ja pidit sitä huonona. Nyt sitten se onkin hyvä juttu ja vain samplausta. En ymmärrä.

Meniköhän tässä asiat sekaisin kun yritin kuvailla surkeaa post-process denoiseria, joka ottaa kuvan kaikki pikselit (siis sen jälkeen kun säteet tai ssaa on samplattu ja keskiarvotettu) ja laskee niistä värikeskiarvon ja näyttää sen ruudulle.
Loppu kuva on 3840x2160 pikseliä joista kaikki on tasan saman värisiä, 1x1 möntiksi nimitin, mistä ehkä lähti joku väärinymmärrysten ketju liikkelle tai jotain. Muuten en oikein tiedä mistä olet saanut päähäsi että samplejen keskiarvoistamista olen pitänyt denoisaamisena.

Samplejen keskiarvoistamistahan se denoisaus lähtökohtaisesti on. Se vaan tehdään usein eri alalle kuin 1x1 px, jos säteitä ammutaan liian vähän haluttuun kohinan määrään nähden. Säteiden määrää kasvattamalla denoiseri voi toimia aina vaan pienemmällä alalla jos haluttu kohinataso pidetään vakiona. Parhaat denoiserit keräävät sampleja framesta toiseen piirtäen ne mallien tekstuureille ja dynaamisesti adaptoituvat paikallisen sampletiheyden mukaisesti.

Aiemmin keskustelimme teoreettisista ja täydellisistä denoisereista, nyt maalitolppa onkin sitten joku surkein keksimäsi toteutus (joka muuten ei heitä dataa pois sekään)?

 

[Halpuuttaja]

Aiemmin keskustelimme teoreettisista ja täydellisistä denoisereista, nyt maalitolppa onkin sitten joku surkein keksimäsi toteutus (joka muuten ei heitä dataa pois sekään)?

Surkeinta keksimääni toteutusta en tuonut maalitolpaksi vaan havainnollistamaan äärimmäisellä, yksinkertaisella tavalla säteen seurannalla saadun visuaalisen fideliteetin menettämistä (valaistusinformaation haaskaamista).

Vaikke ne tosimaailman denoiserit on parempia kuin tuo läppä, on ne epätäydellisiä myöskin, mutta tapa jolla ne haaskaa visuaalista fideliteettiä on huomattavan haastavampi minulle kuvailla.

Q2 RTX puhuttaessa tein ihan selväksi, että olen puhunut nimenomaan noista SVGF:n tyyppisistä denoisereista en sampling vaiheen keskiarvottamisesta. Sulla on tässä vaiheessa kaikki eväät ymmärtää mitä mä tarkoitan jos vain haluat. Voit myös jankuttaa samplejen keräämisestä ja niiden keskiarvottamisesta, jos haluat, en osallistu siihen enempää.

 

[pomk]

Surkeinta keksimääni toteutusta en tuonut maalitolpaksi vaan havainnollistamaan äärimmäisellä, yksinkertaisella tavalla säteen seurannalla saadun visuaalisen fideliteetin menettämistä (valaistusinformaation haaskaamista).

Vaikke ne tosimaailman denoiserit on parempia kuin tuo läppä, on ne epätäydellisiä myöskin, mutta tapa jolla ne haaskaa visuaalista fideliteettiä on huomattavan haastavampi minulle kuvailla.

Se on sinänsä ihan hyvä keskustelu että onko vaikka valokuvia käsiteltäessä kaikki kohinanpoisto sama asia kuin visuaalisen fideliteetin vähentäminen. Tai vaikkapa mielenkiintoisempana esimerkkinä bayer suodattimen epätäydellinen käänteisfunktio. Onko digikameralla otetun kuvan fideliteetti korkeampi ennen debayerointia, ja haaskaako debayerointi kuvainformaatiota?

Q2 RTX puhuttaessa tein ihan selväksi, että olen puhunut nimenomaan noista SVGF:n tyyppisistä denoisereista en sampling vaiheen keskiarvottamisesta.

Okei. Hyvä denoiseri toimii hieman eri tavalla ja on tietoinen kaikkien laskettujen säteiden tarkoista sijainneista ja toteuttaa myös sen vaiheen mitä kutsut samplaukseksi. Samplet usein ammutaan alipikselitarkkuudella ja tämä informaatio on pakko säilyttää parasta mahdollista lopputulosta varten. jo vaikka dlss2 osasi tuon infon huomioida. Saako moista enää kutsua screen space denoiseriksi lienee lähinnä semanttinen vääntö. Eli onko se 2d point cloud screenspacea jos sitä ei ennen denoiseria samplata pikseleiksi. Mielestäni on sillä point cloud on kuitenkin screenspace koordinaateissa. Entä jos käytössä on myös sädekohtainen hit depth, onko kyse enää screen spacesta? Tai z-buffer?

Edit: mainitsemasi svgf käyttää syvyystietoja, normaaleja, liikevektoreita jne.

 

[Halpuuttaja]

Eli onko se 2d point cloud screenspacea jos sitä ei ennen denoiseria samplata pikseleiksi. Mielestäni on sillä point cloud on kuitenkin screenspace koordinaateissa. Entä jos käytössä on myös sädekohtainen hit depth, onko kyse enää screen spacesta? Tai z-buffer?

Edit: mainitsemasi svgf käyttää syvyystietoja, normaaleja, liikevektoreita jne.

Kyllä mä nämä kaikki laskisin screen spaceksi. Säteet on kameran perspektiiviä varten ammuttu ja tulokseksi saadaan tosiaan 2D pilvi.

Screen space varjot (ja kai heijastuksetkin) turvaa nimenomaan z-bufferiin inputtina. Ihan 2D kuva se depth mappikin vain on kuten liikevektorit ym.

Vaikka se denoiserin näkemä 2D pistepilvi tai DLSS 5:n käyttämä 2D kuva on saatettu luoda ruudun ulkopuolista 3D geometriaa hyödyntämällä, ei filtterillä itsellään enää ole pääsyä sinne 3D geometriaan lisätietoa hakemaan, vaan on täysin sieltä aiemmin screen spaceen kerättyjen tietojen varassa.

 

[Juhanator]

Jensen Huang antoi juuri Lex Fridman haastiksen, tähän ketjuun etenkin sopivin kommentti häneltä oli että dlss 5 antaa kehittäjille mahdollisuuden käyttää heidän omia tuotoksiaan, ja harjoittaa niillä malleja (uusia lopputuloksia, vaikapa rajattujen taiteilijoiden tyylillä).

Eli pelinkehittäjät saa mielestäni aika houkuttelevan alustan tuossa. Koska voivat rajata mallit heidän omaan taide tai visuaalityyliinsä. Tai no itse hieman tekoälyn opintoja tehneenä, kyseessä on tietysti silloinkin Training models in Local AI-systeemi, mutta kehittäjät käyttävät tuotoksissaan DLSS 5- kykyjä.

En siis lainkaan epäile, ettei pelinkehittäjät tästä ottaisi koppia. Kerran saavat rajata tekniikan vapaasti, oman pelitalon visuaaliseen tyyliin. Mielestäni nämä on niitä positiivisia lähestymiskulmia DLSS 5:seen, vaikka kaikki ai-slob pelot (aiheellisetkin) laskettaisiinkin mukaan

 

[weetabix]

Puhe on halpaa ja tähänkin mennessä se on ollut enemmän markkinointipuhetta kuin totta (ellei jopa pientä valhettakin). Katsotaan nyt ensin onko se "tyyli" täsmälleen ne optiot mitä on insinööreiltä saatu kiristettyä vai saadaanko sieltä oikeasti kuinka yksilöllistä settiä.

 

[Juhanator]

Noh kun tähän suhtaudutaan kuin työkaluun, ja (kunnon)kehittäjä ei tietysti siinä vaiheessa ole käyttämässä internetin yleistä generatiivista tekoälyä, vaan Local Ai malleja, joissa käytetään talon omia asetteja, visuaalisia juttuja ja taidetta. Silloinhan se on tarkasti rajattua työskentelyä, josta ollaan suljettu "yleinen ai-slob" ulos. Ihan perinteinen Loacal Ai-malli siis, mikään ei sinällään muutu, nytkin voi valita, mitä malleja käyttää/treenaa. DLSS 5 tuo vain lisää hevovoimia, kykyjä ja kiiltoa hommaan. Ja varmaan on entistä nopeampi, mikä kehitystyössä tietysti yksi tärkeä pointti.

Artisti voi sitten ihmetellä, kun ai- käyttää oman talon tuotoksia perustana, luodakseen jotain uutta sen pohjalta. Tätä varmaan nytkin tehdään jo pelitalojen omilla ai-työkaluilla, dlss 5 lisää siihen hurjasti kikkoja lisää. Yleisin pelko verkossa on tietysti nyt että ai-slob pelejä alkaa olemaan pilvin pimein. Varmasti näinkin, ai slobbi-pelejä on takuuvarmasti pian ulkona yhtä paljon kuin Spotifyssa ai musiikkia.

Mutta ne "kunnon" pelitalot, voi tämän tietysti ottaa työkalupakkiinsa, omien peliensä tuottamiseen. En siis näe että asiat liiemmin muuttuu, osa käyttää ai:ta nopeisiin voittoihin (yllätys yllätys), osa hyödyntää ne omalta pohjaltaan huolellisemmin, omissa studiossaan ja "perinteisten" artistien pohjalta.

 

[weetabix]

Mutta jos haluttaisiin sceneen sopiva, niin kentillä/sektioilla pitäisi kaikilla olla eri mallit. Ja jos köytetään vain omia assetteja, niin mikä sen generatiivisen luomisen hyöty on? Jos malli toimii muutamalla konseptiluvalla niin ihan jees, mutta epäilen että tämä "työkalu" vaatii aika paljon panostusta hyötyyn nöhden jos pysytään omissa asseteissa. Kyllä se pitää oikeasti opettaa mikä se haluttu lopputulos on ja silloinkin voi mennä kontekstilta pahasti ohitse.

Mutta kuten sanoin, uskon sitten kun näen sitä käytettävän ja kolmannet osapuolet pääsevät arvioimaan jälkeä ja millä/miten se pyörii.

 

[pomk]

Mutta jos haluttaisiin sceneen sopiva, niin kentillä/sektioilla pitäisi kaikilla olla eri mallit. Ja jos köytetään vain omia assetteja, niin mikä sen generatiivisen luomisen hyöty on? Jos malli toimii muutamalla konseptiluvalla niin ihan jees, mutta epäilen että tämä "työkalu" vaatii aika paljon panostusta hyötyyn nöhden jos pysytään omissa asseteissa. Kyllä se pitää oikeasti opettaa mikä se haluttu lopputulos on ja silloinkin voi mennä kontekstilta pahasti ohitse.

Mutta kuten sanoin, uskon sitten kun näen sitä käytettävän ja kolmannet osapuolet pääsevät arvioimaan jälkeä ja millä/miten se pyörii.

Saadaan vaan baked in lighting takaisin. Ai slopilla höystettynä. Ainiin, ja 2x 5090 30fps.

Haastan myös jenssenin näkemyksen että joku pelistudio onnistuu luomaan uuden img2img mallin mitä tuolle syöttää. Noiden tuottamiseen tarvitaan kuitenkin aika merkittävää laskentatehoa ja sit ne korkealaatuiset assetit mitä nytkään ei osata laittaa peleihin.

Lämpimikseen puhelee ja maalailee tulevaisuutta jota ei ole.

 

[Halpuuttaja]

Jensen tossa haastiksessa myös sanoo että tulevaisuudessa mallin promptaaminen on mahdollista ja ymmärtäisin, että sanoessaan "you could even give it an example" hän saattaisi tarkoittaa ns. style transferia esimerkkikuvasta.

Alkaa kuulostaa jo ihan kunnolliselta. Vähän ihmetyttää etteivät heti etupeltoon kertoneet noin laajasta kustomoitavuudesta.

 

[Noctrl]

Artistin näkemys Muistakaahan laittaa dlss, AA, AF, ja kaikki muutkin pois päältä ja mainstream resoluutio eli joku 1080p/konsoli 720 mille pelit suunnitellaan. Älkää unohtako gamepadia. Ite en malta odottaa, että AI laitetaan kaikkii peleihin. Mielummin hoidan jutustelut chatgpt pohjaisilla npc: llä kun niillä kolmella eri voice linella. Voisin vaikka oman naamani laittaa Arthur Morganin tilalle uusimmalla dlssllä. Vinkujat vinkuu

 

[pomk]

Jensen tossa haastiksessa myös sanoo että tulevaisuudessa mallin promptaaminen on mahdollista ja ymmärtäisin, että sanoessaan "you could even give it an example" hän saattaisi tarkoittaa ns. style transferia esimerkkikuvasta.

Alkaa kuulostaa jo ihan kunnolliselta. Vähän ihmetyttää etteivät heti etupeltoon kertoneet noin laajasta kustomoitavuudesta.

Vapaa promptaus tässä olis se paras juttu hupikäyttöä varten. Ja eihän ne tämmösiä juttuja oo kertonu aiemmin ku eihän noista varmaan edes tiedetty vielä mitään demon aikaan. Nyt sitten hädissään spinnattu muutama unelma eetteriin. Valmista ehkä 2030.

 

[hsalonen]

Hätähuuto: Pelit menevät pilalle Nvidian uuden teknologian takia

Kehittäjä myös pitää tekoälyä kuplana.

tekniikanmaailma.fi

(artikkelissa sanotaan, että uusi DLSS pilaa pelit, koska ai-artifaktit ja pelin alkup. vision rikkominen)

Taas on joku pelintekijä avautumassa, kuinka tämä tekee hirveää jälkeä. On kuitenkin pelintekijä, jolla on kymmeniä vuosia kokemusta.

--

Minä taas olen innoissani tästä, ja näen, että versio 1 voi olla vähän huono -> mutta jos mennään 10v eteenpäin, niinkuin RT:n kanssa, siitä tulee varmasti kelpo lisä peleihin. Tämä kyllä vaatii sen, että tämä yleistyy ja näytönohjaimet kehittyvät. En todellakaan ota käyttöön, jos FPS tippuu puoleen (2x 5090 antoi vahvaa viitettä, että tämä tarvitsee melkein yhden näytönohjaimen itselleen).

Eli nykyisellään teknologia on hidas raakile, jota tuskin kukaan käyttää. Sitten se siitä kehittyy, jos annetaan. Nyt ovat ihmiset canceloimassa tätä, nähtyään vaan pari demoa.

 

[LaDeX]

Artistin näkemys Muistakaahan laittaa dlss, AA, AF, ja kaikki muutkin pois päältä ja mainstream resoluutio eli joku 1080p/konsoli 720 mille pelit suunnitellaan. Älkää unohtako gamepadia. Ite en malta odottaa, että AI laitetaan kaikkii peleihin. Mielummin hoidan jutustelut chatgpt pohjaisilla npc: llä kun niillä kolmella eri voice linella. Voisin vaikka oman naamani laittaa Arthur Morganin tilalle uusimmalla dlssllä. Vinkujat vinkuu

Eli haluat täysin ala-arvoista ja tyhjänpäiväistä sloppia jonka voi vaan skipata sen sijaan että olisi laadukkaasti käsikirjoitettua ja ääninäyteltyä dialogia. ESO:ssakin päähahmojen näyttelijöistä löytyy mm. John Cleese, Kate Beckinsale ja Bill Nighy.

 

[Noctrl]

Voi kyynel jos koko Ai sana kattaa jonkun henkisen latauksen ja romahduksen

 

[Kaotik]

Voi kyynel jos koko Ai sana kattaa jonkun henkisen latauksen ja romahduksen

Ihan sama mitä sanoja tuohon kytkee, yhtä kuraa se on siitä riippumatta

 

[Noctrl]

Ahaa, ai on kuraa? Mikä muu on kuraa, musiikki, politiikka kaikki moottoriajoneuvot?

 

[Kaotik]

Ahaa, ai on kuraa? Mikä muu on kuraa, musiikki, politiikka kaikki moottoriajoneuvot?

DLSS 5 tässä ketjussa nyt viimepäivät on ollut puheenaiheena, siihen viittasin ja oletin sinunkin viittaavan.

 

[Noctrl]

Dlss5 just nimenomaan näyttää, mihin ai kykenee. Pelit saadaan näyttämään paremmalta, kuin poloinen developeri, jolla ei ole aikaa hioa hahmoa/valaistusta/detaileja kaikissa komboissa. En keksi muuta valitettavaa siitä, paitsi että 2x 5090 hieman nauratti, mutta lienee vaan pikku detaili, joka mainittiin ohimennen testikokoonpanossa, ei vaatimuksena.

 

[LaDeX]

Dlss5 just nimenomaan näyttää, mihin ai kykenee. Pelit saadaan näyttämään paremmalta, kuin poloinen developeri, jolla ei ole aikaa hioa hahmoa/valaistusta/detaileja kaikissa komboissa. En keksi muuta valitettavaa siitä, paitsi että 2x 5090 hieman nauratti, mutta lienee vaan pikku detaili, joka mainittiin ohimennen testikokoonpanossa, ei vaatimuksena.

Tämä nimenomaan ei osaa valaistusta ja sössii yksityiskohdat.

 

[Troublematic]

Jensseni avasi tätä vissiin hieman lisää Lex Fridmanin haastattelussa:

Tämän sisällön näkemiseksi tarvitsemme suostumuksesi kolmannen osapuolen evästeiden hyväksymiseen.
Lisätietoja löydät evästesivultamme.

Hyväksy kolmannen osapuolen evästeet

Linkki: https://youtu.be/vif8NQcjVf0?si=Y3gX07gloujltt8c&t=6505


En ole sitä itse ehtinyt käydä läpi, mutta tällaista lisäinfoa siitä oli joku kerännyt:

• the model itself will be open to developers, not purely pre-baked and static weights;
• training and tuning the model on your own dataset will be a normal practice and expectation;
• you'll even be able to simply prompt it, with either words or possible even with example images if you don't want to do a full training

Näyttää siis siltä, että kehittäjät pystyvät kouluttamaan esim. omaan pelimateriaaliin pohjautuvan LoRAn tai kokonaan tuunatun mallin siitä Nvidian pohjaversiosta. Ja varmaan tulee myös jossain vaiheessa modaajien saataville, ja siinä vaiheessa tuskin artistien tunteet enää kiinnostaa.

 

[Kaotik]

Dlss5 just nimenomaan näyttää, mihin ai kykenee. Pelit saadaan näyttämään paremmalta, kuin poloinen developeri, jolla ei ole aikaa hioa hahmoa/valaistusta/detaileja kaikissa komboissa. En keksi muuta valitettavaa siitä, paitsi että 2x 5090 hieman nauratti, mutta lienee vaan pikku detaili, joka mainittiin ohimennen testikokoonpanossa, ei vaatimuksena.

Juu nimenomaan ei saa näyttämään paremmalta, vaan "paremmalta". Jos hahmoja tarkasteltaisiin tyhjiössä ja studiovalaistuksessa juu, olisivat varmasti paremman näköisiä DLSS 5:llä, mutta hahmot peleissä harvoin ovat tyhjiössä studiovalojen kera. Kun niitä katsotaan osana kokonaisuutta huomaa nopeasti miten se "paremman näköinen" ei sovi lainkaan ympäristöönsä ja sen valaistuksiin. Sama juttu maaston sun muiden muutoksissa.
Ja tämä ennen kuin otetaan edes huomioon ongelmia kuten geometrialta näyttävien asioiden luominen tyhjästä (suosittuja esimerkkejä olleet varjon muuttuminen huiviksi hogwartsissa ja kolmas sierain starfieldissä), disokkluusio-ongelmat, täysin toisiksi muuttuvat valaistukset ja säät, katoavat sumut jne jne

Jensseni avasi tätä vissiin hieman lisää Lex Fridmanin haastattelussa:

Tämän sisällön näkemiseksi tarvitsemme suostumuksesi kolmannen osapuolen evästeiden hyväksymiseen.
Lisätietoja löydät evästesivultamme.

Hyväksy kolmannen osapuolen evästeet

Linkki: https://youtu.be/vif8NQcjVf0?si=Y3gX07gloujltt8c&t=6505


En ole sitä itse ehtinyt käydä läpi, mutta tällaista lisäinfoa siitä oli joku kerännyt:

• the model itself will be open to developers, not purely pre-baked and static weights;
• training and tuning the model on your own dataset will be a normal practice and expectation;
• you'll even be able to simply prompt it, with either words or possible even with example images if you don't want to do a full training

Näyttää siis siltä, että kehittäjät pystyvät kouluttamaan esim. omaan pelimateriaaliin pohjautuvan LoRAn tai kokonaan tuunatun mallin siitä Nvidian pohjaversiosta. Ja varmaan tulee myös jossain vaiheessa modaajien saataville, ja siinä vaiheessa tuskin artistien tunteet enää kiinnostaa.

En ole vielä haastattelua katsonut, mutta ottaen huomioon mitä muuta hölynpölyä Jensen asian tiimoilta ehti jo sanoa en pidättelisi henkeä näkemistä odotellessa.

 

[pomk]

En ole sitä itse ehtinyt käydä läpi, mutta tällaista lisäinfoa siitä oli joku kerännyt:

• the model itself will be open to developers, not purely pre-baked and static weights;
• training and tuning the model on your own dataset will be a normal practice and expectation;
• you'll even be able to simply prompt it, with either words or possible even with example images if you don't want to do a full training

Näyttää siis siltä, että kehittäjät pystyvät kouluttamaan esim. omaan pelimateriaaliin pohjautuvan LoRAn tai kokonaan tuunatun mallin siitä Nvidian pohjaversiosta.

Jännä kyllä kun tuon tekniikan kehittäjät eivät olleet tietoisia näistä vaihtoehdoista. Jensseni satuilee lisää fiitsöreitä kun vastaanotto ei ollutkaan toivottua. 50€ vetoa että tuota ei voi launchissa promptata vapaasti.

Jännästi ei kans enää väitä että tuo olisi geometriatasolla toimiva, kuten silloin ”they are all wrong” q&a:ssa. Nopeasti muuttuu tekniikka.

 

[Halpuuttaja]

Jännä kyllä kun tuon tekniikan kehittäjät eivät olleet tietoisia näistä vaihtoehdoista. Jensseni satuilee lisää fiitsöreitä kun vastaanotto ei ollutkaan toivottua.

Mistä selviää että eivät olleet tietoisia?

Satuilun sijaan voi myös olla ettei mallin treenaamiseen/promptaamiseen liittyvistä kysymyksistä oltu vielä GTC:n julkistusta varten päätetty joten siitä syystä sellaisesta ei kommunikoitu mitään. Tai ehkä oltiin alustavasti aiottu pitää hyvin suljettuna jolloin kustomoitavuutta ei luonnollisestikaan voitu hehkuttaa.

Nyt sitten damage controllina Jensenin vaustaus kritiikkiin artistisen kontrollin niukkuudesta on päätös/mielen muutos avata nuo mahdollisuudet.

Yksi arvaus vain, mutta mielestäni ihan mahdollinen skenaario. Valehdelleet ovat toki ennenkin (mm. DLSS 2018 julkkarissa tuettujen pelien lista), joten vetoa en lyö etteikö venyttäisi totuutta tälläkin kertaa.

Eli haluat täysin ala-arvoista ja tyhjänpäiväistä sloppia

Kyllä

Ja joku toinen haluaa vain elokuvia eikä mitään tietokoneella rendattua sloppia. Ei tule kuuloonkaan, että John Cleesen silly walkin luonnollinen liike korvattaisiin kankeilla animaatioilla.

Tuommoinen kielimallia hyödyntävä NPC mahdollistaisi interaktiivisuuden osalta aika erilaisen pelikokemuksen kuin nykyiset ennalta skriptatut NPC:t. Mun kirkossani ei ole vielä kovasti kuuluteltu, onnistutaanko kielimallien peli-integraatiossa koskaan mielekkäällä tavalla vai ei. Mutta kirkkoja on monia!

 

[P c L A Y E R]

Ihmisillä menee kyllä ihan liian överiksi tämä AI vastarinta. Nyt on sitten DLSS5 ilmeisesti korvaamassa ääninäyttelijät ja käsikirjoittajatkin...

Jos omaa silmää miellyttää DLSS5 tuottama enemmän valokuva/videomainen tyyli, missä jäljitellään näennäisesti photorealismia, niin keneltä se on pois?
Jos joku olis tehnyt vastaavan vaikka reshadena, (mikä luonnllisesti ei ole edes mahdollista), niin tässä ei olisi kenelläkään mitäään ongelmaa. Kyllä itse pelaisin ainakin zorahissa (jos se olisi siis peli) ennemmin tuolla DLSS5:lla terästettyä versiota, kun tuota alkupeäistä seepiafiltteröidyn näköistä versiota.

NVIDIA DLSS 5: Zorah Tech Demo GeForce RTX Comparison: NVIDIA DLSS 5 On vs. NVIDIA DLSS 5 #004

NVIDIA DLSS 5: Zorah Tech Demo GeForce RTX Comparison: NVIDIA DLSS 5 On vs. NVIDIA DLSS 5 #004

www.nvidia.com

 

[pomk]

Mistä selviää että eivät olleet tietoisia?

Ne vastaili sen yhen tubettajan kysymyksiin varsin avoimesti ja mitään noista ei sanottu olevan mahdollista.

Satuilun sijaan voi myös olla ettei mallin treenaamiseen/promptaamiseen liittyvistä kysymyksistä oltu vielä GTC:n julkistusta varten päätetty joten siitä syystä sellaisesta ei kommunikoitu mitään. Tai ehkä oltiin alustavasti aiottu pitää hyvin suljettuna jolloin kustomoitavuutta ei luonnollisestikaan voitu hehkuttaa.

Niinhän just kirjoitin tuossa. Että jensseni keksii päästään lisää kamaa kun vastaanotto oli paska.

On ne toki just ennen tätä viimeisintä haastista voitu heittää jollekki jira backlogiinkin.

Jos joku olis tehnyt vastaavan vaikka reshadena, (mikä luonnllisesti ei ole edes mahdollista)

Reshade työkaluilla voi tehdä vastaavan.

 

[soup]

Ihmisillä menee kyllä ihan liian överiksi tämä AI vastarinta. Nyt on sitten DLSS5 ilmeisesti korvaamassa ääninäyttelijät ja käsikirjoittajatkin...

Eikös tuon ottanut esille tekoälyn puolestapuhuja?

 

[Noctrl]

Tähän mennessä ne artistin näkemykset animaatioista ja dialogeista on kyllä peleissä nähty ja ne on ihan kuraa. Vähänkin tunneherkkä ihminen tunnistaa jonkun valmiiks luetun skriptin täysin irrallaan pelin atmosfääristä, ku ääninäyttelijä ei osaa tulkita jotain koskettavaa tarinaa ja tulee mieleen joku salkkarin jakso, jossa kadulta repäisty näyttelijää tavaa käsikirjoituksen sanat ulkoa opeteltuna. Esimerkkinä Kingdom Come Deliverance 1 ja 2. Niin surkeeta ääninäyttelyä ja hahmot on jollain 2026 parta trimmerillä viimeiseltyjä cityboi hahmoja, joilla aikakauden elämän raskaus ei näy kasvoilla/ryhdissä/äänessä ollenkaan. Pilaa tunnelman täysin. AI saa korvata paskat ääninäyttelijät ja huonot hahmot mitä pikimmin sen parempi. Onneks tulevaisuudessa saadaan kaikille robottihämähäkeillekin tehtyä luonnolliset animaatiot maaston muotojen mukaan, ku otetaan oikea data eläviltä hämähäkeiltä ja koulutetaan AI tältä pohjalta. Ammut jalan pois ja robo reagoi tasapainottamalla itsensä jäljelle jääville raajoille ja hommat jatkuu, kunnes yks jalka jäljellä ja raahaudutaan sitten sen varassa. Kuvittelepa artistin päänsärkyä, ku pitäs jokainen kahdeksan jalan ERI kombinaatio animoida peliin. Itelle ei mikään animoitu developer "slop" elokuva mene pelistä. Pitää olla muutakin ku ennalta kirjotettu putkijuoksu massoille. Jengi on nyt keksinyt sanan slop ja siihen vedetään yhtäläisyysmerkki sanan AI kanssa, jota pitää päästä viljelemään keskusteluissa, että kokis kuuluvansa johonkin ryhmään toistellen muiden mielipiteitä. AI toteutuksia on hyviä ja huonoja. Ihan niinku meitä ihmisiäkin, toiset vaan on parempia versioita.

Mistä selviää että eivät olleet tietoisia?

Satuilun sijaan voi myös olla ettei mallin treenaamiseen/promptaamiseen liittyvistä kysymyksistä oltu vielä GTC:n julkistusta varten päätetty joten siitä syystä sellaisesta ei kommunikoitu mitään. Tai ehkä oltiin alustavasti aiottu pitää hyvin suljettuna jolloin kustomoitavuutta ei luonnollisestikaan voitu hehkuttaa.

Nyt sitten damage controllina Jensenin vaustaus kritiikkiin artistisen kontrollin niukkuudesta on päätös/mielen muutos avata nuo mahdollisuudet.

Yksi arvaus vain, mutta mielestäni ihan mahdollinen skenaario. Valehdelleet ovat toki ennenkin (mm. DLSS 2018 julkkarissa tuettujen pelien lista), joten vetoa en lyö etteikö venyttäisi totuutta tälläkin kertaa.


Kyllä

Ja joku toinen haluaa vain elokuvia eikä mitään tietokoneella rendattua sloppia. Ei tule kuuloonkaan, että John Cleesen silly walkin luonnollinen liike korvattaisiin kankeilla animaatioilla.

Tuommoinen kielimallia hyödyntävä NPC mahdollistaisi interaktiivisuuden osalta aika erilaisen pelikokemuksen kuin nykyiset ennalta skriptatut NPC:t. Mun kirkossani ei ole vielä kovasti kuuluteltu, onnistutaanko kielimallien peli-integraatiossa koskaan mielekkäällä tavalla vai ei. Mutta kirkkoja on monia!

 

[LaDeX]

Kyllä

Ja joku toinen haluaa vain elokuvia eikä mitään tietokoneella rendattua sloppia. Ei tule kuuloonkaan, että John Cleesen silly walkin luonnollinen liike korvattaisiin kankeilla animaatioilla.

Tuommoinen kielimallia hyödyntävä NPC mahdollistaisi interaktiivisuuden osalta aika erilaisen pelikokemuksen kuin nykyiset ennalta skriptatut NPC:t. Mun kirkossani ei ole vielä kovasti kuuluteltu, onnistutaanko kielimallien peli-integraatiossa koskaan mielekkäällä tavalla vai ei. Mutta kirkkoja on monia!

Eli et halua pelata peliä missä on tarina. Skyrimiin on jo tehty modeja joissa on kielimallia käyttävä companion hahmo pyörimässä mukana.

 

[P c L A Y E R]

Reshade työkaluilla voi tehdä vastaavan.

No ihan varmasti onnistuu ihan tuosta vaan.

Tuollahan olis jo netti täynnä vastaavan tasoisia resahdeja, jos se tuosta vaan onnistuu. Eipä ole näkynyt. Jotain saman tyyppistä on joo yritetty, mutta loputulos aika kaukana tuosta jäjestä/laadusta, mitä esimerkiksi tuossa Zorah esimerkissä, minkä postasin.

 

[pomk]

No ihan varmasti onnistuu ihan tuosta vaan.

Tuollahan olis jo netti täynnä vastaavan tasoisia resahdeja, jos se tuosta vaan onnistuu. Eipä ole näkynyt. Jotain saman tyyppistä on joo yritetty, mutta loputulos aika kaukana tuosta jäjestä/laadusta, mitä esimerkiksi tuossa Zorah esimerkissä, minkä postasin.

Kuten jo aiemmin oon pariin kertaan maininnut, niin ihmeellistä tässä on vain suorituskyky (siis fps, ei kuvanlaatu) huomioiden laitteiden rajallisen laskentakapasiteetin.

Harva harrastaja alkaa tekemään jotain modia vaikka 4x5090 kokoonpanoja varten. Vapaan lähdekoodin img2img mallit kun ei oikein pyörähdä nykynäyttiksillä siten että ne vielä soveltuisivat reaaliaikaiseen pelaamiseen. Heti kun mallien/näyttisten suorituskyky riittää niin kuka vaan apina koodaa tätä vastaavan shader glass/reshade kikkareen vartissa claude codella.

 

[swttii]

Eli et halua pelata peliä missä on tarina. Skyrimiin on jo tehty modeja joissa on kielimallia käyttävä companion hahmo pyörimässä mukana.

Ja kohta on steam pullollaan pelejä jotka lokaalin tai pilvimallin perusteella tekee npc hahmojen dialogit, sitten katotaan mikä markkina näille on. Itseä ei kiinnosta, mutta varmasti halukkaille on tämmösiä pelejä.

Onneks tulevaisuudessa

Oho, vähänkö siistiä, joko voi laittaa ennakkotilausta sisään? Vai meneekö vielä 50 vuotta?

 

[Halpuuttaja]

Ne vastaili sen yhen tubettajan kysymyksiin varsin avoimesti ja mitään noista ei sanottu olevan mahdollista.

Melkoista mutkien suoraksi vetämistä on väittää, etteivät kehittäjät olleet tietoisia, jos tohon haastikseen väittämäsi pohjaat.

Ensinnäkin, haasteltava ei ole kehittäjä vaan PR-heppu, joka vastailee jonkun dialogipuun mukaisesti. Sen informaatio asiasta ylipäätään saattaa olla rajatumpi kuin kehittäjätiimin ja toimarin.

Toiseksi, haastattelussa ei suoraan puhuttu treenaamisesta ja promptaamisesta. Kun kysytään tavoista kontrolloida systeemiä, PR NPC listaa blendiä, gammaa ja muita artistin käytössä olevia numikoita ja sitten lisää: "We continue to talk to developers to understand all the ways they would like to control the technology".

[ ] Ilmoitti, että treenaaminen ja promptaaminen ei tule onnistumaan
[X] Antoi ymmärtää, että tavoista kontrolloida filtteriä käydään yhä keskustelua

On siis täysin mahdollista, että tekniikan kehittäjät ovat olleet tietoisia siitä että mallia voidaan treenata/promptata, mutta on päätetty puhua asiasta suppeammin julkistuksen yhteydessä. Informaation drip feedaaminenhan on aika normaalia alalla.

Niinhän just kirjoitin tuossa. Että jensseni keksii päästään lisää kamaa kun vastaanotto oli paska.

Satuilu ja päästä keksiminen tarkoittaa kyllä vähän muuta kuin että "AMD julkisti viime viikolla 123X prosessorin. Tänään tj. Lisa Su keksi päästään että prosessori on tulossa myyntiin syyskuun 1. päivä". Parempi ilmaisu olisi ilmoitti tai kertoi. Ei toki yhtä dramaattinen.

Sit jos ei sitä prossua näy eikä kuulu kuin vasta jouluaattona niin voidaan sanoa että Lissu satuili, keksi päästään.

Eli et halua pelata peliä missä on tarina.

Miehenä kirjaimellisesti haluan vain yhtä asiaa ja se on AI-slop.

 

[P c L A Y E R]

Kuten jo aiemmin oon pariin kertaan maininnut, niin ihmeellistä tässä on vain suorituskyky (siis fps, ei kuvanlaatu) huomioiden laitteiden rajallisen laskentakapasiteetin.

Harva harrastaja alkaa tekemään jotain modia vaikka 4x5090 kokoonpanoja varten. Vapaan lähdekoodin img2img mallit kun ei oikein pyörähdä nykynäyttiksillä siten että ne vielä soveltuisivat reaaliaikaiseen pelaamiseen. Heti kun mallien/näyttisten suorituskyky riittää niin kuka vaan apina koodaa tätä vastaavan shader glass/reshade kikkareen vartissa claude codella.

No niin. No sehän olisi sitten kuitenkin vaan sitä ihan samaa AI sloppia ja paskaa vai kuinka?

Pontti onkin siinä, että tämmöistä tämän tasoista "reshadea" ei voi tehdä kukaan ilman AI:ta, mutta jos joku sen onnistuisikin tekemään, niin ei kukaan olisi täällä valittamassa aiheesta vaikka lopputulos näyttäisi samalle, mitä tämä DLSS5 nyt näyttää. Isoin "ongelmahan" ei selvästikkään ole ihan oikeasti se mille asiat näyttää, vaan se miten siihen on päästy, ja kuka sen on tehnyt.

"AI paska" ja "artistin vision" tuhuoavat muutokset peleihin tuntuu olevan ihan ok, kunhan sen on tehnyt joku yksittäinen nörtti luolasssaan, eikä iso paha NVIDIA.
Tämmöistä kuraahan ei saa missään nimessä varsinkaan tuoda peliin valittavissa, ja alkuperäisen artistin customoimana olevana optiona. Sen pitää pysyä täysin eriilisenä, kolmannen osapuolen tekemänä, erikseen ladattavana ja asennetavana modina.