Project Gameface on konenäköön ja tekoälyyn perustuva (peli)hiiri

[Kaotik]

Kaotik kirjoitti uutisen/artikkelin:
Google I/O:ssa esiteltiin paljon uutta ja mielenkiintoista. Nykytrendeihin sopivasti tekoäly oli isosti esillä ja siihen liittyi myös hieman erikoisempia projekteja, kuten Project Gameface.



Project Gameface on lihasdystrofiaa sairastavan Lance Carrin tarinan innoittaman syntynyt täysin uudenlainen pelihiiri. Tai tavallinen hiiri, miten kukin sitä haluaa hyödyntää, mutta Carrin tapauksessa pelit olivat juuri se merkittävä tekijä.

Muun muassa World of Warcraftia pelaavan Carrin talo paloi vuonna 2021 kesken livestream-lähetyksen ja sen mukana meni koko miehen omaisuus, mukaan lukien vammaisten tietokoneen käyttöä helpottamaan suunnitellut laitteet. Kuultuaan tarinasta Google oli yhteydessä Carriin ja he aloittivat kehittämään yhdessä Project Gamefacea.

Project Gameface on äärimmilleen yksinkertaistettuna konenäköön ja tekoälyyn perustuva pelihiiri. Se tarkkailee käyttäjän kasvoja 468 tekoälyn seuraamaan pisteen avulla ja tunnistaa ilmeitä, eleitä ja liikkeitä, jotka käyttäjä voi ohjelmoida tekemään haluamiaan asioita. Kuvalähteeksi riittää tavallinen webbikamera, jonka syötteeseen tekoäly lisää seurantapisteet itse. Carr itse on niin harjaantunut tekniikan kanssa, että hän kykenee kirjoittamaan ”kasvoillaan” kaunokirjoitusta Gamefacen avulla.

Project Gameface on edelleen keskeneräinen, mutta työ sen parissa jatkuu. Mikä hienointa, projekti on täysin avointa lähdekoodia ja kuka tahansa voi osallistua sen kehitystyöhön tai käyttää sitä itse. Google on perustanut projektille oman GitHub-sivun.

Lähde: Google

Linkki alkuperäiseen juttuun

 

[djtob]

Tämä on hieno juttu ja vielä avoimena lähdekoodina, jota voi käyttää sitten johonkin muuhun mitä ei ole tultu ajatelleeksi.

 

[Ademeion]

Project Gameface on konenäköön ja tekoälyyn perustuva (peli)hiiri

Hieno juttu tälle miehelle, ja tulevaisuudessa varmaankin suurelle joukolle vakavasti liikerajoitteisia ihmisiä.

Hiiri-nimityksestä sen verran, että se tuntuu jossain määrin hassulta Gamafacen kohdalla, koska sillä ei ole mitään muuta yhteistä tietokonehiiren kanssa kuin että sillä ohjataan tietokonetta tai pelikonsolia. Gameface ei edes ole laite vaan tietokoneohjelma. Käyttämiseen tarvitaan tietokoneen lisäksi vain tavanomainen web-kamera. Myöskään ohjelman GitHub-sivulla sitä ei kutsuta hiireksi.

Linkatussa Googlen blogikirjoituksessa toisaalta käytetään ohjelmasta sanaa “hands-free gaming mouse”, mutta ehkä sanavalinnan takana on toiseksi kirjoittajaksi merkitty “AI Advocacy Lead” titteliä käyttävä henkilö. Olen huomannut, että jos puhujan tittelistä löytyy sana “advocacy”, niin kuuntelijan höpinäsuodattimen on hyvä olla kunnossa. Kävin läpi myös jokusen aiheeseen liittyvän jutun netin (englanninkielisillä) tekniikkasivustoilla, ja huomaisin (tosin aika pienellä otoksella), että sivuston laatu korreloi jossain määrin hiiri-nimityksen välttämisen kanssa.

Voisi vielä mainita, että tietokoneille ja pelikonsoleille on jo pitkään ollut tarjolla suuri määrä erilaisiin kehonliikkeisiin ja niiden optiseen tunnistukseen perustuvia ohjaimia pelaamiseen ja muuhun käyttöön, enkä ainakaan äkkiseltään löytänyt yhtäkään, jota valmistaja kutsuisi hiireksi. Tein asiasta englanninkielisen haun, ja tuloksena tuli sellaisia nimityksiä kuin “motion-sensing controller”, “motion-controller” ja “gesture-controller”. Löysin myös pari muuta ohjainta/ohjelmaa, jotka perustuvat ilmeentunnistukseen, eivätkä niidenkään tekijät kutsu niitä hiiriksi.

 

[Ctzn_no7]

kasvojen pisteseuranta webbikameralla ei nyt sinänsä uusi keksintö ole, mut kiva että joku on löytänyt hyödyllistä käyttöä tekniikalle

 

[pq]

… Käyttämiseen tarvitaan tietokoneen lisäksi vain tavanomainen web-kamera …

Meni hiukan itsellä ohi millä tuo IR-pisteprojisio tehdään, mutta ei kai se kamera sitä sentään osaa tehdä?

 

[Ademeion]

Meni hiukan itsellä ohi millä tuo IR-pisteprojisio tehdään, mutta ei kai se kamera sitä sentään osaa tehdä?

Näkemieni lähteiden mukaan Gamefacen toiminta pohjautuu puhtaasti videokuvan tekoälypohjaiseen analyysiin. En ole alan ihminen, joten en osaa sanoa asiasta mitään sen syvällisempää. Ymmärtääkseni kuvassa näkyvät pisteet ovat vain ohjelman valitsemia tunnistuspisteitä käyttäjän kasvoilla, ja ohjelma tulkitsee niiden liikkeen joko komennoksi tai ohjausliikkeeksi, tai ei miksikään merkitykselliseksi. On kyllä mielenkiintoista, miten tiettyjen ihon pisteiden seuranta saadaan pelkkää web-kameraa käyttäen niin tarkaksi ja luotettavaksi, että sen varaan voidaan toteuttaa riittävän hyvin toimiva käyttöliittymä.

 

[Kaotik]

Meni hiukan itsellä ohi millä tuo IR-pisteprojisio tehdään, mutta ei kai se kamera sitä sentään osaa tehdä?

Näkemieni lähteiden mukaan Gamefacen toiminta pohjautuu puhtaasti videokuvan tekoälypohjaiseen analyysiin. En ole alan ihminen, joten en osaa sanoa asiasta mitään sen syvällisempää. Ymmärtääkseni kuvassa näkyvät pisteet ovat vain ohjelman valitsemia tunnistuspisteitä käyttäjän kasvoilla, ja ohjelma tulkitsee niiden liikkeen joko komennoksi tai ohjausliikkeeksi, tai ei miksikään merkitykselliseksi. On kyllä mielenkiintoista, miten tiettyjen ihon pisteiden seuranta saadaan pelkkää web-kameraa käyttäen niin tarkaksi ja luotettavaksi, että sen varaan voidaan toteuttaa riittävän hyvin toimiva käyttöliittymä.

Multa meni vissiin toi ohi yöllä ku tätä kattelin, päivitän uutista jos luurilla onnistun

 

[KaiMaa]

Tuota kun oppii käyttämään niin se voi olla hyödyllinen jokaiselle arkikäytössäkin.

Voisi pitää kädet näppäimistöllä eikä tarvi hiireen käsin koskea.

Jos Gameface toimii tarpeeksi tarkasti ja nopeasti, tuo on peleissä ylivoimainen kuin myös ihan arkikäytössäkin.

 

[pq]

Tuota kun oppii käyttämään niin se voi olla hyödyllinen jokaiselle arkikäytössäkin.

Voisi pitää kädet näppäimistöllä eikä tarvi hiireen käsin koskea.

Jos Gameface toimii tarpeeksi tarkasti ja nopeasti, tuo on peleissä ylivoimainen kuin myös ihan arkikäytössäkin.

Tuon videolla olleen kaverin ”kaunokirjoituksen” perusteella ei kyllä ole korvaamassa kokonaan hiirtä nopeatempoisissa peleissä missä tarvitaan samaan aikaan myös tarkkuutta. Oletettavasti kuitenkin kun hänen ainoa ”hiirensä” niin harjoituksen puutteesta tuskin on kiinni. Varmasti joissain tarkoituksissa perushiirtä kätevämpi mutta fps-peleissä ei ainakaan nykyisellä versiolla vielä pärjätä.

 

[Griffin]

1. Vittuko on naama kipee!
2. Mitä teit?
1. Pelasin eilen kynäriä muutaman matsin..