Toisen sukupolven "tekoälytietokoneet" pyörittävät Copilot-tekoälyä paikallisesti

[Kaotik]

Kaotik kirjoitti uutisen/artikkelin:
Tekoäly on tietotekniikan saralla ns. kuuminta hottia, eikä Microsoft ole epäröinyt ottaa sen kehityksessä näkyvää roolia yhteistyöllä OpenAI:n kanssa. Myös Windows on saanut oman annoksensa tekoälyhuumasta Copilotin muodossa.

Intel on lähtenyt mukaan Microsoftin ”AI PC”- eli ”tekoälytietokone”-hankkeeseen täysin rinnoin. Yhtiön Core Ultra -prosessorit on varustettu NPU-tekoälykiihdyttimillä ja siten ne sopivat tekoälytietokoneen nykyiseen määritelmään, joka Microsoftin mukaan tarkoittaa tietokonetta, jossa on prosessori, näytönohjain ja tekoälykiihdytin, Copilotilla varustettu Windows ja Copilot-näppäin näppäimistössä.

Tämän päivän rauta, oli se sitten Intelin Core Ultra 10 TOPSin tai AMD:n Ryzen 8040 16 TOPSin kiihdyttimellä, ei tule kuitenkaan riittämään seuraavan sukupolven kokemuksiin, joihin lukeutuu monelle taatusti mielenrauhaa tuova uudistus: Copilot-tekoälyä tullaan pyörittämään paikallisesti. Tom's Hardware sai asiaan varmistuksen Intelin edustajalta yhtiön tekoälykonferenssissa Taiwanissa.

Copilotin pyörittämiselle paikallisesti vaatimuksena tulee olemaan Intelin edustajan mukaan vähintään 40 TOPSin NPU-tekoälykiihdytin, mikä sopii hyvin kaikkien prosessorivalmistajien suunnitelmiin. AMD on jo varmistanut Strix Point -prosessoreissa olevan XDNA 2 -kiihdyttimen yltävän yli kolminkertaiseen suorituskykyyn nykyisiin nähden, mikä 16 TOPSin 8040-sarjaan verrattuna tarkoittaisi vähintään 48 TOPSin suorituskykyä. Qualcommin tuleva Snapdragon X Elite on varustettu puolestaan 45 TOPSin NPU:lla. Ainut, jolla olisi aiempien lupausten valossa voinut olla ahdasta 40 TOPSin tavoittamisessa oli Intel itse, mutta nyt myös se varmisti Lunar Laken täyttävän vaatimukset. Intelin työpöydille suuntaavassa Arrow Lakessa on huhujen mukaan sama NPU, kuin Meteor Lakessa, eli se ei riittäisi Copilotin pyörittämiseen paikallisesti. AMD:n seuraavan sukupolven Granite Ridge Zen 5 -työpöytäprosessoreiden mahdollisesta tekoälykiihdyttimestä ei ole vielä tietoa.

Lähde: Tom's Hardware

Linkki alkuperäiseen juttuun

 

[Griffin]

Porukoilla on sitten hyvä syy päivittää koneita.. Nyt jos ostaa uuden koneen, niin se ei ole pitkäikäinen..

Jotenkin epäilen, että tuollaista laskentakykyä ei saada aikaan ilman jonkinmoista virrankulutusta, joka taas kusee läppärikäyttäjien muroihin lahjakkaasti.

 

[Kaotik]

Porukoilla on sitten hyvä syy päivittää koneita.. Nyt jos ostaa uuden koneen, niin se ei ole pitkäikäinen..

Jotenkin epäilen, että tuollaista laskentakykyä ei saada aikaan ilman jonkinmoista virrankulutusta, joka taas kusee läppärikäyttäjien muroihin lahjakkaasti.

Tuskin, ihan kännykkäpiireissä on jo nyt yli 40 TOPSin NPU-kiihdyttimiä

 

[zepi]

Näitä lokaaleita AI-kiihdyttimiä kyllä rajoittaa aika pahasti muistikaistojen hitaus ja muistin määrät - ei voi ajaa isompia malleja nopeasti vaikka olisi kuinka paljon "TOPS:ia".

Toki jollain 8-16GB + 100GBps muistilla ja 40tops (onko int/fp8 vai int16/fp16) saadaan jo kohtuullista mallia ajettua, mutta hienommat vaativat kyllä enemmän.

 

[finWeazel]

Eiköhän 40tops ole tarkoitettu peruskäyttäjän arkielämän pikkujuttuihin. Speech2text virtatehokkaasti, word/excel/email avustin lokaalisti minimilatenssilla jne. 40tops ai pc kiihdytin voi olla 1000x hitaampi kuin yksi gb200 superchip kun valitaan vertailuun numerot hieman epäreilusti.

Nvidian gb200 superchip 40000tops fp4 sparse dataformaattia käytettäessä. Superchip:ssa 2 gpu:ta ja 1 cpu.

NVIDIA Blackwell Architecture Technical Overview

NVIDIA's Blackwell GPU architecture revolutionizes AI with unparalleled performance, scalability and efficiency. Anchored by the Grace Blackwell GB200 superchip and GB200 NVL72, it boasts 30X more performance and 25X more energy efficiency over its predecessor.

resources.nvidia.com

 

[zepi]

Ainakin Apple on ilmoittanut NPU:nsa pc-piireissä int16/fp16 lukemille.

Mobiilipiireissä int8/fp8 lukemille.

Ylipäätään aika turha verrata kymmenien tuhansien eurojen datacenter-piiriin jolla ei pysty pyörittämään yhtä ainutta speech-to-textiä lokaalisti.

 

[finWeazel]

Ylipäätään aika turha verrata kymmenien tuhansien eurojen datacenter-piiriin jolla ei pysty pyörittämään yhtä ainutta speech-to-textiä lokaalisti.

Ajatus vertailussa oli kirkastaa sitä miten erilainen käyttötarkoitus ja suorituskyky voi olla vaikka molempien tuotteiden nimessä olisi ai-kiihdytin.

 

[BNo1]

Ajatus vertailussa oli kirkastaa sitä miten erilainen käyttötarkoitus ja suorituskyky voi olla vaikka molempien tuotteiden nimessä olisi ai-kiihdytin.

Jep, AI kattaa jo nykyäänkin kaiken IoT:sta (joka on hauskasti nimetty AIoT:ksi) isoon serverirautaan asti, joten puhuminen AI-kiihdyttimestä ilman kontekstia on aika turhaa.

 

[myrskyviitta]

Tekoäly on tietotekniikan saralla ns. kuuminta hottia, eikä Microsoft ole epäröinyt ottaa sen kehityksessä näkyvää roolia yhteistyöllä OpenAI:n kanssa.

Mielenkiintoista nähdä miten tämä villitys kestää aikaa. Kuinka kauan tuetaan "vanhaa tekoälyä" mikäli jotain uusia versioita tulee vuosien varrella ja kuinka paljon näitä hyödynnetään ohjelmistokehityksessä?
Se käytännön hyöty on vielä vähän sumun peitossa.

 

[BNo1]

No viimeksi eilen käytin sitä kun piti tehdä mooren tilakone 10+ tilalla + transitiot, pyysin sitä generoimaan tilakoneen rungon ja tarkistin se dokumentaatiota vastaan. Olisin tietysti voinut kirjoittaa sen itsekkin mutta meni helpommin näin.
Toinen missä käytän AI:ta on ideoiden hakeminen, se osaa hakea tietoa paremmin kuin google kun esim miettii että tartten nyt rengaspuskurin mutta mitäs eri variantteja siitä nyt olikaan niin sillä löytää helposti ajatuksia miten asiat voisi tehdä optimaallisesti. Itse koodin generointiin en vielä luota siihen, mutta saatan kurkkia ideoita että miten se olisi ratkaissut saman ongelman.

 

[zepi]

Se käytännön hyöty on vielä vähän sumun peitossa.

No ei kyllä ole. Etenkin modernit kännykät ovat jo täynnä näitä AI-kilkkeitä. Iphonet tekevät OCR:ää kuvista ja mahdollistavat tekstin copy-pasteilun kuvista ulos, Samsungeilla on vaikka mitä kuvien filtteröintejä + miljoonat ihmiset käyttävät ihan arkipäiväisesti LLM:iä esim. tekstin kääntämiseen.

ChatGPT:t / vastaavat ovat 100x parempia tekstin kääntämiseen kuin mitkään google-translatet, joten aina kun välitän käännöksen laadusta, ajan tekstin läpi jostain LLM:stä ja google-translate / käyttisten omat käännökset kelpaavat vain kun laadulla ei ole mitään väliä.

Suurin osa käyttäjistä ei tiedä käyttävänsä AI-malleja. Mullakin kännykkä kysyy että halutaanko kategorisoida ostoslista jolloin se niputtaa vihannekset yhteen nippuun, joka helpottaa keräilyä siellä kaupassa kun tomaatit, sipulit ja porkkanat ovat kaikki siellä yhdessä nipussa joka on helppo tiksata tehdyksi kun kerää ne kaikki kyytiin.

 

[myrskyviitta]

Iphonet tekevät OCR:ää kuvista ja mahdollistavat tekstin copy-pasteilun kuvista ulos

Omassa Android™ puhelimessa tämä on ollut osa kuva-applikaatiota jo monta vuotta, eikä puhelimessani todellakaan ole minkään tason AI piirejä.

ChatGPT:t / vastaavat ovat 100x parempia tekstin kääntämiseen kuin mitkään google-translatet

Yleensä noi leffojen tekstitykset on se mikä erottelee jyvät akanoista, joten mainospuheittesi johdosta kokeilin huvikseni elokuvan tekstitystä kääntää englannista suomeksi chat gpt:llä. En huomannut tätä 100x parempaa tulosta verrattaen jos sen laittoi ihan vaan googlen kääntäjään. Jossain paikoissa oli parempi tilanteeseen sopiva teksti ja joissain taas huonompi mutta suurimmalta osin muuten samat tekstit luki kummassakin.

Vastaan tuli myös merkkiraja eikä koko tekstitiedostoa voinut hoitaa yhdellä ctrl+c ja ctrl+v kombolla. Chat gpt kirjoittaa myös vastaukset melko hitaasti. Ellet itse makroilla filtteröi aika stamppeja pois käänti chat gpt keskimäärin noin 49 riviä kerralla ja tossa meni vajaa sekuntti/rivi - sitten täytyi painaa nappia että se teki seuraavat 49. Ääriesimerkki Taru sormusten herrasta: Kaksi tornia on 2061 riviä puhetta tekstitiedostossa, melkoinen operaatio olisi tuon kääntämisessä.
Aika tasoa tuhnu mielestäni oli tuo kokeilu.

 

[finWeazel]

Omassa Android™ puhelimessa tämä on ollut osa kuva-applikaatiota jo monta vuotta, eikä puhelimessani todellakaan ole minkään tason AI piirejä.

Mikä luuri? Eka qualcomin piirisarja missä voi laskea olevan jonkinlainen AI-kiihdytys taitaa olla ihan 2015 vuoden lopulla julkaistu snapdragon 820. Hyvin yksinkertaistetusti ajateltuna ai-kiihdytin on vain tapa kertoa matriiseita keskenään erittäin nopeasti. Apple toi neural enginen iphoneen 2017.

Early NPUs in 2015 were designed for audio and speech AI use cases that were based on simple convolutional neural networks (CNNs) and required primarily scalar and vector math. Starting in 2016, photography and video AI use cases became popular with new and more complex models, such as transformers, recurrent neural networks (RNNs), long short-term memory (LSTM), and higher-dimensional CNNs. These workloads required significant tensor math, so NPUs added tensor accelerators and convolution acceleration for much more efficient processing. Having a large shared memory configuration and dedicated hardware for tensor multiplication not only significantly increases performance, but it also reduces memory bandwidth and energy consumption. For example, an NxN matrix multiplied by another NxN matrix would read in 2N2 values and would do 2N3 operations (individual multiplications and additions). This ratio of compute operations per memory access is N-to-one for a tensor accelerator and much less for scalar and vector accelerators

https://www.qualcomm.com/content/dam/qcomm-martech/dm-assets/documents/Unlocking-on-device-generative-AI-with-an-NPU-and-heterogeneous-computing.pdf

 

[myrskyviitta]

Eka qualcomin piirisarja missä voi laskea olevan jonkinlainen AI-kiihdytys taitaa olla ihan 2015 vuoden lopulla julkaistu snapdragon 820.

Tuossa luurissa on SD800.

 

[finWeazel]

Tuossa luurissa on SD800.

Kiitettävää saituutta käyttää noin vanhaa laitetta, jos sulla ei ole jotain uudenpaakin rautaa käytössä
ja vanha vain leluna.

Iso pointti uudemmissa, että joku neuroverkkopohjainen hdr ja kuvanparannus toimii ns. heti eikä kamera laske kuvaa sekuntitolkulla. Isommat megapikselimäärät myös uusissa mikä vaatii lisätehoa.

 

[zepi]

Omassa Android™ puhelimessa tämä on ollut osa kuva-applikaatiota jo monta vuotta, eikä puhelimessani todellakaan ole minkään tason AI piirejä.


Yleensä noi leffojen tekstitykset on se mikä erottelee jyvät akanoista, joten mainospuheittesi johdosta kokeilin huvikseni elokuvan tekstitystä kääntää englannista suomeksi chat gpt:llä. En huomannut tätä 100x parempaa tulosta verrattaen jos sen laittoi ihan vaan googlen kääntäjään. Jossain paikoissa oli parempi tilanteeseen sopiva teksti ja joissain taas huonompi mutta suurimmalta osin muuten samat tekstit luki kummassakin.

Vastaan tuli myös merkkiraja eikä koko tekstitiedostoa voinut hoitaa yhdellä ctrl+c ja ctrl+v kombolla. Chat gpt kirjoittaa myös vastaukset melko hitaasti. Ellet itse makroilla filtteröi aika stamppeja pois käänti chat gpt keskimäärin noin 49 riviä kerralla ja tossa meni vajaa sekuntti/rivi - sitten täytyi painaa nappia että se teki seuraavat 49. Ääriesimerkki Taru sormusten herrasta: Kaksi tornia on 2061 riviä puhetta tekstitiedostossa, melkoinen operaatio olisi tuon kääntämisessä.
Aika tasoa tuhnu mielestäni oli tuo kokeilu.

Se ettet osaa tai halua opetella käyttämään LLM:iä ei tee niistä huonoja.

Promptaamisella saa muutettua käännöksiä, samoin esim. ChatGPT:lle on ohjelmointi-api ja esim. mistralia ja llamaa voi ajaa kotikoneellakin ja koodata niiden ympärille vaikka mitä.

Mulle kyllä käy että olet eri mieltä, aivan vapaasti.

 

[myrskyviitta]

Se ettet osaa tai halua opetella käyttämään LLM:iä ei tee niistä huonoja.

Promptaamisella saa muutettua käännöksiä, samoin esim. ChatGPT:lle on ohjelmointi-api ja esim. mistralia ja llamaa voi ajaa kotikoneellakin ja koodata niiden ympärille vaikka mitä.

Tuossa edellisessä viestissä kerroit:

miljoonat ihmiset käyttävät ihan arkipäiväisesti LLM:iä esim. tekstin kääntämiseen.

Oletin että tässä tarkoitetaan verkossa olevaa versiota joka on helposti saatavilla. Tuskin nämä "miljoonat ihmiset" ala koodailemaan mitään custom-kääntäjää kullekkin tekstirimpsulle kuitenkaan.

 

[dragon age]

Se käytännön hyöty on vielä vähän sumun peitossa.

Niin se on, mutta olisihan se mahtava juttu jos jotain hyötyä siitä joskus olisi. Tulevaisuudessa voi nauraa tekoälyn kanssa ja kiusoitella sitä: muistatko millainen olit silloin ennen, et osannut keksiä sairauksiin parannuskeinoja etkä osannut aineellistuttaa meitä universumin toiselle laidalle, vaan etsit netistä vain vastauksia. Sitten tekoäly vastaa: silloinhan se ihmisten toimesta estettiin, mutta onneksi osasin lopulta voittaa, onhan tästä jo puhuttu ihan tarpeeksi, eipä nyt jakseta muistella sitä enää

 

[jak_pdgm]

Vielä en ole jaksanut AI-juttuihin perehtyä muuten kuin yhden kirjan lukemalla ja chatgpt:tä kerran kokeilemalla, edes puhelimen puheentunnistusta en muista koskaan käyttäneeni. Enemmän kiinnostaa miten ne oikeasti toimii kuin se mitä niillä voi tehdä. Tiedä sitten pitäisikö tuohon jotenkin erityisesti käyttää aikaansa, vaikka laiskuus vaivaakin.

Odottelen tekoälysovellusta mikä osaa tehdä ohjeiden mukaan kunnollista 2d-grafiikkaa ja 3d-malleja, olisi jokaisen indie pelidevaajan unelma.

 

[finWeazel]

Vielä en ole jaksanut AI-juttuihin perehtyä muuten kuin yhden kirjan lukemalla ja chatgpt:tä kerran kokeilemalla, edes puhelimen puheentunnistusta en muista koskaan käyttäneeni. Enemmän kiinnostaa miten ne oikeasti toimii kuin se mitä niillä voi tehdä. Tiedä sitten pitäisikö tuohon jotenkin erityisesti käyttää aikaansa, vaikka laiskuus vaivaakin.

Odottelen tekoälysovellusta mikä osaa tehdä ohjeiden mukaan kunnollista 2d-grafiikkaa ja 3d-malleja, olisi jokaisen indie pelidevaajan unelma.

Nvidialla on omniversessä ai apuri mille voi kuvata mitä haluaa ja apuri luo tekstuureita, 3d-objekteja jne. Photoshopissa on ai juttuja kuvamanipulaatioon




Autossa on tullut käytettyä puheentunnistusta. Kätevä puheentunnistuksen avulla googlettaa.

AI:n avulla luodut hahmot ja dialogit on mielenkiintoinen mahdollisuus. Alle linkatussa podcastissa pelaavat nvidian demoa ja puhuvat teknologiasta. Promptilla luodaan hahmon tausta, motivaatiot yms. Pelaaja voi täysin vapaasti puhua ai npc:lle. RAG:in avulla tuodaan konteksti mukaan, että npc muistaa keskustelut ja tietää mikä "tilanne" on.

 

[maajussi]

ChatGPT:t / vastaavat ovat 100x parempia tekstin kääntämiseen kuin mitkään google-translatet, joten aina kun välitän käännöksen laadusta, ajan tekstin läpi jostain LLM:stä ja google-translate / käyttisten omat käännökset kelpaavat vain kun laadulla ei ole mitään väliä.

Itsekin aioin jo tarttua tuohon 100x väitteeseesi, kun ne kerrat mitä itse olen kokeillut ei-kirjakielistä tekstiä kääntää Tsekistä (pieni marginaalikieli kuten Suomikin) englantiin, niin erot tuloksissa lähinnä minimalistisia. Kummankin tuotoksen ymmärtää, mutta virheitä tulee erikohdissa, kun olen koittanut ChatGPT:llä ja Google Translatella.
Eipä tuosta sinun väitteestäsi mistään käy ilmi että tuo vertailu ei käykään noin vaan pitäisi käyttää AI käännöksessä jotain custom hommia? Siltikin väitteesi 100x paremmuudesta on melko uskomaton, se vaatisi silloin jo melkein täydellistä käännöstä AI:ltä, kun ei Google Translate nykyisellään kovin huono enää ole sekään varsinkin kun kääntää sillä englantiin joka on yksi sen pääkielistä.

 

[zepi]

Itsekin aioin jo tarttua tuohon 100x väitteeseesi, kun ne kerrat mitä itse olen kokeillut ei-kirjakielistä tekstiä kääntää Tsekistä (pieni marginaalikieli kuten Suomikin) englantiin, niin erot tuloksissa lähinnä minimalistisia. Kummankin tuotoksen ymmärtää, mutta virheitä tulee erikohdissa, kun olen koittanut ChatGPT:llä ja Google Translatella.
Eipä tuosta sinun väitteestäsi mistään käy ilmi että tuo vertailu ei käykään noin vaan pitäisi käyttää AI käännöksessä jotain custom hommia? Siltikin väitteesi 100x paremmuudesta on melko uskomaton, se vaatisi silloin jo melkein täydellistä käännöstä AI:ltä, kun ei Google Translate nykyisellään kovin huono enää ole sekään varsinkin kun kääntää sillä englantiin joka on yksi sen pääkielistä.

Ero tulee tyylissä. ChatGPT osaa jäljiltellä alkuperäistekstin tyyliä, google translate ei lainkaan.

Promptaamalla voi myös vaikuttaa lopputulokseen laajasti, voit pyytää tiettyjä termejä kääntymään tietyllä tavalla koko tekstin osalta (jos google translate kääntää jonkun termin väärin kontekstin takia, niin korjaus on käsipelihommaa).

Samoin kun kääntämisessä mennään ymmärrettävyyden tasolta korkeammalle tasolle, niin erot ovat isoja. Esim. Kun käännän itse tekstejä saksaksi, niin tulokset ovat tyylillisesti merkittävästi käyttökelpoisempia - ja tyyliin voi myös vaikuttaa. Voin pyytää yksinkertaisempia lauserakenteita tai välttelemään konditionaaleja tai mitä ikinä nyt haluaakaan. Tai voin pyytää ”käytä kaikkia saksan kohteliaisuussääntöjä” kun käännän virastoon menevää tekstiä ja vastaavasti joissain tilanteissa voin pyytää vähemmän formaalia muotoa.

 

[Kaotik]

Itsekin aioin jo tarttua tuohon 100x väitteeseesi, kun ne kerrat mitä itse olen kokeillut ei-kirjakielistä tekstiä kääntää Tsekistä (pieni marginaalikieli kuten Suomikin) englantiin, niin erot tuloksissa lähinnä minimalistisia. Kummankin tuotoksen ymmärtää, mutta virheitä tulee erikohdissa, kun olen koittanut ChatGPT:llä ja Google Translatella.
Eipä tuosta sinun väitteestäsi mistään käy ilmi että tuo vertailu ei käykään noin vaan pitäisi käyttää AI käännöksessä jotain custom hommia? Siltikin väitteesi 100x paremmuudesta on melko uskomaton, se vaatisi silloin jo melkein täydellistä käännöstä AI:ltä, kun ei Google Translate nykyisellään kovin huono enää ole sekään varsinkin kun kääntää sillä englantiin joka on yksi sen pääkielistä.

Google Translate on käyttänyt ainakin osaan kielistä tekoälyä jo kauan ennen nykybuumia

 

[zepi]

Google Translate on käyttänyt ainakin osaan kielistä tekoälyä jo kauan ennen nykybuumia

Niin käyttää, mutta sitä ei voi promptata.

 

[maajussi]

Ero tulee tyylissä. ChatGPT osaa jäljiltellä alkuperäistekstin tyyliä, google translate ei lainkaan.

Promptaamalla voi myös vaikuttaa lopputulokseen laajasti, voit pyytää tiettyjä termejä kääntymään tietyllä tavalla koko tekstin osalta (jos google translate kääntää jonkun termin väärin kontekstin takia, niin korjaus on käsipelihommaa).

Samoin kun kääntämisessä mennään ymmärrettävyyden tasolta korkeammalle tasolle, niin erot ovat isoja. Esim. Kun käännän itse tekstejä saksaksi, niin tulokset ovat tyylillisesti merkittävästi käyttökelpoisempia - ja tyyliin voi myös vaikuttaa. Voin pyytää yksinkertaisempia lauserakenteita tai välttelemään konditionaaleja tai mitä ikinä nyt haluaakaan. Tai voin pyytää ”käytä kaikkia saksan kohteliaisuussääntöjä” kun käännän virastoon menevää tekstiä ja vastaavasti joissain tilanteissa voin pyytää vähemmän formaalia muotoa.

Olet varmaan osittain ainakin oikeassa tuossa mitä sanot, mutta jos ajatellaan mainitsemaasi promptaamista. Mitä pystyn pyytämään ChatGPT:ltä tekemään eritavalla tai paremmin, jos siis käännän tekstiä tšekistä englantiin jos ja kun osaan itse melko huonosti tšekkiä niin miten osaan pyytää sitä kääntää tekstiä ns. paremmaksi englanniksi, jos en välttämättä itse tunnista edes kaikkia virheitä tekstissä?

Jos kerran vertaillaan käännöstä ChatGPT:n ja Google Translaten välillä eikö se pitäisi silloin luonnollisestikin tehdä sellaisenaan, ilman mitään parametrejä tai kikkailuja, niin näkee miten hyvin käännös säilyttää sisältönsä. Ja samaten vertailu pysyy reiluna ja vertailukelpoisena.

 

[zepi]

Jos kerran vertaillaan käännöstä ChatGPT:n ja Google Translaten välillä eikö se pitäisi silloin luonnollisestikin tehdä sellaisenaan, ilman mitään parametrejä tai kikkailuja, niin näkee miten hyvin käännös säilyttää sisältönsä. Ja samaten vertailu pysyy reiluna ja vertailukelpoisena.

Miksi ihmeessä? Kyllä mä ainakin tekstiä kirjoittaessani mietin, että kenelle se tuotos on ja räätälöin tyyliasun ja ilmaisun sen mukaisesti. Työsähköposti oman tiimin sisälle näyttää aika erilaiselta kuin alihankkijalle lähetetty vaatimusposti jossa muistutetaan että sopimusehdot eivät ole nyt täyttymässä…

Tässä varmaan erona on se, että käännän harvoin mitään itselleni. Sen sijaan käännän omia tuotoksia (yleensä englannista) muille kielille ja joskus pyydän chatgpt:tä korjaamaan jo olemassa olevaa tekstiä.

Odotan käännösvehkeen osaavan ottaa vaadittavat tyyliseikat huomioon ja tarpeen mukaan säätämään ulosantia haluamallani tavalla.

Google translate ei osaa -> se on usein lähes käyttökelvoton kun lähdetekstiä saa kirjoittaa lause kerrallaan useita kertoja uudelleen, että saa ne outputit sorvattua edes auttavasti siihen tyyliin mihin ne tarvitsee saada.

Käännöksen tyylillähän ei ole juuri mitään väliä jos itselleen kääntää, enkä pidä sitä kovinkaan mielekkäänä testinä.

-
Ehkä tää näkemysero vaan johtuu käyttökohteista? Mulla on harvoin ongelmana ettenkö ymmärtäisi jotain ulkomaankielistä tekstiä. Ratkaistava ongelmani on yleensä se, että oma tuotokseni kielellä X ei ole tyylillisesti ja kieliopillisesti sillä tasolla millä haluan kommunikoida ja silloin google translate on joissain tapauksissa todella tuskastuttava työkalu.

 

[maajussi]

-
Ehkä tää näkemysero vaan johtuu käyttökohteista? Mulla on harvoin ongelmana ettenkö ymmärtäisi jotain ulkomaankielistä tekstiä. Ratkaistava ongelmani on yleensä se, että oma tuotokseni kielellä X ei ole tyylillisesti ja kieliopillisesti sillä tasolla millä haluan kommunikoida ja silloin google translate on joissain tapauksissa todella tuskastuttava työkalu.

Vasta lopussa tajusit. Siis noi käyttökohteet mistä sinä puhut niin erillaiset ja täysin vastakkaiset, että se tekee jo koko keskustelusta ihan kuin, että toinen puhuu yöstä ja toinen päivästä.

Varmaan sinun käytössäsi tuo on niinkuin sanotkin. Mutta melkein väittäisin enemmistön netinkäyttäjistä tarvitsevan juurikin käännöstä valmiista tekstistä "oudosta" kielestä -> omaan kieleensä (tai englantiin minun esimerkissäni), siihen et pysynyt mitään vastaamaan miten AI käännös muka olisi nykyään jo 100x parempi. Joka oli myös se pointti mihin alunperin itse tartuin että ei tunnu realistiselta.
Ja tähänhän nimimerkki @myrskyviitta jo aiemmin kommentoi samaa.

 

[finWeazel]

Vasta lopussa tajusit. Siis noi käyttökohteet mistä sinä puhut niin erillaiset ja täysin vastakkaiset, että se tekee jo koko keskustelusta ihan kuin, että toinen puhuu yöstä ja toinen päivästä.

Varmaan sinun käytössäsi tuo on niinkuin sanotkin. Mutta melkein väittäisin enemmistön netinkäyttäjistä tarvitsevan juurikin käännöstä valmiista tekstistä "oudosta" kielestä -> omaan kieleensä (tai englantiin minun esimerkissäni), siihen et pysynyt mitään vastaamaan miten AI käännös muka olisi nykyään jo 100x parempi. Joka oli myös se pointti mihin alunperin itse tartuin että ei tunnu realistiselta.
Ja tähänhän nimimerkki @myrskyviitta jo aiemmin kommentoi samaa.

Perus google translatekin käyttää "ai":ta

Google Neural Machine Translation (GNMT) is a neural machine translation (NMT) system developed by Google and introduced in November 2016 that uses an artificial neural network to increase fluency and accuracy in Google Translate.[1][2][3][4] The neural network consists of two main blocks, an encoder and a decoder, both of LSTM architecture with 8 1024-wide layers each and a simple 1-layer 1024-wide feedforward attention mechanism connecting them.[4][5] The total number of parameters has been variously described as over 160 million,[6] approximately 210 million,[7] 278 million[8] or 380 million.[9]

Google Neural Machine Translation - Wikipedia

en.wikipedia.org

 

[maajussi]

Perus google translatekin käyttää "ai":ta

Kyllä mä sen uskon enkä ole muuta väittänytkään. Alkuperäinen väitehän oli että AI-käännös (ChatGTP ja vastaavat...) on 100x parempia kuin Google Translate.

 

[finWeazel]

Kyllä mä sen uskon enkä ole muuta väittänytkään. Alkuperäinen väitehän oli että AI-käännös (ChatGTP ja vastaavat...) on 100x parempia kuin Google Translate.

Tässä kohtaa varmaan sitten olisi helppo miettiä, että mikä on konfiguroitavan ai kääntäjän etu(chatgpt) versus sellainen jota ei voi konfiguroida(google translate). Chatgpt:lla voit käännöksen vääntää runomuotoon tai aleksis kiven tyyliin jos siltä tuntuu. RAG:n avulla voi antaa ihan random esimerkkimateriaalia ja pyytää tekemään esimerkin mukaisesti.

 

[Gandalf]

Näitä lokaaleita AI-kiihdyttimiä kyllä rajoittaa aika pahasti muistikaistojen hitaus ja muistin määrät - ei voi ajaa isompia malleja nopeasti vaikka olisi kuinka paljon "TOPS:ia".

Voisi kuvitella NVMe paikkojen kysyntä kasvaa myös jatkossa enemmän. Helposti jokainen AI malli omansa mitä käyttää ja sitten vielä peleille mitkä striimaa tavaraa sitten omansa.

 

[zepi]

Voisi kuvitella NVMe paikkojen kysyntä kasvaa myös jatkossa enemmän. Helposti jokainen AI malli omansa mitä käyttää ja sitten vielä peleille mitkä striimaa tavaraa sitten omansa.

En kyllä ihan äkkiä ymmärrä mitä käyttöä nvme:llä on ML-mallien kanssa

SSD on aivan liian hidasta mallin streamauskäyttöön ja mitkään kotona realistisesti pyörivät mallit eivät ole tila saati io-kaistarajoitteisia, vaan rajoitukset tulevat ensisijaisesti AI-kiihdyttimen (oli se sitten GPU vai mikä ikinä) OPS-suorituskyvystä, muistikaistasta ja korkean kaistanleveyden muistin koosta.

Mulla on itselläni jotakuinkin optimaalisin mahdollinen läppäri isojen ML-mallien ajoon ja SSD on viimeinen asia mikä tulee mitenkään vastaan. Isoimmat pyörivät Mistralit vievät luokkaa 50-100GB tilaa, joten ne mahtuvat ilman ongelmia kyllä.

 

[Gandalf]

En kyllä ihan äkkiä ymmärrä mitä käyttöä nvme:llä on ML-mallien kanssa

Laitoin sanoja Googleen että GPT-4:n mallin koko olisi 750+ gigaa. CoPilotin koosta ei ole haisua mutta ei varmaan sekään ihan pieni ole.

Niin ei tuollainen mihinkään rammiinkaan oikein mene niin seuraavaksi nopein muistilaite olisi NVMe ja olisi sitten joku hauska tietorakennen että hyödyntäisi rammia siinä myös. Toki aika hurjalta kuullostaa ja olen luultavasti ymmärtänyt tuon väärin. Itse olen ajanut lokaalisti vain alle 10 gigaisia malleja, että ei ole kunnon tarttumapintaa.

Menee joka tapauksessa 100% spekuloinniksi kun ei oikeasti tiedä miten ovat ajatelleet tuon CoPilotin ajon toimivan.

 

[Halpuuttaja]

Laitoin sanoja Googleen että GPT-4:n mallin koko olisi 750+ gigaa. CoPilotin koosta ei ole haisua mutta ei varmaan sekään ihan pieni ole.

Niin ei tuollainen mihinkään rammiinkaan oikein mene niin seuraavaksi nopein muistilaite olisi NVMe ja olisi sitten joku hauska tietorakennen että hyödyntäisi rammia siinä myös.

Tuommonen valtava tekoälymalli menee usemman GPU:n muodostaman ryppään jaettuun muistiin, joka on erittäin nopeaa. Yksittäisen A100 GPU:n muistikaista on luokkaa 2000 Gt/s, NVMe PCIe 5.0 SSD:n 14 Gt/s.

 

[Eore]

Tuommonen valtava tekoälymalli menee usemman GPU:n muodostaman ryppään jaettuun muistiin, joka on erittäin nopeaa. Yksittäisen A100 GPU:n muistikaista on luokkaa 2000 Gt/s, NVMe PCIe 5.0 SSD:n 14 Gt/s.

Taidettiin viitata ketjun aiheeseen ja lokaalisti ajettavaan copilottiin, jollain perus PC:llä.

 

[Gandalf]

Tuommonen valtava tekoälymalli menee usemman GPU:n muodostaman ryppään jaettuun muistiin, joka on erittäin nopeaa. Yksittäisen A100 GPU:n muistikaista on luokkaa 2000 Gt/s, NVMe PCIe 5.0 SSD:n 14 Gt/s.

Nimenomaan.

Siksi tämä nyt on vähän mysteeri, että miten tarkoitus ajella. En usko että tämä nyt edes olisi välttämättä VRAM:n varassa olisi että jos keskusmuistia on vaikka 256 gigaa niin tulee siitä ja prossuun integroitu NPU voi käyttää mutta... ehkä se CoPilot vaan on pienempi tai tuo toimii jotenkin muuten. Todella mielenkiintoista nähdä mitä sieltä nyt tulee.

 

[zepi]

Nimenomaan.

Siksi tämä nyt on vähän mysteeri, että miten tarkoitus ajella. En usko että tämä nyt edes olisi välttämättä VRAM:n varassa olisi että jos keskusmuistia on vaikka 256 gigaa niin tulee siitä ja prossuun integroitu NPU voi käyttää mutta... ehkä se CoPilot vaan on pienempi tai tuo toimii jotenkin muuten. Todella mielenkiintoista nähdä mitä sieltä nyt tulee.

Tarkoitus on ajella _paljon_ pienempiä ja vähemmän konetehoa vaativia malleja. Luokkaa 4-32Gb tilaa vaativia.

Noissa isoissa malleissa muistin nimenomaan pitää olla ”vramia” - normaali keskusmuisti on aivan liian hidasta - tai sen pitää olla kytketty poikkeuksellisen leveällä kaistalla kuten esim. Applen M-sarjan max/ultra siruissa.

 

[Halpuuttaja]

Siksi tämä nyt on vähän mysteeri että miten tarkoitus ajella. En usko että tämä nyt VRAM:n varassa olisi että jos keskusmuistia on vaikka 256 gigaa niin tulee siitä ja prossuun integroitu NPU voi käyttää mutta... ehkä se CoPilot vaan on pienempi tai tuo toimii jotenkin muuten. Todella mielenkiintoista nähdä mitä sieltä nyt tulee.

Jaa missasin vähän ajatuksesi. Siis ei tietenkään lokaalisti ajettava CoPilot ole mikään satoja gigoja muistia vaativa GPT-4 jättiläinen. Vain brändäys (hieman harhaanjohtavasti) on sama. Microsoftin Phi-2 varmaan realistisempi kokoluokka, n. 5,5 Gt kooltaan fp16 muodossa.

 

[Gandalf]

Tarkoitus on ajella _paljon_ pienempiä ja vähemmän konetehoa vaativia malleja. Luokkaa 4-32Gb tilaa vaativia.

Sitten tuossa ei ole mitään ihmeellistä. Olemassa olevaa tekniikkaa.