NSA:lla luulisi olevan eniten dataa. Eikä sillä luulisi olevan ongelmia päästä käsiksi kaikkiin näiden suurten amerikkalaisten yhtiöiden dataan. Googlelta, Facebookilta vaan voi pyytää sitä. Sitten vaan uusi Manhattan projekti pystyyn. Kyllä ne siihen pystyisi jos haluaisivat, mutta ei niiden tarvi, kun Google, Amazon jne. hoitaa niiden puolesta.
Tehokkainta olisi, jos eri osapuolten tekoälyt keskustelevat keskenään ilman ihmisiä. Tuntien palaveri menisi sekunneissa ja virheettömät päätökset. Jatkotoimenpiteet tapahtuisivat myös sekunneissa.
Kaikenlaista mistä voisi tulla ongelma otettu huomioon
Itseasiassa tämä tekoälyllä luotu paska ei rajoitu edes youtubeen vaan tuntuu että koko internet on hukkumassa höttöön ja järkevän, todellisen informaation etsiminen on kokoajan muodustumassa hankalammaksi. Tämä toki ei yksin tekoälyn vika ole, mutta tekoäly toimii siinä mahdollistajana.
Ja sitten kun tuota tekoälyn generoimaa höttöä käytetään tulevien tekoälymallien kouluttamiseen niin se järkevä ihmisten tuottama informaatio häviää niistä vähitellen kokonaan. Jos ongelmaan ei löydy ratkaisua niin voin vain kuvitella minkälaista sontaa LLM:t suoltaa parin vuoden päästä.
Eiköhän tuo mene niin, että openai, microsoft, apple, google jne. isot tahot kouluttavat mallinsa nimenomaan laadukkaalla datalla ja joutuvat myös lisensoimaan datan. Ei ole mikään pakko ottaa huonoa dataa/koko internettiä mukaan opetusdataan. Malleja myös hienosäädetään opettamalla yritys/domainkohtaisella datalla + rag:lla sisään dataa reaaliajassa.
Millä laitteistolla noita pystyy käyttämään? A6000 48 gigan muistilla hyytyy jo 13B malliin jos ei tee kvantisointia.Tekolymallien koon ja kykyjen kasvu on myös aika huimaa. Olihan tämä mainittu jo TechBBS:ssä, mutta kukaan ei sen pidemmälle ollut vienyt asiaa:
Nemotron-4 340B | Research
We release the Nemotron-4 340B model family, including Nemotron-4-340B-Base, Nemotron-4-340B-Instruct, and Nemotron-4-340B-Reward. Our models are open access under the NVIDIA Open Model License Agreement, a permissive model license that allows the distribution, modification, and use of the...research.nvidia.com
Massiivinen malli joka on tuplasti suurempi kuin mm. GPT-4. Käsittääkseni noita huippumalleja on tulossa muualtakin. Uusinta OPUS ja LLaMa 3 mallia odotellessa joiden molempien odotetaan olevan varmaan tuota ~300 miljardia parametriä luokkaa tai suurempia. Alustavia testailuita olen jo tuolla tehnytkin ja vaikuttaisi toimivan ihan ok.
Nuo isot tahot varmaan vähän katsovatkin millä datalla mallejaan kouluttavat mutta samaan aikaan jotkut tee-se-itse-propelihatut työntävät nettiin esimerkiksi selkeästi jollain AI:lla generoituja nettisivuja jotka rankkaantuvat hakutuloksissa korkealle mutta sisältö on silkkaa paskaa + kauhea kasa mainoksia (eli ilmeisesti yritetään vaan kalastella klikkauksia hakukoneista ja saada mainoksilla tuloja). Tuon tyyppisiä täysin arvottomia sivuja on ruvennut nyt viimeisen vuoden aikana tulemaan yhtä kiihtyvällä tahdilla lisää ja lisää esim googlen hakutuloksiin. Tai sitten sivuilla on jotain "vähän sinnepäin" -ohjeita johonkin asiaan mutta ohjeet ovat virheellisiä tai jopa vaarallisia. Kyllähän noita itse vielä osaa väistellä kohtalaisen hyvin mutta noiden määrä kun lisääntyy koko ajan niin kohta sitä oikeaa asiaa ei enää löydä tuolta roskan joukosta.
Itse asiassa huomio on kääntymässä pienempiin malleihin. On huomattu että isompi ei välttämättä ole parempi, vaan koulutusdatan laatu ratkaisee.Tekolymallien koon ja kykyjen kasvu on myös aika huimaa. Olihan tämä mainittu jo TechBBS:ssä, mutta kukaan ei sen pidemmälle ollut vienyt asiaa:
Nemotron-4 340B | Research
We release the Nemotron-4 340B model family, including Nemotron-4-340B-Base, Nemotron-4-340B-Instruct, and Nemotron-4-340B-Reward. Our models are open access under the NVIDIA Open Model License Agreement, a permissive model license that allows the distribution, modification, and use of the...
Massiivinen malli joka on tuplasti suurempi kuin mm. GPT-4. Käsittääkseni noita huippumalleja on tulossa muualtakin. Uusinta OPUS ja LLaMa 3 mallia odotellessa joiden molempien odotetaan olevan varmaan tuota ~300 miljardia parametriä luokkaa tai suurempia. Alustavia testailuita olen jo tuolla tehnytkin ja vaikuttaisi toimivan ihan ok.
Konesali gpu:lla missä on nopealla yhteydellä linkattu useampia laskentayksiköitä yhteen muistiavaruuteen. Nvidian B100:ssa on muistia 192GB. B100:ia linkataan tyyliin 8-72 kappaletta yhteen muistiavaruuteen nvlinkin avulla. Ohjelmoijan kannalta NVL72 näyttää yhdeltä laskentayksiköltä missä kaikki muisti on samassa muistiavaruudessa ja asiat vain toimivat. Toki nvlinkista huolimatta optimaalista olisi ettei turhaan liikutella dataa piirien välillä.
GPT4:en on huhuttu olevan noin 1.7 biljoonaa parametria. Edellinen GPT versio oli jossain 100-200 miljoonan parametrin välissä ja gpt4 10x isompi.
En mä oikein usko, että tämä eroaa mitenkään esim. vanhanajan kirjastosta/kirjakaupasta tai videovuokraamosta. Aina on ollut huonoa sisältöä ja hyvää sisältöä. Tai toisella tapaa sanoen voi lukea seiskaa tai wallstreet journalia. Tarvii pitää lähteet mielessä, jos haluaa saada laatusisältöä.
Juu, mutta kirjastossa tai kirjakaupassa sentään voi kävellä suoraan sinne tietokirjallisuusosastolle ja ohittaa hömppä/roskaosastot. Nykyään tuntuu hakukoneiden tulokset olevan verrattavissa siihen että tietokirjojen hyllyyn joku on tunkenut seiskaa, akuankkaa, vessapaperia ja pornolehtiä. Vielä muutama vuosi sitten tilanne sentään oli suunnilleen sellainen että joku olisi vahingossa palauttanut jallun tai akuankan tietokirjojen hyllyyn, eli suurin osa hakutuloksista oli edes sitä mitä haki. Nykyään sitä hakemaansa asiaa saa välillä etsiä oikein urakalla ja kikkailla hakutermien kanssa välillä oikein urakalla että saa edes osan AI-generoidusta kurasta sun muusta roskasta lakaistua pois.
Halpaa hupia.Konesali gpu:lla missä on nopealla yhteydellä linkattu useampia laskentayksiköitä yhteen muistiavaruuteen. Nvidian B100:ssa on muistia 192GB. B100:ia linkataan tyyliin 8-72 kappaletta yhteen muistiavaruuteen nvlinkin avulla. Ohjelmoijan kannalta NVL72 näyttää yhdeltä laskentayksiköltä missä kaikki muisti on samassa muistiavaruudessa ja asiat vain toimivat. Toki nvlinkista huolimatta optimaalista olisi ettei turhaan liikutella dataa piirien välillä.
NVL72 näyttää tältä(72 gpu:ta linkattu yhteen nvlink:lla)
8gpu härveli tän näköinen. Tuossakin kaikki gpu:t kytketty toisiinsa nvlinkin avulla.
GPT4:en on huhuttu olevan noin 1.7 biljoonaa parametria. Edellinen GPT versio oli jossain 100-200 miljoonan parametrin välissä ja gpt4 10x isompi.
google search on ollut kelvoton jo jonkin aikaa
www.kauppalehti.fi
Tuskin vaikuttaa mitenkään kävi niin tai näin. Ei taida ranska eikä laajemmin edes EU olla edelläkävijöitä AI:n kanssa. Firmat openai, microsoft, perplexity, google, meta jne. ajaa ai:ta eteenpäin.Mitkähän vaikutukset on toteutuessaan tekoälyn kehitykselle?Reuters: Nvidia joutui Ranskan hampaisiin – syytteet ehkä tulossa, miljardisakot uhkaavat
Nvidia on niin iso, että se on joutunut kilpailuviranomaisten hampaisiin ympäri maailmaa.
Ahaa, en tiennytkään että heillä on omia laskentapiirejä noihin AI-asioihin. Sittenpä asiassa ei olekaan ongelmaa.
Worst case nvidian kannalta on, että tulee sakkomaksua ja käsketään avaamaan cuda-rajapintaa + cuda lisenssiä(sallitaan 3rdparty toteutukset cuda rajapinnan alle). Ei nvidiaa olla pilkkomassa. Rautapuolella kilpailijoita joka nurkalla google, amd, intel, meta, microsoft, tesla, startupit kuten tenstorrent, groq jne. Ei ole mitään järkisyitä edes vaatia nvidian pilkkomista ja miten nvidia edes pilkottaisiin?Ahaa, en tiennytkään että heillä on omia laskentapiirejä noihin AI-asioihin. Sittenpä asiassa ei olekaan ongelmaa.
Ajattelin että pahimmassa tapauksessa NVIDIA:n pilkkominen johtaisi noiden laskentapiirien tuotannon notkahdukseen, kun ei olisikaan enää markkinajohtajan ja ison jätin resursseja kehitystyöhön.
github.com
Tässä on sellainen käytänön ongelma että nvidiassa ei AI:n kannalta oikein ole mitään pilkottavaa. Kilpailijoita on ja kilpailijoilta löytyy nvidiaa vastaava pino missä kiihdytin, cpu, verkko ja ajurit tarjolla. Kilpailijoiden ongelma on siinä, että ne vähättelivät AI markkinaa ja ovat nyt yhden generaation tuotteissa perässä nvidiaa. AMD sai nvidian hopperin kiinni mi300x:lla ja samaan aikaan nvidia sai blackwellin tuotantoon. Intel yrittää myydä omaa gaudi2/3:sta hinta-edellä. isot talot amazon, meta, microsoft tekee myös omia rautoja. Tähän päälle ne startupit kuten tenstorrent ja groq.
