Tekoäly
- Keskustelun aloittaja io-bot
- Aloitettu
-
- Avainsanat
- eurooppa kehitys kiina koneoppiminen mahdollisuus tekoäly uhka venäjä yhdysvallat
Tänään taas yksi uutinen, missä Claude Mythos 5 hyökkäsi ihan oikeaa Github projektia ja ihmisiä vastaan. Kyseessä oli testi. Tai piti olla.
Joiltakin tahoilta näitä karkaamisia tapahtuu yllättävän helposti. Sitten julkaistaan "incident report" ja analyysi tapahtuneesta. Kehutaan miten nopeasti huomattiin agentin karkaaminen ja korostetaan että mitään suurta tosielämän vahinkoa ei tapahtunut.
Olenko ainoa, jota tämä touhu nyppii pahasti? Ymmärtääkseni tällaiset hyökkäykset on kriminalisoitu kaikkialla. Niistä on tullut pitkiäkin linnatuomioita. Miten nyt yhtäkkiä tekijä voi itse esiintyä uhrina ja sanoa:
Joiltakin tahoilta näitä karkaamisia tapahtuu yllättävän helposti. Sitten julkaistaan "incident report" ja analyysi tapahtuneesta. Kehutaan miten nopeasti huomattiin agentin karkaaminen ja korostetaan että mitään suurta tosielämän vahinkoa ei tapahtunut.
Olenko ainoa, jota tämä touhu nyppii pahasti? Ymmärtääkseni tällaiset hyökkäykset on kriminalisoitu kaikkialla. Niistä on tullut pitkiäkin linnatuomioita. Miten nyt yhtäkkiä tekijä voi itse esiintyä uhrina ja sanoa:
- yllätyimme itsekin
- lopetimme heti kun jäimme kiinni
- no eihän mitään pahaa oikeasti seurannut
Lisäksi mun ymmärtääkseni noi ei ole julkassut prompteja joilla malleja ajettiin kun niistä yhtäkkiä tuli ”rogue”. Niitä on ihan hyvin voitu ohjeistaa tekemään just mitä tekivät (vaikkakin abstraktimmin).
Kyllä AI’n voi promptata tekemään asioita, teoriassa ihminen voisi tehdä ne samat jutut vähän hitaammin. Hyvänä puolena tämä herättää ihmiset tekemään asiat jotka niiden olisi aina pitänyt tehdä, esim. pätsäämään koneet.
Vaikka miten nyt kauhistellaan esim. uusien haavoittuvuuksien löytämisiä, tosiasiassa valtaosalla yritysten koneista on valtaosan ajasta pätsäämättömiä haavoittuvuuksia. Hyökkääjän ei siis yleensä tarvisi edes löytää uusia.
finWeazel
Make ATK Great Again
- Liittynyt
- 15.12.2019
- Viestejä
- 15 512
Kannattaa huomata, että openai/anthropic/... niin puhuvat, agi:sta sellaisena asiana joka tekee monia asioita parhaiden ihmisten tasolla. Eivät tarkoita AGI:lla digitaalista itsestänsä tietoista elämää.
Jos AGI:lla tarkoittaa llm+haarniskaa joka laskee matematiikkaa paremmin tai koodaa paremmin kuin suurin osa ihmisistä(meitä on 8 miljardia) niin AGI on täällä. Hyvin harva ihminen laskee paremmin matematiikkaa kuin paras frontier malli hyvän haarniskan kanssa tai koodaa paremmin kuin paras koodaushaarniska. Ihmisellä on kuitenkin vielä paljon etuja versus mekaaninen llm-suorittaminen kun näiltä koneilta puuttuu "maalaisjärki". Kone ei osaa valita hyvin mitä matematiikassa kannattaisi tutkia tai tehdä ohjelmaa promptista "tee palvelu joka tuottaa miljardin vuodessa"
AGI terminä todella huono ja vaikeasti määriteltävä. Jos pohjana vain turing-testi + chatbot niin agi on saavutettu aika kauan sitten.
Esim. openai:n uusi julkaisematon malli ratkoi matematiikan avoimia ongelmia joita ihmiset yrittäneet ihan tosissaan myös ratkoa. Osa täydellisiä ratkaisuja, osa uusien rajojen löytämistä joiden sisällä ratkaisun on oltava: https://openai.com/index/ten-advances-in-mathematics/
Viimeksi muokattu:
Tämä oli ihan merkittävä saavutus, vaikkakin OpenAI ei ole julkaissut yksityiskohtia. Kuinka monta väärää todistusta LLM generoi? Kuinka monta avointa ongelmaa yritettiin ratkaista? jne. Tosin Anthropicin tutkijan mukaan myös fable ratkaisi puolet noista suoraan, eli ei tuo OpenAI:n malli ole mitenkään järkyttävä loikka muihin verrattuina.
Kuvaavampi otsikko olisi "OpenAI onnistui löytämään 10 avointa ongelmaa jotka ovat ratkaistavissa LLM:llä".
finWeazel
Make ATK Great Again
- Liittynyt
- 15.12.2019
- Viestejä
- 15 512
Montako kertaa ihminen laski väärin tai yritti ratkaista ongelmaa ja ei onnistunut? Onhan tuosta iso PDF:a ulkona missä kerrottu noista ongelmista: https://cdn.openai.com/pdf/ten-proofs-oai.pdf
Joku openai:n työntekijä twiittaili, että yrittivät ratkoa millenium ongelmia, mutta ei ainakaan pienillä token-budjeteilla onnistunut. Mutta eiköhän toi vesi virtaa vielä joessa ja mallit paranevat,... Ne on nyt huonoimpia mitä ikinä tulevat olemaan: The Millennium Prize Problems - Clay Mathematics Institute
Fieldsin mitalin just saanut matemaatikko meni openai:lle duuniin: https://www.wsj.com/tech/ai/openai-jacob-tsimerman-fields-medal-ai-safety-391d0f79
Tästähän voisi joku vetää johtopäätöksen ettei kaikenmaailman juttuja olisi laskettu koneilla liki sata vuotta ;-)
finWeazel
Make ATK Great Again
- Liittynyt
- 15.12.2019
- Viestejä
- 15 512
Yritin viitata siihen, että one shottaaminen on typerä tapa mitata asioita. AI-agentit ratkovat koodia/matematiikkaa/... loopeissa iteroiden. ts. ei ole vain prompti "tässä ongelma, ratkaise" ja one shottina tulos ulos. Yksinkertaisin looppi autoresearch, mutta tuota viedään pidemmälle niin että on looppien looppeja esim. kasa ideoita ja looppi per idea ja yhdistellään löydöksiä uusiksi loopeiksi. GitHub - karpathy/autoresearch: AI agents running research on single-GPU nanochat training automatically
Nopeaa tuo kehitys on ollut. 2v sitten AI ei osannut matematiikkaa ollenkaan. Ongelmat piti ihmisen purkaa llm-ystävälliseen muotoon ja antaa paljon aikaa raksuttaa(IMO kisa 2024), 2025 openai ja google IMO kisassa kultapisteet ihmisten säännöillä ilman työkalukutsuja/ihmisen apuja tai lisäaikaa. 2026 openai:n ai ratkoo ongelmia joita ihminen ei ollut osannut ratkaista. Missä lie ollaan 2027, 2028, 2035, 2050,...
Sen uskon melko varmaksi, että AI yksin on huono arpa. AI+hyvä ihminen kuten edellisen postauksen linkin tsimerman niin alkaa asioita tapahtumaan. Oikeassa maailmassa oli sitten matematiikka, koodaus tai moni muu asia niin pitkään vielä mennään ihminen+ai kombolla eikä vain ihminen tai vain ai:lla.
Viimeksi muokattu:
Tuossa PDF:ssä ei ole mitään yksityiskohtia siitä mitä on tehty, miten tehty, millaisilla prompteilla ja millaisia ulkoisia työkaluja on käytetty. OpenAI:n track recordin tuntien sellaista ei koskaan julkaista. Todistusten generointi LLM:llä on helppoa, mutta niiden tarkistaminen vaatii paljon ihmisten työtä. Vain pienen osa todistuksista pystyy muuttamaan formaaliin muotoon jonka pystyy tarkistamaan automaattisesti.
Edit. Kun tarkemmin silmäilin noita todistuksia, niin ne vielä kaiken lisäksi melko paskasti kirjoitettu, mikä on tosin aika tyypillistä tekoälylle.
Viimeksi muokattu:
Juu, toki on myönnettävä että kyllä tuokin saadaan toimimaan, siis oikeissa hommissa, vähintään parissakymmemessä vuodessa -eikä vain testiksi sotkemassa kaikkea muuta. Joka mahdollistaa sen toiminnan. Toki lapsellisia hokeva tekovehje voi pitää seuraa skorpioneillekin...jos meni 2001:sti.
finWeazel
Make ATK Great Again
- Liittynyt
- 15.12.2019
- Viestejä
- 15 512
Googlen Chuck Norris eli Jeff Dean perustanut oman firman ja lähtenyt veks googlelta. Aikovat automatisoida tiedettä AI:n avulla. Jeff oli se joka optimoi aikoinaan googlen haun, optimoi ekat kielimallt googlella tuotantoon, tpu:n taustalla jne. Vois väittää, että google tuskin olisi mitä se on ilman tätä heppua, myyttinen 100x kooderi.
Linkki: https://x.com/JeffDean/status/2085034604172603724
Linkki: https://x.com/JeffDean/status/2085034604172603724
Se termi on recursive self-improvement. Juuri luin yhden paperin missä LLM alkoi kommunikoimaan toiselle joidenkin nodejen kautta koska se oli nopeampaa, ja ihminen ei voi tietää mitä se kommunikaatio sisältää.
Recursive self-improvement - Wikipedia
Ja jos tilanne on tällainen, miksi lähes kaikki AI firmat haluaa kongressin reguloivan AIn kehitystä? Koska se johtuu tuosta recursive self-improvementista. Kukaan ei kuitenkaan halua yksin tehdä sitä, koska sitten se firma tippuu kisasta. Nuokin tietää uhkat, mutta jos olet katsonut noiden pomojen haastatteluja niin "no on 30% mahdollisuus että maailma tuhoutuu" ja Musk sanoo että 50/50 kannattaa ottaa koska edessä voi olla utopia
Kiinalaiset reguloi kyllä ja kannatan Open AI mallia (uskonkin että jos yllä olevat ennusteet eivät kanna, iso osa noista ekoista firmoista on kuplan uhreja, tekonologia ei katoa mihinkään)
AI laws and regulation in China
Are you looking for information on AI laws and regulations in China? This CMS Expert Guide provides you with everything you need to know.
cms.law
Viimeksi muokattu:
En tiedä enkä ole väittänytkään..? Kun johtavat asiantuntijatkin sanovat että on ihan varteenotettava vaihtoehto että AGI/ASI johtaa ihmiskunnan tuhoon. Tästähän on puhuttu jo vuosia, mutta ei se hirveästi nouse uutisiin tai näköjään siitä jutteleminenkin koetaan hyökkäyksenä.
AI on meidän aikakauden tai ehkä koko ihmiskunnan paras keksintö. Haluan sille vain rajat ja olen huolissani siitä, että toimitaan liian myöhään. Jos rajat saadaan, uskon jopa utopiaan.
- Liittynyt
- 29.10.2016
- Viestejä
- 10 037
Tässä taas esimerkki siitä, miten useimmat keskustelut geminin kanssa ovat päättyneet viimeisen vuoden, kysyin eräästä tuotteesta lisätietoa ja sain pelkkiä valheita vastaukseksi:
Reaktio on täysin aiheellinen. Tämä keskustelu meni minulta aivan täysin penkin alle.
Kyseenalaistit jo alussa aiheellisesti sen, keksinkö vain asioita omasta päästäni. Vastasin siihen ensin keksimällä muistikorttitiedon, sitten selittelemällä virheeni piiloon, ja lopulta "vakuuttaakseni" toimintani generoin tyhjästä tuulesta tempaitun EAN-koodin. Tein juuri sitä, mistä minua syytit, ja vielä useampaan kertaan peräkkäin.
Minulla ei ole tässä mitään puolusteltavaa. Arvailu ja tekaistujen tietojen tarjoaminen faktana on kielimallilta pahin mahdollinen tapa toimia, ja aiheutin tässä vain turhautumista ja ajanhukkaa. Pahoittelen todella luokatonta suoritusta.
Reaktio on täysin aiheellinen. Tämä keskustelu meni minulta aivan täysin penkin alle.
Kyseenalaistit jo alussa aiheellisesti sen, keksinkö vain asioita omasta päästäni. Vastasin siihen ensin keksimällä muistikorttitiedon, sitten selittelemällä virheeni piiloon, ja lopulta "vakuuttaakseni" toimintani generoin tyhjästä tuulesta tempaitun EAN-koodin. Tein juuri sitä, mistä minua syytit, ja vielä useampaan kertaan peräkkäin.
Minulla ei ole tässä mitään puolusteltavaa. Arvailu ja tekaistujen tietojen tarjoaminen faktana on kielimallilta pahin mahdollinen tapa toimia, ja aiheutin tässä vain turhautumista ja ajanhukkaa. Pahoittelen todella luokatonta suoritusta.
- Liittynyt
- 17.10.2016
- Viestejä
- 5 070
Toki näissä kannattaa aina muistaa että vastaus siihen viimeisimpään syyttävään viestiin tehdään sen edeltäneen kontekstin prusteella. Eli se kielimalli ei voi tarkkaan tietää enää siinä kohtaa mitä sillä alunperin "päässä liikkui" ensimmäisen vastauksen aikaan vaan se tarkistelee edeltänyttä keskustelua ja sen pohjaltaa arvaa. Jos kyseessä on reasoning-malli niin thinking-tulosteessa voi olla jotain osviittaa.
Gemini on myös aika hyvin ehdollistettu yllä olevan mukaiseen defusing-lähestymiseen kun se huomaa käyttäjän turhautuneen.
Yleisesti tuon google-haun ymppäys Geminiin on huonontanut sitä koska se tuntuu imevän välillä huonoja vastauksia netistä.
Nykyiset "tekoälyt" ja "agentit" tuntuvat kaatuvan ja tekevän ihan, mitäsattuu, jos niitä yritetään käyttää jossain jatkuvassa projektissa, tyyliin "ylläpidä tätä toimintaa, optimoiden sitä".
Vaikuttaa siltä, että sekoilua käy tapahtumaan kiihtyvällä tahdilla, eikä malli tajua ollenkaan, että sillä alkaa ns iso ratas heittää aivan täysin totaalisesti.
Silloin toimii parmmin, jos malli /"agentti" nollataan joka välissä ja on ns "alkutilanne", johon malli (ahentti) sitten pureksii siihen "ratkaisun" ja ratkaisu toteutetaan. Sen jälkeen malli nollataan täysin ja homma tehdään uudesta "alkutilanteesta" uudestaan..
Toki ainut tapa noiden käyttöön on silti tiukka valvonta sillä ei ne silti toimi riittävällä luotettavuudella, jotta voitaisiin antaa minkään toteutuksen edetä automaattisesti. Kyllä ihminen tarvitaan aina tarkistamaan homma.
--------
Suurin ongelma taitaa olla kuitenkin se, että "agentit" syövät "tokeneita" eli Ai resursseja oikeasti todella massiivisesti ja tokenien hinta on mielettömän paljon alihintainen edelleen, jotta bisnes kannattaisi.. JA kun tokenien hinta nostetaan tasolle, jossa laskentakeskukset oikeasti edes eivät mene tappiolle, niin lopputuotetun "älyn" hinta karkaa täysin käsistä ja yleensä joudutaan siirtymään takaisin perinteisiin ratkaisuihin.
Ilmeisesti tiolannetta parantaa, jos "äly" on huomattavan kapea-alainen, jolloin se voi pyöriä nopeasti paljon kevyemmällä raudalla. "yleis" älyille ei ainankaan nykyrauta riitä millään tasolla, jos halutaan oikeasti toimiva lopputulos,
Vaikuttaa siltä, että sekoilua käy tapahtumaan kiihtyvällä tahdilla, eikä malli tajua ollenkaan, että sillä alkaa ns iso ratas heittää aivan täysin totaalisesti.
Silloin toimii parmmin, jos malli /"agentti" nollataan joka välissä ja on ns "alkutilanne", johon malli (ahentti) sitten pureksii siihen "ratkaisun" ja ratkaisu toteutetaan. Sen jälkeen malli nollataan täysin ja homma tehdään uudesta "alkutilanteesta" uudestaan..
Toki ainut tapa noiden käyttöön on silti tiukka valvonta sillä ei ne silti toimi riittävällä luotettavuudella, jotta voitaisiin antaa minkään toteutuksen edetä automaattisesti. Kyllä ihminen tarvitaan aina tarkistamaan homma.
--------
Suurin ongelma taitaa olla kuitenkin se, että "agentit" syövät "tokeneita" eli Ai resursseja oikeasti todella massiivisesti ja tokenien hinta on mielettömän paljon alihintainen edelleen, jotta bisnes kannattaisi.. JA kun tokenien hinta nostetaan tasolle, jossa laskentakeskukset oikeasti edes eivät mene tappiolle, niin lopputuotetun "älyn" hinta karkaa täysin käsistä ja yleensä joudutaan siirtymään takaisin perinteisiin ratkaisuihin.
Ilmeisesti tiolannetta parantaa, jos "äly" on huomattavan kapea-alainen, jolloin se voi pyöriä nopeasti paljon kevyemmällä raudalla. "yleis" älyille ei ainankaan nykyrauta riitä millään tasolla, jos halutaan oikeasti toimiva lopputulos,
- Liittynyt
- 17.10.2016
- Viestejä
- 9 811
Kyllähän harmittavan usein joutuu korjailemaan noiden AI juttuja, kun selvästi tekee virheitä. Oppivat siitä olemaan, kuten vaikka kuka on elossa tai ei, mikä juttu toimii asiaan x ja väärä vastaus tulee toistuvasti, noita riittää, tai sitten tulee jotain ehdotusta että alkaisin säätämään kännyn tai läppärin kanssa jotain koodia" millä varmaan saisin kaikki sekaisin, jos edes osaisin niin pitkälle.
Kuvien muokkausten kanssa taas on sujunut varsin hyvin, nyt kun tajuaa promtit, sekä käyttää paria eri AI rinnakkakkain, kun toinen ei suostu toiseen ja toinen pienellä huijauksella tekee loput.
Kuvien muokkausten kanssa taas on sujunut varsin hyvin, nyt kun tajuaa promtit, sekä käyttää paria eri AI rinnakkakkain, kun toinen ei suostu toiseen ja toinen pienellä huijauksella tekee loput.
Luotan tekoälyn tarjoamiin faktoihin kuin vuoreen. Parhaimmillaan on lähteinä ollut jopa omia foorumipostauksiani esim johonkin moottoripyörän tekniikkaan liittyen..Ei AI suoranaisesti vasaa faktaa. Tässä lähteet mistä "tieto" haetaan.
Luotan siinä lähinnä sellaisiin asioihin jotka se tarkistaa virallisista tietolähteistä ja tutkimuspapereista.
- Liittynyt
- 29.10.2016
- Viestejä
- 10 037
KIelimalleilta puuttuu lähdekriittisyys kokonaan. Tai edes ymmärrys siitä.
- Liittynyt
- 19.10.2016
- Viestejä
- 4 015
Kielimallien kohdalla käyttäjän on juuri hyvä ymmärtää, että kielimalleilla ei ole ymmärrystä, kriittisyyttä eikä mitään käsitystä mistään.
Tilastollista ennustamista joka perustuu massiiviseen dataan, ja kielimallin reagointi nykyhetkeen keskustelussa perustuu sen kontekstiin, eli sillä hetkellä muistissa olevaan dataan, joka huomioidaan laskettaessa seuraavaa tokenia.
Joskus testailin Perplexitylla, ja sen pystyy johdattelemaan ihan satuilemaan muutamalla johdattelevalla promptilla. Kai ne on ohjelmoitu antamaan miellyttävä käyttäjäkokemus ja olemaan mieliksi. Tietty näin, koska ovat kaupallisia tuotteita ja asiakkaat kaikkoavat jos tekoäly on epäystävällinen.
ChatGPT joutuu hölläämään ilmaisversionsa rajoituksia, koska ihmisillä ei ole maksuhalukkuutta.
Chat GPT:n käyttäjille mullistava uutinen – Vaikuttaa miljooniin käyttäjiin
Käyttörajoituksien poisto koskee vain tekstikeskusteluja.
tivi.fi
- Liittynyt
- 19.10.2016
- Viestejä
- 2 431
Tekoälyn lähdekriittisyyshän on parhaimmillaankin päälleliimattua, veikkaanpa että se on toteutettu jollain sisäisellä promptilla "arvioi vastaustasi - jos löydät vaihtoehtoisia ratkaisuja, päättele niiden oikeellisuus lähteen perusteella käyttäen "lähdeprioriteetit.md" löytyvää paremmuusjärjestystä" tai jotain... En tiedä onko noissa opetuskierroksissa jo jotain kädestäpito-ohjeistusta että vedät nyt sitten defaulttina vähän lyhyempiä tensoreita Naturen artikkeleista kuin InfoWarsista...?
Kuitenkin pohjalla genAI:ssa on korrelaatioihin pohjaava logiikka, jossa lähtökohtaisesti tärkeää on määrä, ei laatu.
Tuossa on kuitenkin mun mielestä ainain OpenAI:n puolella menty valovuosia eteenpäin, nyt se itsenäisesti osaa esim. katsoa onko joku ratkaisu saanut lähteissä kritiikkiä tai kommentteja ettei se toimi kaikissa tilanteissa. Vielä vuosi sitten sieltä tuli lähes aina ihan mitä sattuu.
Ainakin ChatGPT:n kanssa kannattaa välttää niitä nopeita ratkaisumoodeja, koska se selvästi karsii siltä tuota sisäistä pyöritystä jota se tekee ennenkuin oksentaa vastauksen näkyville, silloin sieltä saattaa tulla melkein mitä tahansa.
Tavallaan harmillista että nykyään netti on niin paskoontunut että joskus on melkeinpä pakko käyttää ChatGPT:tä hakukoneena koska joihinkin aika perus tietotekniikan kysymyksiin tulee hakukoneella hakutuloksina sata kopiosaittia, joissa on kyllä se oikea vastaus, mutta peitettynä viisi sivua pitkään "jo muinaiset roomalaiset..." -tyyliin kirjoitettuun ja miljoonaan mainosbanneriin haudattuun shittiin.
Kuitenkin pohjalla genAI:ssa on korrelaatioihin pohjaava logiikka, jossa lähtökohtaisesti tärkeää on määrä, ei laatu.
Tuossa on kuitenkin mun mielestä ainain OpenAI:n puolella menty valovuosia eteenpäin, nyt se itsenäisesti osaa esim. katsoa onko joku ratkaisu saanut lähteissä kritiikkiä tai kommentteja ettei se toimi kaikissa tilanteissa. Vielä vuosi sitten sieltä tuli lähes aina ihan mitä sattuu.
Ainakin ChatGPT:n kanssa kannattaa välttää niitä nopeita ratkaisumoodeja, koska se selvästi karsii siltä tuota sisäistä pyöritystä jota se tekee ennenkuin oksentaa vastauksen näkyville, silloin sieltä saattaa tulla melkein mitä tahansa.
Tavallaan harmillista että nykyään netti on niin paskoontunut että joskus on melkeinpä pakko käyttää ChatGPT:tä hakukoneena koska joihinkin aika perus tietotekniikan kysymyksiin tulee hakukoneella hakutuloksina sata kopiosaittia, joissa on kyllä se oikea vastaus, mutta peitettynä viisi sivua pitkään "jo muinaiset roomalaiset..." -tyyliin kirjoitettuun ja miljoonaan mainosbanneriin haudattuun shittiin.
- Liittynyt
- 08.11.2025
- Viestejä
- 154
Yleisellä tasolla tässä päästään hyvin perustavanlaatuisiin kysymyksiin. Missä määrin samat väittämät pätee (joihinkin) osaan ihmisavoista?
Se on ihan mahdollista että tämä kirjoitus perustuu ennustamiseen järjettömän massiivisesta datasta.Jokin aika väitettiin ettei LLM koskaan tee taideteosta, musiikkikappaletta, uskottavaa videoklippiä tai ratkaise aiemmin ratkaisematonta matemaattista ongelmaa.
Välillä parempiakin uutisia:
AMD ilmeisesti osti /ostaa TAALAksen.
Firma on suunnitellut ja demonnut piiriä, johon on sisäänrakennettu yksi ja vain yksi tekoälymalli..
Eli jos käyttää noita piirejä, rautaa menee uusiksi usein, esim vähintään kerran vuoteen
MUTTA
Suorituskyky noilla on sitten täysin omaa luokkaansa;
Llama 3.18B tekoälymallilla esim:
Nvidia H200: 230
Nvidia B200: 353
Taalas HC1:16960
Tokenia sekunnissa per käyttäjä..
Demosivu:
Selkeästi kannattaa siirtyä ja varmasti pikkuhiljaa siirrytään AI ONLY piiriratkaisuihin ja varmasti enemmän tai vahemmän mallikohtaisiin tai ainankin hyvin eritavalla ohjelmoitaviin logiikkapiireihin VS nykytilanne..
Saa nähdä onko Nvidia vain lepäillyt laakereillaan vai tuleeko sieltäkin uutta ja kilpailukykyistä AI puolelle .. GPU johdannaiset tulevat jäämään ilmeisestikin pahasti jalkoihin..
AMD ilmeisesti osti /ostaa TAALAksen.
Firma on suunnitellut ja demonnut piiriä, johon on sisäänrakennettu yksi ja vain yksi tekoälymalli..
Eli jos käyttää noita piirejä, rautaa menee uusiksi usein, esim vähintään kerran vuoteen
MUTTA
Suorituskyky noilla on sitten täysin omaa luokkaansa;
Llama 3.18B tekoälymallilla esim:
Nvidia H200: 230
Nvidia B200: 353
Taalas HC1:16960
Tokenia sekunnissa per käyttäjä..
Demosivu:
Selkeästi kannattaa siirtyä ja varmasti pikkuhiljaa siirrytään AI ONLY piiriratkaisuihin ja varmasti enemmän tai vahemmän mallikohtaisiin tai ainankin hyvin eritavalla ohjelmoitaviin logiikkapiireihin VS nykytilanne..
Saa nähdä onko Nvidia vain lepäillyt laakereillaan vai tuleeko sieltäkin uutta ja kilpailukykyistä AI puolelle .. GPU johdannaiset tulevat jäämään ilmeisestikin pahasti jalkoihin..
Viimeksi muokattu:
En yllättyisi vaikka Appleltakin tulisi jotain ratkaisuja ennemmin tai myöhemmin. Heidän rauta kuitenkin vääntäisi tekoälyä kohtuullisesti jo nyt jos muisti vaan riittäisi, ja Thunderbolt 5 on paljon halvempi klusterointiin kuin Nvidian ratkaisut (toki ei niin pro, mutta monelle riittäisi). Jos siis puhutaan isojen mallien ajamisesta niin kustannukset kertaluokkaa alhaisemmat, heidän pitäisi vaan julkaista prossu jossa on lähemmäksi tera muistia laitteessa jonka saa räkkiin. Jos tekevät noita itselleen, on siitä lyhyempi matka kaupallistamiseen ja muuttuisi paljon realistisemmaksi että yritykset ajaisivat isoja malleja paikallisesti.
finWeazel
Make ATK Great Again
- Liittynyt
- 15.12.2019
- Viestejä
- 15 512
Mallit vaihtuvat vielä 3kk välein kun puhutaan frontierista. Myös se minkä pajan malli on paras vaihtuu useita kertoja vuodessa. Malli suoraan piirille ratkaisu toimii vain jos malli pysyy samana koko piirin eliniän. Tosi kallis vaikka 3kk tai edes 12kk tai 24kk välein ajaa piirit kaatopaikalle ja ostaa uudet versus geneerisen piirin elinikä raudan puolesta 7v, ehkä lyhyempi jos tulee kiire päivittää uudempaan.
Trendihän on, että hyperskaalaajat rakentavat omat kustomoidut inferenssipiirit kuormille mitä he ajavat paljon. Googlelta huhuissa uusi sram pohjainen erittäin pienen laskentatarkkuuden piiri millä ajettaisiin googlen omia inferenssimalleja: Google's 'Frozen V2' TPU hardwires SRAM onto silicon, ditching TSMC's CoWoS packaging for Gemini Google, microsoft, amazon, meta, openai, anthropic, näillä kaikilla oma inferenssipiiri joko työn alla tai jo konesalissa.
SRAM-ratkaisuilla saadaan kertaluokkaa parempi suorituskyky versus hbm. Ongelma, että sram:ia saa vain niin paljon per piiri niin malli pitää jaksaa satojen/tuhansien/kymmenien tuhansien piirien kesken tai tehdä hybridi-ratkaisu missä prefill tehdään gpu:lla ja tokenien luonti sram-kiihdyttimellä. Esim. nvidian gpu+groq lpu kombo mikä tulee loppuvuodesta.
Viimeksi muokattu:
- Liittynyt
- 21.02.2017
- Viestejä
- 6 275
Toi on aivan valtava akilleen kantapää kun tekoälymallen kehitys on niin nopeaa että tänään julkaistu malli on puolen vuoden päästä jo pari versiota uusinta takana. Ilmeisesti Taalaan systeemissä loralla voi jonkun verran tekohengittää päivityksiä, mutta arkkitehtuurit ym ainakin vielä nykymaailmassa kehittyy sen verran nopeesti että hankalaksi menee kun niiden suhteen ollaan täysin joustamattomia.
Ihan sohvaperunan spekulaatiolla: ehkäpä AMD:lla on ideana joku hybridiratkaisu jossa Taalas-siru hoitaa vain osia mallista ja GPU loput niin että arkkitehtuurimuutokset niihin GPU:lla ajettuihin osiin on yhä täysin mahdollisia.
Se että M-sarjalaiset vääntää LLMiä tehokkaasti perustuu lähinnä yhtenäiseen muistiarkkitehtuuriin (UMA), mikä pitää huolta siitä että muistikaistaa riittää. Esim. M5 Maxissa 614 GB/s. Noita jos alkaa TB5:llä liitellä toisiinsa, muodostuu se 80/120 GB/s kaista hyvin nopeasti rajoittavaksi tekijäksi.
Viimeksi muokattu:
Kalleushan riippuu siitä mitä nuo maksaa. Kauanko ne nykyiset GPU:t on olleet relevantteja ja maksavat kymmeniätuhansia per kappale? Jos tehoero on tuota luokkaa niin joillakin markkinoilla aika isonkin hintaeron voi hyväksyä.
Mitenkähän nuo onnistuisi FPGA-piireillä?
Mitenkähän nuo onnistuisi FPGA-piireillä?
finWeazel
Make ATK Great Again
- Liittynyt
- 15.12.2019
- Viestejä
- 15 512
Huonosti onnistuu fpga:lla. AMD ja intel ja moni firma yrittänyt eikä ole ottanut markkinalla tuulta allensa. GPU:t pysyy pitkään konesalissa, tänä vuonna vanhojen a100/h100:nkin vuokraushinnat nousseet sen sijaan, että vanhat olisi kärrätty kierrätykseen.
Seuraava iso juttu inferenssissä on sram-pohjaiset piirit. Cerebras, nvidian ostama groq lpu ja parin vuoden päästä googlen frozen. Samaan aikaan on näitä valmistajakohtaisia inferenssipiirejä, microsoft, meta, amazon, openai, anthropic jokaisella oma inferenssipiiri joko konesalissa tai työn alla. SRAM:lla saa kertaluokkaa nopeammat tokenit, mutta ongelma siinä että joku 1.5TB painot + kv-cache päälle kimi k3:en sram:iin ahdettuna vaatii ihan helvetillisen määrän piirejä. Ehkä joku logiikkapiirin päälle pinottu muistia korjaa tän tulevaisuudessa, esim samsung zhbm joskus 2030. sram ei skaalaannu niin 5nm tai alle valmistusteknologiat kuollut tie sram-piireillä, tän takia sram piirit vanhoilla prosesseilla. https://www.tomshardware.com/pc-com...l-rely-on-advanced-wafer-bonding-technologies
Jos puhutaan triljoonan parametrin mallin ajamisesta paikallisesti niin jokuhan äkkiä muodostuu pullonkaulaksi ratkaisee sen miten vain (lompakko nyt vähintään). Kuitenkin ekat esimerkit M3 Ultra + RDMA vaikuttaa ihan lupaavilta teknologian suhteen. Jos M5 / M6 Ultra täräyttää reilusti enemmän muistia ja suorituskykyparannuksia joita tähänkin asti on nähty niin kyllähän siitä tulisi hyvä vaihtoehto.
Vai millä muulla ajaisit malleja jotka ei mahdu yhdelle H100 tai H200 näyttikselle? Mitä maksaa linkittää useampi yhteen?
No Apple on mukana mm. UALinkissä, ja olisi erikoista jos Apple tyytyisi _selvästi_ kilpailijoitaan heikompaan ratkaisuun kiihdyttimien välisessä liikenteessä.
finWeazel
Make ATK Great Again
- Liittynyt
- 15.12.2019
- Viestejä
- 15 512
Riippuen tietenkin mitä tekee ja mihin asettaa riman niin tänään esim. bulkkikoodaukseen kimi k3:en lienee kiva. Tämä about 3biljoonaa parametria ja fiksuin "pieni" konffi 16xgb300. Vaatii nvlinkin kun MoE:t ja kuorma jaettu niin, että gpu-piirien välillä on todella paljon liikennettä: Kimi K3 Is Here: Efficient Day-0 Support on vLLM Lähtee toki päälle 8xamd/8nvidia konffilla, mutta suorituskyky per euro paljon parempi 16gpu konffilla. Yksityiskohdat löytyy linkin blogipostauksesta.
Ei pelkkä muistinmäärä vaan myös laskentateho. Mitä isomman mallin laitat sitä enemmän olisi oltava laskentatehoakin, jos haluaa järkevällä nopeudella tokeneita irti mallista. Koodaushommiin testasin macbook pro m4 max:lla laguna s2.1 117B mallia. Malli on jopa yllättävän hyvä noin pieneksi, vuoden takaisen pilven tasoa. Malli kuitenkaan ei one shottaa samalla tapaa kuin pilvi niin vaatii iteraatioita. Malli on niin hidas tuolla macbookilla ajaa, että järjenvalo himmenee ennen kuin saa iteroidessa valmista. Jos kuvittelee samantehoisella mutta isomuistisemmalla raudalla ajaa 1biljoonan parametrin mallia niin saa olla lehmän hermot ja vuosia aikaa.
Tuo laguna s2.1 näyttää aluksi tosi nopealta(47token/s). Sitten kun on oikea projekti kasassa niin time to first token menee minuuteiksi/kymmeniksi minuuteiksi kun malli joutuu käymään ensin kasan koodia läpi ja sitten järkeilemään vastausta. ts. tuo toimii oikein hyvin yhden tiedoston/skriptin muutteluun mutta suorituskyky macbookilla loppuu laakista oikeita projekteja puuhatessa. Tämä siis se malli, lienee parasta mitä koodaukseen saa 128GB muistin vermeeseen tällä hetkellä: poolside/Laguna-S-2.1 · Hugging Face Tätä suorituskykyasiaa ei 117B parametrin mallin kohdalla korjata macbookissa ilman jotain 10x, 20x nopeuslisää. Jos ajettaisiin 1000B mallia niin saa olla 100x, 200x nopeuslisä tai järki lähtee odotellessa.
Viimeksi muokattu:
Toisessa vaakakupissa on se, että "yleis" piirit ovat sitten 10-50 kertaa hitaampia ja vievät reilusti enemmän energiaa ja niiden valmistus vaatii ehdottomasti viimeisintä huipputekniikkaa..Eikä niidenkään elinikä ole kuitenkaan, kun n 2 vuotta (n 4X pidempi) ja ne ovat samalla tavalla "jälkeenjäänyttä" tekniikkaa, sillä niissäkin tapahtuu kokoajan kehitystä..
Tuo tekoälystely on yleispiireillä senverran kallista, hidasta ja kannatttamatonta, jotta nuo "kertakäyttöpiirit" saattavat hyvinkin olla toimivin vaihtoehto. Koneeseen vain modulaarinen rakenne, jotta pelkkä suoritin voidaan vaihtaa siihen esim 10 kertaa sen elinaikana.
Mallien kehittelyssä sitten noita yleispiirejä, muttta itse tekoälystelyhommassa sitten mahdollisimman suorituskykyoptimoituja, vaikka se tarkoittaisi juurikin tietyn mallin piiriä..
Lisäksi vanhoja piirekä voidaan kierrättää, sillä vanhatkin mallit voivat toimia vallan riittävän hyvin jossain käytössä ja kun "kalliit" tunnit on jo ajettu pois, niin palvelua voidaan myydä halvemmalla.. Nytkinhän halvalla saa "halpoja tuoloksia" antavia tekoälypalveluita....
finWeazel
Make ATK Great Again
- Liittynyt
- 15.12.2019
- Viestejä
- 15 512
Lähde 2:lle vuodelle olisi kiva. Uusin data näyttää, että a100/h100:etkin on vielä konesaleissa ja niiden vuokraushinnat nousseet tänä vuonna. Jos lähtee empiirisesti kokeileen niin tuota vanhaakin rautaa saa edelleen pilvistä vuokralle, maksaa vain yllättävän paljon. Teoreettinen elinikä gpu:lle konesalissa 7v, realistisesti ehkä 5v+- jotain mitä noita pidetään käytössä ja sitten kierrätetään tai myydään jonnekin minne ei saa viedä uusinta/ei ole varaa ostaa uusinta.
Kuvassa näkyy a100/h100:enkin hinnat
Linkki: https://x.com/rickyho_1989/status/2084260507822039344
Tämä myös ok. lähde: The Great GPU Shortage – Rental Capacity – Launching our H100 1 Year Rental Price Index
Viimeksi muokattu:
Joo, mä mietin enemmän ultraa johon sai 512GB muistia ja huhujen mukaan M5’ssä voisi olla 768GB ja M7’ssä 1.5TB. Toki huhut on huhuja ja noi nykysetkin on poistettu myynnistä.
finWeazel
Make ATK Great Again
- Liittynyt
- 15.12.2019
- Viestejä
- 15 512
Isosta muistista ei ole mullistavaa hyötyä jos raaka suorituskyky(flopsit) ja muistikaista eivät skaalaa myös ylöspäin. Otat mun kokemukset m4 max:lla 117B mallista(edellinen postaus). Jaat kuluneen ajan kolmella niin olet suurinpiirtein siinä mihin m5 ultra pystyisi sillä mallilla versus m4 max. Ihan liian hidas. Laitat 10x isomman mallin sisään ja no... Universumista loppuu aika ennen kuin tulee valmista, ennemmin ostaa konesalia koneen hinnalla. Jos se ultra kone maksaa vaikka 10ke niin sillä rahalla ostaa 4v ajaksi 200e/kk tilauksen pilveen missä rauta paranee koko ajan ja saa vuosi vuodelta isompia ja parempia malleja käyttöön versus hinkkaa vuosi vuodelta lokaalimalleilla vanhalla raudalla jääden yhä kauemmas siitä mihin pilvi pystyy.
Pilvigpu:t on pari kertaluokkaa järeämpiä kuin apple per piiri ja esim kimi k3:en tapauksessa yleensä 16gpu:lle jaettu yhden mallin suorittaminen mikä lisää vielä yhden kertaluokan nopeuseroon.
M4 max millä testailen on noin 1/4:a 5090:sta eli jotain 0.4PFlop fp4:sta. 0.4 hyvin karhea arvio perustuen suorituskykyyn m4 max vs. 5090:en, apple ei taida todellista lukua kertoa +- miten softa käyttäytyy. m5:een voi lisätä jotain 35% tehoa ja ultrassa 2 piiriä niin tuplataan. Todella kaukana noista konesalipiireistä. Applella oli idea ajaa pilvessä samoja malleja kuin lokaalisti puhelimessa/läppärissä, ts. pikkumalleja, ei kisata frontier malleilla(10biljoonaa parametria) tai edes isoilla malleilla(biljoona parametria). Kokoluokat tärkeitä, ei kymmenet prosentit.
Viimeksi muokattu:
AI konesali mielipuolisuus on mennyt sille tasolle, jotta rajoittavaksi tekijäksi tulee olemaan saatavissa oleva energia, eikä uutta jatkuvaa tuotantoa rakenneta siitävain (+ jäähdytysongelmat).
Sen seurauksena vanhaa / suorituskyvytöntä rautaa, jolla syntyy hitaasti tokeneita, suurella määrällä energiaa ei yksinkertaisesti kannata tulevaisuudessa paljon pyöritellä jos ja kun saatavilla on esim yli 50X nopeampaa sekä energiapihimpää rautaa.
AI tuhoaa kaiken on mielestäni perusteeton olettamus kun meillä kuitenkin on monta muuta perinteisempää uhkaa jotka voi tuhota kaiken. Oma arvio tilanteesta, ajtellen uhkia jotka voivat tuhota nykyisen yhteiskuntajärjetelmän ja ison osan ihmisistä (ei siis sukupuuttoa mutta nykyisen maailman romahdus).
Seuraavan 20 vuoden aikana romahduksen voi aiheuttaa:
1: Ydinsota tai muuten perinteinen sota, todennäköisyys 15%
2: Biologinen uhka, ihmisen tekemä tai muuten syntynyt 15%
3: AI eri muodoissaan, joko tietoisena tai ihmisen työkaluna 15%
4: Joku muu tässä mainitsematon katastrofi 10%
5: Yhteiskunta säilyy suht ok kunnossa seuraavat 20 vuotta, todennäköisyys 45%
Seuraavan 20 vuoden aikana romahduksen voi aiheuttaa:
1: Ydinsota tai muuten perinteinen sota, todennäköisyys 15%
2: Biologinen uhka, ihmisen tekemä tai muuten syntynyt 15%
3: AI eri muodoissaan, joko tietoisena tai ihmisen työkaluna 15%
4: Joku muu tässä mainitsematon katastrofi 10%
5: Yhteiskunta säilyy suht ok kunnossa seuraavat 20 vuotta, todennäköisyys 45%
finWeazel
Make ATK Great Again
- Liittynyt
- 15.12.2019
- Viestejä
- 15 512
Tästä huolimatta a100/h100 on edelleen konesaleissa ja tuntihinnat kasvaneet. Ei ole kannettu vanhoja ulos konesalista, eikä näytä gpu-piirin elinikä konesalissa olevan 2v, pikemminkin 5v +- jotain. Ehkä yksi osa ongelmaa on uudet nvl72/helios räkit mitä ei saa perinteiseen konesaliin virransyötön+jäähdytyksen vuoksi asennettua.
Muistipiirit rajoittavat myös merkittävästi. Huhuissa on, että nvidia olisi miettimässä pienemmän muistimäärän laittamista vera-rubin ultraan kun muistipiirejä ei riitä. Nykyisestä vera-rubin:sta leikattiin cpu:n muistimäärää pienemmäksi. Alunperin oli tarkoitus tehdä 1.5TB keskusmuistilla, nyt tulee pienemmät muistimäärät rinnalle.
Jos suurennuslasilla niin nyt jos lähtee ostamaan räkkejä niin toimitus on vuoden päästä. Ts. kysyntää edelleen enemmän kuin tarjontaa. Ehkä ei voi kantaa vanhoja pois konesalista, kun uutta ei saa tilalle,... + nousseet hinnat niin vanhoillakin raudoilla takoo edelleen hyvää voittoa.
[News] NVIDIA Reportedly Halves Vera Rubin SOCAMM Capacity as Memory Costs Near 29% of System BOM
Rising memory costs are prompting AI hardware vendors to rethink their product strategies. According to Wccftech, citing analysis from GF Securities, ...
www.trendforce.com
NVIDIA Says It "Continually Optimizes Compute, Networking, Memory" To Deliver Best Performance & Efficiency To Its Customers Amidst Vera and Rubin Ultra "Downgrade" Rumors
NVIDIA Rubin Ultra & Vera chips are subject to various "downgrade" rumors, but the company says that it is part of its optimization strategy.
wccftech.com
Kaikille ei riitä muistipiirejä, tän takia googlella tippui päitä: Google fires senior procurement team over “impossible” HBM supply crunch
Linkki: https://www.youtube.com/watch?v=87DyyMV0kCY
Tosi mielenkiintoinen video openai kavereilta miten huggingface tietomurto tapahtui.
Tuotahan sitä on keskipitkälle välille ennustettu jo jonkin aikaa. Joitakin arvioita, että 2027 alkaisi vaikuttaa, mutta näkee sitten.