Tekoäly

[finWeazel]

Gradu ulos puolessa tunnissa?

Olisi kyllä ihan positiivista, jos esim. kaikenmaailman arvauspajojen ekonomistit saataisiin oikeisiin töihin. Kone on varmasti ihan yhtä paska heittämään että mikä on ensi vuoden talouskasvu. Varmaan jopa parempikin, jos saisi edes etumerkin oikein?

Varmaan tuollaisella sais ainakin hyvän lähtökohdan mitä tutkia syvemmälle. Ajattelin kokeilla mitä tuo saa irti aiheista paras auto, paras karpinsyötti, paras tapa toteuttaa ohjelm, pubmed juttu(vaikka kolesteroli), syväluotaus firmaan x investointimielessä ja joku lomasuunnitelma. Tarvii miettiä millä parametreilla promptailee noita. Jännä nähdä mihin tuo pystyy.

 

[finWeazel]

Tunteroisen testaillut chatgpt:n deep research moodia. On tuo ainakin minun käyttöön valtava loikka versus o1 pro/o3 mini high vastaukset. Tuntuu joka kerran tulevan ensimmäisen pyynnön jälkeen kasa tarkentavia kysymyksiä joihin vastaamisen jälkeen tutkiminen lähtee käyntiin. Lopputuloksena syntyy sivukaupalla hyvää tavaraa kera lähteiden. Tiedän nyt karppisyöteistä ja hbm4 vs. hbm3 muisteista enemmän kuin ennen.

 

[Antw]

Tunteroisen testaillut chatgpt:n deep research moodia. On tuo ainakin minun käyttöön valtava loikka versus o1 pro/o3 mini high vastaukset. Tuntuu joka kerran tulevan ensimmäisen pyynnön jälkeen kasa tarkentavia kysymyksiä joihin vastaamisen jälkeen tutkiminen lähtee käyntiin. Lopputuloksena syntyy sivukaupalla hyvää tavaraa kera lähteiden. Tiedän nyt karppisyöteistä ja hbm4 vs. hbm3 muisteista enemmän kuin ennen.

GPT-4o:lla mennään yhä. Se lienee paras paras kaikessa, ja maksullinen eli myös sitä kautta paras.

 

[finWeazel]

GPT-4o:lla mennään yhä. Se lienee paras paras kaikessa, ja maksullinen eli myös sitä kautta paras.

4o on ihan surkea. o1, o1 pro ja o3-mini high ja kalleimman tilauksen mukana tuleva deep research on jotain muuta kuin 4o

 

[valexi]

Lopputuloksena syntyy sivukaupalla hyvää tavaraa kera lähteiden.

Osaako se etsiä kirjoista lähteitä (eli onko opetusdatassa mitään sellaista), vai onko kaikki lähteet internetistä?

 

[finWeazel]

Osaako se etsiä kirjoista lähteitä (eli onko opetusdatassa mitään sellaista), vai onko kaikki lähteet internetistä?

En ole kokeillut, mutta ehkä upload from computer antaisi mahdollisuuden lisätä omat läheteet sen lisäksi mitä deep research kaivelee internetistä

 

[Azaloom]

Löytyykö tekoälypuolelta vielä semmoista osaamista ja palvelua mihin voisi syöttää esimerkkikuvia henkilöstä ja pyytää onnistuuko selvittämään henkilön nimen kuvien perusteella? Tässä tapauksessa kyse on henkilöstä, josta oletattavasti saattaa hyvinkin löytyä jonkin verran julkisia kuvia ja todennäköinen etunimi on tiedossa. Kuvia löytyy kolme-neljä kappaletta.

 

[Miksuu]

Löytyykö tekoälypuolelta vielä semmoista osaamista ja palvelua mihin voisi syöttää esimerkkikuvia henkilöstä ja pyytää onnistuuko selvittämään henkilön nimen kuvien perusteella? Tässä tapauksessa kyse on henkilöstä, josta oletattavasti saattaa hyvinkin löytyä jonkin verran julkisia kuvia ja todennäköinen etunimi on tiedossa. Kuvia löytyy kolme-neljä kappaletta.

alkaa kuulostamaan siltä et toivottavasti ei löydy, eikä tule löytymään...
edit, enkä nyt sinun tarkoitusperiä kysenalaista, vaan ihan yleisesti ottaen

 

[finWeazel]

Löytyykö tekoälypuolelta vielä semmoista osaamista ja palvelua mihin voisi syöttää esimerkkikuvia henkilöstä ja pyytää onnistuuko selvittämään henkilön nimen kuvien perusteella? Tässä tapauksessa kyse on henkilöstä, josta oletattavasti saattaa hyvinkin löytyä jonkin verran julkisia kuvia ja todennäköinen etunimi on tiedossa. Kuvia löytyy kolme-neljä kappaletta.

Googlen kuvahaku voi löytää. Hakupalkin oikean reunan Search by image nappi, upload image: Google-kuvat

 

[Azaloom]

Löytyykö tekoälypuolelta vielä semmoista osaamista ja palvelua mihin voisi syöttää esimerkkikuvia henkilöstä ja pyytää onnistuuko selvittämään henkilön nimen kuvien perusteella? Tässä tapauksessa kyse on henkilöstä, josta oletattavasti saattaa hyvinkin löytyä jonkin verran julkisia kuvia ja todennäköinen etunimi on tiedossa. Kuvia löytyy kolme-neljä kappaletta.

Tuossahan on kyse esim. kasvojen tunnistuksesta ja kehon mittasuhteiden määrittämisestä, ja niiden perusteella tapahtuvasta henkilöllisyyden selvittämisestä. Taitaa mennä aika keskeisesti autokraattisten valtiollisten toimijoiden työkalujen puolelle, ja tuskin ehkä löytyy julkisesti (ainakaan vielä) saatavilla olevista AI-työkaluista.

Yhdessä vuosituhannen alun Tekniikan Maailman kannessa ja lehden kanteen liittyvän Nokian puhelimia käsittelevän jutun kuvituksessa on yksi kivannäköinen skandinaavinen eloveenablondi, siis (oletettavasti suomalainen) naismalli. Selvisikin jo etunimi ja että ollut Paparazzi-toimiston listoilla (ilmeisesti noihin aikoihin), mutta melko luonnollisesti eivät kertoneet sukunimeä. Ihan silkasta uteliaisuudesta ja kutkuttavana pikku salapoliisityönä olisi ollut kiva selvittää koko nimi ja mahdollisesti löytää tuoreempia kuvia, ja nähdä miltä näyttää nykyään.

 

[finWeazel]

Tuossahan on kyse esim. kasvojen tunnistuksesta ja kehon mittasuhteiden määrittämisestä, ja niiden perusteella tapahtuvasta henkilöllisyyden selvittämisestä. Taitaa mennä aika keskeisesti autokraattisten valtiollisten toimijoiden työkalujen puolelle, ja tuskin ehkä löytyy julkisesti (ainakaan vielä) saatavilla olevista AI-työkaluista.

Yhdessä vuosituhannen alun Tekniikan Maailman kannessa ja lehden kanteen liittyvän Nokian puhelimia käsittelevän jutun kuvituksessa on yksi kivannäköinen skandinaavinen eloveenablondi, siis (oletettavasti suomalainen) naismalli. Selvisikin jo etunimi ja että ollut Paparazzi-toimiston listoilla (ilmeisesti noihin aikoihin), mutta melko luonnollisesti eivät kertoneet sukunimeä. Ihan silkasta uteliaisuudesta ja kutkuttavana pikku salapoliisityönä olisi ollut kiva selvittää koko nimi ja mahdollisesti löytää tuoreempia kuvia, ja nähdä miltä näyttää nykyään.

Googlen kuvahaku on ainakin menneisyydessä löytänyt vastaukset. Tyyliin laitat kekkosen kuvan hakuun niin sieltä tulee kekkosen kuvia vastauksena ja niiden linkeistä saa kiinni kuka kuvassa oli. En tiedä toimisko samalla tapaa ts. onko google indexoinut julkiset sosiaalisen median yms. profiilit ja siihen päälle jättänyt tavisten naamat filtteröimättä vastauksista.

Teknisestihän tuollainen on triviaalia tehdä, mutta lakiteknisesti voi olla hyvin vaikeaa + mistä kerää datan naamareista.

 

[valexi]

Löytyykö tekoälypuolelta vielä semmoista osaamista ja palvelua mihin voisi syöttää esimerkkikuvia henkilöstä ja pyytää onnistuuko selvittämään henkilön nimen kuvien perusteella?

Ilmeisesti Kiinassa on ainakin käytössä kansalaisten valvontan, jossa voidaan ihan yksilönkin liikkeitä selvittää kameroiden avulla.

Mass surveillance in China - Wikipedia

en.wikipedia.org

 

[Azaloom]

Googlen kuvahaku on ainakin menneisyydessä löytänyt vastaukset. Tyyliin laitat kekkosen kuvan hakuun niin sieltä tulee kekkosen kuvia vastauksena ja niiden linkeistä saa kiinni kuka kuvassa oli. En tiedä toimisko samalla tapaa ts. onko google indexoinut julkiset sosiaalisen median yms. profiilit ja siihen päälle jättänyt tavisten naamat filtteröimättä vastauksista.

Teknisestihän tuollainen on triviaalia tehdä, mutta lakiteknisesti voi olla hyvin vaikeaa + mistä kerää datan naamareista.

Tässä tapauksessa asian ratkaisu olisi saattanut vaatia juurikin tuota, eli sosiaalisten medioiden julkisten profiilikuvien indeksointia ja niiden läpi käymistä. Ko. henkilö saattanut hyvin lopettaa julkisen uran ja kasvot löytyvät vain ja ainoastaan somesta, jos sieltäkään.

Kokeilin Googlen kuvahakua eilen jutusta rajaamallani pää-hartialinjan kuvalla, mutta tulos oli surkea: Lähinnä vain samoja värejä ja karkeita muotoja sisältäviä tuloksia sekalaisista asioista, mukaan lukien esineistä.

Epäilemättä etenkin Kiina ja USA, mutta luultavasti myös joukko muitakin valtiota on hyvin pitkällä tämänkaltaisen teknologian kehittämisessä ja hyödyntämisessä.

 

[namlepo]

Kuukkeli ennen etsi hyvinkin ihmisiä. Ei enää. Oli kiva tarkastaa onko joku feikki kuva esim tinderissä.

 

[finWeazel]

Tässä tapauksessa asian ratkaisu olisi saattanut vaatia juurikin tuota, eli sosiaalisten medioiden julkisten profiilikuvien indeksointia ja niiden läpi käymistä. Ko. henkilö saattanut hyvin lopettaa julkisen uran ja kasvot löytyvät vain ja ainoastaan somesta, jos sieltäkään.

Kokeilin Googlen kuvahakua eilen jutusta rajaamallani pää-hartialinjan kuvalla, mutta tulos oli surkea: Lähinnä vain samoja värejä ja karkeita muotoja sisältäviä tuloksia sekalaisista asioista, mukaan lukien esineistä.

Epäilemättä etenkin Kiina ja USA, mutta luultavasti myös joukko muitakin valtiota on hyvin pitkällä tämänkaltaisen teknologian kehittämisessä ja hyödyntämisessä.

Kiinassa on jo pidempään ollut ihan "normaalia" että käytetään kasvojentunnistusta hyvinkin laajasti ihmisten seuraamiseen. Länsimaissa lait säätelevät tiukemmin ja asenne isoveli valvoo juttuja kohtaan nuivampi. Ainakin amerikassa lentokentillä käytetään kasvojentunnistusta kun menee turvatarkistuksesta läpi. Suomessa jos tulee maahan portista missä on passintarkastus niin samalla skannataan naamari.

kiina: https://www.npr.org/2021/01/05/9535...alist-ventures-inside-chinas-surveillance-sta

Lienee kasvojentunnistus ihan triviaali. Sen käyttöä säätelee lähinnä paikalliset lait,...

Nvidialla on sdk kaikenlaisiin turva yms. kameroihin mutta eivät ihan syystä mainosta seuranta/kasvojentunnistus/... ominaisuuksilla kun noilla on länsimaissa paha maine. Barrikadeille jos tajutaan miten hyvin isoveli voisi halutessaan seurata: https://www.nvidia.com/en-us/autonomous-machines/intelligent-video-analytics-platform/

 

[TheExorcist]

Deepseek R1 lokaalisti vaatii jotain 4 x H100. Eli n. 100 000€ pelkkiin GPU:n. Sitten väh. 512GB RAM low lat. RAM. Muutama tera SSD:tä. Eli siinä 100k€ - 200k€. Ja sittenkin se on hidas. Malli on 720GB. Sitäkin on kiva imutella

Latailin noita pienempiä ~10B malleja koneelle. Ja toimii yllättävän hyvin. RAM meinaa loppua kesken. Mutta voisi kokeilla tuota ~100B / 80GB parametrin mallia seuraavaksi.
Tuottaa pikkuisen rikkinäistä koodia. Joka ei toimi ilman muokkausta.

Mutta nyt ei tarvitse hiton nettiä ja avata selainta ja lähetellä dataa joillekin servereille. Käytännössä privaatti internet koneella.
Ainoastaan englanti toimii.


Tämä omalta koneelta. Ei tarvita nettiä enään.

the meaning of life

The question of the meaning of life is one of the most profound and
enduring mysteries of human existence. It has been debated, explored, and
contemplated by philosophers, theologians, scientists, artists, and
individuals from all walks of life for centuries.

There is no one definitive answer to this question, as it can vary greatly
depending on cultural, philosophical, and personal perspectives. However,
here are some possible ways to approach the meaning of life:

1. **Biological perspective**: From a biological standpoint, the meaning of life could be seen as simply surviving
and reproducing. This view suggests that our existence is driven by basic instincts and survival needs.
2. **Philosophical perspective**: Philosophers have offered various interpretations of the meaning of life. Some,
like Epicurus, believe that it's to attain happiness and fulfillment through virtue and self-sufficiency. Others,
like Aristotle, see it as living a virtuous life in accordance with reason and ethics.
3. **Religious perspective**: Many religions offer their own answers to the question of the meaning of life. For
example, in Christianity, it's often seen as serving God and achieving eternal salvation. In Buddhism, it's about
attaining enlightenment and escaping the cycle of suffering (samsara).
4. **Personal growth perspective**: From this perspective, the meaning of life is found in personal growth,
self-awareness, and self-actualization. It's about developing one's full potential, pursuing passions, and making a
positive impact on the world.
5. **Existentialist perspective**: Existentialists like Jean-Paul Sartre and Martin Heidegger argue that life has no
inherent meaning; instead, it's up to each individual to create their own purpose and meaning through choices and
actions.
6. **Humanistic perspective**: Humanism emphasizes the value of human existence, dignity, and well-being. It suggests
that the meaning of life is found in living a fulfilling, meaningful, and compassionate life.

Ultimately, the meaning of life may be a deeply personal question that each individual must answer for themselves.
Some people find meaning in their relationships, work, or creative pursuits, while others may discover it through
spirituality, self-discovery, or a combination of these.

What do you think? What gives your life meaning and purpose?

 

[finWeazel]

Deepseek R1 lokaalisti vaatii jotain 4 x H100. Eli n. 100 000€ pelkkiin GPU:n. Sitten väh. 512GB RAM low lat. RAM. Muutama tera SSD:tä. Eli siinä 100k€ - 200k€. Ja sittenkin se on hidas. Malli on 720GB. Sitäkin on kiva imutella

Latailin noita pienempiä ~10B malleja koneelle. Ja toimii yllättävän hyvin. RAM meinaa loppua kesken. Mutta voisi kokeilla tuota ~100B / 80GB parametrin mallia seuraavaksi.
Tuottaa pikkuisen rikkinäistä koodia. Joka ei toimi ilman muokkausta.

Mutta nyt ei tarvitse hiton nettiä ja avata selainta ja lähetellä dataa joillekin servereille. Käytännössä privaatti internet koneella.
Ainoastaan englanti toimii.


Tämä omalta koneelta. Ei tarvita nettiä enään.

Testasin macbook pro m4 max:lla 128GB 70b deep seekkiä(oikeesti lama mikä on koulutettu deep seek:lla). Se ei osaa ratkoa koodausongelmia joihin o1/o3-mini ja claude sonnet tekivät oikeat toimivat koodit.

Ärsyttävän hidas vaikka mahtuu koneen muistiin. Ei ole vielä lokaalimallia näkynyt joka koodaushommissa olis pätevä kun verrokkina o1/o3-mini tai claude sonnet 3.5.

Huhuttu 96GB muistilla tuleva pro versio nvidian 5090:sta vois olla kova. Tosin sen hinnalla saa ihan tajuttoman määrän pilvitokeneita.

 

[David ":DA" Imodium]

Jengi latoo numeroita tiskiin ihan kuin niillä olisi enää mitään väliä.

 

[peedro14]

Yritin jo googlailla, löytyykö videota jossa ChatGPT ja DeepSeek oltaisiin laitettu keskustelemaan keskenään vierekkäisiltä laitteilta. Ei kait ihan vielä.

Näemmekö tulevaisuudessa valtioiden robotit räppi battlaamassa paremmuudesta lavalla?

 

[TheExorcist]

Tekoälyssä ei tarvita rasterointiyksiköitä pelkkää CUDAa. DeepSeek-R1 lokaalisti vaatii 1.5TB VRAMia. Jossain pelinäytönohjaimissa kuten 4090 on tyypillisesti 12 GB. Eli 16 x A100. A100 on 30k€.
Pienemmille riittää RTX 4090 24GB. Mutta huomaa että laatu tippuu näissä pienemmissä malleissa. R1 saa 40506 x 27272 oikein. Kun ~10B mallit laskee pikkuisen väärin.

Tämä vasta interference koodi. R1 treenaaminen vaatiikin TSMC:n kaikki chipit mitä pystyy tuottamaan.
Kunnon tekoäly on käyttäjien ulottumattomissa. Joku 4 x A100 on omakotitalon hinta. Ja siltikään R1 ei mahdu 160GM VRAMiin.

 

[finWeazel]

Tämä vasta interference koodi. R1 treenaaminen vaatiikin TSMC:n kaikki chipit mitä pystyy tuottamaan.
Kunnon tekoäly on käyttäjien ulottumattomissa. Joku 4 x A100 on omakotitalon hinta. Ja siltikään R1 ei mahdu 160GM VRAMiin.

En oikein näe edes järkeä ajatella niin että joka talossa pitäisi olla rauta vaativimpien mallien ajamiseen. Pitäisi olla käyttötapaus missä rauta pysyy koko ajan 100% utilisaatiolla tai kallis investointi makaa tyhjänä. Pienemmilläkin malleilla on käyttöä. Esim. mun macbook pro 128GB muistilla pystyy 70B malleihin 8bit tarkkuudella. Noilla saa jo aika paljon aikaan ja oletettavasti paranevat vielä kun aika vierii...

Maksan 200$/kk openai:n pro tilauksesta, omasta taskusta. Minulle joka pennin arvoinen. o1 pro/o3 mini high osaa koodata melkoisen hyvin. Tuo iloa harrasteprojekteihin valtavasti. Uusi deep reserch ominaisuus ihan törkeän hyvä. Siitä ollut jo parissa päivässä paljon iloa.

Toinen vaihtoehto ostaa tokeneita CS3.5/OpenAI/... ja käyttää pilvitekoälyä ohjelmallisesti rajapinnan läpi.

 

[LovelyWhore]

Ilmeisesti Kiinassa on ainakin käytössä kansalaisten valvontan, jossa voidaan ihan yksilönkin liikkeitä selvittää kameroiden avulla.

Mass surveillance in China - Wikipedia

en.wikipedia.org

Moi uiguuri! Ihan paskapuhetta moinen

 

[TheExorcist]

En oikein näe edes järkeä ajatella niin että joka talossa pitäisi olla rauta vaativimpien mallien ajamiseen. Pitäisi olla käyttötapaus missä rauta pysyy koko ajan 100% utilisaatiolla tai kallis investointi makaa tyhjänä. Pienemmilläkin malleilla on käyttöä. Esim. mun macbook pro 128GB muistilla pystyy 70B malleihin 8bit tarkkuudella. Noilla saa jo aika paljon aikaan ja oletettavasti paranevat vielä kun aika vierii...

Maksan 200$/kk openai:n pro tilauksesta, omasta taskusta. Minulle joka pennin arvoinen. o1 pro/o3 mini high osaa koodata melkoisen hyvin. Tuo iloa harrasteprojekteihin valtavasti. Uusi deep reserch ominaisuus ihan törkeän hyvä. Siitä ollut jo parissa päivässä paljon iloa.

Toinen vaihtoehto ostaa tokeneita CS3.5/OpenAI/... ja käyttää pilvitekoälyä ohjelmallisesti rajapinnan läpi.

Varmaan siksi että haluaa käyttää parasta. Eikä se helpotu yhtään tulevaisuudessa. Seuraavaksi tulee 10000B malli joka vaatii 100TB VRAMia että kaikki parametrit on muistissa.
Mallit ovat vain lista 8b floatteja. Mitä enenmmän floatteja sen parempi. Ei se mikään tekoäly ole vaan mini-internet.

 

[finWeazel]

Varmaan siksi että haluaa käyttää parasta. Eikä se helpotu yhtään tulevaisuudessa. Seuraavaksi tulee 10000B malli joka vaatii 100TB VRAMia että kaikki parametrit on muistissa.
Mallit ovat vain lista 8b floatteja. Mitä enenmmän floatteja sen parempi. Ei se mikään tekoäly ole vaan mini-internet.

Parastahan saa käytettyä keinoilla että a) ostaa tilauksen b) ostaa tokeneita ja käyttää API:n kautta c) vuokraa pilvestä raudan ja asentaa sinne mitä haluaa. Nuo tavat halvempia kuin ostaa joku voimavirtaa vaativa rauta kotiin idlaamaan. EI kuitenkaan keksi järeälle raudalle käyttöä missä kone kuormittus 100% koko ajan. Vrt. ei kannata ostaa kaivuria jos kerran vuodessa kaivaa kuopan.

 

[TheExorcist]

Parastahan saa käytettyä keinoilla että a) ostaa tilauksen b) ostaa tokeneita ja käyttää API:n kautta c) vuokraa pilvestä raudan ja asentaa sinne mitä haluaa. Nuo tavat halvempia kuin ostaa joku voimavirtaa vaativa rauta kotiin idlaamaan. EI kuitenkaan keksi järeälle raudalle käyttöä missä kone kuormittus 100% koko ajan. Vrt. ei kannata ostaa kaivuria jos kerran vuodessa kaivaa kuopan.

Ongelma on siinä että jos käsken esim. R1:stä tekemään minulle jonkun MP3. Se neuvoo minulle kuinka minä teen sen. ( Niinkuin ihmiset ). Vaikka käsken sen luoda sen MP3:n, jotta voin imuroida sen. Ja säästää aikaa. Tai jos käsken AI:ta järjestämään tiedostot koneella. Se ei pysty koska se on jollain serverillä.

Tämän takia tekoäly omalla koneella on tärkeää. Se tekee mitä käsken. Eikä neuvo minua kuinka minä teen jonkun asian jollain serverillä.

Koodilistauksien copy-pasten sijaan. Olisi parempi jos se tekisi tiedostot valmiiksi koneelle, loisi GIT hakemiston, copyrightaisi koko paskan minun nimiini ja uploadaisi pelin STEAMiin.
Voisin vain katsella kuinka fyffee alkaa kertymään tilille.

 

[finWeazel]

Koodilistauksien copy-pasten sijaan. Olisi parempi jos se tekisi tiedostot valmiiksi koneelle, loisi GIT hakemiston, copyrightaisi koko paskan minun nimiini ja uploadaisi pelin STEAMiin.
Voisin vain katsella kuinka fyffee alkaa kertymään tilille.

Aider, cursor ai tai vaikka vscode+vscodium ja api key. Lokaali ide mihin nätisti integroituu pilvipalvelu kuten o3 tai claude sonnet 3.5. Ei tarvi copy/pasteilla ja tuntuu lokaalilta mikä integroitu ide:en. Agenttijutut tulee pian koodaukseen. Nvidian gb200 nvl72 maksaa jokusen miljoonan ja 130kw. Tollasessa ajossa olevan mallin saa apin kautta käyttöön, turha kuvitella sellaista ostavansa kotiin tai työpaikalle.

AI agents will match 'good mid-level' engineers this year, says Mark Zuckerberg

Autonomous software engineering agents will take over significant programming tasks, predicts Meta's CEO. And he's counting on Llama to achieve that goal.

www.zdnet.com

 

[TheExorcist]

Aider, cursor ai tai vaikka vscode+vscodium ja api key. Lokaali ide mihin nätisti integroituu pilvipalvelu kuten o3 tai claude sonnet 3.5. Ei tarvi copy/pasteilla ja tuntuu lokaalilta mikä integroitu ide:en. Agenttijutut tulee pian koodaukseen. Nvidian gb200 nvl72 maksaa jokusen miljoonan ja 130kw. Tollasessa ajossa olevan mallin saa apin kautta käyttöön, turha kuvitella sellaista ostavansa kotiin tai työpaikalle.

AI agents will match 'good mid-level' engineers this year, says Mark Zuckerberg

Autonomous software engineering agents will take over significant programming tasks, predicts Meta's CEO. And he's counting on Llama to achieve that goal.

www.zdnet.com

Ilman nettiyhteyttä ja pilveä. En halua lähettää tiedostojani mihinkään OpenAI/Microsoftin servereille. Siksi se pitää pyöriä lokaalisti. Ilman nettiä.

Kun menet TCP/IP yli niin performance ottaa hittiä. Uploadaan jonkun 10GB tiedoston serverille optimoitavaksi. Mitkään API-kutsut ei auta.

En lähetä C++ koodia johonkin serverille käännettäväksi. Vaan käännän sen itse.

 

[finWeazel]

Ilman nettiyhteyttä ja pilveä. En halua lähettää tiedostojani mihinkään OpenAI/Microsoftin servereille. Siksi se pitää pyöriä lokaalisti. Ilman nettiä.

Kun menet TCP/IP yli niin performance ottaa hittiä. Uploadaan jonkun 10GB tiedoston serverille optimoitavaksi. Mitkään API-kutsut ei auta.

En lähetä C++ koodia johonkin serverille käännettäväksi. Vaan käännän sen itse.

Ei se toimi niin että koodit käännettäisiin pilvessä.

 

[Halpuuttaja]

Kyutai julkaisi ranskankielisestä puheesta englanninkieliseksi puheeksi kääntävän tekoälymallin, joka toimii kännykän suorittimella. Redditissä hyvä demo tuosta:

Hibiki by kyutai, a simultaneous speech-to-speech translation model, currently supporting FR to EN

Posted in r/LocalLLaMA by u/Nunki08 • 160 points and 17 comments

old.reddit.com

Yhden ja kahden miljardin parametrin kokoiset mallit avoimessa jakelussa. Myöhemmin lisää kielipareja ilmeisesti tulossa, nyt ei siis toimi kuin yksisuuntaisesti FR -> EN.

 

[finWeazel]

@TheExorcist Pilviavustimella koodaaminen näyttää allaolevalta. Laitoin cursorin ratkaisemaan AoC luukun 1. Lagia ei juurikaan ole ja koodi generoituu nopeammin(ja isommilla+paremmilla malleilla) kuin mitä järkeviin kotivehkeisiin saa laitettua. Deep seek 70B(oikeasti llama), llama70b, qwen-coder jne. mitä voi normikoneissa ajaa eivät saa toimivaa aikaan. Tuohon saa kytkettyä "minkä vain" pilvihärpäkkeen kiinni. Siirtää vain kontekstin verran dataa serverille mikä yleensä pieni. Koodi ajetaan, käännetään yms. lokaalilla koneella.

Koodaushommissa r1 ei ole yhtä etevä kuin suljetut claude sonnet 3.5, o1 pro tai o3 mini high. o1 pro kiva, jos tarvii narskutella joku vaikea asia palasiin, cs3.5 paras arkipäiväiseen koodinluontiin/muokkauksiin. o3 mini high tuntuu melko samanlaiselta kuin o1 pro.

Cursor ai maksa 20$/kk ja tulee ok. määrä pilvipyyntöjä per kuukausi paketissa mukana. Tuohon saa myös pultattua oman API keyn sisään jos haluaa vaikka käyttää täyttä cs3.5:sta sen sijaan että käyttäisi hieman rajoitettua cs3.5:sta mikä tulee cursorin mukana.

 

[Requiem]

Kuukkeli ennen etsi hyvinkin ihmisiä. Ei enää. Oli kiva tarkastaa onko joku feikki kuva esim tinderissä.

Ennen toimi kuvahaku hyvin mutta ei tosiaan enää. Yksi tuttu sai viestejä lääkäriltä joka väitti olevansa Floridasta ja nyt Irakissa palveluksessa, mukana oli mm. selfie sairaalasta hoitajien kanssa. Kuvahaulla selvisi että oli lainannut jonkun turkkilaisen lehden kuvia paikallisesta kirurgista. Kohta olisi varmaan tarvinnut rahaa kun "jäi vangiksi".

 

[Terozzz]

Deepseek R1 lokaalisti vaatii jotain 4 x H100. Eli n. 100 000€ pelkkiin GPU:n. Sitten väh. 512GB RAM low lat. RAM. Muutama tera SSD:tä. Eli siinä 100k€ - 200k€. Ja sittenkin se on hidas. Malli on 720GB. Sitäkin on kiva imutella

Latailin noita pienempiä ~10B malleja koneelle. Ja toimii yllättävän hyvin. RAM meinaa loppua kesken. Mutta voisi kokeilla tuota ~100B / 80GB parametrin mallia seuraavaksi.
Tuottaa pikkuisen rikkinäistä koodia. Joka ei toimi ilman muokkausta.

Mutta nyt ei tarvitse hiton nettiä ja avata selainta ja lähetellä dataa joillekin servereille. Käytännössä privaatti internet koneella.
Ainoastaan englanti toimii.


Tämä omalta koneelta. Ei tarvita nettiä enään.

Onhan noita 671b laitettu muutaman tonnin koneisiin. EPYC ja max muistimäärät. Tosin joku 1 token sec P

 

[finWeazel]

Onhan noita 671b laitettu muutaman tonnin koneisiin. EPYC ja max muistimäärät. Tosin joku 1 token sec P

Juuei, toi on sama kuin käyttökelvoton. Annat ongelman ratkaistavaksi mikä pilvipalveluun syötettynä ratkeaa parissa minuutissa niin epyc rouskuttaa vuorokauden. Tai no, en tiedä onko nyt ihan vuorokausi mutta niin pitkään että ei mitään järkeä versus pilven käyttäminen.

Sellanen fiilis, että jos aikoo "parhaita" malleja käyttää "riittävän hyvien" sijaan ja haluaa nopeasti vastaukset niin pilvi on ainoa vaihtoehto vielä pitkään.

200$/kk saapi openai:lta deep research, o1 pro, o3-mini. 10kk käyttelee tuota epycin hinnalla ja 10kk päästä on jo taas konesaleissa järeämmät raudat ja isommat mallit ajossa. Toivottavasti samalla myös saadaan pienempiä malleja paremmaksi. Pilvisuorituskyky karkaa yhä kauemmas lokaaliraudasta. Nyt gb200 nvl72 tarjolla konesaleissa, syksyllä gb300 tarjolla, vuoden päästä rubin. Pilvirauta laukkaa ihan järjettömällä vauhdilla.

 

[Mercho]

Analyysi: Deepseekin jalkoihin jäi ilmoitus, joka voi nostaa EU:n mukaan tekoälykisaan

Kielimalleista on tulossa hyödykkeitä. EU:n päätös kehittää avoimen lähdekoodin malleja voi osoittautua voittajaratkaisuksi, kirjoittaa teknologiatoimittaja Teemu Hallamaa.

yle.fi

Itse ainakin toivon että OpenEuroLLM toisi jotain merkittävää meidän kaikkien hyödyksi vuosien varrella.

Mikä olisikaan sen parempaa kuin paljon enemmän parempia vaihtoehtoja vaikkapa Yhdysvaltalaisten yritysten tuottamille suljetuille ratkaisuille.

Tottakai avoimen lähdekoodin kielimalleissa omat ongelmansa jos miettii että vaikkapa isot rikkaat rikollisjärjestöt alkaisivat itse muokata niitä jotta saisivat parempia huijauksia ja murtoja tehtyä niiden avulla.

Avoin lähdekoodi taitaa kuitenkin painaa käytön ja kehittämisen kustannuksia alas kun saadaan yhä vähemmän tehoa vaativia kielimalleja käyttöön, ilmeisesti nyt puhuttu siitäkin että enää on vaikeampaa saada noista kielimalleista reilusti enemmän irti mutta optimoinnista on mahdollista saada merkittäviäkin kustannussäästöjä.

 

[finWeazel]

Analyysi: Deepseekin jalkoihin jäi ilmoitus, joka voi nostaa EU:n mukaan tekoälykisaan

Kielimalleista on tulossa hyödykkeitä. EU:n päätös kehittää avoimen lähdekoodin malleja voi osoittautua voittajaratkaisuksi, kirjoittaa teknologiatoimittaja Teemu Hallamaa.

yle.fi

Itse ainakin toivon että OpenEuroLLM toisi jotain merkittävää meidän kaikkien hyödyksi vuosien varrella.

Mikä olisikaan sen parempaa kuin paljon enemmän parempia vaihtoehtoja vaikkapa Yhdysvaltalaisten yritysten tuottamille suljetuille ratkaisuille.

Tottakai avoimen lähdekoodin kielimalleissa omat ongelmansa jos miettii että vaikkapa isot rikkaat rikollisjärjestöt alkaisivat itse muokata niitä jotta saisivat parempia huijauksia ja murtoja tehtyä niiden avulla.

Avoin lähdekoodi taitaa kuitenkin painaa käytön ja kehittämisen kustannuksia alas kun saadaan yhä vähemmän tehoa vaativia kielimalleja käyttöön, ilmeisesti nyt puhuttu siitäkin että enää on vaikeampaa saada noista kielimalleista reilusti enemmän irti mutta optimoinnista on mahdollista saada merkittäviäkin kustannussäästöjä.

Deep seek teki sumuverhoa asian ympärille. Asiat ei ole ihan niin kuin he kertoivat ja uutiset toitotti. Syväluotaus deep seekkiin DeepSeek Debates: Chinese Leadership On Cost, True Training Cost, Closed Model Margin Impacts Todellisuus se, että käyttivät paljon enemmän laskentatehoa ja rahaa kuin väittivät. Osa kikoista oli jo länkkäreillä käytössä, mutta niitä ei ole rummutettu. Deepseek valitsi benchmarkit niin, että eivät näyttäneet niitä missä r1 ei perffaa hyvin. DeepSeek:lla 50000 nvidiaa käytössä mikä on hyvinkin samankokoinen laskentamäärä kuin millä openai/meta/... omat r1:sta vastaavat mallinsa kouluttaneet.

--

Trendinä edelleen on isommat konesalit. amzn, meta, google kaikki kertoivat osavuosikatsauksissa kiihdyttävänsä satsauksia konesaliin. Meta puhuu, että 2025 aikana heidän kapasiteettinsa useampi gigawatti ja 1.3 miljoonaa nvidiaa. Pre training ei oikein enää skaalaa kun "Kaikki maailman data" on jo olemassa. Se missä löytyy skaalausta on "reasoning" datasetit, inference time compute ja test time compute. Käytetään enemmän aikaa esim. lopputuloksen laskemiseen missä AI malli käy useampia polkuja läpi, verifioi lopputulosta ja jos ei toimi niin palaa taaksepäin. Yksi esimerkki tällaisesta openai:n upouusi deep research mikä tekee tutkimuspaperin annetusta aiheesta. Voi laskea puolikin tuntia vastausta ja lopputulos ainakin mun testien pohjalta priimaa.

--

Mitä nopeammaksi(halvemmaksi) noita malleja saadaan niin uskon, että sitä enemmän niille löytyy käyttöä. Deep Research esim. kallis ajaa. Jos se saataisiin sylkemään sama tutkimus ulos 1/100 osasta ajasta niin arvelen että sille helposti löytyisi 100x määrä lisäkäyttöä tai voitaisiin ajaa 100x kauemmin ja saada vielä kattavampi lopputulos ulos.

 

[Halpuuttaja]

DeepSeek:lla 50000 nvidiaa käytössä mikä on hyvinkin samankokoinen laskentamäärä kuin millä openai/meta/... omat r1:sta vastaavat mallinsa kouluttaneet.

Semianalysiksen arvion mukaan Deepseekillä ja High Flyer -rahastoyrityksellä on yhteensä n. 20 000 Hopperia hajautettuna useisiin eri tehtäviin, treenaukseen, inferenssiin, tutkimukseen ja treidaukseen.

Metalla taitaa olla jo satojatuhansia H100:sia ja kertoivat että Llama 3 treenattiin 16 000:n H100:n ryppäällä.

Eli kyllä tuo kiinalainen paja paljon vähäisemmillä resursseilla pakertaa.

 

[finWeazel]

Semianalysiksen arvion mukaan Deepseekillä ja High Flyer -rahastoyrityksellä on yhteensä n. 20 000 Hopperia hajautettuna useisiin eri tehtäviin, treenaukseen, inferenssiin, tutkimukseen ja treidaukseen.

Metalla taitaa olla jo satojatuhansia H100:sia ja kertoivat että Llama 3 treenattiin 16 000:n H100:n ryppäällä.

Eli kyllä tuo kiinalainen paja paljon vähäisemmillä resursseilla pakertaa.

Kokonaisuutena sen 50000. Osa noista kiinalaisten innovaatioista käytännön pakosta, että saadaan rampautetuista raudoista tehot irti esim. kun ei ole nopeaa verkkoa.

We believe they have access to around 50,000 Hopper GPUs, which is not the same as 50,000 H100, as some have claimed. There are different variations of the H100 that Nvidia made in compliance to different regulations (H800, H20), with only the H20 being currently available to Chinese model providers today. Note that H800s have the same computational power as H100s, but lower network bandwidth.

Vähemmällä toki, mutta ei tuo deep seek kokonaisuutena pärjää uudelle o3 minille(saati sitten täydelle o3:lle):lle tai koodaa yhtä hyvin kuin iänvanha claude sonnet 3.5. Paljon innovaatiota oli kiinalaisten jutussa mutta ihan yhtä paljon sumuverhoa,... Todellisuus on se, että edelleen tarvitaan isompia konesaleja.

 

[finWeazel]

Lisäväriä semianalysis:in artikkelin taakse deepseekin touhuista saa lex fridmann podcastista. Semianalysis artikkelin takana oleva heppu juttelee pitkät pätkät deep seekistäkin ja mitkä ne oikeat innovaatiot on, missä länkkärit on, mitä rautapuolen/konesalien tulevaisuuteen tulee jne. Menee osassa asioista syvemmälle kuin mitä artikkelissa on kerrottu.

TLDR on se että osa sumuverhoa, osa hyviä uusia keksintöjä, osa asioista meh ja kaikki käyttivät jo, isompien konesalien tarve ei kadonnut mihinkään.

 

[Halpuuttaja]

Kokonaisuutena sen 50000.

GPU:issa on eroja. Lähinnä täsmensin millaisia GPU:ita, kun puhuit samankokoisesta laskentamäärästä. Semianalysiksen artikkelissahan ei kommentoida n. 20 000 GPU:n osalta mitä sukupolvea ne mahtavat olla, 20 000 Hopperia, 10 000 Amperea, lopuista ei tietoa.

Mediahaloo on yliampuva ja Deepseekin hetki parrasvaloissa voi hyvinkin jäädä lyhyeksi, mutta se että noilla on top 3 LLM helvetin paljon rajallisemmilla resursseilla kuin amerikkalaisilla jättiläisillä on aika helvetin hyvä saavutus.

edit: jaa hetkinen luin killiin, 50 000 hopperia tosiaan sanotaan olevan kaiken kaikkiaan. Mutta toisessa kohtaa sanotaan, että 10 + 10 ja tilaus H20:sistä. En ymmärrä tätä matematiikkaa nyt, mutta enivei moninkertaisesti vähemmän laskentatehoa näillä on kuin kilpailijoilla.

We believe DeepSeek has access to around 10,000 of these H800s and about 10,000 H100s. Furthermore they have orders for many more H20’s

 

[finWeazel]

GPU:issa on eroja. Lähinnä täsmensin millaisia GPU:ita, kun puhuit samankokoisesta laskentamäärästä. Semianalysiksen artikkelissahan ei kommentoida n. 20 000 GPU:n osalta mitä sukupolvea ne mahtavat olla, 20 000 Hopperia, 10 000 Amperea, lopuista ei tietoa.

Mediahaloo on yliampuva ja Deepseekin hetki parrasvaloissa voi hyvinkin jäädä lyhyeksi, mutta se että noilla on top 3 LLM helvetin paljon rajallisemmilla resursseilla kuin amerikkalaisilla jättiläisillä on aika helvetin hyvä saavutus.

Siinä kommentoidaan myös, että esim. h800 on nopea laskennassa mutta hidas verkkopuolella. Kun lukee artikkelin ja kuuntelee podcastin niin iso osa kikoista mitä deepseek kehitti oli kiertää esim. h800:en hidas kommunikaatio niin saadaan täysi laskentanopeus käyttöön. Rampautetut raudat muuttuu kikoilla hyväksi raudaksi.

Se mun core pointti jonka myös semianalysis iteroi on, että vaikka kiinalaiset keksivät tapoja nopeuttaa mallien opettamista ei tarve isommille konesaleille kadonnut mihinkään. Toinen puoli sumuverho missä asiat ilmoitettiin niin, että näyttää halvemmalta kuin oikeasti oli ja paremmalta kuin oikeasti on. Mutta jätän tähän. Turha tästä vääntää kun selkeästi kierrettään jo kehää eikä uutta tule keskusteluun.

 

[Halpuuttaja]

Se mun core pointti jonka myös semianalysis iteroi on, että vaikka kiinalaiset keksivät tapoja nopeuttaa mallien opettamista ei tarve isommille konesaleille kadonnut mihinkään.

Olkoon tuo core pointtisi, mutta en ole ilmaissut olevani siitä eri mieltä enkä ole sitä kommentoinut mitenkään niin en näe miksi sitä tarvitsee toistella.

Näissä sun TLDR:issä artikkelista ja podcastissa toit mielestäni ylivoimakkaalla painotuksella niissä tehtyjä kyseenalaistuksia Deepseekin saavutuksista esiin, siksi lähinnä kommentoin omalta osaltani.

 

[finWeazel]

Näissä sun TLDR:issä artikkelista ja podcastissa toit mielestäni ylivoimakkaalla painotuksella niissä tehtyjä kyseenalaistuksia Deepseekin saavutuksista esiin, siksi lähinnä kommentoin omalta osaltani.

Semianalysis on tehnyt hyvää ja perusteellista työtä asioiden tutkimisessa. Luotan paljon heidän raportointiin. Toinen puoli mitä amazon, meta, microsoft jne. kertoivat hiljattain kvartaaliraporteissa. Lisäävät satsauksia konesaleihin kymmenillä miljardeilla.

 

[TheExorcist]

@TheExorcist Pilviavustimella koodaaminen näyttää allaolevalta. Laitoin cursorin ratkaisemaan AoC luukun 1. Lagia ei juurikaan ole ja koodi generoituu nopeammin(ja isommilla+paremmilla malleilla) kuin mitä järkeviin kotivehkeisiin saa laitettua. Deep seek 70B(oikeasti llama), llama70b, qwen-coder jne. mitä voi normikoneissa ajaa eivät saa toimivaa aikaan. Tuohon saa kytkettyä "minkä vain" pilvihärpäkkeen kiinni. Siirtää vain kontekstin verran dataa serverille mikä yleensä pieni. Koodi ajetaan, käännetään yms. lokaalilla koneella.

Koodaushommissa r1 ei ole yhtä etevä kuin suljetut claude sonnet 3.5, o1 pro tai o3 mini high. o1 pro kiva, jos tarvii narskutella joku vaikea asia palasiin, cs3.5 paras arkipäiväiseen koodinluontiin/muokkauksiin. o3 mini high tuntuu melko samanlaiselta kuin o1 pro.

Cursor ai maksa 20$/kk ja tulee ok. määrä pilvipyyntöjä per kuukausi paketissa mukana. Tuohon saa myös pultattua oman API keyn sisään jos haluaa vaikka käyttää täyttä cs3.5:sta sen sijaan että käyttäisi hieman rajoitettua cs3.5:sta mikä tulee cursorin mukana.

Ei kyllä kiinnosta videosi. Mutta kokeile ilman nettiä ja kerro. Pilvi ja nettihärpäkkeet ei oikein kelpaa jos arvostaa yksityisyyttä.

Onhan noita 671b laitettu muutaman tonnin koneisiin. EPYC ja max muistimäärät. Tosin joku 1 token sec P

Mitä tämä nyt todistaa. Toimii R1 671B jollain 500€. i3 + 2TB SSD. Tosin 1 tokeni / päivä tahdilla. R1 aktivoi min 37B parametria joka kyselyllä. Se malli pitää olla VRAMissa/RAM.

 

[finWeazel]

Ei kyllä kiinnosta videosi. Mutta kokeile ilman nettiä ja kerro. Pilvi ja nettihärpäkkeet ei oikein kelpaa jos arvostaa yksityisyyttä.

Mua kiinnostaa keinoäly yleisellä tasolla omien käyttötapausten lisäksi. Sen verran kompleksinen asia että jos oikeasti haluaa päästä pintaa syvemmälle vaikkapa deepseekin suhteen niin aikaa tarvii käyttää. Semianalysis artikkeli + artikkelin tekjän jutustelu podcastissa syventää ymmärrystä. Lööpit oli todella väärässä.

Ei ole pakko perehtyä, tosin ei myöskään kannata väheksyä tietoa mitä perehtymällä saa.