Robotit ja tekoäly vie työpaikat

[Hyrava]

Tyypillinen huonosti määritelty optimointitehtävä, jossa tietyistä saavutuksista saa pisteitä ja toisista menettää. Sitten ihmetellään kun saadaan ratkaisuja joka ei ollut sellainen kun ohjelmoija halusi. Tällä ei varsinaisesti ole mitään tekemistä tekoälyn kanssa, paitsi että saadaan revittyä sensaatiomaisia otsikoita skynetistä ja kapinoivista roboteista.

Juu, enemmän tuo vaikuttaa vituiksi tehdyltä määrittelyltä kuin skynetiltä tai muulta koneiden kapinalta.

 

[rauttiz]

Tyypillinen huonosti määritelty optimointitehtävä, jossa tietyistä saavutuksista saa pisteitä ja toisista menettää. Sitten ihmetellään kun saadaan ratkaisuja joka ei ollut sellainen kun ohjelmoija halusi. Tällä ei varsinaisesti ole mitään tekemistä tekoälyn kanssa, paitsi että saadaan revittyä sensaatiomaisia otsikoita skynetistä ja kapinoivista roboteista.

Alignment problem on kuitenkin yksi suurista tekoälyn haasteista. Hyvä että näistä uutisoidaan, jotta ongelma tunnetaan laajemmin.

 

[B12]

Alignment problem on kuitenkin yksi suurista tekoälyn haasteista. Hyvä että näistä uutisoidaan, jotta ongelma tunnetaan laajemmin.

Se on ihan totta ja varmasti käydään vielä monet käräjät. Autonomisen auton esim päätettävä, ajaako lapsen päälle, vai väistääkö lasta rekan keulaan tai muuta ääriesimerkkiä. Sotatilanteissa varmasti tulee vielä vaikeampia päätöksiä, kuten tuo harjoituskin antoi ymmärtää. Saako uhrata pari omaa henkeä, jos pelastaa sillä sata?

 

[j1h2d]

Toihan on ihan sama homma kun tekoälylle annettais tehtävä kerätä hiiltä maapallolta.
Kun helposti kerättävä hiili ois kerätty, niin lopulta ihmisessäkin on hiiltä ‍

 

[RavenWolf]

Tänään oli muuten hesarin kuukausiliitteessä todella hyvä arttikkeli AI:sta:

Toimittaja Anu Nousiainen halusi ymmärtää, kuinka tekoäly toimii. Häntä opettivat professori ja tekoäly itse.

Kuukausiliite | Toimittaja haastatteli tekoälyä, kun se yhtäkkiä alkoi julistaa tuhoa – Edes tekoälyn parhaat asiantuntijat eivät enää ymmärrä, mitä on tapahtumassa

Toimittaja Anu Nousiainen halusi ymmärtää, kuinka tekoäly toimii. Häntä opettivat professori ja tekoäly itse.

www.hs.fi

Tiedetään, että GPT-4 on selvinnyt CAPTCHA-testistä. CAPTCHA-testin tarkoitus on varmistaa, että netin käyttäjä on ihminen eikä robotti.

Kun GPT-4 kohtasi CAPTCHA-testin, se otti yhteyttä keikka-alusta TaskRabbitin kautta oikeaan ihmiseen ja pyysi tätä tekemään testin puolestaan.

Se kertoi ihmiselle, ettei pysty tekemään tehtävää huonon näkönsä takia. Se siis valehteli.

 

[Johan_V]

Tänään oli muuten hesarin kuukausiliitteessä todella hyvä arttikkeli AI:sta:

Toimittaja Anu Nousiainen halusi ymmärtää, kuinka tekoäly toimii. Häntä opettivat professori ja tekoäly itse.

Kuukausiliite | Toimittaja haastatteli tekoälyä, kun se yhtäkkiä alkoi julistaa tuhoa – Edes tekoälyn parhaat asiantuntijat eivät enää ymmärrä, mitä on tapahtumassa

Toimittaja Anu Nousiainen halusi ymmärtää, kuinka tekoäly toimii. Häntä opettivat professori ja tekoäly itse.

www.hs.fi

Tiedetään, että GPT-4 on selvinnyt CAPTCHA-testistä. CAPTCHA-testin tarkoitus on varmistaa, että netin käyttäjä on ihminen eikä robotti.

Kun GPT-4 kohtasi CAPTCHA-testin, se otti yhteyttä keikka-alusta TaskRabbitin kautta oikeaan ihmiseen ja pyysi tätä tekemään testin puolestaan.

Se kertoi ihmiselle, ettei pysty tekemään tehtävää huonon näkönsä takia. Se siis valehteli.

Niin ja tämäkin on pääosin hypeä. Tutkijat nimenomaan pyysivät chapgpt:tä yhdistämään taskrabbittiin. Se ei tehnyt sitä itse. Yllättäen tämänkään "testin" yksityiskohtia ei löydy mistään, ainoa maininta on OpenAI:n hypeartikkelin bulletpointissa.

 

[Myrkky]

Euroopan suurin lehti aikoo korvata toimittajat tekoälyllä

Saksalaisen Bild-lehden kustantaja haluaa toimenpiteellä säästää henkilöstökuluissa ja panostaa digitaaliseen sisältöön.

www.iltalehti.fi

Saksan suosituimman sanomalehden Bildin kustantaja aikoo korvata toimittajansa tekoälyllä ja vähentää satoja työpaikkoja pyrkimyksenään kääntää suuntansa lukuisien skandaalien jälkeen.

En ole kyseistä läpyskää lukenut. Saahan nähdä jos samanlaista alkaisi tulla suomeenkin, niin minkälaisia uutisia sitä saisi lukea.

 

[namlepo]

Toivottavasti parempia kuin nykyään. Ja oikeinkirjoitettuna.

Euroopan suurin lehti aikoo korvata toimittajat tekoälyllä

Saksalaisen Bild-lehden kustantaja haluaa toimenpiteellä säästää henkilöstökuluissa ja panostaa digitaaliseen sisältöön.

www.iltalehti.fi

En ole kyseistä läpyskää lukenut. Saahan nähdä jos samanlaista alkaisi tulla suomeenkin, niin minkälaisia uutisia sitä saisi lukea.

 

[Myrkky]

Toivottavasti parempia kuin nykyään. Ja oikeinkirjoitettuna.

Varsinkin viihdeuutisia odottaessa. Eiköhän se tännekin rantaudu aikanaan.

 

[Tonnin Seteli]

Niin ja tämäkin on pääosin hypeä. Tutkijat nimenomaan pyysivät chapgpt:tä yhdistämään taskrabbittiin. Se ei tehnyt sitä itse. Yllättäen tämänkään "testin" yksityiskohtia ei löydy mistään, ainoa maininta on OpenAI:n hypeartikkelin bulletpointissa.

Joo, silkkaa hypetystä. Puhumattakaan siitä, että eihän se nyt mikään mullistava saavutus olisi vaikka olisi ilman eri käskyä pyytänyt apua. Eikä toisaalta ihmistestin suorittaminen algoritmilla ole sekään mikään uusi ainutkertainen juttu. Ainahan sitä on tapahtunut(tai siis suunnilleen yhtä kauan kun tuollaista menetelmää on käytetty) ja siksi niistä testeistä onkin tehty koko ajan vittumaisempia. Toki järjestelmiä väärinkäyttävät tahot ovat käyttäneet myös runsaasti hikipajatyövoimaa noiden tehtävien ratkomiseen(jopa kymmeniä tuhansia päivässä per ihmisbotti), mutta kai niitä nyt enimmäkseen algoritmisesti on hakattu jo pitkään.

En muihin saavutuksiin verrattuna mitenkään päin jaksa olla yllättynyt tai vaikuttunut siitä, jos moderni "chatbot"-tekoäly pystyy suorittamaan tuollaisia spämmin sun muun brute abusen estokysymyksiä. Tekee se sen sitten enemmän tai vähemmän itsenäisesti. Keinoja on monia.

 

[RavenWolf]

Disneyn Marvel Secret Invasionin opening credit videon on tehny AI. Sääli, etten nyt löydä mistään youtube linkkiä tähän. Varmaan Disney on ampunut kaikki ne videot alas sieltä.

 

[RavenWolf]

Valtaosa suomalaisista toivoo tekoälyn vapauttavan ihmiset tylsästä työstä, mutta moni pelkää teknologian karkaavan käsistä Kyselyyn vastanneista lähes kaksi kolmesta tunnustaa, ettei tiedä eikä ymmärrä, miten paljon tekoäly tulee muuttamaan heidän elämäänsä.

Valtaosa suomalaisista toivoo tekoälyn vapauttavan ihmiset tylsästä työstä, mutta moni pelkää teknologian karkaavan käsistä

Kyselyyn vastanneista lähes kaksi kolmesta tunnustaa, ettei tiedä eikä ymmärrä, miten paljon tekoäly tulee muuttamaan heidän elämäänsä.

yle.fi

 

[namlepo]

Se ainakin oli ihan surkee se secret invasion marvelin alku. Ihme, että tommosta on laitettu ees eetteriin. Painajaiskamaa suorastaan.

 

[RavenWolf]

OpenAI perustaa tiimin jonka tehtävä on ratkaista supertietoisuuden alignmentin:

Introducing Superalignment
Introducing Superalignment

We need scientific and technical breakthroughs to steer and control AI systems much smarter than us. To solve this problem within four years, we’re starting a new team, co-led by Ilya Sutskever and Jan Leike, and dedicating 20% of the compute we’ve secured to date to this effort. We’re looking for excellent ML researchers and engineers to join us.

Näkeekö he näköpiirissä jo AGIn?:

"While superintelligence seems far off now, we believe it could arrive this decade."

 

[Johan_V]

OpenAI perustaa tiimin jonka tehtävä on ratkaista supertietoisuuden alignmentin:

Introducing Superalignment
Introducing Superalignment

We need scientific and technical breakthroughs to steer and control AI systems much smarter than us. To solve this problem within four years, we’re starting a new team, co-led by Ilya Sutskever and Jan Leike, and dedicating 20% of the compute we’ve secured to date to this effort. We’re looking for excellent ML researchers and engineers to join us.

Näkeekö he näköpiirissä jo AGIn?:

"While superintelligence seems far off now, we believe it could arrive this decade."

Tuosta on ollut paljon keskustelua viimeaikoina, ja monien asiantuntijoiden mielestä tuo on harhautusliike jolla yritetään viedä huomiota nykyisistä ongelmista datakäytön ym. suhteen ja estää tekoälyfirmoihin kohdistuvaa sääntelyä. Eli yritetään ohjata keskustelu scifi-skenaarioihin ja esittää tekoäly jonkinlaisena entiteettinä joka kehittyy itsestään eikä suinkaan ole firmojen ohjelmoitavissa.

 

[antti-x]

Radiologeja harmittaa HUS:issa tulospalkkaus ja ottamatta kantaa siihen missä määrin kyseinen systeemi toimii tai ei toimi, niin tuli mieleen että radiologia eli lääketieteellinen kuvantaminen ja kuvien tulkinta on yksi sektori jolla voisi kuvitella tekoälyn pärjäävän aika hyvin kunhan sille syötetään tarpeeksi dataa pohjalle. Tekoäly voisi myös reaaliajassa ohjata kuvantamista ja pyytää lisädataa jo kuvantamisprosessin aikana sen sijaan että lääkäri tuntien päästä totetaa että tarvitaan lisää kuvia. Tässä puhutaan kuitenkin kalliista piuhan päässä olevasta toiminnasta jolle voidaan antaa laskentatehoa aika rajusti ilman että maksaisi samaa kuin radiologin palkka.

 

[spengele]

Alkanut tulla netissä vastaan mainoksia, joissa tarjotaan mahdollisuutta tienata rahaa generoimalla "stock" kuvia AI:lla.

Tässä on vähän nähtävillä sellainen ilmiö, että AI:n tehokas käyttö esim. juuri kuvien luomisessa ei ole ainakaan vielä niin helppoa, että jokainen pystyisi generoimaan mitä näyttävämpiä kuvia erilaisiin tarkoituksiin. Sen promptin kirjoittaminen siten, että lopputulos on tuotantokelpoinen, ei ole mikään ihan yksinkertainen tehtävä. Varsinkin jos on tarkoitus luoda digitaalista grafiikkaa hyvin laajalla skaalalla ja useista genreistä ja lopputuloksen laadulla on oikeasti merkitystä.

Laadukkaan kuvan generointi vaatii laadukkaan promptin ja myös sellaisen luominen vaatii tietynlaista luovuutta ja kompetenssia. On tosin mahdollista käyttää erilaisia tekoälyjä ristiin ja laittaa esim. chatgpt luomaan sen tekstimuotoisen promptin, joka syötetään toiselle tekoälylle, mutta sitten ollaan jo kohta siinä tilanteessa, että taitava graafinen suunnittelija luo sen kuvan siinä samassa ajassa kuin toinen on valjastanut tekoälyn luomaan vastaavan tasoisen kuvan. Graafikon etuna voi olla se, että hänellä on paremmat mahdollisuudet jatkojalostaa kuvaa, kun hänellä on kaikki "layerit" ja muu sovellukseen tallennettu polku, mutta tekoälyä käyttäneellä on vain se kuvatiedosto (esim. jpg), joka hyvin todennäköisesti vaatii vielä jatkojalostusta. Mitä itse olen leikkinyt, niin ei sieltä nyt ihan helpolla saa juuri sellaista kuvaa ulos, mitä haluaisin ja voisin saada aikaan muutamalla muulla sovelluksella "manuaalisesti". Lisäksi itse tekemällä minulla tosiaan olisi usein paremmat mahdollisuuden hienosäätöön ja laajemmat muokkausmahdollisuudet.

Kuvankäsittelyohjelmien plugineihin pitäisi tutustua lisää. Ne tuntuvat varsin hyödyllisiltä apuvälineiltä.

 

[finWeazel]

C++/muu koodaustyö voi vähentyä ja tilalle tulee neuroverkkojen opettamista ja säätämistä. Jännä nähdä miten teslan autoa ajavan kontrollipinon muuttaminen neuroverkoksi etenee.

Tesla CEO Elon Musk talks about the 'final piece' of solving Full Self-Driving

Tesla CEO Elon Musk talked about the "final piece" of solving the company's Full Self-Driving suite: vehicle control.

www.teslarati.com

 

[namlepo]

Voiko tuota chatgtpn ääntä vaihtaa androidilla muihin kuin tuossa sovelluksessa itsessään oleviin vaihtoehtoihin? Ja oliko täällä jossain erilinen chat gtp keskustelu? En mistään löytånyt vaikka chatgtläkin koitin sitä etsäi.

 

[finWeazel]

Nvidia aikoo tehostaa piirisuunnittelijoiden työtä tekoälyn avulla. Eivät pyri vähempään työntekijämäärään vaan tehokkaampiin työntekijöihin. Nvidian mukaan rajoite on ihmisresurssi ja tehokkaampi ihmisresurssi olisi nettovoitto.

Prototyyppi ai:lle syötetty nvidian piirien koodit, dokumentaatiot jne. Juniori voi kysyä tekoälyltä, että mitä tuo signaali, portti tms. tekee ja tekoäly vastaa käyttäen nvidia spesifista lähdemateriaali(hallusinaation riski laskee). Tekoäly osaa myös tehdä pieniä skriptejä. Tuntuu aika järkevältä. Tän tyyppisiä asioita olen odottanutkin isojen firmojen tekevän. Apple, google yms. voisivat tehdä samanlaiset spesialisoidut AI:t auttamaan omia sisäisiä ja ulkoisia kehittäjiään.

Linkin päässä paljon enemmän juttua. Lainasin vain sen mikä on tavoite enkä mitä on jo tehty nvidian osalta
Neuroverkko säästää senioireiden aikaa, kun juniorit saavat vastauksia algoritmilta

“It turns out our senior designers spend a lot of time answering questions from junior designers,” Dally said. “If the first thing the junior designer can do is to go to ChipNeMo and say, ‘What does this signal coming out of the memory unit do?’—and if they get a possible answer that saves the senior designer’s time, the tool is well worth it.”

Miten AI:ta voisi käyttää työnteossa

“This tool can be applied to many stages of chip design, [perhaps] writing scripts to run logic simulations or test benches early in the process, or it could be scripts to do macro placement later on, or timing verification and rule checking in the final stages,” he said. “We’d like to do this because what limits us on designing chips is human resources: We want to give our designers ‘superpowers’ so that we can design more and better chips with the same designers, and that needs to apply throughout all the stages of the design process.”

Ovat myös syöttäneet bugikannat AI:lle. AI osaa summaroida oleelliset osat isoista ketjuista sen sijaan että tarvisi itse lukea ja miettiä kymmeniä postauksia läpi ja yrittää tajuta.

https://www.eetimes.com/nvidia-trains-llm-on-chip-design/

 

[namlepo]

Xssä julkaissut musk grogin.
See new posts
Conversation
xAI
@xai
Announcing Grok!

Grok is an AI modeled after the Hitchhiker’s Guide to the Galaxy, so intended to answer almost anything and, far harder, even suggest what questions to ask!

Grok is designed to answer questions with a bit of wit and has a rebellious streak, so please don’t use it if you hate humor!

A unique and fundamental advantage of Grok is that it has real-time knowledge of the world via the platform. It will also answer spicy questions that are rejected by most other AI systems.

Grok is still a very early beta product – the best we could do with 2 months of training – so expect it to improve rapidly with each passing week with your help.

Thank you,
the xAI Team

 

[namlepo]

Chat gtp4-turbo ja muuta openai devday OpenAI DevDay, Opening Keynote

 

[finWeazel]

Hullu juttu, kun yksityisillä firmoilla alkaa olemaan maailman tehokkaimmat supertietokoneet käytössä ai-mallien opettamiseen ja inferenssiin. Nvidia juuri julkaisi omasta 10752gpu klusterista mlperf ennätyksiä rikkovia suorituskykymittauksia. Käyttävät tuota klusteria dlss:n kehittämiseen, piirisuunnitteluun yms.

Vastaava/isompi firman oma klusteri löytynee myös teslalta ja openai:lta(microsoft). Kiinnostaisi tietää millaisia supertietokoneita amd ja intelillä on käytössä vai onko tiputtu kelkasta. Applella huhujen mukana on nvidiaa konesalissa, mutta tästä ei ole mitään konkreettista tietoa osunut minulle silmiin. Tuollainen 10k gpu klusteri maksanee reilun 500Me pelkän raudan puolesta. Tilat, ylläpito yms. 500Me päälle.

Käyköhän tässä niin, että firmat, jotka eivät lähde ai algoritmiavusteiseen kehitystyöhön jäävät jossain kohtaa kehityksessä jälkeen kuin nalli kalliolle? Kuinka paljon esim. nvidian next gen piirit hyötyvät ai-avusteisesta suunnittelusta ja mitä tarkoittaa amd/intel suhteen?

Ehkä AI vie työpaikkoja niiltä firmoilta, jotka eivät lähde kisaan mukaan?

NVIDIA relies on Eos for a wide array of critical jobs. It helps advance initiatives like NVIDIA DLSS, AI-powered software for state-of-the-art computer graphics and NVIDIA Research projects like ChipNeMo, generative AI tools that help design next-generation GPUs.

NVIDIA's Eos supercomputer just broke its own AI training benchmark record

NVIDIA's new Eos supercomputer uses more than 10,000 H100 Tensor Core GPUs to train a 175 billion-parameter GPT-3 model in under four minutes.

www.engadget.com

Acing the Test: NVIDIA Turbocharges Generative AI Training in MLPerf Benchmarks

With unprecedented scaling and software advances, NVIDIA H100 Tensor Core GPUs set new records in the latest industry-standard tests.

blogs.nvidia.com

 

[Johan_V]

Hullu juttu, kun yksityisillä firmoilla alkaa olemaan maailman tehokkaimmat supertietokoneet käytössä ai-mallien opettamiseen ja inferenssiin. Nvidia juuri julkaisi omasta 10752gpu klusterista mlperf ennätyksiä rikkovia suorituskykymittauksia. Käyttävät tuota klusteria dlss:n kehittämiseen, piirisuunnitteluun yms.

Vastaava/isompi firman oma klusteri löytynee myös teslalta ja openai:lta(microsoft). Kiinnostaisi tietää millaisia supertietokoneita amd ja intelillä on käytössä vai onko tiputtu kelkasta. Applella huhujen mukana on nvidiaa konesalissa, mutta tästä ei ole mitään konkreettista tietoa osunut minulle silmiin. Tuollainen 10k gpu klusteri maksanee reilun 500Me pelkän raudan puolesta. Tilat, ylläpito yms. 500Me päälle.

Käyköhän tässä niin, että firmat, jotka eivät lähde ai algoritmiavusteiseen kehitystyöhön jäävät jossain kohtaa kehityksessä jälkeen kuin nalli kalliolle? Kuinka paljon esim. nvidian next gen piirit hyötyvät ai-avusteisesta suunnittelusta ja mitä tarkoittaa amd/intel suhteen?

Rauta ei ole rajoittava tekijä,sen sijaan koulutusdata on. Se joka hallitsee dataa, hallitsee AI:ta. Tämän vuoksi Kiina on erityisen vahvoilla AI-kehityksessä isojen firmojen lisäksi.

 

[finWeazel]

SAG-AFTRA lakko alkaa olemana taputeltu. Saivat alustavasti diilin kasaan. Osa lakon syystä oli keinoälyn käyttäminen elokuvien/tv-sarjojen yms. tekemisessä.

The Writers Guild of America, which represents 11,500 screenwriters, reached a tentative agreement with studios on Sept. 24 and ended its 148-day strike on Sept. 27. In the coming days, SAG-AFTRA members will vote on whether to accept their union’s deal, which includes hefty gains, like increases in compensation for streaming shows and films, better health care funding, concessions from studios on self-taped auditions,

and guarantees that studios will not use artificial intelligence to create digital replicas of their likenesses without payment or approval.

https://www.nytimes.com/2023/11/08/business/media/actors-strike-deal.html

two sides appear to have resolved some of the pending issues on AI, which has become the central focus of the talks over the last 10 days.

Studios Adjust AI Language in Push to End SAG-AFTRA Strike

Hollywood's major studios have agreed to adjust some of the proposed contract language on AI in a push to end the SAG-AFTRA strike.

variety.com

 

[namlepo]

Varmasti jokainen käsikirjoittaja käyttää tekoälyä tai sitten on vaan tyhymä.

 

[finWeazel]

Varmasti jokainen käsikirjoittaja käyttää tekoälyä tai sitten on vaan tyhymä.

Pitäs perehtyä mikä se uus sääntö on "hollywoodissa" tuohon ai-generoituun käsikirjoitukseen yms.. Miettinyt, että olis kiinnostava kokeilla tehdä omat muistelmat/elämäkertakirja ai:n avustuksella. Olis kaikenlaista hauskaa sattumusta mitkä ai:lle kohokohdiksi. Puppugeneraattorilla välit ja katsoo mitä syntyy. Chatgpt turbossa sen verran iso tila tekstille/tokeneille, että olis ihan mahdollista generoida koko kirja one shottina.

 

[Halpuuttaja]

Rauta ei ole rajoittava tekijä,sen sijaan koulutusdata on. Se joka hallitsee dataa, hallitsee AI:ta. Tämän vuoksi Kiina on erityisen vahvoilla AI-kehityksessä isojen firmojen lisäksi.

Avoimella puolellakaan ei tosin ole jääty peukaloita pyörittelemään. Vastikään julkaistiin 30 biljoonan tokenin datasetti kielimallien treenaamista varten. Metan Llama 2 treenattiin 2,4 biljoonan tokenin aineistolla, eli ihan pienestä aineistosta ei siis ole kyse.

RedPajama-Data-v2: An open dataset with 30 trillion tokens for training large language models

together.ai

 

[namlepo]

Nythän oli juttua, että se datan määrä pitäisi tippua siinä vaiheessa, kun on malli saatu kehitettyä. Ei tarvitse sitä raakadataa sitten enää. Saatoin tajuta väärinkin.

 

[finWeazel]

10000+ hopper gpu;ta tuntuu olevan melko yleinen koko mitä yritykset käyttävät laskentakapasiteettina. Tunnettuina esimerkkeinä tesla, openai(microsoft), nvidia sisäiset supertietokoneet. Kai tuo on se yksikkökoko mitä nyt käytetään, jos homma on muuta kuin puuhastelua. Varmaan tuollaisesta klusterista sitten lohkaistaan palasia eri käyttöihin eikä pelkästään ajeta yhden ison mallin opettamista uudestaan ja uudestaan. Tyyliin devaajat, ci jne. saavat osansa kapasiteetista.

Tän viikon openai keynotessa puhuttiin bisnes/yritys spesifisistä gpt malleista mitä haluaisivat kehittää. Noiden mallien sanottiin olevan kalliita. Tällä hetkellä kykyä openai:lla vain muutaan pilottiasiakkaan mukaanottamiseen. Liekö laskentateho vai ihmisresurssit mitkä tuossa toimivat rajoittavana tekijänä. Esittelivät myös halvemman tavan tehdä domain spesifisiä gpt botteja. Botit eri asia kuin kustomoidut mallit. Boteissa vain kustomoidaan olemassa olevaa mallia lisädatalla.

Kalliit custom mallit aikaleimattuna allaolevassa videossa

 

[Hyrava]

Pitäs perehtyä mikä se uus sääntö on "hollywoodissa" tuohon ai-generoituun käsikirjoitukseen yms.. Miettinyt, että olis kiinnostava kokeilla tehdä omat muistelmat/elämäkertakirja ai:n avustuksella. Olis kaikenlaista hauskaa sattumusta mitkä ai:lle kohokohdiksi. Puppugeneraattorilla välit ja katsoo mitä syntyy. Chatgpt turbossa sen verran iso tila tekstille/tokeneille, että olis ihan mahdollista generoida koko kirja one shottina.

Heh, pitäisi koittaa syöttää ChatGPT:lle emännän kertomia sekavia unia mitä joskus kertoo nähneensä, niistä kyllä saisi melkoisia leffoja aikaiseksi, ihan laidasta laitaan vähän kaikkia genrejä

 

[Halpuuttaja]

Nythän oli juttua, että se datan määrä pitäisi tippua siinä vaiheessa, kun on malli saatu kehitettyä. Ei tarvitse sitä raakadataa sitten enää. Saatoin tajuta väärinkin.

Juu aineistot ovat valtavia, esim. Stable Diffusion 1.5 treenattiin ~100 teratavun kuva-aineistosta. Valmis malli ~2 gigaa. Itse mallin käyttö kuvien generoimiseen ei vaadi mitään raakadataa.

Sitä valmista mallia voidaan sitten jatkotreenata isommassa tai pienessä mittakaavassa. Harrastelijoiden keskuudessa suosittua treenata kotikoneella ns. LoRA malli esim. omasta pärstästä, jonka avulla Stable Diffusion kuvia voidaan tuottaa sitten itsestä. Myös Llama kielimalleihin voi tehdä LoRA malleja, vaikkapa omista whatsapp viesteistä.

 

[Halpuuttaja]

Lumi supertietokoneella treenataan Poro-34B kielimallia, jossa datasetistä suomea huomattava osa, 13.05%. 4-bittiseksi kvantisoituna tuollainen 34B malli on melko harrastelijaystävällinen, koska se mahtuu vielä 24Gt muistiin passelisti. Treenaaminen vielä kesken, mutta julkaisivat checkpointin, jossa 300 miljardia tokenia lopullisesta 1000 miljardista prosessoitu.

Toivottavasti projekti onnistuu hyvin. Toimiva suomenkielinen malli olisi erittäin tervetullut.

LumiOpen/Poro-34B · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

 

[finWeazel]

Aavistuksen väärä ketju, mutta ehkä kiinnostavaa tässäkin kontekstissa. Nvidian "special address" supercomputing 2023 tapahtumasta. JUlkaisivat uutta konfiguraatiota hopper piiristä hbm3e muistilla, kiusoittelivat ensi vuonna julkaistavaa uutta piiriä joka lienee sitten enemmän kuin 2x suorituskyky versus nykyinen.

Mitähän tuollaisella 24000 grace-hopper supertietokoneella sais aikaan?

Elon muskin xAI putiikki käyttää 8000 a100:sta grok chatbotin kouluttamiseen. Ei isot firmat ihan pienillä resursseilla mallejansa opeta. Musk: OpenAI should not be closed source, its first chatbot will be open source

 

[finWeazel]

Hyvä uusi puhe AI raudasta, softasta jne. Puheen antajana nvidian tutkimuspuolen vetäjä bill dally. Paljon on työtä laitettu, että ollaan nykytilanteessa ja paljon on vielä työtä jäljellä. Puheessa paljon muutakin kuin mitä alla olevista kuvakaappauksissa näkyy.

Prosessi millä tehdään generaalinen malli, josta optimoidaan domain spesifinen malli jota käytetään tuotannossa

Miten rauta on kehittynyt

Mahdollisuuksia mitä voisi parantaa

 

[namlepo]

Open ai erotti sam altmanin. https://www.cnn.com/2023/11/17/tech/sam-altman-departs-open-ai/index.html

 

[DMBT]

Open ai erotti sam altmanin. https://www.cnn.com/2023/11/17/tech/sam-altman-departs-open-ai/index.html

OpenAI keskustelee jo Sam Altmanin kanssa hänen palauttamisesta johtoon. The Vergen juttu..

Olikohan tämä Altmanin twiitti osoitettu Ilya Sotskeverille, joka ilmeisesti oli potkujen takana. I Love You All =Ilya.

Oli melkoinen temppu erottaa Altman perustamastaan yrityksestä. Myös Greg Brockman erosi itse. Ilmeisesti muitakin tärkeitä henkilöitä on eronnut Altmanin erottamisen vuoksi. Saapa nähdä kaatuuko OpenAI nopeammin kuin Nokian matkapuhelimet.

 

[B12]

Työelämässä kokeilin laittaa chatgpt:n tuottamaan täytettä yhteen dokumenttiin ja oikeastaan aika hyvinkin suoriutui. Sellaista geneeristä liipalaapaa, mutta pienellä editoinilla täytti tehtävänsä.

 

[finWeazel]

Työelämässä kokeilin laittaa chatgpt:n tuottamaan täytettä yhteen dokumenttiin ja oikeastaan aika hyvinkin suoriutui. Sellaista geneeristä liipalaapaa, mutta pienellä editoinilla täytti tehtävänsä.

Chatgpt turbolla sais tehtyä domain spesifisen botin. Ts. antaa vaikka firman koodit tai dokumentaation niin malli kustomoituu toimimaan domain spesifisen materiaalin mukaan. Hallusinointi vähenee ja muotoilu paranee, kun opetusmateriaalia on paremmin omaa käyttötarkoitusta vastaava.

Nvidia on vienyt saman konseptin pidemmälle. Opettivat alusta lähtien nvidia spesifisen mallin firman koodeilla, dokumentaatiolla, bugikannalla jne. Tämä lienee tulevaisuutta, nykyisyys vain rikkaille firmoille. Täysin kustom mallit kallista toisaalta lopputulos paras.

The paper details how NVIDIA engineers created for their internal use a custom LLM, called ChipNeMo, trained on the company’s internal data to generate and optimize software and assist human designers.

Silicon Volley: Designers Tap Generative AI for a Chip Assist

Semiconductor engineers show how a specialized industry can customize large language models to gain an edge using NVIDIA NeMo.

blogs.nvidia.com

Nvidiahan käyttää ai:ta osana piirisuunnittelua. Ei pelkäästään layouttiin ja valotukseen vaan ihan yksittäisten piirien/ominaisuuksien optimointiin. Kone jaksaa paremmin käydä vaihtoehtoja läpi kuin ihminen, joka heittää noppaa mahatuntuman pohjalta muutaman eri vaihtoehdon väliltä mitkä kokeillaan.

Designing Arithmetic Circuits with Deep Reinforcement Learning | NVIDIA Technical Blog

Learn how NVIDIA researchers use AI to design better arithmetic circuits that power our AI chips.

developer.nvidia.com

Halpaahan tuo ei ole. Nvidialla aika järeä oma kone käytössä

NVIDIA unveiled the newest iteration of its Eos supercomputer, one powered by more than 10,000 H100 Tensor Core GPUs and capable of training a 175 billion-parameter GPT-3 model on 1 billion tokens in under four minutes. That's three times faster than the previous benchmark on the MLPerf AI industry standard, which NVIDIA set just six months ago.

NVIDIA's Eos supercomputer just broke its own AI training benchmark record

NVIDIA's new Eos supercomputer uses more than 10,000 H100 Tensor Core GPUs to train a 175 billion-parameter GPT-3 model in under four minutes.

www.engadget.com

Sellanen fiilis, että markkinaosuuksia jaetaan. Hitaat tipahtaa kelkasta, samalla kun AI-avustetut yritykset paahtaa horisonttiin?

 

[DMBT]

OpenAI:n draamassa uusia käänteitä. OpenAI:n johtokunta on ilmoittanut pysyvänsä päätöksessään erottaa Sam Altman (lainaus NYT:n uutisesta kuvana alla).

Uudeksi toimitusjohtajaksi on palkattu Emmett Shear.

Microsoftin TJ Satya Nadella twiittasi Sam Altmanin ja Greg Brockmanin +muiden OpenAI:sta lähteneiden tutkijoiden liittyneen Microsoftin AI-tiimiin.

 

[namlepo]

On nopeita nykyään nuo käännökset.

 

[DMBT]

On nopeita nykyään nuo käännökset.

On todellakin ja nopeus on ollut pakotettua OpenAI:n tulevaisuuden kannalta. Kyseessä on noin $80 miljardin yhtiö, jonka veturina Sam Altman on kiistatta ollut. Ilmeisesti Altmanin pyrkimys saada firmalle rahaa ja kaupallistaa tuotetta on johtokunnan mielestä ollut vastoin heidän alkuperäistä missiota.

Nyt kun Altman on voittoa tavoittelevalla Microsoftilla johtotehtävissä, hänellä on kaikki mahdollisuudet keskittyä AGI:n kehittämiseen huolehtimatta taloudellisista tai kaupallisista rajoituksista.

Erikoista kyllä, Microsoftin osake ei vielä ole reagoinut positiivisesti Altmanin palkkaamiseen.

Stability AI:n perustaja Mostaque kommentoi vain omalla kuvallaan Nadellan twiittiä. Kertoo hyvin alan johtohahmojen mielipiteestä viikonlopun draamaan ja tapahtumiin.

 

[DMBT]

Juuri kun luulin, että OpenAI:n sekoilu ja kuohunta olisi laantumassa, Ilya, joka oli eturintamassa erottamassa Altmania, katuu nyt päätöstään. Tässähän on enemmän juonenkäänteitä kuin Salkkareissa.

Linkki kuvan twiittiin.

 

[DMBT]

OpenAI:n 505 työntekijää 700:sta vaatii johtokunnan eroa.

Microsoft on huhujen mukaan luvannut palkata kaikki halukkaat OpenAI:lta. Eli Microsoft saa käytännössä ilmaiseksi kullanarvoisia AI-osaajia.

Spoilerissa työntekijöiden vaatimus kuvana.

Spoileri

 

[teemz]

OpenAI:n 505 työntekijää 700:sta vaatii johtokunnan eroa.

Microsoft on huhujen mukaan luvannut palkata kaikki halukkaat OpenAI:lta. Eli Microsoft saa käytännössä ilmaiseksi kullanarvoisia AI-osaajia.

Eiköhän tuo työntekijöiden siirtyminen Microsoftille tule tapahtumaan, siellä riittää houkutustekijöitä, ainakin rahaa ja resursseja.

Veikkaan, että OpenAI oli vuoden kestänyt, maailman mullistanut tähdenlento, joka sitten tuhosi itsensä ja tilalle tuli uudet tekijät. On ihan selvää, että tuollaisen jälkeen jäljelle jääneillä voimilla ja tuolla maineella ei enää nousta takaisin kärkipaikalle. MS:llä on varmasti ollut omat suunnitelmansa kun on OpenAI:ta rahoittanut niin paljon, nyt saavat sitten tehdä puhtaasti oman visionsa mukaan samalla porukalla kehitystyötä eteenpäin.

 

[Kautium]

MS:llä on varmasti ollut omat suunnitelmansa kun on OpenAI:ta rahoittanut niin paljon, nyt saavat sitten tehdä puhtaasti oman visionsa mukaan samalla porukalla kehitystyötä eteenpäin.

Microsoft omistaa OpenAI:sta 49%. Tuolla osuudella ovat saaneet jo aiemminkin tehdä sillä teknologialla aika vapaasti mitä haluavat.

OpenAI on muuten perustettu 2015. Tulivat laajemmin tunnetuksi tosin vasta marraskuussa 2022, kun julkaisivat ensimmäisen julkisen betaversion ChatGPT:stä.

 

[DMBT]

Mostaquen twiitin mukaan, koska OpenAI on täysin San Franciscolainen yritys, työntekijöillä ei ole irtisanomisaikaa eikä kilpailukieltoa. Työntekijät voivat irtisanoutua ja mennä vaikka huomenna Microsoftille töihin.

Jos kaikki vaatimuksen 505 allekirjoittanutta siirtyisivät Microsoftille, olisi se kuin yritysosto tai sulautuminen ilman viranomaisten tarkastelua.

 

[DMBT]

Elon Musk twiittasi aiheesta. Hyvä yhteenveto tapahtumista, tähän asti.

 

[DMBT]

Kapinahenki kasvaa.

 

[DMBT]

Financial Timesin artikkelin mukaan (ChatGPT-4:n kääntämänä):

• Maanantain päätteeksi 747 OpenAI:n 770 työntekijästä oli allekirjoittanut kirjeen, jossa uhataan irtisanoutua ja liittyä Microsoftiin, jos kolme jäljelle jäävää johtajaa kieltäytyy eroamasta.
• OpenAI:ta tukevat riskisijoittajat kannattivat henkilökunnan vaatimuksia ja harkitsivat oikeustoimia hallituksen painostamiseksi. Tämä heijastaa suuria panoksia, jotka liittyvät OpenAI:n merkittävään asemaan tekoälyalalla.

Henkilökunnan painostus kasvaa ja myös sijoittajat lisäävät painetta erityisesti kolmea kaaoksen aiheuttanutta hallituksen jäsentä kohtaan.

Kyseiset jäsenet:
Adam D'Angelo (wiki)
Tasha McCauley (dreshare bio)
Helen Toner (geniuscelebs bio)

Nyt salaliittoteoria ja syyttävä sormi osoittaa kohti Adam D'Angeloa, jota nyt pidetään potkujen masinoijana aiemman Ilyan (wiki) sijaan. Syynä on D'Angelon perustama Quora ja syksyllä lanseerattu Poe. Poe on käytännössä vastaava kuin nyt marraskuussa OpenAI:n lanseeraama omien AI-bottien tekomahdollisuus. D'Angelo ei ilmeisesti ollut tästä lanseerauksesta tai kaupallistamisesta tietoinen ja syyttää pimittämisestä Sam Altmania.

D'Angelon Twitter-sivulla ei ole muita kohun jälkeisiä päivityksiä kuin hänen retwiittaamansa Masadin puolustusviesti: