Follow along with the video below to see how to install our site as a web app on your home screen.
Huomio: This feature may not be available in some browsers.
Hyvää joulua!
Osallistu io-techin piparikakkutalokilpailuun 2024 Linkki osallistumisketjuun >>>
SER-huutokaupat hyväntekeväisyyteen käynnissä! Linkki huutokauppaan >>>
Tuonne kirjoitin aiemmin asiasta. Ota viestissäni mainittu 2 kk Googlen ilmaisjakso Geministä käyttöön. Sillä pitäisi koodauksen onnistua.Jossain täällä io techissakin joku kirjoitti tavan päästä käsiksi Chatgpt 4 maksutta, mutta enää en millään löydä miten.
Itse olen siirtynyt koodijutuissa chatgpt 4:sta koska se kävi aika hitaaksi tuohon GroqChat llama3 70b malliin, on tällä hetkellä ilmainen ja sen lisäksi aika jäätävän nopea vrt mihinkään muuhun.
Omissa jutuissani on tuottanut ihan samaa tulosta mutta overall pitäisi olla ihan pikkusen huonompi kuin gpt4. Uskon että kun llama3 405b tulee ulos niin se taas pieksee gpt4.Täytyykin testata tuota. Noissa muissa tekoälyissä tosiaan toi hitaus on ongelma. Onko muuten ChatGPT tasoa?
Chatgpt:lla saa pohjat saa tehtyä, mutta joutuu itse korjaileen ja integroimaan tuotosta. Maksullinen parempi. Ilmaisversiolla esimerkki gamepadin lukemisesta alla. Usein huonon toteutuksen saa korjattua kun miettii promptia paremmaksi. Esimerkiksi jos ei tuosta pygame:sta tykkää niin voi promptilla käskeä tekemään ohjaimen lukemisen jollain toisella tavalla.Mikäs tekoäly soveltuisi tähän, jos haluaisin koodata jonkun yksinkertaisen pelin rasberry pi:lle? Siihen kiinni näyttö ja joku usb peliohjain.
write python code to read gamepad left,right,up,down signals and call methods left, right, up, down based on gamepad signal
import pygame
from pygame.locals import *
# Initialize Pygame
pygame.init()
pygame.joystick.init()
# Function to handle left signal
def left():
print("Left signal detected")
# Function to handle right signal
def right():
print("Right signal detected")
# Function to handle up signal
def up():
print("Up signal detected")
# Function to handle down signal
def down():
print("Down signal detected")
# Main function
def main():
# Initialize the joystick
joystick = pygame.joystick.Joystick(0)
joystick.init()
# Main loop
while True:
for event in pygame.event.get():
if event.type == JOYBUTTONDOWN:
if event.button == 0: # Assuming button 0 corresponds to left
left()
elif event.button == 1: # Assuming button 1 corresponds to right
right()
elif event.button == 2: # Assuming button 2 corresponds to up
up()
elif event.button == 3: # Assuming button 3 corresponds to down
down()
if __name__ == "__main__":
main()
Täällä myös positiiviset kokemukset llama3:sta koodailuun. Lisäksi riippuen mitä tekee CodeFuse-DeepSeek ja siitä muihin yhdistämällä kasatuista useat olleet varsin OK.Itse olen siirtynyt koodijutuissa chatgpt 4:sta koska se kävi aika hitaaksi tuohon GroqChat llama3 70b malliin, on tällä hetkellä ilmainen ja sen lisäksi aika jäätävän nopea vrt mihinkään muuhun.
Nyt alkaa olla päräyttävää. Ja ehkä puolen vuoden päästä tuttua juttua ja kehityksenä on siinä vaiheessa taas jotain paljon jännempää.
Nyt alkaa olla päräyttävää. Ja ehkä puolen vuoden päästä tuttua juttua ja kehityksenä on siinä vaiheessa taas jotain paljon jännempää.
Inhimillisyyttä matkiessa pitäisi siihen juurikin toteuttaa se, että välillä keittää yli.Kuulin täydellistä ihmisen ääntä robotin tekemänä. Eli ensimmäinen ääniklippi robotilta jossa human error eliminoitu.
Saakohan tekoälyyn opetettua ihmismäistä inhimillisyyttä, siis sellasta aitoa. Se pitäis olla inhimillisempää kuin ihmisellä, koska ihmisellä keittää tietyssä pisteessä yli. AI vois olla loppuun asti inhimillinen, koska se voi olla.
Understanding Deep Learning kirjaa voi suositella. Selittää nykyiset algoritmit selkeästi kera kuvien. Kaukana ollaan oikeasta keinoälystä/agi:sta tms. Nykyiset mallit opetusdatan pohjalta yrittävät ennustaa seuraavaa tokenia. Ei ole mitään älykkyyttä, luovuutta tms. chat gpt:ssa. On tutkijoita jotka miettivät, että jos olisi paljon lisää laskentatehoa ja paljon lisää dataa niin nykyisistä algoritmeista voisi löytyä jotain älykkyyttä mutta moni uskottava taho ei niele tätä väitettä.Kiinnostava ketju. Itse tekoälyä hyödynnän paljon töissä ja arkisissa kysymyksissä. En ole vielä törmännyt ajatelmaan mikä on tekoälyn kehittymisen kriittinen massa. Eli ajatuksena jos tekoäly voi kehittää itseään promillen niin se on viisaampi kuin me hetkessä.
EDIT: eli onko kaikki yli 1 pahin tilanne
Tuo on hyvä kirja. Äskettäin julkaistiin myös hieman samantyyppinenUnderstanding Deep Learning kirjaa voi suositella. Selittää nykyiset algoritmit selkeästi kera kuvien. Kaukana ollaan oikeasta keinoälystä/agi:sta tms. Nykyiset mallit opetusdatan pohjalta yrittävät ennustaa seuraavaa tokenia. Ei ole mitään älykkyyttä, luovuutta tms. chat gpt:ssa. On tutkijoita jotka miettivät, että jos olisi paljon lisää laskentatehoa ja paljon lisää dataa niin nykyisistä algoritmeista voisi löytyä jotain älykkyyttä mutta moni uskottava taho ei niele tätä väitettä.
kirjan ilmainen digiversio: Understanding Deep Learning
Nyt alkaa olla päräyttävää. Ja ehkä puolen vuoden päästä tuttua juttua ja kehityksenä on siinä vaiheessa taas jotain paljon jännempää.
Kyllä se siitä vähitellen leviää ja ehkä jossakin vaiheessa tavallaan jopa arkipäiväistyy. Kehitys on vaan niin huimaa tällä hetkellä, että kaikissa nyansseissa on alaa aktiivisesti seuraavankin vaikea pysyä mukana, saati sitten että näitä pitäisi alkaa tuputtamaan rautalankamallina kaikelle kansalle, varsinkin kun samalla on tiedossa nykyisen teknologian moninaiset puutteet ja ongelmat (joista luonnollisesti AI:n "hallusinointi" kaikkein pahimpana). Tämä ChatGPT:n uusin 4o-versio tuo taas pöydälle ihan uusia juttuja verrattuna kilpailijoihin ja edeltäjiinsä. Eletään mielenkiintoisia aikoja.Mun mielestä pitäis jopa laajemmin jakaa tätä informaatiota, ei vain yhdessä langassa. Ei ihmiset ymmärrä tai tiedä miten päräyttävä teknologinen askel ollaan ottamassa
Arkipäiväistyiminen on melko hullu juttu ainakin mun mielelle. Omassa lapsuudessa ei ollut edes c64:sta joka talossa. Nyt syntyy ihmisiä jotka eivät tunne maailmaa ajalta ennen kuin pystyi puhelimessa ajossa olevalta chat gpt:lta kyselemään asioita joko internetin tai itse annetun materiaalin pohjalta. Varmaan aika sama fiilis ollut ajalta kun keksittiin höyrykone. Yhtäkkiä oli junia ja perään t-fordeja ja lentokoneita olemassa.Kyllä se siitä vähitellen leviää ja ehkä jossakin vaiheessa tavallaan jopa arkipäiväistyy. Kehitys on vaan niin huimaa tällä hetkellä, että kaikissa nyansseissa on alaa aktiivisesti seuraavankin vaikea pysyä mukana, saati sitten että näitä pitäisi alkaa tuputtamaan rautalankamallina kaikelle kansalle, varsinkin kun samalla on tiedossa nykyisen teknologian moninaiset puutteet ja ongelmat (joista luonnollisesti AI:n "hallusinointi" kaikkein pahimpana). Tämä ChatGPT:n uusin 4o-versio tuo taas pöydälle ihan uusia juttuja verrattuna kilpailijoihin ja edeltäjiinsä. Eletään mielenkiintoisia aikoja.
Kyllä minä luulen että höyrykone tai lentokone on ollut vähintään yhtä ihmeellinen tuon ajan ihmisille kuin nykyään tekoäly joka keskustelee kanssasi reaaliajassa kuin ihminen. Jos suuri osa kansasta ei osaa edes lukea, niin voi sitä ihmetyksen määrää miten kärryt voivat kulkea ilman hevosta. Saatikka että moottorin toimintaperiaatetta olisi yhtään ymmärretty.Nyt tuntuu, että kyllä tämä tietotekniikan/kommunikoinnin/konealgoritmien ihmeaika on parempi vaikka asioita ei voi enää normijärjellä järkeillä "tyhjästä" toisin kuin joku höyrykone ja sen sovellukset
Gpt-5 oletettavasti on jo sitä luokkaa, että sen avulla voi korvata suurimman osan ihmisten tekemästä ei-fyysisestä työstä.Onhan tuo OpenAI:n viimeisin demo aika järisyttävää katseltavaa. Toki demo on varmasti tarkkaan harjoiteltu etukäteen, mutta tuon perusteella olisi helppo uskoa että AGI on nyt saavutettu ja tekoälyllä on tunteet, jos ei tietäisi millaiset algoritmit siellä taustalla on.
Voin vain kuvitella kuinka helppo tuolla on huijata ihmisiä.
Understanding Deep Learning kirjaa voi suositella. Selittää nykyiset algoritmit selkeästi kera kuvien. Kaukana ollaan oikeasta keinoälystä/agi:sta tms. Nykyiset mallit opetusdatan pohjalta yrittävät ennustaa seuraavaa tokenia. Ei ole mitään älykkyyttä, luovuutta tms. chat gpt:ssa. On tutkijoita jotka miettivät, että jos olisi paljon lisää laskentatehoa ja paljon lisää dataa niin nykyisistä algoritmeista voisi löytyä jotain älykkyyttä mutta moni uskottava taho ei niele tätä väitettä.
kirjan ilmainen digiversio: Understanding Deep Learning
Me ihmiset emme oikein ymmärrä mitä on tietotuus, miten se syntyy, mistä se muodostuu. Tältä pohjalta on aika vaikea teilata koneen mahdollisuuksia. Jos keinojärki tekee täsmälleen saman tuotoksen kuin ihmisaivot, niin ovatko ne silloin ihmisen kykyjä vastaavat?Ajattelin aiemmin, että tällaisella tokenien ennustamisella ei saavuteta mitään kovin järisyttävää, eikä varsinkaan AGI:a.
En ole enää varma. Malleissa on miljardeja parametreja ja niille annetaan niin monimutkaisia tehtäviä, että ehkä ennustaminen jossain vaiheessa vaatii ymmärtämistä jollain tasolla, mutta me emme huomaa, että sellaista mallissa ilmenee.
Vaikka AI kehittyy niin voihan sen ihmistyövoiman nähdä myös kilpailuetunakin. Ei ole kaikki yhden tietokonejärjestelmän ja yritystä pyörittävän helppoheikin varassa.Gpt-5 oletettavasti on jo sitä luokkaa, että sen avulla voi korvata suurimman osan ihmisten tekemästä ei-fyysisestä työstä.
Kaikki valmiina siihen että puolen vuoden päästä työt loppuu?
Meneehän siihen oikeasti pidempään, koska ihmiset ei ihan heti keksi miten hyödyntää tekoälyä kunnolla. Mutta sinänsä peli on pelattu, kun AI hyödyntäminen on selkeästi tehokkaampaa perusteiseen tapaan verrattuna ja eletään kilpailuyhteiskunnassa, joten kehitystä ei enää voi pysäyttää.
Oliko työkaverilla kokemusta keinotyhmyyden käytöstä? Tuossa tilanteessa olisi voinut tarkentavilla ohjeilla yrittää uudelleen. Itse olen huomannut, että lopputulos saattaa kohentua huomattavasti, kun ai:lle kertoo että vastaus oli hevonpaskaa, yritäppä uudelleen ja pysy tällä kertaa asiassa.Meillä oli asiakastoimeksiantona tehdä lyhyehkö noin 10-sivuinen tutkimusrapsa erään teknologian sovellettavuudesta. Työkaveri antoi piruuttaan ko. tehtävänannon sellaisenaan ChatGPT:lle. Tuloksena oli erittäin vakuuttava ja ammattimaiselta kuulostava rapsa, joka a) ei vastannut toimeksiannon kysymyksiin lähestulkoon lainkaan vaan keskittyi aivan toisiin asioihin, ja b) niiltä osin kuin GPT etäisesti sivusi aihetta, oli vastaukset 100% hevonpaskaa. Tuokin olisi varmaan mennyt heittämällä läpi ihmisille, jotka eivät tunne ko. teknologia-aluetta.
Meta on julkaissut uuden version Llamasta, jota uutisen (The first GPT-4-class AI model anyone can download has arrived: Llama 405B) perusteella kehutaan GPT-4 tasoiseksi. On ladatavissa tunnistautumisen jälkeen (Llama 3.1 - a meta-llama Collection).
Olen LM studiolla ajanut AMD ohjeiden mukaan Llama pohjaista TheBloke nimistä mallia. Nyt kiinnostaisi kokeilla tätä uutta 405B. LM studio antaa herjaa, kun yritän sen kautta ladata mallia ja noita 405B malleja ylipäätään on monta eri sorttia: 405B, 405B-instruct, 405B-FP8 ja 405b-Instruct-FP8.
Onko täällä joku viisaampi joka tietäisi mitä eroa noilla malleilla on ja mitä niistä kannattaisi 7800XT kanssa pyörittää?
Kiitos tiedoista. Sain juurikin ymmärtääkseni tuon 8B-instruct mallin toimimaan LMStudiolla. Tarkka versio mallista on: lmstudio-community/Meta-Llama-3.1-8B-Instruct-GGUF/Meta-Llama-3.1-8B-Instruct-Q8_0.gguf. Sen lataaminen onnistui myös ihan suoraan LMStudiolla ilman noita rekisteröintejä Metalle tai Huggingfaceen. Piti vain huomata päivittää LMStudio uuteen 0.2.28 versioon ja vielä se ROCM variantti, että sai GPUlle ladattua tuon mallin. Nyt pyörii vikkelästi tuo koneella. Ero on kyllä kuin yöllä ja päivälle, kun vertasi RAM+CPU vs GPU tuon mallin ajoa.On aika toivoton yritys saada noita uusia 405B-malleja toimimaan kotikoneella, edes järeällä sellaisella. Esim. täältä voit katsoa ko. mallien muistitarpeet kohdasta "Inference memory requirements":
Llama 3.1 - 405B, 70B & 8B with multilinguality and long context
We’re on a journey to advance and democratize artificial intelligence through open source and open science.huggingface.co
Jos katsot vaikkapa tuota Llama 3.1 8B muistivaadetta, joka FP16-tarkkuudella on 16 GB, tarkoittaa se sitä että mallin itsessään vie tuon 16 GB muistia. Ideaalitilanteessa koko malli saataisiin ladatuksi näytönohjaimesi muistiin, ja koska sinulla on omassa näytönohjaimessasi juuri tuo 16 GB VRAMia, voisi kuvitella että malli mahtuisi GPU:n muistiin. Tosiasiassa siinä on kuitenkin kaikenlaista overheadia, niin että muistiin tarvitsee ladata muutakin kuin ne painot, jolloin pieni osa mallista jää GPU:n ulkopuolelle, ja joko niitä osia sitten lasketaan CPU:n päällä tai vekslataan mallin osia GPU:lle niin että kaikki osat saadaan lasketuksi. Todennäköisimmin tuo 8B (tai vielä todennäköisimmin 8B-instruct jos aiot käyttää sitä ChatGPT:n tavoin) versio on se mitä tällä hetkellä haluat ajaa, koska kvantisoituja versioita ei tietääkseni ole vielä kukaan ehtinyt julkaista isommasta 70B mallista.
TheBloke (Tom Jobbins) on henkilö joka tekee kvantisoituja versioita erilaisista avoimista kielimalleista. Idea niissä on se, että jos katsot vaikka jälleen sitä Llama 3.1 8B:n muistitarvetta sieltä artikkelista, huomaat että siellä on ilmoitettu sille myös arvot FP8- ja INT4-tarkkuuksilla. Ideana on tiputtaa mallin painojen esitystarkkuutta siten, että malli saadaan mahtumaan pienempään tilaan, esim. 8 GB tai 4 GB. Noita FP8- ja INT4-kvantisoituja malleja vain ei ole kukaan vielä ehtinyt tehdä ja julkaista.
Kun sitten joku ehtii nuo kvantisoidut versiot Llama 3.1:stä tekemään, todennäköisimmin haluat käyttää jotain kvantisoitua versiota 70B-mallista, koska 405B tulee olemaan kaikilla järjellisillä kvantisointiasteilla aivan liian iso silti.
Kiitos tiedoista. Sain juurikin ymmärtääkseni tuon 8B-instruct mallin toimimaan LMStudiolla. Tarkka versio mallista on: lmstudio-community/Meta-Llama-3.1-8B-Instruct-GGUF/Meta-Llama-3.1-8B-Instruct-Q8_0.gguf. Sen lataaminen onnistui myös ihan suoraan LMStudiolla ilman noita rekisteröintejä Metalle tai Huggingfaceen. Piti vain huomata päivittää LMStudio uuteen 0.2.28 versioon ja vielä se ROCM variantti, että sai GPUlle ladattua tuon mallin. Nyt pyörii vikkelästi tuo koneella. Ero on kyllä kuin yöllä ja päivälle, kun vertasi RAM+CPU vs GPU tuon mallin ajoa.
Tosiaan tekee varmaan tiukkaa tästä isompaa mallia saada omalla raudalle toimimaan. Tällä hetkellä, kun tuo malli ladattuna näyttää GPU muistista olevan sellainen 11682mb käytössä, kun perus taustaohjelmat Windowsin lisäksi päällä.
Edit:
Onko tämä "Meta-Llama-3.1-8B-Instruct-Q8_0.gguf" nyt sitten juuri sellainen kvantisoitu versio mistä kirjoitat? Vai onko sellainen siis mahdollisesti tulossa ja miten se eroaa sitten tästä?
Mielenkiintoista olisi nähdä jotain vertailua joka hyvin hahmottaisi tuon laadullisen eron 800GB ja 8GB mallin välillä. Omaan käyttöön silti tuo 8Gb mallikin on hyvä työkalu. Ainakin kun englanniksi sitä käytän pitkälti.On kyllä kvantisoitu. Olin näemmä väärässä ja joku oli jo ehtinyt tuon kvantisoimaan vaikka vasta alle vuorokausi julkaisusta. Voit päätellä sen tuosta "Q8"-osasta nimessä, että se on kvantisoitu FP8-tarkkuuteen.
Tosiaan mitä rankemmin noita malleja kvantisoi, sitä enemmän siinä menetetään tarkkuutta ja sitä heikommin malli toimii, ja saattaa suoltaa ties mitä roskaa ja vaikka kieliopillisesti täysin virheellistä tekstiä.