AI-koodausavustimet, keskustelua AI-avustetusta koodaamisesta/skriptaamisesta/dokumentoinnista/...

Olisikohan suomenkieleen optimoitu llama toimivampi? Finnish-NLP/llama-7b-finnish · Hugging Face ?

Aika vähiin menee jos llama feilaa ja kiinalaiset ei kelpaa. Ehkä mistral 7B(ranskalainen) olisi kokeilemisen arvoinen. Ollama on hyvä noiden testailuun, ollaman tarjoamat mallit listattu täällä: library

Se tosin on varmaa, että mallit kehittyvät melko vauhdilla + löytyy esim. llamasta fine tunetettuja versioita eri käyttöihin. Voi toki fine tunettaa itsekin, mutta se on omanlaisensa projekti.
Kiitos!

Tosiaan kyllä varmasti ihan muutamissa kuukausissa jo tulee isohkoja harppauksia, vähän jopa pelottavan nopeasti viime kuukausina harppauksia tullut.

Toki voi olla että jossain kohdin ei saada paljoa enempää malleista ns irti mutta ainakin tehojen optimoinnissa on mahdollisuuksia jatkossakin.

Jotenkin vaikea uskoa että tulisi ns yleistä tekoälyä vielä pitkään aikaan mikä ehkä ihan hyväkin.
 

Itse ainakin toivon että OpenEuroLLM toisi jotain merkittävää meidän kaikkien hyödyksi vuosien varrella.

Mikä olisikaan sen parempaa kuin paljon enemmän parempia vaihtoehtoja vaikkapa Yhdysvaltalaisten yritysten tuottamille suljetuille ratkaisuille.

Tottakai avoimen lähdekoodin kielimalleissa omat ongelmansa jos miettii että vaikkapa isot rikkaat rikollisjärjestöt alkaisivat itse muokata niitä jotta saisivat parempia huijauksia ja murtoja tehtyä niiden avulla.
 

Itse ainakin toivon että OpenEuroLLM toisi jotain merkittävää meidän kaikkien hyödyksi vuosien varrella.

Mikä olisikaan sen parempaa kuin paljon enemmän parempia vaihtoehtoja vaikkapa Yhdysvaltalaisten yritysten tuottamille suljetuille ratkaisuille.

Tottakai avoimen lähdekoodin kielimalleissa omat ongelmansa jos miettii että vaikkapa isot rikkaat rikollisjärjestöt alkaisivat itse muokata niitä jotta saisivat parempia huijauksia ja murtoja tehtyä niiden avulla.
Täällä on parempi ketju yleiseen keinoälystä/kielimalleista keskusteluun: Tekoäly

Meta jenkkijäteistä(llama) julkaisee kielimallinsa painot(samoin kuin deepseek). Täysin avointa kielimallia vaikea löytää kun ei kiinalaisetkaan julkaisseet opetusdataa, koodia millä malli opetetaan jne.
 
Claude sonnetista uusi versio. Anthropic julkaisi claude code agentin. Agentin voi asentaa omalle koneelle ja antaa pääsyn projektiin. Agentti koodaa itsenäisesti annetun promptin mukaan. Cursor AI ideen päivittyi tuki uudelle CS3.7:lle, mutta en ole kerennyt vielä testata. Anthropicin siteeraamat suorituskykynumerot kuvassa.

1740520855668.png

Ohjeet agentin asentamiseen: https://docs.anthropic.com/en/docs/agents-and-tools/claude-code/overview

 
Viimeksi muokattu:
Claude sonnetista uusi versio. Anthropic julkaisi claude code agentin. Agentin voi asentaa omalle koneelle ja antaa pääsyn projektiin. Agentti koodaa itsenäisesti annetun promptin mukaan. Cursor AI ideen päivittyi tuki uudelle CS3.7:lle, mutta en ole kerennyt vielä testata. Anthropicin siteeraamat suorituskykynumerot kuvassa.

Kyl Aider LLM Leaderboards
Myös highest "non thinking" model aiderin boardissa.
Mutta kun katson tätä hintaa (Total Cost aiderin boardissa) niin en lähe siihen mukaan.

Itsellääni edelleen O1 Pro + DeepSeek Chat (fireworks versio) käytössä..

Voi olla että DeepSeekin oma API alkaa olee myös jo vihdoin kunnossa, heti kun O1 PRO subi loppuu otetaan R1 uudestaan käyttöön (jos deepseek oma API on OK, koska muuaalla R1 on älyttömän kallis). Tai jatketaan vieläkin O1 PRO subia, koska on vaan edelleen halvin vaihtoehto (jos ei DeepSeekin omaa R1'sta saa).
 
Cursor ai:n kautta eilen illalla testailin hieman CS3.7:sta. CS3.7 menee premium requesteihin mitä on cursor ai tilauksessa 500kappaletta/kk. Hyvin tuntuu toimivan perushommissa. En mitään erityisen vaikeaa siltä kysynyt, kaikkeen tuli hyvä ja nopea vastaus mitä yritin.
 
Windsurfissa käytetty 3.7:aa ja hyvin toimii, mutta krediittien kulutus on aivan älytöntä. Tämä lienee kyllä osin Windsurfin ominaisuuksia, mutta Pro Ultimate -tilauksellakaan ei pitkälle pötkitä. Saa kuukauden allokaatiot käytettyä helposti muutamassa päivässä
 
Windsurfissa käytetty 3.7:aa ja hyvin toimii, mutta krediittien kulutus on aivan älytöntä. Tämä lienee kyllä osin Windsurfin ominaisuuksia, mutta Pro Ultimate -tilauksellakaan ei pitkälle pötkitä. Saa kuukauden allokaatiot käytettyä helposti muutamassa päivässä
Täähän se tahtoo olla ongelma. Cursorissa 500 premium pyyntöä/kk. Menee alle viikossa jos ei himmaile. Jos olisi itsenäinen agentti käytössä niin ei riittäis päiväksi.

Openai miettii todella kalliita agentteja. Mielenkiintoista nähdä mitä noilla saadan aikaan
OpenAI may be planning to launch several specialized AI "agent" products including a $20,000 monthly tier focused on supporting "PhD-level research." Other reportedly planned agents include a "high-income knowledge worker" assistant at $2,000 monthly and a software developer agent at $10,000 monthly.
 
Syy miksi en käytä enää API'ia suoraan.. tulee vaan liian kalliiksi, esim vanha sonnetti oli 100e/viikko.

Nykyään käytän Grok'ia on mielestäni parempi kuin O1 PRO, ja käytin ennen sitä O1 PRO'ta.

Editorina käytän deepseek-chat'ia Aiderin kanssa, tämä on toiminut eirittäin hyvin ja Grokki on "arkkitehtina". O1P oli tosin unlimited, mutta Grok'in rajat ovat järkeviä noin 35 viestiä / 2h (think tai research), joka on noin 1 viesti per 4 minuuttia, ei tule itselleeni ikinä tämä raja vastaan, eli on aika unlimited myös, parempi ja halvempi kuin O1P :)

Tosin käyttäisin kyllä pelkkä R1'sta deepseek API'n kautta vaan (muut tarjoajat ovat älyttömän kalliita), mutta deepseekin API on vieläkin p*skana. Joten deepseek alkaa jo unohtuu..
 
Eilen tuli sekä o3-mini-high:lta että claude sonnet 3.7:lta epäonnistuminen vaikka tosissani yritin saada AI:ta promptattua toimimaan. Kohteena todella hapokkaasti tehty makefile jota yritin siivota AI:n avulla a) fiksummaksi b) lisätä useita build targetteja. AI ei osannut setviä assembler-koodien lukemista eri targeteihin tavalla mikä olisi saanut buildin toimimaan. Viime kädessä jonkun hullun kirjoittamat rekursiiviset säännöt miten sorsia poimitaan oli sekä minulle että ai:lle tekemätön paikka. AI kyllä yritti lahjakkaasti filtteröidä build-virheiden pohjalta targeteista pois sorsia mutta oli hävitty sota ja kammottavan huono lähestymistapa.

Refaktoroin koodit uusin kansioihin, että voisi tehdä yksinkertaiset säännöt sorsien poimimiseen eri targetteihin. AI ei edelleenkään saanut hommaa tehtyä. Se jotenkin jumi jo olemassaoleviin sääntöihin eikä tajunnut refaktoroida makefilea uuden hakemistorakenteen mukaiseksi. Käsin piti tehdä loppujen lopuksi.

Hyvä näitä AI feil juttujakin kirjotella kun aina ei onnistu. Kaikenlaista harrasteprojektia ai:n avustaman tullut tehtyä ja kyllä maistuu koodaus ja tekeminen pitkästä aikaa. Yks minkä ai väsäs todella kivasti oli python applikaatio millä saa tehtyä erilaisilla materiaaleilla ja parametreilla olevia valaistuja palloja. Väsäs ray tracerin, ui:n, datojen tallettamisen tiedostoon jne. About 700 rivin python hirviö, joka helpottaa elämää ja 0 omaa riviä koodia. Pienempi vaiva tuon appsin tekeminen kuin blenderin käyttäminen samaan. Eletään jännää aikaa, kun kustomoitujen "työkalujen" tekemisen vaiva lähestyy nollaa.

1741778653519.jpeg
 
Viimeksi muokattu:
AI generoi harrasteprojektiin melko nasevasti debug-tulostukset. Syntyi kolmella eri promptilla kun ei suoraan osannut kysyä mitä haluaa. Jokainen iteraatio toimiva. Kivasti boostaa motivaatiota, kun ei mene omaa aikaa epäoleelliseen

Koodi:
        def debug_print_fields(prefix: str, fields: list, columns: int, pad_width: int = None):
            if not args.debug:
                return
            print(f"\n{prefix}:")
           
            # Group elements into fields
            field_size = 3 if columns % 3 == 0 else 2
           
            # If pad_width is not provided, calculate it from the widest field in this data type
            if pad_width is None:
                max_field_width = 0
                for i in range(0, len(fields), field_size):
                    chunk = fields[i:i + field_size]
                    field_str = ",".join(str(x) for x in chunk)
                    max_field_width = max(max_field_width, len(field_str))
                pad_width = max_field_width
           
            # Print fields with consistent padding
            for i in range(0, len(fields), columns):
                chunk = fields[i:i + columns]
                fields_in_chunk = [chunk[j:j + field_size] for j in range(0, len(chunk), field_size)]
                formatted_fields = [
                    (",".join(str(x) for x in field)).ljust(pad_width)
                    for field in fields_in_chunk
                ]
                print(" | ".join(formatted_fields))

Lopputulos kustomoitava määrä sarakkeita ja imho. aika helppolukuinen lopputulos
1741992372478.png
 
Onkos ohjelmointikäyttöön suositella lokaaleja malleja? Ovatko nämä esim. kielispesifejä, vai ns. "yleismies jantusia" yleensä?

Gemma3 27B Q6.0 vaikutti ainakin varsin pätevältä yleis chattailuun ja tekstin editoimiseen. Sitä en vaan tajua, että vaikka LM Studio ilmeisesti lataa koko mallin ym. VRAM:iin, niin silti myös RAM usage on tapissa, vaikka "Keep model in memory" on pois päältä, ja layerit kaikki GPU:lla.

Pitäisikö sitä ostaa kone jossa on 64GB+ RAM jos haluaa lokaalisti ajella näitä niin, että muillakin softilla pystyisi tekemään jotain? Kun mallin ejectaa LM studiosta niin vapautuu kaikki näyttismuisti + 20 GB RAM:a.

Tai edes uudet muistikapulat, kuten 2x32GB eli 64GB, se ei nyt maksaisi älyttömästi, etenkään käytettynä. Nyt on 4x8GB eli 32GB.
 
Onkos ohjelmointikäyttöön suositella lokaaleja malleja? Ovatko nämä esim. kielispesifejä, vai ns. "yleismies jantusia" yleensä?

Gemma3 27B Q6.0 vaikutti ainakin varsin pätevältä yleis chattailuun ja tekstin editoimiseen. Sitä en vaan tajua, että vaikka LM Studio ilmeisesti lataa koko mallin ym. VRAM:iin, niin silti myös RAM usage on tapissa, vaikka "Keep model in memory" on pois päältä, ja layerit kaikki GPU:lla.

Pitäisikö sitä ostaa kone jossa on 64GB+ RAM jos haluaa lokaalisti ajella näitä niin, että muillakin softilla pystyisi tekemään jotain? Kun mallin ejectaa LM studiosta niin vapautuu kaikki näyttismuisti + 20 GB RAM:a.

Tai edes uudet muistikapulat, kuten 2x32GB eli 64GB, se ei nyt maksaisi älyttömästi, etenkään käytettynä. Nyt on 4x8GB eli 32GB.
Kaikki mun testaamat lokaalit suoltaa niin huonolaatuista koodia etten halua niitä käyttää. Ero valtava versus cs3.7 tai o3 mini high.

Lokaaleista testannut deep seek 70b(distilled lama), llama3.3 70b ja qwen coder 32b. Koneessa 128GB muistia(macbook pro m4 max)testannut mallien isoimmat versiot mitkä mahtuvat muistiin.
 
Viimeksi muokattu:
Onkos ohjelmointikäyttöön suositella lokaaleja malleja? Ovatko nämä esim. kielispesifejä, vai ns. "yleismies jantusia" yleensä?

Gemma3 27B Q6.0 vaikutti ainakin varsin pätevältä yleis chattailuun ja tekstin editoimiseen. Sitä en vaan tajua, että vaikka LM Studio ilmeisesti lataa koko mallin ym. VRAM:iin, niin silti myös RAM usage on tapissa, vaikka "Keep model in memory" on pois päältä, ja layerit kaikki GPU:lla.

Pitäisikö sitä ostaa kone jossa on 64GB+ RAM jos haluaa lokaalisti ajella näitä niin, että muillakin softilla pystyisi tekemään jotain? Kun mallin ejectaa LM studiosta niin vapautuu kaikki näyttismuisti + 20 GB RAM:a.

Tai edes uudet muistikapulat, kuten 2x32GB eli 64GB, se ei nyt maksaisi älyttömästi, etenkään käytettynä. Nyt on 4x8GB eli 32GB.
Erikoista, itsellä ainakin 5090 + Gemma 3 27B Q4-setti pysyy oikein vain näyttiksen muistissa kun kaikki LM Studion täpät on kytketty pois päältä ja GPU Offload maksimissa. Ohessa vielä tarkemmat asetukset:

1742049817156.png
 
Kaikki mun testaamat lokaalit suoltaa niin huonolaatuista koodia etten halua niitä käyttää. Ero valtava versus cs3.7 tai o3 mini high.

Lokaaleista testannut deep seek 70b(distilled lama), llama3.3 70b ja qwen coder 32b. Koneessa 128GB muistia(macbook pro m4 max)testannut mallien isoimmat versiot mitkä mahtuvat muistiin.

Kiitos. Minkälaista token/s mallit tuottavat tuolla raudalla? Itsellä nuo 20-30B Q5-Q6 tuottavat n. 30token/s 5090:llä.
 
Kiitos. Minkälaista token/s mallit tuottavat tuolla raudalla? Itsellä nuo 20-30B Q5-Q6 tuottavat n. 30token/s 5090:llä.
En osaa sanoa, tuottivat niin huonoa lopputulosta että into lokaalimalleihin hyytyi täysin. Videolla näkyy miten llama3.3 70B koodas, lopputulos näytti koodilta mutta ei todellakaan toiminut. Pilvihärvelit n-kertaa nopeampia ja tuottavat toimivan koodin. Lineaarisesti tuntuivat hidastuvan kun kasvatti mallin kokoa.

Aider standalone ja codeium plugin vscodeen tuntuivat toimivilta lokaalin kielimallin käyttöön koodauksen kanssa.

Tällä hetkellä jos olisi vain vaihtoehdot vain lokaali kieliavustin tai tee kaikki koodi itse menisin tuohon tee itse ratkaisuun.

 
Erikoista, itsellä ainakin 5090 + Gemma 3 27B Q4-setti pysyy oikein vain näyttiksen muistissa kun kaikki LM Studion täpät on kytketty pois päältä ja GPU Offload maksimissa. Ohessa vielä tarkemmat asetukset:

1742049817156.png

Tämä on jännä juttu, itsellä vaikka jäisi 5-10GB näyttiksen muistia vapaaksi, niin softa hörppää silti kaiken RAM:n. Tuo "keep model in memory" täppä ei tunnu vaikuttavan mihinkään.

E: näemmä "try mmap()" oli se muistia vievä vipu, eipä tajunnut nimestä päätellä mistä on kyse.
 

Statistiikka

Viestiketjuista
271 356
Viestejä
4 690 536
Jäsenet
76 748
Uusin jäsen
Ebunrapu

Hinta.fi

Back
Ylös Bottom