SK Hynix ja SanDisk aloittivat HBF-muistien standardoinnin

[Kaotik]

Open Compute Platformin alaisuudessa tehtävä standardointi tuo High Bandwidth Flash -muistit täyttämään aukkoa nopeiden HBM-muistien ja suurikapasiteettisten tallennusmedioiden välillä.

Uutisoimme reilu vuosi sitten SanDiskin esitelleen uuden High Bandwidth Flash -teknologian kilpailemaan tekoälymarkkinoilla HBM-muistien kanssa. Nyt SK Hynix ja Sandisk ovat alkaneet HBF:n standardointiprosessin Open Compute Projectin alaisuudessa.

SanDiskin alun perin kehittelemä HBF-teknologia muistuttaa hyvin läheisesti HBM-muisteja, mutta DRAM-sirujen sijasta niissä on pinottu päällekkäin enintään 16 NAND Flash -sirua. Flash-muistit on perinteisesti suunniteltu kustannustehokkuus edellä käyttämällä yhtä I/O-porttia massiivisen soluverkoston kaverina, mutta HBF:ssä käytetään sen sijasta useita soluverkostoja ja useita I/O-portteja kaistan maksimoimiseksi.

HBF-muistin piti alkuperäisen esittelyn mukaan tarjota HBM-muistia vastaavaa kaistaa, mutta SK Hynixin tiedotteessa annetaan tilanteesta hieman erilainen kuva. Tiedotteen mukaan HBF täyttää aukon erittäin nopeiden HBM-muistien ja korkean kapasiteetin tallennusmedioiden välillä. Ne on suunniteltu erityisesti päättelytehtäviin, joissa muistin kapasiteetilla on suuri merkitys. SanDiskin aiemmassa esittelyssä kahdeksalla HBM-pinolla varustetulla piirillä oli käytössään 192 Gt muistia, kun kahdeksalla HBF-sirulla päästään jopa 4 teratavuun. Lisäksi HBF-muisteja voidaan käyttää HBM-muistien rinnalla, jolloin piirille voidaan tarjota pienempi määrä erittäin korkean kaistan HBM-muistia ja suuri määrä HBF-muistia sen rinnalla.

Lähde: SK Hynix

 

[Griffin]

Koska flahissä on erittäin rajallinen kirjoituskertojen määrä, niin tuo pitää saada omalle piirilleen tms, joka on kannassa ja vaihdettavissa.

Muutenhan tuo on hyvä, esim näyttiksissä voidaan normi muistinmäärää tiputtaa tuollaisen kanssa reippaasti, kun tekstuurit ym muuttumaton tieto voidaan tallentaa tuonne.. ja ne voidaan jättää sinne käyttökertojen välillä, kun tuo voi olla kooltaan huomattavan iso.

 

[Benedictus]

Ne on suunniteltu erityisesti päättelytehtäviin, joissa muistin kapasiteetilla on suuri merkitys.

Siis johonkin, mitä ei ole edes olemassa. Tässä video, jossa amerikkalainen proffa selittää muutaman keskeisen jutun tekoälyistä: Model Collapse Ends AI Hype - YouTube. Yhtenä käsiteltynä asiana videolla nimenomaan, että päättelymallit eivät oikeasti päättele. Eikä tällä hetkellä kenelläkään ole mitään käsitystä, miten ne saisi päättelemään.

Oletin, että ne olisivat jollain tavalla eri tekniikalla toteutettuja kuin tavalliset kielimallit. Sillä tavalla, että esimerkiksi tunnistaisivat annetusta materiaalista avainsanoja, ja sitten toteuttaisivat käsin ohjelmoituja operaatioita annetun tehtävän rakenteen mukaisesti. Siis että ne olisivat kokoelma jonkinlaista ohjelmakoodia, joka oikeasti toteuttaisi annettuja operaatioita. Vähän samalla tavalla kuin lukiolainen laskee matematiikan tehtäviä.

Soveltaen videon esimerkkiä: Lapset leikkivät puuhelmillä nukkuma-aikaan asti. Kun vaimo meni nukuttamaan lapsia, Matti keräsi puuhelmet lattialta. Ruokahuoneesta hän keräsi kahdeksan, olohuoneesta seitsemän. Puuhelmistä yhteensä viisi oli punaisia. Montako puuhelmeä Matti keräsi yhteensä?

Päättelymallit tunnistavat esitetyn tehtävän muodon, mutta eivät ymmärrä siinä olevien sanojen merkitystä. Ne tunnistavat, että kahdeksan, seitsemän ja viisi ovat numeroita, joilla tehtävässä tehdään jotain. Mutta koska sellainen muoto on yleisempi, jossa tieto viidestä helmestä miinustetaan koko summasta, kuin sellainen, jossa se on epärelevantti, päättelymalli todennäköisesti vastaa, että Matti keräsi 8 + 7 - 5 = 10 puuhelmeä.

Eli sen sijaan, että malli oikeasti osaisi ajatella tai päätellä, sen sisältämään neuroverkkoon on tallennettu erilaisien päättelyketjujen ulkoisia muotoja. Nämä "päättelymallit" ovat siis edelleen vain pieni muunnos kielimalleista. On pelkkä väärinkäsitys ajatella, että ne olisivat jollain tavalla lähempänä "oikeaa ajattelua". Siksi niiden kyky toteuttaa helppojakin päätelmiä, joissa askeleiden määrä menee yli tietyn rajan, putoaa käytännössä nollaan. Tämä nimenomaan siksi, että ne eivät etene askel askeleelta ja "ymmärrä" aikaisempien vaiheiden merkitystä. Kun pyydetty päätelmä on pidempi kuin koulutusmateriaalissa esiintyneet, mallin kyky löytää sille vastine romahtaa.

Nämä tulevat loppuun asti olemaan pelkkiä leluja. Siinä ei olisi mitään vikaa, jos ei hintalappu olisi sadoissa miljardeissa dollareissa, ja tulisi lopulta tavallisten veronmaksajien maksettavaksi. Syy tähän on siinä, että komputaatio ja logiikka eivät pohjimmiltaan, olemuksellisesti, ole sama asia. Niillä on tietty suhde, mutta ne eivät ole sama asia. Liittyy jotenkin varhaisiin tietojenkäsittelyn pioneereihin, että tämä ero on hämärtynyt.

Mielenkiintoinen kysymys vaan, että sitten, kun tekoälybuumi on ohi, koska kenelläkään ei ole varaa siihen, eikä se tuota mitään arvokasta, niin jääkö HBF:lle joku siitä riippumaton käyttötarkoitus? Onko HBF edullisempaa ja nopeampaa kuin GDDR7? Hyötyisikö joku Nvidia RTX 6090 siitä?

 

[Kaotik]

Siis johonkin, mitä ei ole edes olemassa. Tässä video, jossa amerikkalainen proffa selittää muutaman keskeisen jutun tekoälyistä: Model Collapse Ends AI Hype - YouTube. Yhtenä käsiteltynä asiana videolla nimenomaan, että päättelymallit eivät oikeasti päättele. Eikä tällä hetkellä kenelläkään ole mitään käsitystä, miten ne saisi päättelemään.

Oletin, että ne olisivat jollain tavalla eri tekniikalla toteutettuja kuin tavalliset kielimallit. Sillä tavalla, että esimerkiksi tunnistaisivat annetusta materiaalista avainsanoja, ja sitten toteuttaisivat käsin ohjelmoituja operaatioita annetun tehtävän rakenteen mukaisesti. Siis että ne olisivat kokoelma jonkinlaista ohjelmakoodia, joka oikeasti toteuttaisi annettuja operaatioita. Vähän samalla tavalla kuin lukiolainen laskee matematiikan tehtäviä.

Soveltaen videon esimerkkiä: Lapset leikkivät puuhelmillä nukkuma-aikaan asti. Kun vaimo meni nukuttamaan lapsia, Matti keräsi puuhelmet lattialta. Ruokahuoneesta hän keräsi kahdeksan, olohuoneesta seitsemän. Puuhelmistä yhteensä viisi oli punaisia. Montako puuhelmeä Matti keräsi yhteensä?

Päättelymallit tunnistavat esitetyn tehtävän muodon, mutta eivät ymmärrä siinä olevien sanojen merkitystä. Ne tunnistavat, että kahdeksan, seitsemän ja viisi ovat numeroita, joilla tehtävässä tehdään jotain. Mutta koska sellainen muoto on yleisempi, jossa tieto viidestä helmestä miinustetaan koko summasta, kuin sellainen, jossa se on epärelevantti, päättelymalli todennäköisesti vastaa, että Matti keräsi 8 + 7 - 5 = 10 puuhelmeä.

Eli sen sijaan, että malli oikeasti osaisi ajatella tai päätellä, sen sisältämään neuroverkkoon on tallennettu erilaisien päättelyketjujen ulkoisia muotoja. Nämä "päättelymallit" ovat siis edelleen vain pieni muunnos kielimalleista. On pelkkä väärinkäsitys ajatella, että ne olisivat jollain tavalla lähempänä "oikeaa ajattelua". Siksi niiden kyky toteuttaa helppojakin päätelmiä, joissa askeleiden määrä menee yli tietyn rajan, putoaa käytännössä nollaan. Tämä nimenomaan siksi, että ne eivät etene askel askeleelta ja "ymmärrä" aikaisempien vaiheiden merkitystä. Kun pyydetty päätelmä on pidempi kuin koulutusmateriaalissa esiintyneet, mallin kyky löytää sille vastine romahtaa.

Nämä tulevat loppuun asti olemaan pelkkiä leluja. Siinä ei olisi mitään vikaa, jos ei hintalappu olisi sadoissa miljardeissa dollareissa, ja tulisi lopulta tavallisten veronmaksajien maksettavaksi. Syy tähän on siinä, että komputaatio ja logiikka eivät pohjimmiltaan, olemuksellisesti, ole sama asia. Niillä on tietty suhde, mutta ne eivät ole sama asia. Liittyy jotenkin varhaisiin tietojenkäsittelyn pioneereihin, että tämä ero on hämärtynyt.

Mielenkiintoinen kysymys vaan, että sitten, kun tekoälybuumi on ohi, koska kenelläkään ei ole varaa siihen, eikä se tuota mitään arvokasta, niin jääkö HBF:lle joku siitä riippumaton käyttötarkoitus? Onko HBF edullisempaa ja nopeampaa kuin GDDR7? Hyötyisikö joku Nvidia RTX 6090 siitä?

Päättely on ehkä huono käännös, mutta ei se inference muutenkaan taivu