SanDisk esitteli uuden High Bandwidth Flash -teknologian kilpailemaan tekoälykiihdytinten muistimarkkinoista

[Kaotik]

Western Digitalista erilliseksi pörssiyhtiöksi irrotettu SanDisk on pitänyt ensimmäiset sijoittajapäivänsä ja esitellyt siellä uutta mielenkiintoista teknologiaa. Kenellekään ei varmasti tule yllätyksenä, että SanDiskin esittelemä uusi muistiteknologia on suunniteltu nimenomaan tekoälykäyttöön.

SanDiskin esittelemä uusi teknologia tottelee nimeä High-Bandwidth Flash eli HBF. Se on luotu käytännössä kilpailemaan HBM-muistien kanssa tehokkaiden tekoälykiihdyttimien markkinoilla, mutta osaa yhteistyönkin salat. Yhtiön mukaan se kykenee tarjoamaan teknologialla jopa 8-16 kertaa enemmän kapasiteettia vastaavalla muistikaistalla.



Päällisin puolin HBF vaikuttaa aivan HBM-muistilta, mutta sen tapauksessa käytetään SDRAM-muistien sijasta NAND-muisteja pinottuna maksimissaan 16 kerrokseen. SanDiskin mukaan HBF:ssä on ajateltu NAND-muistien funktio ja sen myötä suunnittelu uudelleen. Siinä missä perinteiset Flash-piirit on optimoitu nimenomaan kustannustehokkaaksi yhdellä massiivisella soluverkostolla yhden I/O-portin päässä, on HBF:ssä lukuisia pieniä soluverkostoja ja jokaisella niistä omat I/O-portit. Se, miten NAND-muistien kirjoituskestävyydestä on huolehdittu jää paljastettavaksi myöhemmin.



SanDiskin ensimmäisen sukupolven HBF-muistit käyttävät yhtiön itse kehittämää, uutta sirujen pinoamistapaa, joka pitää sirujen vääntymisen äärimmäisen vähäisenä ja siten mahdollistaa 16 kerrosta. Kuten HBM:nkin tapauksessa, itse muistipinojen alta löytyy logiikkaa ja fyysiset rajapinnat sisältävä pohjasiru. Yhtiö kertoo konsultoineensa muistien kehityksessä lukuisia merkittäviä tekijöitä tekoälymarkkinoilla ja saaneensa kehitettyä teknologian noin vuodessa.

Teknologian toisen sukupolven uskotaan lisäävän kapasiteettia 50 % ja lukunopeutta 45 % ja kolmannen sukupolven nostavan sekä kapasiteetin että lukunopeuden kaksinkertaisiksi ensimmäiseen verrattuna. Energiatehokkuus on merkitty diaan niin erikoisesti, että joko 2. ja 3. sukupolvi tulevat huonontamaan energiatehokkuutta, tai sitten ne pienentävät kulutusta noin 20 % per sukupolvi.


SanDiskin esittelemässä vertailurenderöinnissä oli GPU kahdeksalla HBM-muistipinolla, mikä tarkoitti 192 Gt:n muistikapasiteettia, ja sen rinnalla HBF-muisteilla varustettu vastaava GPU, jossa on muistia jopa 4 teratavua, seuraavassa diassa asetelma oli muuten vastaava, mutta HBF-kuvassa kaksi pinoista oli korvattu HBM-muisteilla; ne voivat siis toimia tarpeen mukaan myös rinnakkain. Se on suunnattu nimenomaan inference- eli päättelytehtäviä tekeviin kokoonpanoihin, ei niinkään tekoälyn opetukseen.

Lähde Tom’s Hardware

 

[Timo 2]

Eikös NAND ole aikasta paljon hitaampaa, kuin SDRAM?

 

[Kaotik]

Eikös NAND ole aikasta paljon hitaampaa, kuin SDRAM?

Oletuksena kyllä, koska oletuksena NANDista on haluttu halpaa, tehdään pirusti soluja mutta vain yksi jaettu I/O koko roskaan, näissä on taas vähän vähemmän soluja jaettuna pirun moneen palaan ja jokasella oma I/O, ihan kuten uutisen tokassa kuvassa näkyy.
Sillä tehdään nopeutta, mutta hinta ja datatiheys laskee.

 

[Timo 2]

Oletuksena kyllä, koska oletuksena NANDista on haluttu halpaa, tehdään pirusti soluja mutta vain yksi jaettu I/O koko roskaan, näissä on taas vähän vähemmän soluja jaettuna pirun moneen palaan ja jokasella oma I/O, ihan kuten uutisen tokassa kuvassa näkyy.
Sillä tehdään nopeutta, mutta hinta ja datatiheys laskee.

Joo, mutta suurin kysymys onkin kuinka paljon sitä nopeutta saadaan?
Jos tällä uudella tavalla nopeus on 90 % SDRAMin nopeudesta, niin tää on loistoidea. Jos tasen saadaan vain 10 % lisää nopeutta nähden tavalliseen NANDiin, niin ei lyö leiville.

 

[Kaotik]

Joo, mutta suurin kysymys onkin kuinka paljon sitä nopeutta saadaan?
Jos tällä uudella tavalla nopeus on 90 % SDRAMin nopeudesta, niin tää on loistoidea. Jos tasen saadaan vain 10 % lisää nopeutta nähden tavalliseen NANDiin, niin ei lyö leiville.

Yhtiön väitehän oli että yltää HBM:n kaistaan.

 

[pulatunnus]

Yhtiön väitehän oli että yltää HBM:n kaistaan.

Hinta kilpailukyky meni ohi, mutta ilmeisesti kisaa ensisijaisesti muistin määrällä, ja Ai kirjaimet luo mielikuvaa että rahalla saa.

Flash tegnlogiasta tulee mieleen haihtumattomat muistit, siitä ei taidettu mainita mitään, eli ei ole, tai se ei ole myyntivaltti.

 

[zepi]

AI-infferenssissä kirjoituskestävyys ei ole ongelma, koska ne mallin datat ovat muistissa pääosin muuttumattomina ja lähes read-only tilassa. Tämä saattaisikin toimia infferenssikäyttöön mainiosti, jos esim. Samaa mallia ajetaan aina kuukausi putkeen ennen uuden mallin käyttöönottoa, niin kirjoituskerrat eivät tule koskaan täyteen.

Kunhan kaistanleveys saadaan suureksi, niin GPU:n cacheilla voitaneen piilottaa latenssia kohtuullisesti.

 

[hkultala]

Ohoh, oli mennyt kokonaan ohi tämä.

Yltää HBM:n teoreettiseen lukukaistaan, mutta millaisilla viiveillä?

Olettaisin viiveiden olevan aika kauheita.


Ja kirjoitukset on sitten vielä asia erikseen. NAND-flashiin kirjoitukset tehdä lohko kerrallaan (ensin koko lohko tyhjennetään, sitten sinne kirjoitetaan data, ja pitää kirjoittaa takaisin se lohkon muu data). Vaikka haluttaiisin kirjoittaa vain yksi tavu, pitää kirjoittaa kymmeniä kilotavuja.

 

[hsalonen]

Yltää HBM:n teoreettiseen lukukaistaan, mutta millaisilla viiveillä?

Olettaisin viiveiden olevan aika kauheita.

Viiveitä voi paikata cachellä ja ennakoivalla luvulla.
Eiköhän tuon päällä ole jotain nopeampaa muistia, jota älykäs kontrolleri käyttää. Lisäksi rinnakkaisuus on korkea, niin voi päästä koviin nopeuksiin, jos luku on sekventiaalista ja cache optimoitu tällaisille kuormille.

 

[hkultala]

Viiveitä voi paikata cachellä ja ennakoivalla luvulla.
Eiköhän tuon päällä ole jotain nopeampaa muistia, jota älykäs kontrolleri käyttää. Lisäksi rinnakkaisuus on korkea, niin voi päästä koviin nopeuksiin, jos luku on sekventiaalista ja cache optimoitu tällaisille kuormille.

Itse asiassa nimenomaan tässä se välimuisti ei toimi kovin hyvin, koska ei ole sellaista (modernia) muistitekniikkaa joka sopisi hyvin välimuistiksi tälle.

Perinteisesti levyvälimuisteina on käytetty DRAMia, mutta se pitää tehdä erillisellä valmistustekniikalla erillisenä piirinä, ja kun halutaan hyvin suurta kaistaa, pitäisi olla hyvin suuri määrä rinnakkaisia DRAM-piirejä, mikä tulee pakosti melko kalliiksi (pieniä halpoja nopeita DRAM-muistipiirejä ei ole saatavilla).

Ja SRAM (jota voidaan ohjainpiirille laittaa logiikan sekaan myös hyvin pienellä granulariteetilla) taas on aina kallista tilavuutta kohden.

Oikeastaaan, DRAMilla se välimuisti olisi liian iso, ja SRAMilla se olisi liian pieni.


Ja eDRAM joka menisi myös sinne ohjainpiirille ja tarjoisi suuren kaistan pienessä koossa taas ei toimi nykyaikaisilla valmistustekniikoilla. Tosin, ehkä voisi olla mahdollinen, jos ohjainpiiri tehdäänkin muinaisella valmistustekniikalla. Viimeiset valmistustekniikat joilla eDRAM toimi taisi Inteliltä olla "22nm" prosessi mutta Globalfoundriesilla saattoi olla joku inasen pienempi uudempi halpisprosessi jolla se myös onnistuu (markkinointiluku jotain "14" mutta lähempänä Intelin "22"sta kuin "14"aa todellisilta mitoiltaan ja ominaisuuksiltaan)

Todennäköisesti näiden ohjaimessa on jonkinlainen SRAM-pohjainen välimuisti, mutta se on käytännössä hyvin pieni, ja toiminee lähinnä vain noihin äärimmäisen yksinkertaisten lineaaristen lukupatternien prefetchaamiseen.

Jos yhtään alkaa tulemaan accesseja satunnaisiin/monimutkaisemmalla patternilla oleviin osoitteisiin, mennee hitaaksi.


Käytännössä tämä muistityyppi toimii nopeasti lähinnä vain siihen, että sinne on tallennettu neuroverkkojen kertoimia ja aina tiedetään pitkän aikaa etukäteen, että seuraavaksi tarvitaan tuon kerroksen kertoimet jotka löytyy tuolta.
Tai no, toiminee hyvin myös johonkin videoeditointiin, joissa myös tehdään hyvin lineaarisia lukuja.