SanDisk esitteli uuden High Bandwidth Flash -teknologian kilpailemaan tekoälykiihdytinten muistimarkkinoista

[Kaotik]

Western Digitalista erilliseksi pörssiyhtiöksi irrotettu SanDisk on pitänyt ensimmäiset sijoittajapäivänsä ja esitellyt siellä uutta mielenkiintoista teknologiaa. Kenellekään ei varmasti tule yllätyksenä, että SanDiskin esittelemä uusi muistiteknologia on suunniteltu nimenomaan tekoälykäyttöön.

SanDiskin esittelemä uusi teknologia tottelee nimeä High-Bandwidth Flash eli HBF. Se on luotu käytännössä kilpailemaan HBM-muistien kanssa tehokkaiden tekoälykiihdyttimien markkinoilla, mutta osaa yhteistyönkin salat. Yhtiön mukaan se kykenee tarjoamaan teknologialla jopa 8-16 kertaa enemmän kapasiteettia vastaavalla muistikaistalla.



Päällisin puolin HBF vaikuttaa aivan HBM-muistilta, mutta sen tapauksessa käytetään SDRAM-muistien sijasta NAND-muisteja pinottuna maksimissaan 16 kerrokseen. SanDiskin mukaan HBF:ssä on ajateltu NAND-muistien funktio ja sen myötä suunnittelu uudelleen. Siinä missä perinteiset Flash-piirit on optimoitu nimenomaan kustannustehokkaaksi yhdellä massiivisella soluverkostolla yhden I/O-portin päässä, on HBF:ssä lukuisia pieniä soluverkostoja ja jokaisella niistä omat I/O-portit. Se, miten NAND-muistien kirjoituskestävyydestä on huolehdittu jää paljastettavaksi myöhemmin.



SanDiskin ensimmäisen sukupolven HBF-muistit käyttävät yhtiön itse kehittämää, uutta sirujen pinoamistapaa, joka pitää sirujen vääntymisen äärimmäisen vähäisenä ja siten mahdollistaa 16 kerrosta. Kuten HBM:nkin tapauksessa, itse muistipinojen alta löytyy logiikkaa ja fyysiset rajapinnat sisältävä pohjasiru. Yhtiö kertoo konsultoineensa muistien kehityksessä lukuisia merkittäviä tekijöitä tekoälymarkkinoilla ja saaneensa kehitettyä teknologian noin vuodessa.

Teknologian toisen sukupolven uskotaan lisäävän kapasiteettia 50 % ja lukunopeutta 45 % ja kolmannen sukupolven nostavan sekä kapasiteetin että lukunopeuden kaksinkertaisiksi ensimmäiseen verrattuna. Energiatehokkuus on merkitty diaan niin erikoisesti, että joko 2. ja 3. sukupolvi tulevat huonontamaan energiatehokkuutta, tai sitten ne pienentävät kulutusta noin 20 % per sukupolvi.


SanDiskin esittelemässä vertailurenderöinnissä oli GPU kahdeksalla HBM-muistipinolla, mikä tarkoitti 192 Gt:n muistikapasiteettia, ja sen rinnalla HBF-muisteilla varustettu vastaava GPU, jossa on muistia jopa 4 teratavua, seuraavassa diassa asetelma oli muuten vastaava, mutta HBF-kuvassa kaksi pinoista oli korvattu HBM-muisteilla; ne voivat siis toimia tarpeen mukaan myös rinnakkain. Se on suunnattu nimenomaan inference- eli päättelytehtäviä tekeviin kokoonpanoihin, ei niinkään tekoälyn opetukseen.

Lähde Tom’s Hardware

 

[Timo 2]

Eikös NAND ole aikasta paljon hitaampaa, kuin SDRAM?

 

[Kaotik]

Eikös NAND ole aikasta paljon hitaampaa, kuin SDRAM?

Oletuksena kyllä, koska oletuksena NANDista on haluttu halpaa, tehdään pirusti soluja mutta vain yksi jaettu I/O koko roskaan, näissä on taas vähän vähemmän soluja jaettuna pirun moneen palaan ja jokasella oma I/O, ihan kuten uutisen tokassa kuvassa näkyy.
Sillä tehdään nopeutta, mutta hinta ja datatiheys laskee.

 

[Timo 2]

Oletuksena kyllä, koska oletuksena NANDista on haluttu halpaa, tehdään pirusti soluja mutta vain yksi jaettu I/O koko roskaan, näissä on taas vähän vähemmän soluja jaettuna pirun moneen palaan ja jokasella oma I/O, ihan kuten uutisen tokassa kuvassa näkyy.
Sillä tehdään nopeutta, mutta hinta ja datatiheys laskee.

Joo, mutta suurin kysymys onkin kuinka paljon sitä nopeutta saadaan?
Jos tällä uudella tavalla nopeus on 90 % SDRAMin nopeudesta, niin tää on loistoidea. Jos tasen saadaan vain 10 % lisää nopeutta nähden tavalliseen NANDiin, niin ei lyö leiville.

 

[Kaotik]

Joo, mutta suurin kysymys onkin kuinka paljon sitä nopeutta saadaan?
Jos tällä uudella tavalla nopeus on 90 % SDRAMin nopeudesta, niin tää on loistoidea. Jos tasen saadaan vain 10 % lisää nopeutta nähden tavalliseen NANDiin, niin ei lyö leiville.

Yhtiön väitehän oli että yltää HBM:n kaistaan.

 

[pulatunnus]

Yhtiön väitehän oli että yltää HBM:n kaistaan.

Hinta kilpailukyky meni ohi, mutta ilmeisesti kisaa ensisijaisesti muistin määrällä, ja Ai kirjaimet luo mielikuvaa että rahalla saa.

Flash tegnlogiasta tulee mieleen haihtumattomat muistit, siitä ei taidettu mainita mitään, eli ei ole, tai se ei ole myyntivaltti.

 

[zepi]

AI-infferenssissä kirjoituskestävyys ei ole ongelma, koska ne mallin datat ovat muistissa pääosin muuttumattomina ja lähes read-only tilassa. Tämä saattaisikin toimia infferenssikäyttöön mainiosti, jos esim. Samaa mallia ajetaan aina kuukausi putkeen ennen uuden mallin käyttöönottoa, niin kirjoituskerrat eivät tule koskaan täyteen.

Kunhan kaistanleveys saadaan suureksi, niin GPU:n cacheilla voitaneen piilottaa latenssia kohtuullisesti.