Pamnesia mahdollistaa GPU:n muistin laajentamisen CXL-väylän avulla

[Kaotik]

Kaotik kirjoitti uutisen/artikkelin:
Näytönohjainten käytössä oleva muistimäärä on noussut monen puheen aiheeksi tekoälyn nousun myötä. Nyt ongelmaan tarjoaa omanlaistaan ratkaisua korealainen startup Pamnesia.

Pamnesia on kehittänyt CXL-väylää (Compute Express Link) hyödyntävän ratkaisun näytönohjainten muistipulaan tekoälylaskennassa. CXL-väylään sopivat muistinjatkeet eivät sinänsä ole uusi asia, mutta tähän asti ne on suunnattu keskusmuistin kasvattamiseen. CXL-väylä käyttää samaa fyysistä väylää, kuin PCI Express, mutta omin protokollin.



Vaikka CXL-muistilaajennokset ovat tuttu juttu muualta, näytönohjainten puolella niitä ei ole tuettu eivätkä nykynäytönohjainten muistiohjaimet tunnista mahdollisia laajennoksia, pois lukien Unified Virtual Memoryn kautta, jolloin koko järjestelmälle näkyy vain yksi laaja muistiavaruus. UVM:n ongelma on kuitenkin sen hitaus.





Pamnensia kehitti tämän vuoksi oman CXL 3.1 -standardin mukaisen muistilaajennoksia tukevan ”root complexin”, mikä yhdistää sen takana olevan laitteen muihin laitteisiin. Useampi porttinen root complex yhdistää GPU:n muistilaajennoksiin ja niiden välissä oleva Host-managed Device Memory- eli HDM-dekooderi, joka ”huijaa” GPU:n luulevan sen takana muistin olevan keskusmuistia, vaikka todellisuudessa se on selvästi nopeampaa ja nopeamman väylän päässä. Tom’s Hardwaren raportin mukaan Pamnesian järjestelmällä viiveet ovat vain kaksinumeroisia nanosekunneissa, eli jotain väliltä 10-99 nanosekuntia. Muistilaajennokseen voidaan käyttää sekä DRAM-muisteja että NVMe-asemia.



CXL:n avoimen lähdekoodin prototyyppi-GPU:lla tekemissä testeissä oli mukana aiemminkin uutisessa mainittu UVM-tila, ilmeisesti Samsungin ja Metan käsialaa oleva ”CXL-Proto” sekä Pamnesian ”CXL-Opt”. Testien mukaan IPC:n puolella CXL-Proto oli 65 % ja CXL-Opt jopa 222 % nopeampi, kuin UVM. Vastaavasti kernelin suoritusaika lyheni selvästi, mutta ilman tarkempia lukuja on mahdotonta arvioida mitä matematiikan kanssa ristiriidassa olevat lukemat todellisuudessa kertovat.

Pamnesian teknologia vaikuttaa taivaan lahjalta moneen tekoälytehtävään, mutta ennen sen käyttöön ottoa AMD:n, Intelin ja NVIDIAn pitäisi toteuttaa tuki CXL-muistilaajennoksille.

Lähde: Tom's Hardware

Linkki alkuperäiseen juttuun