NeliYgönen
Ylläpidon jäsen
- Liittynyt
- 02.07.2020
- Viestejä
- 365
Llama 4:n versiot ovat aluksi Scout ja Maverick, mutta kehitteillä on myös nimensäkin mukaan massiivinen Behemoth -versio.
Yhdysvaltalaisen Metan satsaus tekoälybuumiin on sen Llama-malli, joka on edennyt neljänteen versioonsa. Llama 4:stä on Euroopan ulkopuolella saatavilla mallit Scout ja Maverick, joiden lisäksi kehitteillä on myös pienempien mallien ”opettajamalli” Behemoth.
Llama 4 Scout on suunniteltu toimimaan FP4-tarkkuudella (4-bit Floating Point) NVIDIAn datakeskuksiin suunnatuissa H100-näytönohjaimissa. Verrattain matalaa tarkkuutta kompensoi mallissa hyödynnettävä MoE-arkkitehtuuri (Mixture of Experts), eli mallin jakaminen alamalleihin tai ”ekspertteihin”, jotka aktivoidaan tarpeen mukaan käyttäjän syötteestä riippuen. Arkkitehtuuri säästää laskentatehoa ja parantaa mallin tehokkuutta. Scout pystyykin käsittelemään jopa 10 miljoonan tokenin syötteitä. Tokenit ovat käytännössä esimerkiksi sanoja, tavuja tai merkkejä, joita tekoälymalli käsittelee.
MoE-arkkitehtuuri
Llama 4 Maverick käyttää FP4:n sijasta FP8-tarkkuuttta FP8-tarkkuuteen. Siinä on myös 128 alamallia eli ”eksperttiä”, kun taas Scoutissa niitä on 16. Suurempi määrä mahdollistaa syötteen tarkemman käsittelyn hyvin aikaisessa vaiheessa. Molemmat uutuusmallit ovat multimodaalisia, eli ne pystyvät tiedonkäsittelyssään hyödyntämään dataa sekä tekstistä että kuvista samanaikaisesti.
Lisäksi Metalla on koulutusvaiheessa massiivinen Behemoth-malli, jota käytetään mm. Maverickin ja Laman opettamiseen. Behemoth pystyy hyödyntämään yhteensä jopa kahta biljoonaa parametria tiedonkäsittelyssään, kun taas Maverickilla niitä on kokonaisuudessaan käytössä 400 miljardia ja Scoutilla 109 miljardia.
Toistaiseksi Metan tekoälypalvelut eivät ole kuitenkaan käytettävissä Euroopassa EU:n säädösten vuoksi.
Lähde: TechPowerUp
Yhdysvaltalaisen Metan satsaus tekoälybuumiin on sen Llama-malli, joka on edennyt neljänteen versioonsa. Llama 4:stä on Euroopan ulkopuolella saatavilla mallit Scout ja Maverick, joiden lisäksi kehitteillä on myös pienempien mallien ”opettajamalli” Behemoth.
Llama 4 Scout on suunniteltu toimimaan FP4-tarkkuudella (4-bit Floating Point) NVIDIAn datakeskuksiin suunnatuissa H100-näytönohjaimissa. Verrattain matalaa tarkkuutta kompensoi mallissa hyödynnettävä MoE-arkkitehtuuri (Mixture of Experts), eli mallin jakaminen alamalleihin tai ”ekspertteihin”, jotka aktivoidaan tarpeen mukaan käyttäjän syötteestä riippuen. Arkkitehtuuri säästää laskentatehoa ja parantaa mallin tehokkuutta. Scout pystyykin käsittelemään jopa 10 miljoonan tokenin syötteitä. Tokenit ovat käytännössä esimerkiksi sanoja, tavuja tai merkkejä, joita tekoälymalli käsittelee.
MoE-arkkitehtuuri
Llama 4 Maverick käyttää FP4:n sijasta FP8-tarkkuuttta FP8-tarkkuuteen. Siinä on myös 128 alamallia eli ”eksperttiä”, kun taas Scoutissa niitä on 16. Suurempi määrä mahdollistaa syötteen tarkemman käsittelyn hyvin aikaisessa vaiheessa. Molemmat uutuusmallit ovat multimodaalisia, eli ne pystyvät tiedonkäsittelyssään hyödyntämään dataa sekä tekstistä että kuvista samanaikaisesti.
Lisäksi Metalla on koulutusvaiheessa massiivinen Behemoth-malli, jota käytetään mm. Maverickin ja Laman opettamiseen. Behemoth pystyy hyödyntämään yhteensä jopa kahta biljoonaa parametria tiedonkäsittelyssään, kun taas Maverickilla niitä on kokonaisuudessaan käytössä 400 miljardia ja Scoutilla 109 miljardia.
Toistaiseksi Metan tekoälypalvelut eivät ole kuitenkaan käytettävissä Euroopassa EU:n säädösten vuoksi.
Lähde: TechPowerUp
Viimeksi muokannut ylläpidon jäsen:
