Näytönohjain äänitiedostojen litterointiin AI:lla

[saamu]

Oon tippunut täysin näytönohjainkehityksen kelkasta. Normikäytössä näytönohjaimella ei ole minulla mitään merkitystä, koska en pelaa laisinkaan. Nyt on kuitenkin ilmennyt seuraavanlaista tarvetta näytönohjaimelle.

Minulla olisi tarve ajaa automaattilitterointia tuhansiin tunteihin äänimateriaalia tällä openai/whisper-large-v3 · Hugging Face mallilla. Tuo ilmeisesti hyötyisi aika paljon GPU:sta.

Nettiä lueskelemalla vaikuttaisi lisäksi, että näytönohjaimen suuri muistimäärä olisi hyödyllinen. Tämä Whisper Large v3 Benchmark: 1 Million hours for just $5110 vuoden vanha kirjoitus heittää kaksi vaihtoehtoa:

-Paras hinta/laatu-suhde RTX 3060
-Nopein litterointi RTX 4080

Mutta mikä olisi tällä hetkellä hinta/laatu-suhteeltaan paras tällaiseen tarpeeseen?

Koneena tällä hetkellä: AMD Ryzen 5600X, muistia 16 Gt ja näyttis GTX 770 sekä käyttöjärjestelmälevynä Corsair MP600 2 Tt ja äänieditointikäytössä Crucial T705 2Tt.

 

[finWeazel]

Oon tippunut täysin näytönohjainkehityksen kelkasta. Normikäytössä näytönohjaimella ei ole minulla mitään merkitystä, koska en pelaa laisinkaan. Nyt on kuitenkin ilmennyt seuraavanlaista tarvetta näytönohjaimelle.

Minulla olisi tarve ajaa automaattilitterointia tuhansiin tunteihin äänimateriaalia tällä openai/whisper-large-v3 · Hugging Face mallilla. Tuo ilmeisesti hyötyisi aika paljon GPU:sta.

Nettiä lueskelemalla vaikuttaisi lisäksi, että näytönohjaimen suuri muistimäärä olisi hyödyllinen. Tämä Whisper Large v3 Benchmark: 1 Million hours for just $5110 vuoden vanha kirjoitus heittää kaksi vaihtoehtoa:

-Paras hinta/laatu-suhde RTX 3060
-Nopein litterointi RTX 4080

Mutta mikä olisi tällä hetkellä hinta/laatu-suhteeltaan paras tällaiseen tarpeeseen?

Koneena tällä hetkellä: AMD Ryzen 5600X, muistia 16 Gt ja näyttis GTX 770 sekä käyttöjärjestelmälevynä Corsair MP600 2 Tt ja äänieditointikäytössä Crucial T705 2Tt.

Eiköhän parhaat uudet löydy nvidian 50x0 sarjasta. Jos sulle olisi riittänyt 3060:a niin 5060ti 16GB hankintaan?

 

[saamu]

Eli onko 5060ti 16GB hinta-/laatu-suhteeltaan ihan järkevä laite?

 

[finWeazel]

Eli onko 5060ti 16GB hinta-/laatu-suhteeltaan ihan järkevä laite?

Tuskin. 5060ti on halvin uutena myynnissä oleva 16GB muistilla oleva nvidia. Halvin varmaan joku käytetty kortti tai jos uskot saavasi softat toimimaan niin joku amd 16GB+ muistilla. Halvimmat 16GB 5060ti:t karvan alle 500e.

Todennäköisesti tosin saisit halvemmalla murskattua tiedostot vuokraamalla pilvestä raudan. Kaveri tänään sanoi että maksavat 2.5e/h nvidian h200:sta mitä käyttävät yhden systeemin opettamiseen kertaluonteisesti. Tosin ennen kuin vuokraa pilvestä pitäisi olla joku automaatio tehtynä minkä vain ajaa läpi datalle. Helposti kallista jos pilvellä opettelee käyttämään työkaluja.

 

[saamu]

Mikä voisi olla se järkevin käytetty tai muuten hinta-/laatu-suhteeltaan parempi uusi?

 

[finWeazel]

Mikä voisi olla se järkevin käytetty tai muuten hinta-/laatu-suhteeltaan parempi uusi?

Ei tähän ole oikeaa vastausta. Sun pitää itse päättää mitä tarvit. Minä ostaisin sun antamien tietojen pohjalta 5060ti 16GB:en. Oletan, että se riittää sun käyttöön kun referoit 3060:sta eka postauksessa. AMD:hen en lähtisi ellei ole varmaa tietoa että käyttötapaus toimii amd:lla. Nvidia on melko oletus koneoppimisjutuissa ja amd laahaa perässä. 50x0 sarjassa uusitut paremmat tensoriytimet joilla noita koneoppimisjuttuja lasketaan. Jos sulle riittää esim. se 3060:en niin eikun etsimään sellaista käytettynä.

 

[finWeazel]

Googlettelin tuota ja törmäsin tällaiseen uudelleentoteutukseen sun mainitsemasta mallista: Nexa AI | Accelerate Gen-AI Tasks on Any Device – Simplified AI Delivery for Enterprises Vaatii vähemmän muistia ja nopeampi. Tota vois kokeilla melko köyhälläkin laitteistolla ilman gpu:ta

faster-whisper is a reimplementation of OpenAI’s Whisper model using CTranslate2, which is a fast inference engine for Transformer models.

This implementation is up to 4 times faster than openai/whisper for the same accuracy while using less memory. The efficiency can be further improved with 8-bit quantization on both CPU and GPU.

Toiminee jotenkin tän avulla: GitHub - NexaAI/nexa-sdk: Nexa SDK is a comprehensive toolkit for supporting GGML and ONNX models. It supports text generation, image generation, vision-language models (VLM), Audio Language Model, auto-speech-recognition (ASR), and text-to-speech (TTS) capabilities.

 

[saamu]

Kiitos avusta ja vinkistä. Täytyy tutustua.