NVIDIA julkisti Chat with RTX -tekoälybotin

[Kaotik]

NVIDIA on julkistanut Chat with RTX -tekoälybotin, joka mahdollistaa LLM-kielimallia hyödyntävän botin pyörittämisen paikallisesti, kunhan koneessa on NVIDIAn RTX-näytönohjain.
Yhtenä käyttöesimerkkinä NVIDIA antaa kontekstuaalisen haun, joka voidaan toteuttaa kytkemällä omat tiedostot sopivaan kielimalliin. Tämän jälkeen NVIDIAn bottia voi pyytää etsimään vaikka sitä noloa lomakuvaa hampurilaisineen tai toimivan ikiliikkujan kaavan sisältää tiedostoa.



Lähde: Chat with RTX Now Free to Download | NVIDIA Blog

 

[finWeazel]

Kuulemma vaatii paljon dataa, että botti saisi jotain järkevää aikaiseksi. Joku oli syöttämässä sille raamattua ja kyselemässä siitä. Lieköhän io-techin forumit+artikkelit botille syöttämällä saisi jotain aikaan? Mielenkiintoista olisi vaikka pyytää ketjuista tärkeimmät näkökulmat ja niiden mukaiset yhteenvedeot.

 

[PÌÎUW®[ªøËrhl¾ÇÌ°1¿¼]

35GB asennuspaketti ja pitkän installaation jälkeen lataili vielä depsejä gigatavutolkulla komentorivillä. Noh, osasi vastata kysymykseen kun syötin sille youtube videota ja kyselin summarointia ja spesifiä.

 

[masax]

Pieni pettymys kun ei toimikaan kuin pelkällä englannin kielellä. Eipä ole paljon apua suomenkielisten aineistojen kanssa.

 

[finWeazel]

Pieni pettymys kun ei toimikaan kuin pelkällä englannin kielellä. Eipä ole paljon apua suomenkielisten aineistojen kanssa.

Sehän tukee vaihdettavissa olevia kielimalleja. Jos joku tekee suomioptioidut mallit niin nvidian softassa saa triviaalisti tuettua. Nvidia asennussofta+wrapperi+ui erilaisten muiden tekemien mokkuloiden ympärillä.

Käyttää ainakin näitä kielimalleja

GitHub - facebookresearch/llama: Inference code for LLaMA models (metan kehittämä, open sourceen lahjoitettu)

https://github.com/mistralai Mistral AI Mistral AI - Wikipedia

 

[PÌÎUW®[ªøËrhl¾ÇÌ°1¿¼]

Ei ehkä ole itselle tämä järkevä. Ei minulla ole koneella lokaalisti mitään dokumenttikasoja tjms joita haluaisin ropeltaa summarointien yms vuoksi. Työkoneellakin vähän niin ja näin kun kodaushommaa pääosin tekee ja työkonekkin on hallinnoitu mäkki ja mitään ei-sertifioituja AI häkkyröitä ei saa käyttää.

Fantsu demotella mutta turha. Deleteen menee ja odotellaan sitä GeneralAI:ta joka esim pelaa vaikean kohdan pelistä minun puolesta kun haen kaffia tai joka ohjeistaa mitä roplata auton moottoritilasta kun ääni on kauhea ja ehdottaa korjaussarjaa tilattavaksi motonetistä.

 

[finWeazel]

Ei ehkä ole itselle tämä järkevä. Ei minulla ole koneella lokaalisti mitään dokumenttikasoja tjms joita haluaisin ropeltaa summarointien yms vuoksi. Työkoneellakin vähän niin ja näin kun kodaushommaa pääosin tekee ja työkonekkin on hallinnoitu mäkki ja mitään ei-sertifioituja AI häkkyröitä ei saa käyttää.

Fantsu demotella mutta turha. Deleteen menee ja odotellaan sitä GeneralAI:ta joka esim pelaa vaikean kohdan pelistä minun puolesta kun haen kaffia tai joka ohjeistaa mitä roplata auton moottoritilasta kun ääni on kauhea ja ehdottaa korjaussarjaa tilattavaksi motonetistä.

Varmaan tuon käyttötapaukset löytyy startup/yritysmaailmasta. Voi räpeltää demon minkä muuntaa töissä projektiksi tai startupissa demo kasaan millä hakee rahoitusta sisään. Loppukäyttäjät viime kädessä varmaan juuttuu microsoftin copilotteihin, photarin/videoeditorin ai-ominaisuuksiin, puhelimen AI appseihin jne.

 

[PÌÎUW®[ªøËrhl¾ÇÌ°1¿¼]

Pitää sen verran ottaa takaisin että youtube videoihin tuolla saa kivasti "potkua". Feedissä on paljon tekkivideoita jossa clickbait tyylinen otsikko. Pistää vaan Chat With RTX:ään URL niin kohta saa summaroinnin.

Esimerkki 1: 32min video - Must have accessories for Tesla Model Y

Spoileri: Video url

Chat with RTX auki, pastesin video urlin sille ja kysyin:"What are the must have accessories according to video?"

According to the video, the must-have accessories for a new Tesla Model Y owner are:

1. Flaw Mass floor mats
2. Halo black interior upgrade accessories (cup holder, aluminum foot pedals cover, and console organizer tray)
3. Screen protector for the main display
4. Test Plus headrest pillow and neck pillow
5. Test Plus 19 inch Gemini Wheel Covers
6. CCS adapter from Test Plus.

Aikaa meni alle 30s.

Esimerkki 2: 15min video - HUGE Tesla Cybertruck Issues | This Shouldn't Have Happened

Spoileri: Video url

Chat with RTX auki, pastesin video urlin sille ja kysyin:" What are the issues with Tesla Cybertruck?"

The issues with Tesla Cybertruck include:

1. Range: The top trim of the Cybertruck was initially promised to deliver a 500-mile range, but the current max range is 340 miles. The range is affected by factors such as weather, high-speed travel, towing, and driving habits.
2. Body issues: Some cybertruck owners have reported poorly aligned panels and other general issues with the body of the truck.
3. Corrosion: The Cybertruck is made of a special 300 series stainless steel alloy, which is prone to corrosion in the real world. Some cybertruck owners have reported rust spots on their vehicles.
4. Emergency braking: The emergency braking system, vehicle hold feature, and stability control are not available on some cybertrucks.
5. Rear steering actuator: Some cybertrucks have issues with the rear steering actuator, which can cause a delay in repairs.
6. Wheel covers: The wheel covers on the Cybertruck can wear down the tires and cause issues with efficiency. Tesla has stopped putting these covers on the Cybertruck and is redesigning them.

 

[Kaotik]

Pitää sen verran ottaa takaisin että youtube videoihin tuolla saa kivasti "potkua". Feedissä on paljon tekkivideoita jossa clickbait tyylinen otsikko. Pistää vaan Chat With RTX:ään URL niin kohta saa summaroinnin.

Esimerkki 1: 32min video - Must have accessories for Tesla Model Y

Spoileri: Video url

Chat with RTX auki, pastesin video urlin sille ja kysyin:"What are the must have accessories according to video?"



Aikaa meni alle 30s.

Esimerkki 2: 15min video - HUGE Tesla Cybertruck Issues | This Shouldn't Have Happened

Spoileri: Video url

Chat with RTX auki, pastesin video urlin sille ja kysyin:" What are the issues with Tesla Cybertruck?"

Täysin vastaava toiminnallisuushan tosiaan löytyy ihan vaikka useasta selaimesta sisäänrakennettuna (Edge/Copilot Brave/Leo, Opera/Browser AI tulee ainakin heti mieleen ja niille missä ei ole valmiina omaa on tarjolla lukuisia liitännäisiä tarjoamaan saman), tämä eroaa suurimmasta osasta vain sillä että voi itse valkata kielimallit jne, mutta ei silläkään saralla mikään ensimmäinen tai ainutlaatuinen ratkaisu.

 

[PÌÎUW®[ªøËrhl¾ÇÌ°1¿¼]

Täysin vastaava toiminnallisuushan tosiaan löytyy ihan vaikka useasta selaimesta sisäänrakennettuna (Edge/Copilot Brave/Leo, Opera/Browser AI tulee ainakin heti mieleen ja niille missä ei ole valmiina omaa on tarjolla lukuisia liitännäisiä tarjoamaan saman), tämä eroaa suurimmasta osasta vain sillä että voi itse valkata kielimallit jne, mutta ei silläkään saralla mikään ensimmäinen tai ainutlaatuinen ratkaisu.

Käytän bravea ja esim tuo Leo on täysin bonkers. Jos kysyn siltä esim tuosta Tesla Cybertruck videosta niin vastaa ihan mitä sattuu. Selittää jostain toisesta videosta (ehkä, tai hallusinoi). Spoilerissa neljä eri yritystä saada summaroimaan video ja aina meni päin peetä.

Spoileri: Brave leo

Hi, I'm Leo. I'm a fully hosted AI assistant by Brave. I'm powered by Mixtral 8x7B, a model created by Mistral AI to handle advanced tasks.

summarize

Brave Leo AI | Brave

This video, "AI in 2022: A Short but Thorough Overview," discusses the current state and future potential of artificial intelligence (AI). It covers AI's impact on various industries, its limitations, and ethical considerations. The video also explores the difference between ANI, AGI, and ASI, and the role of AI in data analysis, machine learning, and deep learning.


Summarize this youtube video:

The video "AI in 2022: A Short but Thorough Overview" discusses AI's current state, future potential, and impact on various industries. It covers limitations, ethical considerations, and the difference between ANI, AGI, and ASI. The video also explores AI's role in data analysis, machine learning, and deep learning. (50-80 words)


what is said in this video

The video "AI in 2022: A Short but Thorough Overview" discusses the current state and future potential of AI, its impact on various industries, limitations, and ethical considerations. It explains the difference between ANI, AGI, and ASI, and the role of AI in data analysis, machine learning, and deep learning. The video also touches on AI's use in different sectors, such as healthcare, finance, and transportation. (50-80 words)


What are the main points in this video:



The main points in the video "AI in 2022: A Short but Thorough Overview" include: 1. AI's current state and future potential 2. Impact on various industries 3. Limitations and ethical considerations 4. Difference between ANI, AGI, and ASI 5. Role of AI in data analysis, machine learning, and deep learning 6. AI's use in healthcare, finance, and transportation The video provides a comprehensive overview of AI, its capabilities, and its implications for society. (50-80 words)

Bind copilot on täysin käsille lyöty myös tuosta pyynnöstä.

Spoileri: Copilot fail

You
Can you summarize main points from this video:


Copilot
Certainly! I apologize, but I am unable to directly watch the video from the provided link. However, if you can provide a brief description or key points from the video, I’d be happy to assist in summarizing them for you.

Gemini osasi kyllä summaroida. Siitä plussat. Osai myös kertoa tarkemmin kun kysyin detailia videosta.

 

[Kaotik]

Käytän bravea ja esim tuo Leo on täysin bonkers. Jos kysyn siltä esim tuosta Tesla Cybertruck videosta niin vastaa ihan mitä sattuu. Selittää jostain toisesta videosta (ehkä, tai hallusinoi). Spoilerissa neljä eri yritystä saada summaroimaan video ja aina meni päin peetä.

Spoileri: Brave leo

Hi, I'm Leo. I'm a fully hosted AI assistant by Brave. I'm powered by Mixtral 8x7B, a model created by Mistral AI to handle advanced tasks.

summarize

Brave Leo AI | Brave

This video, "AI in 2022: A Short but Thorough Overview," discusses the current state and future potential of artificial intelligence (AI). It covers AI's impact on various industries, its limitations, and ethical considerations. The video also explores the difference between ANI, AGI, and ASI, and the role of AI in data analysis, machine learning, and deep learning.


Summarize this youtube video:

The video "AI in 2022: A Short but Thorough Overview" discusses AI's current state, future potential, and impact on various industries. It covers limitations, ethical considerations, and the difference between ANI, AGI, and ASI. The video also explores AI's role in data analysis, machine learning, and deep learning. (50-80 words)


what is said in this video

The video "AI in 2022: A Short but Thorough Overview" discusses the current state and future potential of AI, its impact on various industries, limitations, and ethical considerations. It explains the difference between ANI, AGI, and ASI, and the role of AI in data analysis, machine learning, and deep learning. The video also touches on AI's use in different sectors, such as healthcare, finance, and transportation. (50-80 words)


What are the main points in this video:



The main points in the video "AI in 2022: A Short but Thorough Overview" include: 1. AI's current state and future potential 2. Impact on various industries 3. Limitations and ethical considerations 4. Difference between ANI, AGI, and ASI 5. Role of AI in data analysis, machine learning, and deep learning 6. AI's use in healthcare, finance, and transportation The video provides a comprehensive overview of AI, its capabilities, and its implications for society. (50-80 words)

Bind copilot on täysin käsille lyöty myös tuosta pyynnöstä.

Spoileri: Copilot fail

You
Can you summarize main points from this video:


Copilot
Certainly! I apologize, but I am unable to directly watch the video from the provided link. However, if you can provide a brief description or key points from the video, I’d be happy to assist in summarizing them for you.

Gemini osasi kyllä summaroida. Siitä plussat. Osai myös kertoa tarkemmin kun kysyin detailia videosta.

Jaa? Kyllä minä ainakin Edgen copilotilla olen useasta videosta summaryt ottanut. Joka kerta ollut toki ko. Youtube-video auki tabissa kun sen pyytänyt tiivistämään enkä vaan heittänyt linkkiä tms.

edit: avasin tuon videon ja pyysin copilotilta summaryn

Spoileri

You
Summarize main points of the video


Copilot
Video summary [00:00:00]1 - [00:15:21]2:
This video discusses some of the issues that the Tesla Cybertruck has faced since its launch, such as range, software, design, corrosion, wheel covers, and availability. It also analyzes how customers are dealing with these problems and whether they are deal-breakers or minor inconveniences.
Highlights:

• [00:00:49]3 The range issue
  • Top trim promised 500 miles, now 340 miles
  • Real-world driving habits reduce range further
  • Range extender battery costs $116,000 and takes up bed space
• [00:02:28]4 The software issue
  • Screen went dark for some owners
  • Differential locking not available yet
  • Other features software locked
• [00:03:04]5 The design issue
  • Sharp edges and corners pose safety risks
  • Build quality issues reported by some owners
  • No view out of the back window when tonneau cover is closed
• [00:06:21]6 The corrosion issue
  • Stainless steel exterior can rust or tarnish
  • Owner’s manual warns about corrosive substances
  • Some owners reported rust spots within weeks
• [00:09:56]7 The wheel cover issue
  • Aero wheel covers improve efficiency but wear down tires
  • Tesla stopped putting them on and is redesigning them
  • Owners advised to remove them to preserve tires
• [00:11:02]8 The availability issue
  • Tesla prevents resale within the first year
  • Some owners try to flip or lease their trucks for high prices
  • Tesla offers referral program to accelerate delivery

Reference: youtube.com

 

[finWeazel]

Pitää näemmä edge copilotilla tehdä juurikin niin, että video auki tabiin ja sitten kysyy videosta. Jos copilot promptissa yrittää urlilla niin ei toimi.

Asiallisen vastauksen antoi copilot. Tosin jumi kertaalleen itsensä perätilaan. Joutui sulkemaan ja käynnistämään selaimen uudestaan että alkoi toimimaan.

Testasin spoilerin videoon kysymystä: " What are key goals of microsoft and amd co operation ". copilotin vastaus lainauksessa

AMD and Microsoft have joined forces to accelerate innovation and enhance computing capabilities across various domains. Here are some key goals of their cooperation:

1. AI Everywhere: AMD aims to foster AI adoption across cloud, enterprise, and endpoint devices. Their CPUs, GPUs, accelerators, and AI engines collaborate with Microsoft to bring AI benefits to a wide range of compute engines, with expanding software capabilities1.
2. Azure AI Acceleration: The upcoming AMD Instinct™ MI300X accelerator powers Microsoft’s new Azure ND MI300x v5 Virtual Machine (VM) series optimized for AI workloads. This collaboration allows Azure to be the first cloud platform to utilize the new accelerator, providing customers with more efficiency and scalability choices1.
3. Advancing Cloud Computing: 4th Gen AMD EPYC processors are now used to run a new generation of general-purpose, memory-intensive, and compute-optimized VMs on Microsoft’s Azure. These VMs offer better price options, up to 20% better performance for general-purpose and memory-intensive workloads, and up to 2x the CPU performance for compute-optimized VMs compared to the previous generation1.
4. Ryzen AI Momentum: AMD continues to drive innovation with Ryzen AI, the first dedicated AI accelerator available on an x86 processor. This collaboration with Microsoft ensures powerful, reliable computing experiences for users, optimizing performance, efficiency, security features, and connectivity1.

In summary, AMD and Microsoft are working together to bring cutting-edge AI capabilities, cloud computing advancements, and smarter PCs to users worldwide1.

Spoileri

AMD Presents: Advancing AI (youtube.com)

 

[finWeazel]

Google julkaisi uudet lokaalisuoritukseen optimoidut 2 ja 7 miljardin parametrin mallit. Saa ajoon rtx botin kautta, jos ei halua käsin asentaa.

Google's Gemma Optimized Across All NVIDIA AI Platforms | NVIDIA Blog

NVIDIA and Google have accelerated the performance of Gemma with NVIDIA TensorRT-LLM when running on NVIDIA GPUs — including RTX AI PCs.

blogs.nvidia.com