Nettisivun tietokannan/datan imurointi

Liittynyt
21.10.2016
Viestejä
5 323
Olisi kyssäri nettisivun datan tallentamisesta koneelle pysyvään selattavaan muotoon ihan siitä syystä, että jos nettisivun hostaus joskus lopetetaan niin data olisi saatavilla.

Kyse on japsiautoille tarkoitetusta osanumero "tietopankista" eli käytännössä korjaamoiden käyttämä FAST softa, josta löytyy räjäytyskuvat ja osanumerot on dumpattu nettiin.

Sivuston alaosio voisi olla vaikka tämä:
Nissan Skyline parts catalog

ja tuolta sitten vaikkapa vielä alalinkkeinä tietyt mallit. Haluaisin siis käytännössä, että jokainen linkin takaa avautuva sivu tallentuisi kuvineen ja jokainen näiden takaa löytyvistä linkeistä löytyvä sivu löytyisi myös. Datamäärän ei pitäisi olla mitenkään älytön ja mikäli joku tallennuskeino löytyy, niin voisin rajata hieman tuota alkupäätä eli vain haluttujen mallien takaa löytyvä data tallentuisi.

Olisiko foorumilla vinkkejä.
 
Olisi kyssäri nettisivun datan tallentamisesta koneelle pysyvään selattavaan muotoon ihan siitä syystä, että jos nettisivun hostaus joskus lopetetaan niin data olisi saatavilla.

ja tuolta sitten vaikkapa vielä alalinkkeinä tietyt mallit. Haluaisin siis käytännössä, että jokainen linkin takaa avautuva sivu tallentuisi kuvineen ja jokainen näiden takaa löytyvistä linkeistä löytyvä sivu löytyisi myös. Datamäärän ei pitäisi olla mitenkään älytön ja mikäli joku tallennuskeino löytyy, niin voisin rajata hieman tuota alkupäätä eli vain haluttujen mallien takaa löytyvä data tallentuisi.

HTTrack.
 
Tai ihan vaikka wget tai scp? tai muu perus unix/linux työkalulla :)
 

Uusimmat viestit

Statistiikka

Viestiketjuista
290 716
Viestejä
4 974 889
Jäsenet
79 829
Uusin jäsen
The Rizzler

Hinta.fi

Back
Ylös Bottom