Automaattiset snapshotit web sivuista tiettynä ajankohtana

[Vepasto]

Olisi tarve jollekin ohjelmalle, totta kai ilmaiselle, joka pystyisi ottamaan snapshotteja tietyistä web sivuista haluamanani ajankohtana ja tallentamaan ne kuvana tietyyn paikkaan. Googlaiin asiaa , mutta en oikein päässyt mihinkään lopputulokseen. Näyttäisi siltä että tälläisiä on, mutta en sellaista kuitenkaan onnistunut löytämään. Osaisiko joku vinkata ?

 

[HendriXXX]

Linuxille löytyy useampikin komentorivityökalu tuohon snapshottien ottoon. Semmosen ajastaa sitte cron:lla tekee sen automaagisesti..

Googleen vaikkapa "linux webpage snapshot" hakusanaksi.

 

[Vepasto]

Linux pohjaiset ratkaisut ei tässä tapauksessa tule kysymykseen.
Ja hei, kysyjä on aika kädetön näissä asioissa.

 

[edup]

Onnistuu ainakin Chromella ja Firefoxilla suoraan komentoriviltä. Esim. Chromella:

chrome.exe --headless --screenshot="C:\polku_kuvalle.png" "https://www.google.com"

Ajastuksen ja polkujen käsittelyn ym. voi sitten tehdä haluamallaan työkalulla.

 

[Hyrava]

Onnistuu ainakin Chromella ja Firefoxilla suoraan komentoriviltä. Esim. Chromella:

chrome.exe --headless --screenshot="C:\polku_kuvalle.png" "https://www.google.com"

Ajastuksen ja polkujen käsittelyn ym. voi sitten tehdä haluamallaan työkalulla.

Hittolainen, tuo onkin noin yksinkertaista. Tuo saattoi ratkaista yhden pitkään duunissa hiertäneen ongelman jos tuohon saa vielä pari asetusta jotenkin ympättyä mukaan. "Virallinen" raporttigeneraattori kun työstää raporttia ikuisuuden ja jollakin vastaavalla tyylillä generoi jokaisen kuvatiedoston erikseen ja on varsin herkkä erilaisille virhetilanteille. Jos itse saisi määrättyä että generoisi kuvatiedoston tai pdf:n sopivilla asetuksilla nettisivusta niin virallinen raporttigeneraattori vaihtuisi välittömästi omaan versioon. Pitääkin vähän tutustua tuohon headless -tilan screenshot-toimintoon kun kuitenkin saan selaimessa näkymään halutun raportin halutulla tavalla, jos sen saisi vaan käännettyä pdf:ksi jollain helpolla automaattisella tavalla.

 

[=JP=]

Sattu tulemaan tuollainen vastaan, jos kiinnostaa testata, näytti toimivan ihan OK pikaisella testillä...
Löytyy precompiled binaarit Windowsillekin, ihan portable mallia, ei siis tarvii edes asennella mitään.

wkhtmltopdf

wkhtmltopdf and wkhtmltoimage are open source (LGPLv3) command line tools to render HTML into PDF and various image formats using the Qt WebKit rendering engine. These run entirely "headless" and do not require a display or display service.

Ja onnistuu myös Firefoxilla komentoriviltä:

firefox.exe --headless --screenshot [KuvanNimi].png [URL]

 

[Vepasto]

Kiitos vinkistä, tuo komentorivi toimii....

Mutta.....Yksi pieni ongelma minun tapauksessa. Sivu jolta haluan snapshotin, vaatii kirjautumisen, ja nyt tuo ottaa snaphotin kirjatumissivusta. Ei näytä olevan vaikutusta vaikka selaimessa on jo auki sivu johon on kirjauduttu. Ilmeisesti tuo avaa uuden chromen tehdäkseen hommansa.

Saisiko tuon toimivaan jotenkin siten että ei avaisi uutta chromesta, vaan käyttäisi jo auki olevaa chromea, jolla on kirjauduttu jo ko. sivulle ?

mitä htuo headless tekee ?

chrome.exe [URL ] avaa kilisti sivun uuteen välilehteen....ilman että jää jumiin kirjautumissivuun

 

[=JP=]

Hittolainen, tuo onkin noin yksinkertaista. Tuo saattoi ratkaista yhden pitkään duunissa hiertäneen ongelman jos tuohon saa vielä pari asetusta jotenkin ympättyä mukaan. "Virallinen" raporttigeneraattori kun työstää raporttia ikuisuuden ja jollakin vastaavalla tyylillä generoi jokaisen kuvatiedoston erikseen ja on varsin herkkä erilaisille virhetilanteille. Jos itse saisi määrättyä että generoisi kuvatiedoston tai pdf:n sopivilla asetuksilla nettisivusta niin virallinen raporttigeneraattori vaihtuisi välittömästi omaan versioon. Pitääkin vähän tutustua tuohon headless -tilan screenshot-toimintoon kun kuitenkin saan selaimessa näkymään halutun raportin halutulla tavalla, jos sen saisi vaan käännettyä pdf:ksi jollain helpolla automaattisella tavalla.

Tuollainen tuli vastaan tuohon PDF asiaan:

Getting Started with Headless Chrome | Blog | Chrome for Developers

Getting started with Headless Chrome

developers.google.com

The --print-to-pdf flag creates a PDF of the page

Kiitos vinkistä, tuo komentorivi toimii....

Mutta.....Yksi pieni ongelma minun tapauksessa. Sivu jolta haluan snapshotin, vaatii kirjautumisen, ja nyt tuo ottaa snaphotin kirjatumissivusta. Ei näytä olevan vaikutusta vaikka selaimessa on jo auki sivu johon on kirjauduttu. Ilmeisesti tuo avaa uuden chromen tehdäkseen hommansa.

Saisiko tuon toimivaan jotenkin siten että ei avaisi uutta chromesta, vaan käyttäisi jo auki olevaa chromea, jolla on kirjauduttu jo ko. sivulle ?

mitä htuo headless tekee ?

chrome.exe [URL ] avaa kilisti sivun uuteen välilehteen....ilman että jää jumiin kirjautumissivuun

Tuo kirjautumisen vaatimus tuokin sitten ihan omat ongelmansa ja vaatisi että softa tukisi esim. cookies tiedoston hyväksikäyttämistä, siinäpä sitten haastetta löytää simppeli softa. Jos haluaa alkaa kikkailee, niin sitten löytyy:

Puppeteer | Chrome for Developers

A Node.js library providing a high-level API to control headless Chrome or Chromium

developers.google.com

Paljon on myöskin keskustelua tuosta selaimien Headless tilan käytöstä ja Cookies hyödyntämisen ongelmista jo tovin ajan, eli tiete ei onnistu enään helposti tuollainen senkään kautta.

Ja tuossa selostusta, mikä tuo Headless mode on:

Headless browser - Wikipedia

en.wikipedia.org

 

[ississ]

Wget/curl voisi osata kirjautumisen, saattaisi onnistua jos pystyisi hakemaan sivun ja en jälkeen wkhtmltopdf.
Tosin jos on joku raportointiväline (cognos/tableau/jne) niin yleensä menee hankalaksi.

 

[Vepasto]

Saako komentoriviltä ajetua graafisen käyttöliittymän omaavaa chromea vastaavasti kuin tuo ylläoleva. Tuo ylläoleva käynnistää chromen ilman graafista käyttöliittymään ja kirjautumisongelma johtuu siitä?

 

[Elvis Jagger]

Ja onnistuu myös Firefoxilla komentoriviltä:

firefox.exe --headless --screenshot [KuvanNimi].png [URL]

Tota ei muistaakseni kannata ajaa ilman että tekee uuden profiilin koska headless mode saattaa kirjoittaa jotain yli profiiliin ja sen jälkeen normaali graafista käynnistäessä voi joutua käymään sen troubleshoot/refresh Firefox jutun läpi ja menettää profiilidataa.

 

[Elvis Jagger]

Saako komentoriviltä ajetua graafisen käyttöliittymän omaavaa chromea vastaavasti kuin tuo ylläoleva. Tuo ylläoleva käynnistää chromen ilman graafista käyttöliittymään ja kirjautumisongelma johtuu siitä?

Kirjautuminen ei ole sinänsä kiinni graafisuudesta, mutta ainakaan oletuksena (jos osaa ollenkaan) ei käytä jo olemassa olevaa profiilia jossa käyttäjädata ja keksit olisi tallessa.

Tuo jo linkattu Puppeteer osaa kirjautumisen ja käyttäjädatan tallentamisen mutta sen kanssa ei voi paljon saada aikaan ilman Javascriptin osaamista. Ehkä googlettanalla löytyy jonkun valmiiksi tekemä kun lienee aika yleinen tarve.