Avoin data

[takomo]

Nykyään on monella instanssilla tarjolla erilaista avointa dataa verkkorajapinnoissa. Millä työkaluilla avointa dataa on yleisesti kätevää hakea ja käsitellä?

Jos json-formaatti onnistuu (saa tietysti nekin exceliin vietyä puljailemalla) niin pitäisi onnistua Vattenfallin apin kautta, joka tuon sivun datojen taustalla.

Esimerkiksi tuolla saa vuoden alusta kaikki tuntihinnat jsonina, alku- ja loppupäivämääriä muokkaamalla sitten muitakin aikavälejä:
https://www.vattenfall.fi/api/price/spot/2022-01-01/2022-08-31?lang=fi

 

[aRa]

Osin itselleni myös vastaten (Vattenfallin json-datat), datanhakuun työkalut on monet taidoista riippuen, pari vaihtoehtoa omalta osaltani:

• jos kyvykkyyttä riittää niin monimutkaisistakin rajapinnoista saa dataa käsiteltävään muotoon ohjelmallisesti, esimerkiksi Python + urllib/requests/vastaava kirjasto rajapintahakuihin + vaikkapa pandas dataframet (taulukkomuotoisen) datan tallennukseen ja pyörittelyyn
• yksinkertaisista rajapinnoista saa datat suoraan vaikkapa exceliin (tai PowerBI) PowerQuery editorin avulla. Tämä ehkä helpoin tapa jos ohjelmointikielet ei niin tuttuja

Kun mainitsin tuon datan saamisen suoraan Exceliin, niin tässä lyhyt "how-to", jos siinä haasteita:

1. Excelistä "Data"-välilehdeltä valitaan Web-datalähde
2. Kysytään urlia (tässä tapauksessa vattenfallin https://www.vattenfall.fi/api/price/spot/2022-01-01/2022-08-31?lang=fi)
3. Rajapinnan vastaus on lista json-formaatin "rivejä", tämä halutaan taulukkomuotoon --> "To Table"
4. Avataan json-rakenne pureutumalla sarakkeisiin
5. Valitaan halutut sarakkeet (tässä tapauksessa kaikki), myös voi ottaa tuon täpän pois ettei luoduille sarakkeille aseteta turhaan prefixejä
6. Data nyt halutussa taulukkomuodossa, suljetaan query editor ja ladataan tulokset --> "Close & Load". Tästä tuloksena haluttu excel-taulukko rajapinnan datoista.