data mining foorumilta?

Liittynyt
06.11.2020
Viestejä
100
Terve

Mietin tässä että voisi tehdä jonkun sortin dataminingiä (varsinkin tuolta osto/myynti-palstalta) sitten joskus kun oma aikataulu sen sallii. Säännöissä tätä ei kielletty, mutta ajattelin että on kohteliasta aloittaa tästä keskustelu ennenkuin teen sitä ja katsoa mitä mieltä porukka on.
 
Liittynyt
17.10.2016
Viestejä
15 039
Jos siellä on ihmisten puhelinnumeroita tai sähköpostiosoitteita, niinkuin pienessä määrässä ilmoituksia on, niin tästä muodostuu laiton henkilörekisteri. Lisäksi ihmiset eivät ole antaneet suostumustaan tuon datan prosessointiin, niin GDPR voi olla jotain mieltä tuosta, varsinkin, jos raakadata jää jonnekin saataville.
 
Liittynyt
06.11.2020
Viestejä
100
Mietin että olisi helkkarin kiinnostavaa liki reaaliaikainen seuranta esim. käytettyjen näytönohjainten hinnoista (pyynti-, osto- ja kauppahinta)
 

Nerkoon

Se ainoa oikea
Platinum-jäsen
Liittynyt
18.10.2016
Viestejä
4 874
Mietin että olisi helkkarin kiinnostavaa liki reaaliaikainen seuranta esim. käytettyjen näytönohjainten hinnoista (pyynti-, osto- ja kauppahinta)
Varmaan, mutta hsalonen on oikeassa: ei kannata riskeerata tuon GDPR:n kanssa, koska siihen liittyy aika kovia sanktioita ja vaatimuksia.
 
Liittynyt
06.11.2020
Viestejä
100
Lueskelin aiheesta vähän, oletettavasti se olisi harmaalla alueella nykyisellä lainsäädännöllä ja todennäköisesti laillista kun tekijänoikeuslakia päivitetään loppuvuodesta.

Eli keväällä mietin uusiksi.
 
Liittynyt
31.10.2016
Viestejä
355
Eikö tota koodia voisi tehdä silleen, että se löytää myytävän tuotteen nimen, hinnan ja kortin kunnon ilmoituksesta (poistaen ne ilmoitukset käsittelystä, missä viitataan kortissa olevan jotain vikaa), sekä sivuttaen kaiken muun datan? Jälikäteen sitten tällä kerätyllä datalla voisi rakentaa hintainfoa erikseen näyttispiirin, sekä korttimallin perusteella? Koodi saisi myös olla sen verran fiksu, että se osaa poistamaan puhelinnumerot yms. henkilötiedot ennen, kuin ne laitetaan tietokantaan, välttäen GDPR ongelmat. En ole koodaaja, mutta tässä oma tajunnan virta aiheesta.
 
Viimeksi muokattu:
Liittynyt
29.03.2017
Viestejä
189
Tuntuu menneen taas puurot ja vellit sekaisin kun vetäisty GDPR-kortti hihasta. Mikäli aloittajalla oli tarkoitus hyödyntää keräämiään tietoja yksityishenkilönä omiin hämäriin tarkoituksiina niin senkus. Mikäli mukana ei ole ammatillisia taikka kaupallisia taka-ajatuksia yritys/yhteisö/tms tahon yhteydessä niin ei taida ketään kiinnostaa?
 

Kautium

IOdootti
Liittynyt
16.10.2016
Viestejä
13 245
Jos siellä on ihmisten puhelinnumeroita tai sähköpostiosoitteita, niinkuin pienessä määrässä ilmoituksia on, niin tästä muodostuu laiton henkilörekisteri. Lisäksi ihmiset eivät ole antaneet suostumustaan tuon datan prosessointiin, niin GDPR voi olla jotain mieltä tuosta, varsinkin, jos raakadata jää jonnekin saataville.
GRPR on kyllä ihme keppihevonen, kun sitä tuputetaan vähän joka väliin. Se ei kuitenkaan todellisuudessa liity millään tavalla siihen mitä yksityishenkilö tekee milläkin tiedolla.

Asetuksella (EU) 2016/679, joka on Euroopan unionin ('EU') uusi yleinen tietosuoja-asetus ('yleinen tietosuoja-asetus')1, säädetään siitä, miten yksityiset henkilöt, yritykset ja organisaatiot käsittelevät henkilötietoja EU:ssa.

Sitä ei sovelleta vainajien tai oikeushenkilöiden henkilötietojen käsittelyyn.

Sääntöjä ei sovelleta, jos yksityishenkilö käsittelee henkilötietoja yksinomaan henkilökohtaisiin tarkoituksiin tai omassa kotitaloudessaan eikä käsittely liity ammatilliseen tai kaupalliseen toimintaan. Kun yksityishenkilö käsittelee henkilötietoja yksityiselämän ulkopuolella esimerkiksi kulttuuri- tai rahoitustoiminnassa, tietosuojalainsäädäntöä on noudatettava.
 
Liittynyt
17.10.2016
Viestejä
15 039
GRPR on kyllä ihme keppihevonen, kun sitä tuputetaan vähän joka väliin. Se ei kuitenkaan todellisuudessa liity millään tavalla siihen mitä yksityishenkilö tekee milläkin tiedolla.

Kyllä. Tässä on vaan se, että jos lähdetään kaupallistamaan tätä toteutusta ja/tai laitetaan raakadataa nettiin, niin ollaan harmaalla alueella ja asiat menee vaikeaksi.

Ei ollut tarkoitus ampua kenenkään projekteja alas, mutta jos kysytään, mitä ongelmia voi olla, niin noita voi olla. Lisäksi henkilötieto on moniulotteinen käsite ja nyt en oikeastaan haluaisi keskustella tästä vapaa-ajallani, kun työtehtäväni sivuavat jotain näitä asioita ja en niistä halua kertoa/tehdä vapaa-ajallani. Kirjoittelin jo pidemmän vastineen, mutta en lähettänyt sitä ikinä.

Minä jätän tämän tähän - ei siksi, että olisi jotain teitä vastaan tai haluaisin väitellä asiasta, mutta maistuu jo liikaa työltä ja vähemmän harrastukselta.
 

Nerkoon

Se ainoa oikea
Platinum-jäsen
Liittynyt
18.10.2016
Viestejä
4 874
Puhumattakaan siitä mitä Sampsa tykkää ylimääräisestä kuormituksesta foorumille
 
Liittynyt
08.02.2019
Viestejä
341
Puhumattakaan siitä mitä Sampsa tykkää ylimääräisestä kuormituksesta foorumille
Tämän kaltainen liikenne on yleensä aina poikkeuksetta kielletty joka sivustolla. Tai tähän pätee hyvinkin tarkat säännöt, esim. Google ja muut hakukoneet sallitaan, kun taas muut yleensä blokataan, esim. serveri tasolla. Yleisesti tätä pystyy sivuston omistaja myös hallinnoimaan robots.txt:llä. Myös ns. hyvä botti jättää itsestään jäljen, jossa on tunnistettava IP+User Agent.

Säännöissä ei tosiaan mainita robottiliikenteestä, mutta uskoisin, että maininta hyvin äkkiä ilmestyy, jos joku alkaa sisältöä hyödyntämään näin. Tämähän myös tarkoittaa sitä, että se tekee juuri samalla hetkellä scriptistä täysin turhan, jos ei halua sääntöjä rikkoa.
 

Kautium

IOdootti
Liittynyt
16.10.2016
Viestejä
13 245
Kyllä. Tässä on vaan se, että jos lähdetään kaupallistamaan tätä toteutusta ja/tai laitetaan raakadataa nettiin, niin ollaan harmaalla alueella ja asiat menee vaikeaksi.

Ei ollut tarkoitus ampua kenenkään projekteja alas, mutta jos kysytään, mitä ongelmia voi olla, niin noita voi olla. Lisäksi henkilötieto on moniulotteinen käsite ja nyt en oikeastaan haluaisi keskustella tästä vapaa-ajallani, kun työtehtäväni sivuavat jotain näitä asioita ja en niistä halua kertoa/tehdä vapaa-ajallani. Kirjoittelin jo pidemmän vastineen, mutta en lähettänyt sitä ikinä.

Minä jätän tämän tähän - ei siksi, että olisi jotain teitä vastaan tai haluaisin väitellä asiasta, mutta maistuu jo liikaa työltä ja vähemmän harrastukselta.
Kukaan ei ollut julkistamassa tai kaupallistamassa yhtään mitään. Aloittajahan sanoi olevansa itse kiinnostunut käytettyjen tuotteiden hintakehityksestä ja varmaan olisi moni muukin. Tosin aika vaikea niitä on tuolta määrittelemättömistä keskusteluista automaattisesti poimia.

Julkisista foorumipostauksista ei henkilötietoja käytännössä löydy, eli aika turha maalailla pirua seinille niiltäkään osin ja vaikka löytyisikin, niin ei se yksityishenkilön kotikäytössä mitään merkitse. Ja jos niitä hintatietoja julkaisee, niin ne eivät ole mitään henkilötietoja vaikka miten päin asiaa taivuttelisi.

Puhumattakaan siitä mitä Sampsa tykkää ylimääräisestä kuormituksesta foorumille
Tämä on sitten ihan eri asia. Mutta jos sieltä esim. kerran rykäisee yhden alueen viestit talteen, niin eipä se näy kokonaisliikennemäärässä mitenkään.

Mahdollisten sääntöjen rikkominen on sitten vielä kolmas asia.
 

mRkukov

Hrrrr...
Liittynyt
17.10.2016
Viestejä
6 673
Liittynyt
08.02.2019
Viestejä
341
Ja aina voi käyttää siihen tehtyä lähdettä, eli RSS feediä. Foorumi tarjoaa jokaisesta alueesta sellaista. Esim:
Nopea vilkaisu kertoo, että tosta RSS feedistä ei saa infoa, että onko tuote tilassa "myyty" vai "myytävänä". Myös kommenteista ei ole muuta tietoa, kuin countit. Eli se viesti-sivu pitäisi silti parsia erikseen ja noille myyntisivuille ei ainakaan samalla systeemillä näytä feedäjä löytyvän. Joten sen oikean sivun lataaminen on huomattavasti tehokkaampi, koska siinä voi samalla yhdellä pyynnöllä filteroida myydyt pois listalta, jotta niitä ei edes ikinä tarvitse ladata ja samalla ne voi päivittää myyty tilaan omasta kannasta (tämä kaikki siis yhdellä pyynnöllä vs. jokaisen tuotteen parserointi aina). Myytävänä olevat tuotteet pitää ladata silti aina uudestaan, koska kommentit sisältävät myös erittäin oleellista dataa.

Ja jos näitä julkaisee missään niin kannattaa olla tarkkana. Kyllähän tätäkin sisältöä suojaa tekijänoikeus, vaikka sitä ei missään erikseen mainita. Eli kannattaa ainakin tutustua tekijänoikeus lakiin sekä Tekijänoikeusneuvoston lausuntoihin. Jos käyttää omaan käyttöön, niin kannattaa seurata sivuston sääntöjä ja lopettaa siinä vaiheessa, kun tämä kielletään. ;)
 
Toggle Sidebar

Statistiikka

Viestiketjut
143 603
Viestejä
2 742 620
Jäsenet
53 089
Uusin jäsen
laurile

Hinta.fi

Ylös Bottom