data mining foorumilta?

  • Keskustelun aloittaja Keskustelun aloittaja tiikki
  • Aloitettu Aloitettu
T

tiikki

Liittynyt
06.11.2020
Viestejä
106
Terve

Mietin tässä että voisi tehdä jonkun sortin dataminingiä (varsinkin tuolta osto/myynti-palstalta) sitten joskus kun oma aikataulu sen sallii. Säännöissä tätä ei kielletty, mutta ajattelin että on kohteliasta aloittaa tästä keskustelu ennenkuin teen sitä ja katsoa mitä mieltä porukka on.
 
Jos siellä on ihmisten puhelinnumeroita tai sähköpostiosoitteita, niinkuin pienessä määrässä ilmoituksia on, niin tästä muodostuu laiton henkilörekisteri. Lisäksi ihmiset eivät ole antaneet suostumustaan tuon datan prosessointiin, niin GDPR voi olla jotain mieltä tuosta, varsinkin, jos raakadata jää jonnekin saataville.
 
Mietin että olisi helkkarin kiinnostavaa liki reaaliaikainen seuranta esim. käytettyjen näytönohjainten hinnoista (pyynti-, osto- ja kauppahinta)
 
tiikki sanoi:
Mietin että olisi helkkarin kiinnostavaa liki reaaliaikainen seuranta esim. käytettyjen näytönohjainten hinnoista (pyynti-, osto- ja kauppahinta)
Napsauta laajentaaksesi...
Varmaan, mutta hsalonen on oikeassa: ei kannata riskeerata tuon GDPR:n kanssa, koska siihen liittyy aika kovia sanktioita ja vaatimuksia.
 
Lueskelin aiheesta vähän, oletettavasti se olisi harmaalla alueella nykyisellä lainsäädännöllä ja todennäköisesti laillista kun tekijänoikeuslakia päivitetään loppuvuodesta.

Eli keväällä mietin uusiksi.
 
Eikö tota koodia voisi tehdä silleen, että se löytää myytävän tuotteen nimen, hinnan ja kortin kunnon ilmoituksesta (poistaen ne ilmoitukset käsittelystä, missä viitataan kortissa olevan jotain vikaa), sekä sivuttaen kaiken muun datan? Jälikäteen sitten tällä kerätyllä datalla voisi rakentaa hintainfoa erikseen näyttispiirin, sekä korttimallin perusteella? Koodi saisi myös olla sen verran fiksu, että se osaa poistamaan puhelinnumerot yms. henkilötiedot ennen, kuin ne laitetaan tietokantaan, välttäen GDPR ongelmat. En ole koodaaja, mutta tässä oma tajunnan virta aiheesta.
 
Viimeksi muokattu:
Tuntuu menneen taas puurot ja vellit sekaisin kun vetäisty GDPR-kortti hihasta. Mikäli aloittajalla oli tarkoitus hyödyntää keräämiään tietoja yksityishenkilönä omiin hämäriin tarkoituksiina niin senkus. Mikäli mukana ei ole ammatillisia taikka kaupallisia taka-ajatuksia yritys/yhteisö/tms tahon yhteydessä niin ei taida ketään kiinnostaa?
 
hsalonen sanoi:
Jos siellä on ihmisten puhelinnumeroita tai sähköpostiosoitteita, niinkuin pienessä määrässä ilmoituksia on, niin tästä muodostuu laiton henkilörekisteri. Lisäksi ihmiset eivät ole antaneet suostumustaan tuon datan prosessointiin, niin GDPR voi olla jotain mieltä tuosta, varsinkin, jos raakadata jää jonnekin saataville.
Napsauta laajentaaksesi...
GRPR on kyllä ihme keppihevonen, kun sitä tuputetaan vähän joka väliin. Se ei kuitenkaan todellisuudessa liity millään tavalla siihen mitä yksityishenkilö tekee milläkin tiedolla.

ec.europa.eu

Mitä yleinen tietosuoja-asetus kattaa?

EU:n tietosuoja-asetuksen soveltaminen yrityksiin, organisaatioihin ja kansalaisiin.
ec.europa.eu ec.europa.eu
Asetuksella (EU) 2016/679, joka on Euroopan unionin ('EU') uusi yleinen tietosuoja-asetus ('yleinen tietosuoja-asetus')1, säädetään siitä, miten yksityiset henkilöt, yritykset ja organisaatiot käsittelevät henkilötietoja EU:ssa.

Sitä ei sovelleta vainajien tai oikeushenkilöiden henkilötietojen käsittelyyn.

Sääntöjä ei sovelleta, jos yksityishenkilö käsittelee henkilötietoja yksinomaan henkilökohtaisiin tarkoituksiin tai omassa kotitaloudessaan eikä käsittely liity ammatilliseen tai kaupalliseen toimintaan. Kun yksityishenkilö käsittelee henkilötietoja yksityiselämän ulkopuolella esimerkiksi kulttuuri- tai rahoitustoiminnassa, tietosuojalainsäädäntöä on noudatettava.
Napsauta laajentaaksesi...
 
Kautium sanoi:
GRPR on kyllä ihme keppihevonen, kun sitä tuputetaan vähän joka väliin. Se ei kuitenkaan todellisuudessa liity millään tavalla siihen mitä yksityishenkilö tekee milläkin tiedolla.

ec.europa.eu

Mitä yleinen tietosuoja-asetus kattaa?

EU:n tietosuoja-asetuksen soveltaminen yrityksiin, organisaatioihin ja kansalaisiin.
ec.europa.eu ec.europa.eu
Napsauta laajentaaksesi...

Kyllä. Tässä on vaan se, että jos lähdetään kaupallistamaan tätä toteutusta ja/tai laitetaan raakadataa nettiin, niin ollaan harmaalla alueella ja asiat menee vaikeaksi.

Ei ollut tarkoitus ampua kenenkään projekteja alas, mutta jos kysytään, mitä ongelmia voi olla, niin noita voi olla. Lisäksi henkilötieto on moniulotteinen käsite ja nyt en oikeastaan haluaisi keskustella tästä vapaa-ajallani, kun työtehtäväni sivuavat jotain näitä asioita ja en niistä halua kertoa/tehdä vapaa-ajallani. Kirjoittelin jo pidemmän vastineen, mutta en lähettänyt sitä ikinä.

Minä jätän tämän tähän - ei siksi, että olisi jotain teitä vastaan tai haluaisin väitellä asiasta, mutta maistuu jo liikaa työltä ja vähemmän harrastukselta.
 
Puhumattakaan siitä mitä Sampsa tykkää ylimääräisestä kuormituksesta foorumille
 
Nerkoon sanoi:
Puhumattakaan siitä mitä Sampsa tykkää ylimääräisestä kuormituksesta foorumille
Napsauta laajentaaksesi...
Tämän kaltainen liikenne on yleensä aina poikkeuksetta kielletty joka sivustolla. Tai tähän pätee hyvinkin tarkat säännöt, esim. Google ja muut hakukoneet sallitaan, kun taas muut yleensä blokataan, esim. serveri tasolla. Yleisesti tätä pystyy sivuston omistaja myös hallinnoimaan robots.txt:llä. Myös ns. hyvä botti jättää itsestään jäljen, jossa on tunnistettava IP+User Agent.

Säännöissä ei tosiaan mainita robottiliikenteestä, mutta uskoisin, että maininta hyvin äkkiä ilmestyy, jos joku alkaa sisältöä hyödyntämään näin. Tämähän myös tarkoittaa sitä, että se tekee juuri samalla hetkellä scriptistä täysin turhan, jos ei halua sääntöjä rikkoa.
 
hsalonen sanoi:
Kyllä. Tässä on vaan se, että jos lähdetään kaupallistamaan tätä toteutusta ja/tai laitetaan raakadataa nettiin, niin ollaan harmaalla alueella ja asiat menee vaikeaksi.

Ei ollut tarkoitus ampua kenenkään projekteja alas, mutta jos kysytään, mitä ongelmia voi olla, niin noita voi olla. Lisäksi henkilötieto on moniulotteinen käsite ja nyt en oikeastaan haluaisi keskustella tästä vapaa-ajallani, kun työtehtäväni sivuavat jotain näitä asioita ja en niistä halua kertoa/tehdä vapaa-ajallani. Kirjoittelin jo pidemmän vastineen, mutta en lähettänyt sitä ikinä.

Minä jätän tämän tähän - ei siksi, että olisi jotain teitä vastaan tai haluaisin väitellä asiasta, mutta maistuu jo liikaa työltä ja vähemmän harrastukselta.
Napsauta laajentaaksesi...
Kukaan ei ollut julkistamassa tai kaupallistamassa yhtään mitään. Aloittajahan sanoi olevansa itse kiinnostunut käytettyjen tuotteiden hintakehityksestä ja varmaan olisi moni muukin. Tosin aika vaikea niitä on tuolta määrittelemättömistä keskusteluista automaattisesti poimia.

Julkisista foorumipostauksista ei henkilötietoja käytännössä löydy, eli aika turha maalailla pirua seinille niiltäkään osin ja vaikka löytyisikin, niin ei se yksityishenkilön kotikäytössä mitään merkitse. Ja jos niitä hintatietoja julkaisee, niin ne eivät ole mitään henkilötietoja vaikka miten päin asiaa taivuttelisi.

Nerkoon sanoi:
Puhumattakaan siitä mitä Sampsa tykkää ylimääräisestä kuormituksesta foorumille
Napsauta laajentaaksesi...
Tämä on sitten ihan eri asia. Mutta jos sieltä esim. kerran rykäisee yhden alueen viestit talteen, niin eipä se näy kokonaisliikennemäärässä mitenkään.

Mahdollisten sääntöjen rikkominen on sitten vielä kolmas asia.
 
mRkukov sanoi:
Ja aina voi käyttää siihen tehtyä lähdettä, eli RSS feediä. Foorumi tarjoaa jokaisesta alueesta sellaista. Esim:
Napsauta laajentaaksesi...
Nopea vilkaisu kertoo, että tosta RSS feedistä ei saa infoa, että onko tuote tilassa "myyty" vai "myytävänä". Myös kommenteista ei ole muuta tietoa, kuin countit. Eli se viesti-sivu pitäisi silti parsia erikseen ja noille myyntisivuille ei ainakaan samalla systeemillä näytä feedäjä löytyvän. Joten sen oikean sivun lataaminen on huomattavasti tehokkaampi, koska siinä voi samalla yhdellä pyynnöllä filteroida myydyt pois listalta, jotta niitä ei edes ikinä tarvitse ladata ja samalla ne voi päivittää myyty tilaan omasta kannasta (tämä kaikki siis yhdellä pyynnöllä vs. jokaisen tuotteen parserointi aina). Myytävänä olevat tuotteet pitää ladata silti aina uudestaan, koska kommentit sisältävät myös erittäin oleellista dataa.

Ja jos näitä julkaisee missään niin kannattaa olla tarkkana. Kyllähän tätäkin sisältöä suojaa tekijänoikeus, vaikka sitä ei missään erikseen mainita. Eli kannattaa ainakin tutustua tekijänoikeus lakiin sekä Tekijänoikeusneuvoston lausuntoihin. Jos käyttää omaan käyttöön, niin kannattaa seurata sivuston sääntöjä ja lopettaa siinä vaiheessa, kun tämä kielletään. ;)
 
Kirjaudu tai rekisteröidy kirjoittaaksesi tänne.

Uutiset

Uutisia lyhyesti

Uusimmat viestit

Statistiikka

Viestiketjuista
258 720
Viestejä
4 494 031
Jäsenet
74 285
Uusin jäsen
ImPetriiZ

Hinta.fi

Back
Ylös Bottom