• Live: io-techin Tekniikkapodcast tänään perjantaina noin klo 15:05 alkaen. Keskustellaan viikon mielenkiintoisimmista tietotekniikka- ja mobiiliaiheista. Suora lähetys YouTubessa. Tule mukaan katselemaan ja keskustelemaan! Linkki lähetykseen >>

Rbot.fi - projekti kuollut

  • Keskustelun aloittaja Keskustelun aloittaja Sampsa
  • Aloitettu Aloitettu
Kauppalehden juttuja voi lukea ilmaiseksi 5 kertaa. Tulisiko olla euromerkin takana?

Kaappausyritys Suomen kantaverkossa | Kauppalehti

Tuon kun avaan, niin tulee että lukenut 5/5 uutista ja nyt pitäisi maksaa.

Laitettu kategoriaan osittain maksullinen tuon 5/5 takia.

Tekniikan maailma myös € taakse:

Kuulokkeet voivat aiheuttaa salakavalasti kuulovaurion – Näin suojaudut riskeiltä

Musiikista ja pelien äänimaisemista nautitaan yhä useammin kuulokkeilla. Suuri osa näistä kuuntelijoista on lapsia ja teinejä, joiden kuulo voi..

Laitettu kategoiaan osittain maksullinen. Näyttäisi että on täysin maksullisia "Tilaajile" artikkeleita, en tiedä sitten onko muuten ilmainen vaiko joku 5/5 systeemi käytössä.
 
Ilmeisestikin RSS syötteessä on ollut vikaa ja nyt korjaantunut, niin useampi uutinen on tullut sitten samaan aikaan ulos. Uutiset kirjataan meille sisään sillä ajalla jolla ne löydetään eikä sillä millä ne on julkaistu. Toki tähän voisi jotain muutosta harkita tällaisia poikkeustilanteita varten.

Lisäksi jotkut verkkomediat julkaisee aamuyöllä nipun uutisia valmiiksi seuraavalle päivälle. Esim. "näköislehden" artikkelit jotka ovat menneet oikeassa lehdessä painoon tulevat usein kerralla ulos siinä vaiheessa kun toimitus lähtee kotiin jossain lähteissä.

Tähän tehty nyt muutos, eli mikäli joku uutislähde on alhaalla (ei saada yhteyttä tms), niin seuraavan onnistuneen keräyksen yhteydessä luotetaan sivuston antamiin aikaleimoihin uutisten osalta. Tällä siis vältytään siltä että tulisi yhtäkkiä monta uutista samasta lähteestä yhteysvirheen tms takia kuten oli aiemmin tapahtunut. Sitten kun palataan normaaliin toimintaan, niin mennään taas meidän aikaleimoilla.

Jos joku miettii miksi ei käytetä aina lähteiden aikaleimoja, niin se johtuu ihan siitä että käytännössä antaisi lähteelle mahdollisuuden manipuloida järjestystä missä uutiset näkyvät sivustolla.
 
Nyt siellä on 2 uutista joiden aikaleima vaikuttaisi olevan tulevaisuudessa.
 
Nyt siellä on 2 uutista joiden aikaleima vaikuttaisi olevan tulevaisuudessa.

No niinpä on. Heti saatiin hyvä esimerkki siitä mitä voi tapahtua kun luottaa lähteeseen liikaa.

Ilmeisesti Kainuun Sanomat on päättänyt ilmoittaa uutiset EEST ajassa, mutta leimata ne silti GMT ajaksi lähteessä. Eli siis yksinkertaisesti ilmoittaa ajat virheellisesti. Keksitääs tähänkin tilanteeseen jotain.
 
Sivuaa aihetta etäisesti, kuinka paljon noita verkkolehtiä suomessa on? Sillä vaan mietin että on melkoinen keräily, jos noita kaikkia käy läpi, ja jos kappalemäärä on selvillä, niin montako on rbotin listoilla..?

Julkaisuneuvostoahan ei varsinaisesti taida olla, täällä;)

TNS | SUOMEN WEB-SIVUSTOJEN VIIKKOLUVUT <---en jaksanut laskea.

Tuolla vanhempaa tietoa kun, uudempaakan ei löytynyt, 2008 oli 164 - ja sen jälkeen varmasti lisääntynyt.

Verkkolehtien määrä kasvoi viime vuonna tusinalla
 
No niinpä on. Heti saatiin hyvä esimerkki siitä mitä voi tapahtua kun luottaa lähteeseen liikaa.

Ilmeisesti Kainuun Sanomat on päättänyt ilmoittaa uutiset EEST ajassa, mutta leimata ne silti GMT ajaksi lähteessä. Eli siis yksinkertaisesti ilmoittaa ajat virheellisesti. Keksitääs tähänkin tilanteeseen jotain.

No nyt on fiksattu noi tulevaisuudessa olevat tapaukset ja lisätty vielä jatkoa ajatellen säännöt että tuollaiset lähteiden virheet korjataan automaattisesti.

Sivuaa aihetta etäisesti, kuinka paljon noita verkkolehtiä suomessa on? Sillä vaan mietin että on melkoinen keräily, jos noita kaikkia käy läpi, ja jos kappalemäärä on selvillä, niin montako on rbotin listoilla..?

Julkaisuneuvostoahan ei varsinaisesti taida olla, täällä;)

TNS | SUOMEN WEB-SIVUSTOJEN VIIKKOLUVUT <---en jaksanut laskea.

Tuolla vanhempaa tietoa kun, uudempaakan ei löytynyt, 2008 oli 164 - ja sen jälkeen varmasti lisääntynyt.

Verkkolehtien määrä kasvoi viime vuonna tusinalla

Lähteitä on karkeasti tällä hetkellä 260 (Suomesta).
 
...Lähteitä on karkeasti tällä hetkellä 260 (Suomesta).
Vielähän noita mahtuisi reilusti lisää.

Pyöritän omaa uutiskeräintä privaatisti ja lokaalisti Wampserverin kauttta omalta koneelta ja siinä on tällä hetkellä uutislähteitä 422kpl.

@copter - YV-viestiä kehiin jos haluat että exporttaan lähdelistan tutkittavaksi.
 
No niinpä on. Heti saatiin hyvä esimerkki siitä mitä voi tapahtua kun luottaa lähteeseen liikaa.

Ilmeisesti Kainuun Sanomat on päättänyt ilmoittaa uutiset EEST ajassa, mutta leimata ne silti GMT ajaksi lähteessä. Eli siis yksinkertaisesti ilmoittaa ajat virheellisesti. Keksitääs tähänkin tilanteeseen jotain.
Jos aika tulevaisuudessa -> testaa muuttaa aikavyöhykkeen verran takas päin, jos edelleen niin lätkäse sit nykyhetki.
 
Jos aika tulevaisuudessa -> testaa muuttaa aikavyöhykkeen verran takas päin, jos edelleen niin lätkäse sit nykyhetki.

No näin sen juuri laitoin.

EDIT: Tai jos ihan tarkkoja ollaan niin laitoin sen myös laskemaan aikavyöhykkeen lisäksi myös mahdollisen kesäajan offsetin.
 
Viimeksi muokattu:
Näemmä ei nyt ihan toimi maksulliset merkki. Mulla asetuksena, että näkyy osittain, mutta nyt näkyy myös täysmaksulliset. Ruksien ruksaus ei vaikuta mitenkään.
 
Näemmä ei nyt ihan toimi maksulliset merkki. Mulla asetuksena, että näkyy osittain, mutta nyt näkyy myös täysmaksulliset. Ruksien ruksaus ei vaikuta mitenkään.

Hmm. Mikä selain ja cookiet on varmaan sallittuna?
 
eiku... komento takas. olin tykätyimmät lehdellä. :D

Tykätyimmät ja suosituimmat välilehdellä ei tosiaan noita filtteröidä pois, mielestäni se olisi hieman harhaanjohtavaa. Ja toisaalta harvemmin täysin maksulliset tuonne pääsee varsinkaan jatkossa kun porukka filtteröi maksullisia lähteitä pois päältä.
 
En tiedä muista, mutta mm. minä avaan linkit käytännössä poikkeuksetta aina uuteen ikkunaan hiiri-eleitä käyttäen. Riippuu varmaan käytetystä mouse-gesture -addonista, että millä tavalla sellainen klikkaus teknisesti välittyy edelleen. Sen verran testailin, että rbot ei rekisteröi tuolla tavalla toimittaessa ainakaan tämän Firefoxin all-in-one gestures -addonin klikkejä.

Nyt pitäisi klikkien myös gestureilla rekisteröityä oikeellisesti. Voitko varmistaa että toimii myös sinulla?

Klikkejä / suosituimpia uutisia pääsee manipuloimaan floodaamalla selaimen konsoliin:
Koodi:
javascript:doClick(334669);javascript:doClick(334669);javascript:doClick(334669);javascript:doClick(334669);javascript:doClick(334669);javascript:doClick(334669); jne..
.

Suosituimpia uutisia tällä ei koskaan päässyt manipuloimaan, siihen filtteri tehtiin palvelinpuolelle launchin yhteydessä. Klikkauksiin filtteri piti laittaa samassa yhteydessä ja oli tiedostettu asia että se ei ole käytössä, mutta en siitä täällä viitsinyt pahemmin huudella juurikin sen takia ettei joku ala skriptailemaan omiaan ennen kuin se on tehty. ;)

On nyt kuitenkin paikoillaan. Toteutettu niin javascriptissä kuin myös palvelinpuolella.
 
Toivon mukaan jossain vaiheessa urheilu kategoriaan saadaan alakategoriat tyyliin Jääkiekko, jalkapallo jne.
 
Esport uutiset vois muuten myös pistää yhteen ala kategoriaan esim. pelien alle.
 
Nyt pitäisi klikkien myös gestureilla rekisteröityä oikeellisesti. Voitko varmistaa että toimii myös sinulla?
Ei toimi edelleenkään tällä lisärillä ainakaan silloin kun avaa linkin uuteen ikkunaan.
 
Uutisten näyttämisen lukumääriin tehty hieman viilauksia, tästä johtuen pientä lagia saattaa olla sivulatauksissa tilapäisesti.
 
Nyt pitäisi klikkien myös gestureilla rekisteröityä oikeellisesti. Voitko varmistaa että toimii myös sinulla?



Suosituimpia uutisia tällä ei koskaan päässyt manipuloimaan, siihen filtteri tehtiin palvelinpuolelle launchin yhteydessä. Klikkauksiin filtteri piti laittaa samassa yhteydessä ja oli tiedostettu asia että se ei ole käytössä, mutta en siitä täällä viitsinyt pahemmin huudella juurikin sen takia ettei joku ala skriptailemaan omiaan ennen kuin se on tehty. ;)

On nyt kuitenkin paikoillaan. Toteutettu niin javascriptissä kuin myös palvelinpuolella.


Lisää haastetta:
Klikkejä saa lisättyä haluamalleen uutiselleen tekemällä click?=:iin IMG-upotteen esim. tälle foorumille. kts: https://bbs.io-tech.fi/threads/rich-piana-muisteluketju.49188/#post-1502659 .

Y8M2lXj.png
 
Uutisten näyttämisen lukumääriin tehty hieman viilauksia, tästä johtuen pientä lagia saattaa olla sivulatauksissa tilapäisesti.

Pahimmat lagit pitäisi olla takana. Seurataan tilannetta.

Uutisten lukumäärää muutettu siten, että vanhat "100 kpl" ja "250 kpl" merkinnät on korvattu valinnoilla "Viimeinen tunti" ja "Viimeiset 3 tuntia".

Käytännössä "Viimeinen tunti" näyttää uutisia viimeisen tunnin verran, mutta tästäkin huolimatta aina vähintään 100 kpl kuten vanha valinta. "Viimeiset 3 tuntia" taas puolestaan näyttää sen viimeiset 3 tuntia tai vastaavasti vähintään 250 kpl.

Tuolla isommalla valinnalla pääsivun renderöinti kestää hieman pidempään isommasta uutismäärästä johtuen. Tähän nopeutusta ollaan toki tekemässä joka vaatinee pieniä modauksia renderöintiin yleisesti.
 
Viimeksi muokattu:
En kyllä ymmärrä mistä ihmeestä tuollaiset rajat tulevat? Varmaankin tekniset syyt sillä muuten asiassa ei ole mitään järkeä. Miten aamulla 8 aikaan luetaan yön uutiset (nukkumaan 22:00)?
 
En kyllä ymmärrä mistä ihmeestä tuollaiset rajat tulevat? Varmaankin tekniset syyt sillä muuten asiassa ei ole mitään järkeä. Miten aamulla 8 aikaan luetaan yön uutiset (nukkumaan 22:00)?

Juurikin tekniset syyt. Jos ilman oikeanlaista käsittelyä aina lävästään se 1000 uutista, niin sivusto on tahmea.

Eiköhän Copter tee nuo epäsynkaksi, niin saadaan uutisia rajattomasti, ilman että sivun lataaminen kestää. :tup:
 
Juurikin tekniset syyt. Jos ilman oikeanlaista käsittelyä aina lävästään se 1000 uutista, niin sivusto on tahmea.

Eiköhän Copter tee nuo epäsynkaksi, niin saadaan uutisia rajattomasti, ilman että sivun lataaminen kestää. :tup:
En vain ymmärrä itse että miten tärkeimmän perusominaisuuden tekeminen kestää (joko sivutuksella, lataa lisää napilla tai mitä vain), mutta on aikaa viilata kaikkia muita täysin irrelevantteja juttuja.

Edit: Onko siis olemassa oikeasti käyttäjiä jotka pystyvät käyttämään nykyistä rbottia 3 tunnin välein koko ajan (tai entisen 250 otsikon välein). Muutenhan väkisellä missaa uutisotsikoita ellei pysty tuohon tiheyteen. Ja jos taas missaa otsikoita mitä hyötyä koko palvelusta on?
 
Tällä hetkellä vielä näkymä renderöidään täysin dynaamisesti lennosta. Ehdottomasti suurin "tehosyöppö" tällä hetkellä on uutisten ryhmittely, joka siis hoitaa tuon että samankaltaiset otsikot ryhmittyy tuon + merkin alle.

Käytännössä kun dynaamisesti renderöitävä data kasvaa esim. kaksinkertaiseksi, niin tuon toiminnon työmäärä kasvaa potenssilla. Jos uutisia on 100 kpl niin vertauksia tehdään karkeasti 100*100 = 10000 kappaletta, todellisuudessa hieman vähemmän koska vertauksia ei enää tehdä otsikoille jotka on jo ryhmitetty jonkun toisen otsikon alle.

Tuolla 3 tunnin asetuksella näkyy tällä hetkellä n. 650 uutista jos "kakkostason" filtteri on päällä, joka tarkoittaa että vertauksia tehdään 650*650 = 422500 kappaletta, miinus sitten ne jotka on jo ryhmitelty. Eli siis kuitenkin aivan h*lvetisti.

Tällä hetkellä listalla on seuraavat toiminnot:
- Parempi kategorointi
- Haku (sisältäen myös ajankohdan mukaan hakemisen)
- Filtterit

Näiden mukana myös optimoidaan cachea ja dynaamista laskentaa, joten siis suorituskykyyn tulee myös parannuksia samassa yhteydessä.

Näiden jälkeen seuraavana tulee omat profiilit.
 
En vain ymmärrä itse että miten tärkeimmän perusominaisuuden tekeminen kestää (joko sivutuksella, lataa lisää napilla tai mitä vain), mutta on aikaa viilata kaikkia muita täysin irrelevantteja juttuja.

Edit: Onko siis olemassa oikeasti käyttäjiä jotka pystyvät käyttämään nykyistä rbottia 3 tunnin välein koko ajan (tai entisen 250 otsikon välein). Muutenhan väkisellä missaa uutisotsikoita ellei pysty tuohon tiheyteen. Ja jos taas missaa otsikoita mitä hyötyä koko palvelusta on?

Edellinen ominaisuuspläjäys nosti Rbotin kävijämäärän uuteen ennätykseen, joka kielii siitä, että oikeita ominaisuuksia on toteutettu.

Copterillakin on rajallisesti aikaa käytettävissä projektin parissa, joten järkevintä on kehittää ketterästi pieniä kokonaisuuksia.

Jos palvelu on raakile ja lähdetään tekemään kertalla massiivista fundamentaalista logiikan muutosta sivun tärkeimpään ominaisuuteen, tarkoittaa se muiden pienten Quality of Life -muutosten siirtymistä eteenpäin. Tämä tarkoittaisi käytännössä samalla sitä, että sivusto olisi varmaan vieläkin julkaisun aikaisessa kunnossa ja suosio olisi romahtanut.

Mielestäni tässä projektissa tehdään juuri oikein, että poimitaan ne alimmat hedelmät ensin ja sen kokonaisuuden sisällä pienin askelin mennään kohti noita isoja muutoksia.
 
En vain ymmärrä itse että miten tärkeimmän perusominaisuuden tekeminen kestää (joko sivutuksella, lataa lisää napilla tai mitä vain), mutta on aikaa viilata kaikkia muita täysin irrelevantteja juttuja.

Edit: Onko siis olemassa oikeasti käyttäjiä jotka pystyvät käyttämään nykyistä rbottia 3 tunnin välein koko ajan (tai entisen 250 otsikon välein). Muutenhan väkisellä missaa uutisotsikoita ellei pysty tuohon tiheyteen. Ja jos taas missaa otsikoita mitä hyötyä koko palvelusta on?

Uutisten lukumäärästä on ollut paljon kommentteja että niitä pitää nähdä kerralla enemmän, joten ei mielestäni ole irrelevantti asia tämäkään. Koska uutisia tulee melko tiheällä tahdilla, niin tuolla vanhalla 100 kpl asetuksella oli parhaimmillaan tilanne että pääsivulla näkyi viimeisen 25 minuutin uutiset. Tällä siis tuodaan hieman helpotusta tähän asiaan.

Kategoriat tuovat tähän myös helpotusta, koska samassa yhteydessä etusivulta poistuu joitain lähteitä jotka sitten jatkossa löytyvät vain kategorioiden alta.

Lataa lisää nappi liittyy näihin oleellisesti, koska käytännössä sen lisääminen tarvitsee tuon välimuistin josta data lisätään. Dynaamisesti sen toteuttaminen tässä vaiheessa olisi hieman hukkaan heitettyä devausta koska pitäisi kuitenkin tehdä uudelleen. Toiminto ilmestyy yllä olevan listan toimintojen yhteydessä kyllä.
 
Voi olla että tästä on ollut jo puhettakin, mutta puuttuuko kategorialistauksesta "ulkomaat" tarkoituksella? Mm. juuri tätä Irma-hurrikaanin uutisointia seuratessa se olisi kätevä.
 
Voi olla että tästä on ollut jo puhettakin, mutta puuttuuko kategorialistauksesta "ulkomaat" tarkoituksella? Mm. juuri tätä Irma-hurrikaanin uutisointia seuratessa se olisi kätevä.
On ollut puhetta. Ryhmittelyn parantaminen ja ryhmien lisääminen kuuluu isoihin projekteihin ja nyt on ajettu pikkujuttuja läpi ja isot tulee sitten kun ne on valmiita.
 
Onko mahdollista lisätä nappia jolla pääsisi sivun alkuun mobiilissa? Kuten täällä foorumilla esim.
 
Jos olisi jotain uutisvirran personointiin liittyviä ideoita, niin koska niitä kannattaa esittää? Rakennatteko profiloinnin valmiiksi 1.0 -versioon?
 
Jos olisi jotain uutisvirran personointiin liittyviä ideoita, niin koska niitä kannattaa esittää? Rakennatteko profiloinnin valmiiksi 1.0 -versioon?
Voi olla paras antaa sitten kun saadaan eka versio suodatuksesta linjoille
 
Oliko profiileita tarkoitus kikkailla jollakin tavalla yhteen foorumitunnusten kanssa, vai tuleeko siitä täysin erillinen? Veikkaan jälkimmäistä, kun tuota voi olla aika vaikea toteuttaa muuten ja lisäksi integroinnin hyöty on kyseenalainen, mutta tulipahan kysyttyä.
 
Oliko profiileita tarkoitus kikkailla jollakin tavalla yhteen foorumitunnusten kanssa, vai tuleeko siitä täysin erillinen? Veikkaan jälkimmäistä, kun tuota voi olla aika vaikea toteuttaa muuten ja lisäksi integroinnin hyöty on kyseenalainen, mutta tulipahan kysyttyä.

Tunnistautuminen olisi tarkoitus olla TechBBS tunnuksilla, Facebookilla taikka Google accountilla. Eli ei ajateltu että olisi täysin erillistä loginia / user databasea.
 
Tunnistautuminen olisi tarkoitus olla TechBBS tunnuksilla, Facebookilla taikka Google accountilla. Eli ei ajateltu että olisi täysin erillistä loginia / user databasea.
Ok, hyvä näin. Muuten ihan sama käyttäjän kannalta, kunhan profiilia pääsee käyttämään myös kirjautumatta, eli kirjautumisen takana olisi vain asetusten muokkaus. Enkä tarkemmin ajatellen tiedä onko sekään tarpeen, kun samoilla laitteillahan sitä kuitenkin pääosin käytetään millä foorumiakin.
 
Juu, tuo määritellyn profiilin käyttäminen ilman kirjautumista olisi kiva juttu. Omilla laitteilla voisi olla kirjautuneenakin, mutta esimerkiksi duunissa tai jollakin jonkun muun hallinnoimalla koneella olisin mieluummin kirjautumatta.
 
Uutislähteiden nimissä olisi pientä viilaamisen varaa. Erikoisin on varmasti "Uusimmat - Aamuset" eli Aamuset. Iltalehti on Iltalehti, Ilta-Sanomat on Ilta-Sanomat, mutta Helsingin Sanomat on HS.fi ja Kaleva on kaleva.fi. Sitten löytyy ainakin Länsi-Väylä (oikeasti Länsiväylä), Kainuun sanomat, Helsingin uutiset sekä muitakin pienellä kirjoitettuja Uutisia ja Sanomia.
 
Osa lähteiden nimistä tulee niiden RSS feedin omista tiedoista mitä ovat ilmoittaneet. Joissain tapauksissa olen määrittänyt manuaalisesti, esim. tapauksissa joissa lähde ei ole ilmoittanut nimekseen mitään järkevää. Aamusten tapauksessa tämä pitää varmaan myös korjata tuonne asetuksiin. HS.fi, kaleva.fi ja Länsi-Väylä tulee mielestäni myös syötteestä. Tarkistan nämä kuitenkin lävitse.
 
Täytyy kyllä rehellisyyden nimissä myöntää etten ole käyttänyt rbot.fi sivustoa juuri sen takia kun ei ole kunnollista kategoriahakua.

Saanko ehtottaa: Mulla on omassa lokaalissa uutiskeräimessä sellainen ominaisuus jossa ei ole "kiinteitä" uutisryhmiä, vaan ne elävät sen mukaan jos ryhmässä on yhtään uutista. Jos ei ole, se loistaa poissaolollaan ja tulee näkyville vasta kun siellä on uutisia.

Uutiset ovat 24 tuntia voimassa, jonka jälkeen automatiikka poistaa ne hausta ja näkyviltä. Pari poikkeusta on määrätyissä ryhmissä kuten @Sampsa YouTube kanava jonka feed näkyy myös.

1234556778.PNG
 
Viimeksi muokattu:
Hyvä että vauhtia tulee, kaikki kehitys on eduksi suomalaisille median kuluttajille :tup:
 
Lihasmuistista tulee edelleen ampparit.com. Yritin korjata tilannetta lisäämällä rivin

144.76.59.103 ampparit.com

/etc/hosts tiedostoon mutta sain vain näkyviin "._p senna ***" Olisiko jollain parempia ideoita?
 

Statistiikka

Viestiketjuista
258 212
Viestejä
4 486 019
Jäsenet
74 182
Uusin jäsen
jampp-77-

Hinta.fi

Back
Ylös Bottom