Rbot.fi - projekti kuollut

[BaTTman]

Onko sen Android appiksen aikataulusta mitään suunnitelmia?

Omasta mielestä sivusto skaalautuu niin hyvin puhelimeen, ettei ole mitään tarvetta tai järkeä erilliselle apille. Toimii selaimen adblockikin, jos lööppilehtiä klikkailee.

 

[miloytyn]

Omasta mielestä sivusto skaalautuu niin hyvin puhelimeen, ettei ole mitään tarvetta tai järkeä erilliselle apille. Toimii selaimen adblockikin, jos lööppilehtiä klikkailee.

Kyllä skaalautuukin, mutta sitä ei saa puhelimen työpöydälle näkyviin vaan pitää avata erikseen. Lisäksi erilinen sovellus voisi tukea esimerkiksi notifikaatioita tietyistä uutisista jne.

Pointti on että vaikka sinä et tarvi erillistä sovellusta, muilla voi olla sille käyttöä omilla käyttötavoillaan.

 

[FlyingAntero]

Kyllä skaalautuukin, mutta sitä ei saa puhelimen työpöydälle näkyviin vaan pitää avata erikseen.

Ainakin Androidissa voi tehdä kuvakkeita suoraan tietylle sivustolle tai laittaa widgettiin haluamansa sivusto auki.

 

[Sampsa]

Sovellukset ei vielä ajankohtaisia

 

[copter]

Tämä Rbot-otsikko aiheutti hetkellistä hilpeyttä. Tuleeko nuo hashtagit Cityn rss-feedistä vai liittyykö Rbot:n tuleviin filtteröinteihin?

Olisikohan tuossa nuo Amppareiden uudet hashtagit jotenkin käytössä feedissä @copter

Kyllä tässä on nyt joku innokas toimittaja vain merkannut uutisen kategoriaksi heidän feedissään nuo hashtagit.

 

[Persojet]

@copter Heittää ainakin IT ja Pelit osioon kun yrittää.

HTTP Status 500 - An exception occurred processing JSP page /main.jsp at line 265
type Exception report

message An exception occurred processing JSP page /main.jsp at line 265

description The server encountered an internal error that prevented it from fulfilling this request.

exception

org.apache.jasper.JasperException: An exception occurred processing JSP page /main.jsp at line 265

262:
263:     // get rid of fake news start
264:     int _filtered = 0;
265:     Iterator fnews = news.iterator();
266:     ArrayList newnews = new ArrayList();
267:
268:     while (fnews.hasNext()) {


Stacktrace:
    org.apache.jasper.servlet.JspServletWrapper.handleJspException(JspServletWrapper.java:578)
    org.apache.jasper.servlet.JspServletWrapper.service(JspServletWrapper.java:476)
    org.apache.jasper.servlet.JspServlet.serviceJspFile(JspServlet.java:401)
    org.apache.jasper.servlet.JspServlet.service(JspServlet.java:345)
    javax.servlet.http.HttpServlet.service(HttpServlet.java:729)
    org.apache.tomcat.websocket.server.WsFilter.doFilter(WsFilter.java:52)
    fi.rbot.servlet.Main.doGet(Main.java:439)
    javax.servlet.http.HttpServlet.service(HttpServlet.java:622)
    javax.servlet.http.HttpServlet.service(HttpServlet.java:729)
    org.apache.tomcat.websocket.server.WsFilter.doFilter(WsFilter.java:52)
root cause

java.lang.NullPointerException
    org.apache.jsp.main_jsp._jspService(main_jsp.java:397)
    org.apache.jasper.runtime.HttpJspBase.service(HttpJspBase.java:70)
    javax.servlet.http.HttpServlet.service(HttpServlet.java:729)
    org.apache.jasper.servlet.JspServletWrapper.service(JspServletWrapper.java:438)
    org.apache.jasper.servlet.JspServlet.serviceJspFile(JspServlet.java:401)
    org.apache.jasper.servlet.JspServlet.service(JspServlet.java:345)
    javax.servlet.http.HttpServlet.service(HttpServlet.java:729)
    org.apache.tomcat.websocket.server.WsFilter.doFilter(WsFilter.java:52)
    fi.rbot.servlet.Main.doGet(Main.java:439)
    javax.servlet.http.HttpServlet.service(HttpServlet.java:622)
    javax.servlet.http.HttpServlet.service(HttpServlet.java:729)
    org.apache.tomcat.websocket.server.WsFilter.doFilter(WsFilter.java:52)
note The full stack trace of the root cause is available in the Apache Tomcat/8.0.32 (Ubuntu) logs.

Apache Tomcat/8.0.32 (Ubuntu)

 

[Sampsa]

Noniin, nyt on saatu kategoriapäivitys tehtyä robottiin. Suurin osa työstä on @copter tehnyt kulisseissa ja hallintaan, mutta näkyviä muutoksia ovat:

- Uusi IT (English) -kategoria, johon on kerätty ulkomaalaisia englanninkielisiä lähteitä. Saa ehdottaa lisää!

IT (English) - Rbot.fi

- IT-kategoriasta löytyy jatkossa myös mobiiliuutiset (ei enää erillistä kategoriaa sille)

- Lähteiden siivoamista mm. Muropaketti pilkottu ja jaoteltu IT, Pelit, elokuvat ja Tekniikan Maailma autot, IT ja Tiede. Jatkossa siis aiheet oikeissa kategorioissa näiden osalta.

- Uutiset-kategoriaan lisätty alakategoriat: Kotimaa ja ulkomaat

- Kategoriavalikko järjestetty suosion mukaan

 

[copter]

@Persojet Kuten @Sampsa tossa laittoikin niin taustaan tehtiin muutoksia tänään hieman enemmän, joten oli jotain pieniä hetkellisiä katkoksia tuossa. Nyt kuitenkin (pitäisi) olla muutokset tehtynä ja kategoriat elää sitten elämäänsä kun niitä hallintatyökaluilla muokkaillaan.

Kategorioiden parantelua jne siis on tiedossa tässä seuraavaksi ja sitten lisäksi nippu pienempiä korjauksia tekniikan puolelle. Tämän jälkeen sitten filtteröinti + profiilit sen mukaan mitä tuossa aikaisemmin kirjoitin.

@John Cock Footeri korjattu.

 

[Spunde]

Tää varmaan sisältyy pienempiin korjauksiin, mutta inputit vois jossain vaiheessa tarkastaa myös, ettei tule rumia virhesivuja, jos kategoriaa ei löydykään sattumalta (?cat=xxx)

Spoileri: Stacktrace

    org.apache.jasper.JasperException: java.lang.NullPointerException
    org.apache.jasper.servlet.JspServletWrapper.handleJspException(JspServletWrapper.java:555)
    org.apache.jasper.servlet.JspServletWrapper.service(JspServletWrapper.java:476)
    org.apache.jasper.servlet.JspServlet.serviceJspFile(JspServlet.java:401)
    org.apache.jasper.servlet.JspServlet.service(JspServlet.java:345)
    javax.servlet.http.HttpServlet.service(HttpServlet.java:729)
    org.apache.tomcat.websocket.server.WsFilter.doFilter(WsFilter.java:52)
    fi.rbot.servlet.Main.doGet(Main.java:458)
    javax.servlet.http.HttpServlet.service(HttpServlet.java:622)
    javax.servlet.http.HttpServlet.service(HttpServlet.java:729)
    org.apache.tomcat.websocket.server.WsFilter.doFilter(WsFilter.java:52)

 

[BaTTman]

Kyllä skaalautuukin, mutta sitä ei saa puhelimen työpöydälle näkyviin vaan pitää avata erikseen. Lisäksi erilinen sovellus voisi tukea esimerkiksi notifikaatioita tietyistä uutisista jne.

Pointti on että vaikka sinä et tarvi erillistä sovellusta, muilla voi olla sille käyttöä omilla käyttötavoillaan.

Tuli myöhemmin mieleen, että joku voi haluta jotain push ilmoituksia uutisista. Voihan se olla kätevä, jos vaikka jotain pandan saapumista odottaa ja tulee ilmoitukset jokaisesta pandaa koskevasta uutisesta. (Tämä sattuikin juuri sopivaan ajankohtaan ).

Omaan korvaan kuullostaa kyllä todella hullulta.

Ainakin Androidissa voi tehdä kuvakkeita suoraan tietylle sivustolle tai laittaa widgettiin haluamansa sivusto auki.

Omaan järkeeni käy paremmin tämä tapa, koska silloin ei tarvitse erillistä appia aukomaan toista appia. Kaikki toimii samassa sovelluksessa.

 

[DaKyy]

Eikös nuo notifikaatiot saa yhtälailla sieltä nettisivun kautta, eli mitään erillistä softaa ei tarvita ainakaan sen takia? Tuntuu ainakin että joka toinen uutissivusto kyselee lupaa lähettää notifikaatioita.

 

[miloytyn]

Ainakin Androidissa voi tehdä kuvakkeita suoraan tietylle sivustolle tai laittaa widgettiin haluamansa sivusto auki.

Omaan järkeeni käy paremmin tämä tapa, koska silloin ei tarvitse erillistä appia aukomaan toista appia. Kaikki toimii samassa sovelluksessa.

Tosin tässä tapauksessa pitää asentaa sitten se erillinen ohjelma, jolla saa tuon widgetin työpöydälle, joten ei käyttöskenaariona eroa erillisestä rbot-appiksesta mitenkään. Luultavasti tosin rbot-sovellus osaisi näyttää uutiset paremmin kuin geneerinen webview-sovellus.

Mutta voihan tuota kokeilla. Suosituksia hyvästä webbisivun näyttävästä widgetistä otetaan vastaan. Ihan pikaisella etsimisellä en kyllä löytänyt tuollaista, mikä olisi saanut hyviä arvosteluita Playssä ja jota olisi joskus lähikuukausina vielä päivitettykin.

Edit: Web Widget – Android-sovellukset Google Playssa on parhaan oloinen mikä tuli vastaan. Siinä on näköjään myös olemassa beta versiokin, joka varmaan on vähän uudempi kuin tuo normaaliversio. Pitee laittaa kokeiluun.

 

[Cirrus]

Edelleen käyttökelvoton itselleni, koska muistaa otsikoita liian lyhyeltä ajalta.

Ja hakuakaan en nähnyt. Saatoin toki olla sokea.

 

[Sampsa]

Edelleen käyttökelvoton itselleni, koska muistaa otsikoita liian lyhyeltä ajalta.

Ja hakuakaan en nähnyt. Saatoin toki olla sokea.

Pienestä on kiinni, toivottavasti saadaan piakkoin nuokin järjestymään

 

[copter]

Tää varmaan sisältyy pienempiin korjauksiin, mutta inputit vois jossain vaiheessa tarkastaa myös, ettei tule rumia virhesivuja, jos kategoriaa ei löydykään sattumalta (?cat=xxx)

Joo tämä on tiedossa. Virheilmoituksia tullaan siistimään ja samalla noi urlitkin siistitään vihdoin.

Tuli myöhemmin mieleen, että joku voi haluta jotain push ilmoituksia uutisista. Voihan se olla kätevä, jos vaikka jotain pandan saapumista odottaa ja tulee ilmoitukset jokaisesta pandaa koskevasta uutisesta. (Tämä sattuikin juuri sopivaan ajankohtaan ).

Notifikaatiot kuvaamallasi tavalla on ollut keskusteluissa, selaimen omalla notifikaatioilla joita nyt suurin osa selaimista tukee. Tämä on vielä suunnitteluasteella eikä mitään linjauksia ole tehty, mutta kuten aiemmin keskusteltu niin ajatus on ollut että notifikaatioita omiin sääntöihin sopivista uutisista näytettäisiin sivulla ja sitten optiona voisi olla tuo notifikaatio siihen päälle

 

[mRkukov]

 

[Topixx]

Sama vika..

 

[Deussu]

Eikö Androidissa ainakin voinut tehdä apin, joka vain näyttää kyseistä sivua?

Joskus jossain projektissa tutkittiin, miten saa sivuston herättämään puhelimen ja lähettämään ilmoituksia, niin tuo sivun wrappaaminen appiin taisi olla elegantein ratkaisu.

Voi myös olla että muistan puutaheinää, kun vuosia välissä ja ei osunut omaan työhön.

Ps:

Iterator fnews = news != null ? news.iterator() : new Iterator();

 

[apek]

Tosin tässä tapauksessa pitää asentaa sitten se erillinen ohjelma, jolla saa tuon widgetin työpöydälle, joten ei käyttöskenaariona eroa erillisestä rbot-appiksesta mitenkään.

Miksi asentaa mitään widgettiä, kun voi tehdä kirjanmerkin kotinäytölle jota klikkaamalla aukeaa selaimeen rbot.

 

[TLA]

Laitetaan nyt vielä kertauksena jo aiemmin tässä ketjussa mainittu Hermit Hermit • Lite Apps Browser – Android-sovellukset Google Playssa Tuo on mielestäni ollut paras natiivisoftan korvike, itse luen rbot uutiset vain tuolla, kun en jaksa kaivella Chromessa oikeaa tabia 30 muun sivun joukosta.

 

[miloytyn]

Miksi asentaa mitään widgettiä, kun voi tehdä kirjanmerkin kotinäytölle jota klikkaamalla aukeaa selaimeen rbot.

Koska se pointti edelleen on että voi vilkaista niitä otsikoita avaamatta erikseen mitään ohjelmaa. Kyllä mä sen sivun voin avata ilman kirjanmerkkiäkin vaikka pitämällä sitä auki selaimen tabissa. Edelleen ihmisillä on erilaisia käyttötapoja ja tarpeita ohjelmille.

 

[Edqar]

Rbot mukkelismakkelis?

Service Temporarily Unavailable
The server is temporarily unable to service your request due to maintenance downtime or capacity problems. Please try again later.

Apache/2.2.15 (CentOS) Server at rbot.fi Port 443

 

[WanhaPatu]

Rbot mukkelismakkelis?

Näyttää olevan. @copter ?

 

[Deussu]

@copter @Sampsa saitti on matalana

 

[Sampsa]

Sama vika..

Ei auta, kävijäryntäys kaatoi palvelimet. @copter nostanee aamun aikana

 

[nnaku]

 

[Sampsa]

 

[Sampsa]

Nyt pystyssä taas.

 

[Nerkoon]

Tuo IT (English) on hyvä lisäys. Nyt ne muutenkin kiinnostavat sivustot ovat kaikki samassa paikassa

 

[copter]

Meni hetki kun sain tästä tiedon, kun olin palaverissa kiinni. SMS hälytykset ja kaikki oli kyllä tulleet, mutta jos puhelin ei ole mukana niin ei paljoa auta.

Pitää tähän kehittää hieman vastuunjakoa ja automatiikkaa. Tutkin täällä mikä aiheutti ongelman. Taustalla oli paljon muutoksia, joten mahdollista että on tapahtunut joku tilanne mitä ei ole osattu ennakoida.

EDIT: Muistivuoto näköjään jossain

Jan 19, 2018 9:12:23 AM org.apache.tomcat.util.net.NioEndpoint$SocketProcessor doRun
SEVERE:
java.lang.OutOfMemoryError: Java heap space

EDIT2: Hieman viilattu muistiasetuksia että ei pitäisi tapahtua ihan heti uudelleen, kunnes löydän todellisen syyn. Eli asian pitäisi olla kunnossa toistaiseksi.

 

[TheMeII]

Meni hetki kun sain tästä tiedon, kun olin palaverissa kiinni. SMS hälytykset ja kaikki oli kyllä tulleet, mutta jos puhelin ei ole mukana niin ei paljoa auta.

Pitää tähän kehittää hieman vastuunjakoa ja automatiikkaa. Tutkin täällä mikä aiheutti ongelman. Taustalla oli paljon muutoksia, joten mahdollista että on tapahtunut joku tilanne mitä ei ole osattu ennakoida.

EDIT: Muistivuoto näköjään jossain



EDIT2: Hieman viilattu muistiasetuksia että ei pitäisi tapahtua ihan heti uudelleen, kunnes löydän todellisen syyn. Eli asian pitäisi olla kunnossa toistaiseksi.

 

[copter]

@TheMeII Kävi kyllä mielessä laittaa croniin restartti, mutta ei ylpeys antanut periksi.

Lisäsin vähän muistia että pysyy pystyssä siihen saakka että kerkeän katsomaan tuon todellisen syyn.

 

[Deussu]

@TheMeII Kävi kyllä mielessä laittaa croniin restartti, mutta ei ylpeys antanut periksi.

Lisäsin vähän muistia että pysyy pystyssä siihen saakka että kerkeän katsomaan tuon todellisen syyn.

-Xmx nostaminen tarkoittaa vaan että tullaa korkeammalta lujempaa alas

 

[copter]

-Xmx nostaminen tarkoittaa vaan että tullaa korkeammalta lujempaa alas

Eipä tämä mikään pysyvä ratkaisu ole. Tuossa päivityksessä muuttui aika oleellisesti se miten kannasta haetaan tietoa, joten jossain kohtaa varmaan joku käpy tähän liittyen, tyyliin sessio jää auki tms tai jotain muuta ei niin triviaalia. Siltä se ainakin vaikuttaisi.

 

[Deussu]

Eipä tämä mikään pysyvä ratkaisu ole. Tuossa päivityksessä muuttui aika oleellisesti se miten kannasta haetaan tietoa, joten jossain kohtaa varmaan joku käpy tähän liittyen, tyyliin sessio jää auki tms tai jotain muuta ei niin triviaalia. Siltä se ainakin vaikuttaisi.

Millä haet tavaraa kannasta? Hibernate?

 

[copter]

Millä haet tavaraa kannasta? Hibernate?

Hibernate + Ehcache on käytössä.

 

[Nerkoon]

Rbot taisi kipata taas. Antaa 500 virhettä

 

[copter]

Ei kipannut. Ajoin korjauksen tohon edelliseen ongelmaan, niin piti käynnistää uusiksi.

Eli pitäisi olla kunnossa.

 

[Nerkoon]

Ei kipannut. Ajoin korjauksen tohon edelliseen ongelmaan, niin piti käynnistää uusiksi.

Eli pitäisi olla kunnossa.

Juu, toimii taas

 

[copter]

Jos kaikki menee kuten pitäisi, niin pitäisi myös olla hieman ripeämpi tuon etusivun.

 

[Deussu]

Hibernate + Ehcache on käytössä.

Olisi mielenkiintoista päästä katsomaan setuppia. Joskus tullut noiden kanssa hakattua päätä seinään, varsinkin suorituskyvyn ja muistinkäytön takia.

 

[mRkukov]

@copter

Proxy Error
The proxy server received an invalid response from an upstream server.
The proxy server could not handle the request GET /.

Reason: Error reading from remote server

Apache/2.2.15 (CentOS) Server at rbot.fi Port 443

 

[copter]

Hmm. Itsellä kyllä toimii ok. Onko muilla ongelmia?

 

[TRG-42]

Toi proxy error oli 20-30min sitten.

Edit: Ja taas..

 

[copter]

Ok kiitos tiedosta. Katson.

 

[Deussu]

Hmm. Itsellä kyllä toimii ok. Onko muilla ongelmia?

Toimii ihan ok.

Edit: Suosituimpien lataaminen kestää todella kauan, mutta ei tule erroria.

 

[nnaku]

Hmm. Itsellä kyllä toimii ok. Onko muilla ongelmia?

30s lataa suosituimpia ja tipautaa 503

 

[copter]

Joo siinä on jotain. Tutkitaan täällä miksi se hidastuu ja lopulta kippaa.

 

[nnaku]

Joo siinä on jotain. Tutkitaan täällä miksi se hidastuu ja lopulta kippaa.

Kuinkas pitkään rbot muuten säilöö klikki dataa? Onko esim mahkut saada jotain "vuoden aikana klikatuimmat" uutiset tilastoja?

 

[copter]

Noniin. Nyt toivottavasti on tuo ongelma taklattu. Seurataan tilannetta.

@nnaku Ei ole mitään rajoituksia asetettu, eli on tallessa "toistaiseksi". Täytyy katsoa miten GPDR tähän tulee vaikuttamaan, koska se asettaa tiettyjä rajoituksia. Meillä ei ole mitään intressiä tallentaa mitään henk. koht. dataa, mutta koska jonkun verran on ollut abusea noiden klikkien ja tykkäyksien kanssa, niin meidän on pakko rekisteröidä IP osoitteet filtteröintiä varten ainakin toistaiseksi.

 

[nnaku]

Noniin. Nyt toivottavasti on tuo ongelma taklattu. Seurataan tilannetta.

@nnaku Ei ole mitään rajoituksia asetettu, eli on tallessa "toistaiseksi". Täytyy katsoa miten GPDR tähän tulee vaikuttamaan, koska se asettaa tiettyjä rajoituksia. Meillä ei ole mitään intressiä tallentaa mitään henk. koht. dataa, mutta koska jonkun verran on ollut abusea noiden klikkien ja tykkäyksien kanssa, niin meidän on pakko rekisteröidä IP osoitteet filtteröintiä varten ainakin toistaiseksi.

Siis lähinnä mietin analytiikan kannalta anonyymiä dataa. Mitkä uutiset klikkaa eniten rbotissa ja jne.


Edit: luin uudestaan ja ymmärsin. Kaikki on tallessa...