Rbot.fi - projekti kuollut

  • Keskustelun aloittaja Keskustelun aloittaja Sampsa
  • Aloitettu Aloitettu
TL70 sanoi:
Tämä Rbot-otsikko aiheutti hetkellistä hilpeyttä. Tuleeko nuo hashtagit Cityn rss-feedistä vai liittyykö Rbot:n tuleviin filtteröinteihin?

rbot_city_otsikko.JPG
Napsauta laajentaaksesi...

Sampsa sanoi:
Olisikohan tuossa nuo Amppareiden uudet hashtagit jotenkin käytössä feedissä @copter
Napsauta laajentaaksesi...

Kyllä tässä on nyt joku innokas toimittaja vain merkannut uutisen kategoriaksi heidän feedissään nuo hashtagit.
 
@copter Heittää ainakin IT ja Pelit osioon kun yrittää.
Koodi: 
HTTP Status 500 - An exception occurred processing JSP page /main.jsp at line 265
type Exception report

message An exception occurred processing JSP page /main.jsp at line 265

description The server encountered an internal error that prevented it from fulfilling this request.

exception

org.apache.jasper.JasperException: An exception occurred processing JSP page /main.jsp at line 265

262:
263:     // get rid of fake news start
264:     int _filtered = 0;
265:     Iterator fnews = news.iterator();
266:     ArrayList newnews = new ArrayList();
267:
268:     while (fnews.hasNext()) {


Stacktrace:
    org.apache.jasper.servlet.JspServletWrapper.handleJspException(JspServletWrapper.java:578)
    org.apache.jasper.servlet.JspServletWrapper.service(JspServletWrapper.java:476)
    org.apache.jasper.servlet.JspServlet.serviceJspFile(JspServlet.java:401)
    org.apache.jasper.servlet.JspServlet.service(JspServlet.java:345)
    javax.servlet.http.HttpServlet.service(HttpServlet.java:729)
    org.apache.tomcat.websocket.server.WsFilter.doFilter(WsFilter.java:52)
    fi.rbot.servlet.Main.doGet(Main.java:439)
    javax.servlet.http.HttpServlet.service(HttpServlet.java:622)
    javax.servlet.http.HttpServlet.service(HttpServlet.java:729)
    org.apache.tomcat.websocket.server.WsFilter.doFilter(WsFilter.java:52)
root cause

java.lang.NullPointerException
    org.apache.jsp.main_jsp._jspService(main_jsp.java:397)
    org.apache.jasper.runtime.HttpJspBase.service(HttpJspBase.java:70)
    javax.servlet.http.HttpServlet.service(HttpServlet.java:729)
    org.apache.jasper.servlet.JspServletWrapper.service(JspServletWrapper.java:438)
    org.apache.jasper.servlet.JspServlet.serviceJspFile(JspServlet.java:401)
    org.apache.jasper.servlet.JspServlet.service(JspServlet.java:345)
    javax.servlet.http.HttpServlet.service(HttpServlet.java:729)
    org.apache.tomcat.websocket.server.WsFilter.doFilter(WsFilter.java:52)
    fi.rbot.servlet.Main.doGet(Main.java:439)
    javax.servlet.http.HttpServlet.service(HttpServlet.java:622)
    javax.servlet.http.HttpServlet.service(HttpServlet.java:729)
    org.apache.tomcat.websocket.server.WsFilter.doFilter(WsFilter.java:52)
note The full stack trace of the root cause is available in the Apache Tomcat/8.0.32 (Ubuntu) logs.

Apache Tomcat/8.0.32 (Ubuntu)
 
Noniin, nyt on saatu kategoriapäivitys tehtyä robottiin. Suurin osa työstä on @copter tehnyt kulisseissa ja hallintaan, mutta näkyviä muutoksia ovat:

- Uusi IT (English) -kategoria, johon on kerätty ulkomaalaisia englanninkielisiä lähteitä. Saa ehdottaa lisää!

IT (English) - Rbot.fi

- IT-kategoriasta löytyy jatkossa myös mobiiliuutiset (ei enää erillistä kategoriaa sille)

- Lähteiden siivoamista mm. Muropaketti pilkottu ja jaoteltu IT, Pelit, elokuvat ja Tekniikan Maailma autot, IT ja Tiede. Jatkossa siis aiheet oikeissa kategorioissa näiden osalta.

- Uutiset-kategoriaan lisätty alakategoriat: Kotimaa ja ulkomaat

- Kategoriavalikko järjestetty suosion mukaan
 
Viimeksi muokattu:
@Persojet Kuten @Sampsa tossa laittoikin niin taustaan tehtiin muutoksia tänään hieman enemmän, joten oli jotain pieniä hetkellisiä katkoksia tuossa. Nyt kuitenkin (pitäisi) olla muutokset tehtynä ja kategoriat elää sitten elämäänsä kun niitä hallintatyökaluilla muokkaillaan.

Kategorioiden parantelua jne siis on tiedossa tässä seuraavaksi ja sitten lisäksi nippu pienempiä korjauksia tekniikan puolelle. Tämän jälkeen sitten filtteröinti + profiilit sen mukaan mitä tuossa aikaisemmin kirjoitin.

@John Cock Footeri korjattu. :)
 
Tää varmaan sisältyy pienempiin korjauksiin, mutta inputit vois jossain vaiheessa tarkastaa myös, ettei tule rumia virhesivuja, jos kategoriaa ei löydykään sattumalta (?cat=xxx)

Koodi: 
    org.apache.jasper.JasperException: java.lang.NullPointerException
    org.apache.jasper.servlet.JspServletWrapper.handleJspException(JspServletWrapper.java:555)
    org.apache.jasper.servlet.JspServletWrapper.service(JspServletWrapper.java:476)
    org.apache.jasper.servlet.JspServlet.serviceJspFile(JspServlet.java:401)
    org.apache.jasper.servlet.JspServlet.service(JspServlet.java:345)
    javax.servlet.http.HttpServlet.service(HttpServlet.java:729)
    org.apache.tomcat.websocket.server.WsFilter.doFilter(WsFilter.java:52)
    fi.rbot.servlet.Main.doGet(Main.java:458)
    javax.servlet.http.HttpServlet.service(HttpServlet.java:622)
    javax.servlet.http.HttpServlet.service(HttpServlet.java:729)
    org.apache.tomcat.websocket.server.WsFilter.doFilter(WsFilter.java:52)
 
Viimeksi muokattu:
miloytyn sanoi:
Kyllä skaalautuukin, mutta sitä ei saa puhelimen työpöydälle näkyviin vaan pitää avata erikseen. Lisäksi erilinen sovellus voisi tukea esimerkiksi notifikaatioita tietyistä uutisista jne.

Pointti on että vaikka sinä et tarvi erillistä sovellusta, muilla voi olla sille käyttöä omilla käyttötavoillaan.
Napsauta laajentaaksesi...

Tuli myöhemmin mieleen, että joku voi haluta jotain push ilmoituksia uutisista. Voihan se olla kätevä, jos vaikka jotain pandan saapumista odottaa ja tulee ilmoitukset jokaisesta pandaa koskevasta uutisesta. (Tämä sattuikin juuri sopivaan ajankohtaan :D).

Omaan korvaan kuullostaa kyllä todella hullulta. :confused2:

FlyingAntero sanoi:
Ainakin Androidissa voi tehdä kuvakkeita suoraan tietylle sivustolle tai laittaa widgettiin haluamansa sivusto auki.
Napsauta laajentaaksesi...

Omaan järkeeni käy paremmin tämä tapa, koska silloin ei tarvitse erillistä appia aukomaan toista appia. Kaikki toimii samassa sovelluksessa.
 
Eikös nuo notifikaatiot saa yhtälailla sieltä nettisivun kautta, eli mitään erillistä softaa ei tarvita ainakaan sen takia? Tuntuu ainakin että joka toinen uutissivusto kyselee lupaa lähettää notifikaatioita.
 
FlyingAntero sanoi:
Ainakin Androidissa voi tehdä kuvakkeita suoraan tietylle sivustolle tai laittaa widgettiin haluamansa sivusto auki.
Napsauta laajentaaksesi...

BaTTman sanoi:
Omaan järkeeni käy paremmin tämä tapa, koska silloin ei tarvitse erillistä appia aukomaan toista appia. Kaikki toimii samassa sovelluksessa.
Napsauta laajentaaksesi...

Tosin tässä tapauksessa pitää asentaa sitten se erillinen ohjelma, jolla saa tuon widgetin työpöydälle, joten ei käyttöskenaariona eroa erillisestä rbot-appiksesta mitenkään. Luultavasti tosin rbot-sovellus osaisi näyttää uutiset paremmin kuin geneerinen webview-sovellus.

Mutta voihan tuota kokeilla. Suosituksia hyvästä webbisivun näyttävästä widgetistä otetaan vastaan. Ihan pikaisella etsimisellä en kyllä löytänyt tuollaista, mikä olisi saanut hyviä arvosteluita Playssä ja jota olisi joskus lähikuukausina vielä päivitettykin.

Edit: Web Widget – Android-sovellukset Google Playssa on parhaan oloinen mikä tuli vastaan. Siinä on näköjään myös olemassa beta versiokin, joka varmaan on vähän uudempi kuin tuo normaaliversio. Pitee laittaa kokeiluun.
 
Viimeksi muokattu:
Edelleen käyttökelvoton itselleni, koska muistaa otsikoita liian lyhyeltä ajalta.

Ja hakuakaan en nähnyt. Saatoin toki olla sokea.
 
Spunde sanoi:
Tää varmaan sisältyy pienempiin korjauksiin, mutta inputit vois jossain vaiheessa tarkastaa myös, ettei tule rumia virhesivuja, jos kategoriaa ei löydykään sattumalta (?cat=xxx)
Napsauta laajentaaksesi...

Joo tämä on tiedossa. Virheilmoituksia tullaan siistimään ja samalla noi urlitkin siistitään vihdoin.

BaTTman sanoi:
Tuli myöhemmin mieleen, että joku voi haluta jotain push ilmoituksia uutisista. Voihan se olla kätevä, jos vaikka jotain pandan saapumista odottaa ja tulee ilmoitukset jokaisesta pandaa koskevasta uutisesta. (Tämä sattuikin juuri sopivaan ajankohtaan :D).
Napsauta laajentaaksesi...

Notifikaatiot kuvaamallasi tavalla on ollut keskusteluissa, selaimen omalla notifikaatioilla joita nyt suurin osa selaimista tukee. Tämä on vielä suunnitteluasteella eikä mitään linjauksia ole tehty, mutta kuten aiemmin keskusteltu niin ajatus on ollut että notifikaatioita omiin sääntöihin sopivista uutisista näytettäisiin sivulla ja sitten optiona voisi olla tuo notifikaatio siihen päälle
 
Eikö Androidissa ainakin voinut tehdä apin, joka vain näyttää kyseistä sivua?

Joskus jossain projektissa tutkittiin, miten saa sivuston herättämään puhelimen ja lähettämään ilmoituksia, niin tuo sivun wrappaaminen appiin taisi olla elegantein ratkaisu.

Voi myös olla että muistan puutaheinää, kun vuosia välissä ja ei osunut omaan työhön. :joy:

Ps:

Iterator fnews = news != null ? news.iterator() : new Iterator();
 
Viimeksi muokattu:
miloytyn sanoi:
Tosin tässä tapauksessa pitää asentaa sitten se erillinen ohjelma, jolla saa tuon widgetin työpöydälle, joten ei käyttöskenaariona eroa erillisestä rbot-appiksesta mitenkään.
Napsauta laajentaaksesi...
Miksi asentaa mitään widgettiä, kun voi tehdä kirjanmerkin kotinäytölle jota klikkaamalla aukeaa selaimeen rbot.
 
apek sanoi:
Miksi asentaa mitään widgettiä, kun voi tehdä kirjanmerkin kotinäytölle jota klikkaamalla aukeaa selaimeen rbot.
Napsauta laajentaaksesi...
Koska se pointti edelleen on että voi vilkaista niitä otsikoita avaamatta erikseen mitään ohjelmaa. Kyllä mä sen sivun voin avata ilman kirjanmerkkiäkin vaikka pitämällä sitä auki selaimen tabissa. Edelleen ihmisillä on erilaisia käyttötapoja ja tarpeita ohjelmille.
 
Rbot mukkelismakkelis?

Service Temporarily Unavailable
The server is temporarily unable to service your request due to maintenance downtime or capacity problems. Please try again later.

Apache/2.2.15 (CentOS) Server at rbot.fi Port 443
 
Tuo IT (English) on hyvä lisäys. Nyt ne muutenkin kiinnostavat sivustot ovat kaikki samassa paikassa
 
Meni hetki kun sain tästä tiedon, kun olin palaverissa kiinni. SMS hälytykset ja kaikki oli kyllä tulleet, mutta jos puhelin ei ole mukana niin ei paljoa auta. :rofl:

Pitää tähän kehittää hieman vastuunjakoa ja automatiikkaa. Tutkin täällä mikä aiheutti ongelman. Taustalla oli paljon muutoksia, joten mahdollista että on tapahtunut joku tilanne mitä ei ole osattu ennakoida.

EDIT: Muistivuoto näköjään jossain

Jan 19, 2018 9:12:23 AM org.apache.tomcat.util.net.NioEndpoint$SocketProcessor doRun
SEVERE:
java.lang.OutOfMemoryError: Java heap space
Napsauta laajentaaksesi...

EDIT2: Hieman viilattu muistiasetuksia että ei pitäisi tapahtua ihan heti uudelleen, kunnes löydän todellisen syyn. Eli asian pitäisi olla kunnossa toistaiseksi.
 
Viimeksi muokattu:
copter sanoi:
Meni hetki kun sain tästä tiedon, kun olin palaverissa kiinni. SMS hälytykset ja kaikki oli kyllä tulleet, mutta jos puhelin ei ole mukana niin ei paljoa auta. :rofl:

Pitää tähän kehittää hieman vastuunjakoa ja automatiikkaa. Tutkin täällä mikä aiheutti ongelman. Taustalla oli paljon muutoksia, joten mahdollista että on tapahtunut joku tilanne mitä ei ole osattu ennakoida.

EDIT: Muistivuoto näköjään jossain



EDIT2: Hieman viilattu muistiasetuksia että ei pitäisi tapahtua ihan heti uudelleen, kunnes löydän todellisen syyn. Eli asian pitäisi olla kunnossa toistaiseksi.
Napsauta laajentaaksesi...
hard_reboot.png
 
@TheMeII Kävi kyllä mielessä laittaa croniin restartti, mutta ei ylpeys antanut periksi. ;)

Lisäsin vähän muistia että pysyy pystyssä siihen saakka että kerkeän katsomaan tuon todellisen syyn.
 
copter sanoi:
@TheMeII Kävi kyllä mielessä laittaa croniin restartti, mutta ei ylpeys antanut periksi. ;)

Lisäsin vähän muistia että pysyy pystyssä siihen saakka että kerkeän katsomaan tuon todellisen syyn.
Napsauta laajentaaksesi...

-Xmx nostaminen tarkoittaa vaan että tullaa korkeammalta lujempaa alas :btooth:
 
Deussu sanoi:
-Xmx nostaminen tarkoittaa vaan että tullaa korkeammalta lujempaa alas :btooth:
Napsauta laajentaaksesi...

Eipä tämä mikään pysyvä ratkaisu ole. Tuossa päivityksessä muuttui aika oleellisesti se miten kannasta haetaan tietoa, joten jossain kohtaa varmaan joku käpy tähän liittyen, tyyliin sessio jää auki tms tai jotain muuta ei niin triviaalia. Siltä se ainakin vaikuttaisi.
 
copter sanoi:
Eipä tämä mikään pysyvä ratkaisu ole. Tuossa päivityksessä muuttui aika oleellisesti se miten kannasta haetaan tietoa, joten jossain kohtaa varmaan joku käpy tähän liittyen, tyyliin sessio jää auki tms tai jotain muuta ei niin triviaalia. Siltä se ainakin vaikuttaisi.
Napsauta laajentaaksesi...

Millä haet tavaraa kannasta? Hibernate?
 
Rbot taisi kipata taas. Antaa 500 virhettä
 
Ei kipannut. Ajoin korjauksen tohon edelliseen ongelmaan, niin piti käynnistää uusiksi.

Eli pitäisi olla kunnossa.
 
Jos kaikki menee kuten pitäisi, niin pitäisi myös olla hieman ripeämpi tuon etusivun.
 
@copter

Proxy Error
The proxy server received an invalid response from an upstream server.
The proxy server could not handle the request GET /.

Reason: Error reading from remote server

Apache/2.2.15 (CentOS) Server at rbot.fi Port 443
 
Hmm. Itsellä kyllä toimii ok. Onko muilla ongelmia?
 
Joo siinä on jotain. Tutkitaan täällä miksi se hidastuu ja lopulta kippaa.
 
copter sanoi:
Joo siinä on jotain. Tutkitaan täällä miksi se hidastuu ja lopulta kippaa.
Napsauta laajentaaksesi...
Kuinkas pitkään rbot muuten säilöö klikki dataa? Onko esim mahkut saada jotain "vuoden aikana klikatuimmat" uutiset tilastoja?
 
Noniin. Nyt toivottavasti on tuo ongelma taklattu. Seurataan tilannetta.

@nnaku Ei ole mitään rajoituksia asetettu, eli on tallessa "toistaiseksi". Täytyy katsoa miten GPDR tähän tulee vaikuttamaan, koska se asettaa tiettyjä rajoituksia. Meillä ei ole mitään intressiä tallentaa mitään henk. koht. dataa, mutta koska jonkun verran on ollut abusea noiden klikkien ja tykkäyksien kanssa, niin meidän on pakko rekisteröidä IP osoitteet filtteröintiä varten ainakin toistaiseksi.
 
copter sanoi:
Noniin. Nyt toivottavasti on tuo ongelma taklattu. Seurataan tilannetta.

@nnaku Ei ole mitään rajoituksia asetettu, eli on tallessa "toistaiseksi". Täytyy katsoa miten GPDR tähän tulee vaikuttamaan, koska se asettaa tiettyjä rajoituksia. Meillä ei ole mitään intressiä tallentaa mitään henk. koht. dataa, mutta koska jonkun verran on ollut abusea noiden klikkien ja tykkäyksien kanssa, niin meidän on pakko rekisteröidä IP osoitteet filtteröintiä varten ainakin toistaiseksi.
Napsauta laajentaaksesi...


Siis lähinnä mietin analytiikan kannalta anonyymiä dataa. Mitkä uutiset klikkaa eniten rbotissa ja jne.


Edit: luin uudestaan ja ymmärsin. Kaikki on tallessa...:darra:
 
Ensin tuli:

HTTP Status 404 - /RBOT_UI/

type Status report

message /RBOT_UI/

description The requested resource is not available.

Apache Tomcat/8.0.32 (Ubuntu)

Ja sitten heti perään 503 - Proxy error
 
@tombe0 Juuri käynnistin uudelleen kun ajoin päivityksen sisään.

Urlin on nyt laitettu uuteen uskoon, eli esim. Elokuvat - Rbot.fi jne on nyt suorat linkit noihin kategorioihin, kuten näkyy kun selailee sivulla.

Olen tässä lisäksi pitkin päivää hieman tuunannut asetuksia tuohon kaatuiluun liittyen ja siinä samalla myös suorituskykyyn liittyviä muutoksia on tullut, eli pitäisi nyt olla jouhevampaa toimintaa aiempaan verrattuna. Toki parennettavaa löytyy aina.

:D
 
Kirjaudu tai rekisteröidy kirjoittaaksesi tänne.

Uutiset

Uutisia lyhyesti

Uusimmat viestit

Statistiikka

Viestiketjuista
258 256
Viestejä
4 487 678
Jäsenet
74 190
Uusin jäsen
puririri

Hinta.fi

Back
Ylös Bottom