Webin botit ja spiderit

[ungefaer]

Tähän yleistä keskustelua webin boteista ja spidereista, hyvistä ja pahoista.

User-Agent: CCBot/2.0 (http://commoncrawl.org/faq/)
Tämä on tullut vastaan ennenkin, mutta aloitti nyt entistä vilkkaamman toiminnan eräässä palvelussa, n. 1-2 sivulatausta sekunnissa. Pintapuolinen vilkaisu kyseisen organisaation sivuille kertoo että keräävät dataa ja välittävät sitä eteenpäin. Muista lähteistä en heti löytänyt mielipiteitä tästä botista puolesta enkä vastaan, paitsi että kyseistä bottia on toki blokkailtu. Blokattua tuli myös itse, en koe tästä olevan mitään hyötyä kohteena olevalle palvelulle.