Anche i robot navigano il web

#~web scraping, estrarre informazioni da Internet~

intro

• cosa c'e' sull'internet
  • informazioni
  • risorse
  • servizi
• web vs web browser
  • analisi di una richiesta HTTP
  • dimostrazione con cUrl
• estrazione
  • superficie: panoramica possibili utilizzi
  • tecniche
  • ostacoli e limitazioni
    • tecnico-pratiche
    • legali*
• inserimento
  • superficie: panoramica possibili utilizzi
  • tecniche e ostacoli come da estrazione
• motivazioni
  • pratiche
    • reperibilita' offline
    • far sopravvivere la fruizione ai provider attuali dei contenuti
    • costruzione di soluzioni utente-centriche
  • politiche
    • liberare le informazioni
  • artistiche
    • manipolare le informazioni per caricarle di altro significato

(*) need halp

pratica 1: cUrl

(?)pratica 1.5: greasemonkey

pratica 2: scrapy

pratica 3: PhantomJs/CasperJs

(???)pratica 4: selenium/watir

tbd: obiettivi scraping per workshop

---

#cosa c'e' sull'internet

• informazioni
• servizi
• persone che ne fruiscono

###Informazioni Le informazioni descrivono la realta' in cui viviamo e sono la base su cui prendiamo delle decisioni. Sono facili da quantificare. Sono facili da manipolare.

####Tipi di informazione che si trova sull' internet

(in ordine dalla piu' alla meno rara) -edita o elaborata -non elaborata -metainformazione

###Manipolare l'informazione *parabola: Giangiorgino si sveglia tutte le mattine per andare a prendere lo stesso treno che -di tanto in tanto- non arriva alla stazione per l'orario previsto. Quando questo succede Giangiorgino deve correre per prendere un autobus e due tram se vuole sperare di arrivare a destinazione entro la stessa ora -cosa che solitamente non riesce a fare-. Giangiorgino, pensandoci su, capisce di avere le seguenti opzioni:

• svegliarsi mezz'ora prima ogni giorno
• scaricare l'ultima App Trenissimissimo che gli invia ogni ora di ogni giorno notifiche in tempo reale sullo stato dei 36 treni circolanti sulla tratta
• manipolare l'informazione*