web-scraping-caotico/README.md

75 lines
2.1 KiB
Markdown
Raw Normal View History

2017-11-07 00:07:22 +01:00
# Anche i robot navigano il web
#~web scraping, estrarre informazioni da Internet~
2017-10-03 00:56:56 +02:00
## intro
2017-11-07 00:07:22 +01:00
- cosa c'e' sull'internet
- informazioni
- risorse
- servizi
2017-10-03 00:56:56 +02:00
- web vs web browser
- analisi di una richiesta HTTP
- dimostrazione con cUrl
- estrazione
2017-10-03 01:02:08 +02:00
- superficie: panoramica possibili utilizzi
2017-10-03 00:56:56 +02:00
- tecniche
- ostacoli e limitazioni
- tecnico-pratiche
- legali*
- inserimento
2017-10-03 01:02:08 +02:00
- superficie: panoramica possibili utilizzi
2017-10-03 00:56:56 +02:00
- tecniche e ostacoli come da estrazione
- motivazioni
- pratiche
- reperibilita' offline
- far sopravvivere la fruizione ai provider attuali dei contenuti
- costruzione di soluzioni utente-centriche
- politiche
- liberare le informazioni
- artistiche
- manipolare le informazioni per caricarle di altro significato
(*) need halp
2017-10-03 01:02:08 +02:00
2017-10-03 00:56:56 +02:00
## pratica 1: cUrl
## (?)pratica 1.5: greasemonkey
## pratica 2: scrapy
## pratica 3: PhantomJs/CasperJs
2017-10-03 01:02:08 +02:00
## (???)pratica 4: selenium/watir
2017-11-07 00:07:22 +01:00
**tbd: obiettivi scraping per workshop**
___
#cosa c'e' sull'internet
- informazioni
- servizi
- persone che ne fruiscono
###Informazioni
Le informazioni descrivono la realta' in cui viviamo e sono la base su cui prendiamo delle decisioni. Sono facili da quantificare. Sono facili da manipolare.
####Tipi di informazione che si trova sull' internet
(in ordine dalla piu' alla meno rara)
-edita o elaborata
-non elaborata
-metainformazione
###Manipolare l'informazione
*parabola:
Giangiorgino si sveglia tutte le mattine per andare a prendere lo stesso treno che -di tanto in tanto- non arriva alla stazione per l'orario previsto.
Quando questo succede Giangiorgino deve correre per prendere un autobus e due tram se vuole sperare di arrivare a destinazione entro la stessa ora -cosa che solitamente non riesce a fare-.
Giangiorgino, pensandoci su, capisce di avere le seguenti opzioni:
- svegliarsi mezz'ora prima ogni giorno
- scaricare l'ultima App Trenissimissimo che gli invia ogni ora di ogni giorno notifiche in tempo reale sullo stato dei 36 treni circolanti sulla tratta
- **manipolare l'informazione***