Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014
description
Transcript of Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014
![Page 1: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/1.jpg)
Dallelicenzeaigrafici:riusare,pulire,esplorareevisualizzareidati
AlessioCimarelli@jenkin27
AndreaNelsonMauro@nelsonmau
www.dataninja.it
AgendaDigitale-ComunediBologna
,16e17giugno2014
![Page 2: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/2.jpg)
IdatieilcontestoLelicenzeAggiornamentisulleLineeguidaAGID
Iformatideidatidatistrutturatienonstrutturatifarescrapingpercrearedatistrutturati
UsareletabelleconifoglidicalcoloPulireidati:leregoleprincipaliTecnicheavanzate:l'usodiOpenRefineAnalisi:ordinare,filtrareeraggruppareidatiAggregaredatidatabellediverse:CercaVertealtrefunzioniutili
![Page 3: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/3.jpg)
IntroduzioneallaDataVisualizationrisorse,strumenti,principaliriferimentiLavisualizzazionecomestrumentidianalisideidati
Graficidibasecon :comescegliereGraficiavanzaticon :visualizzareconnessioniegerarchieMappecon :punti,bolle,choropleth,timemapReticon :elementidisocialnetworkanalysisVisualizzazione con un'overviewgenerale
![Page 4: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/4.jpg)
IlsitodiDataninjaconinostriprogettiprincipali
![Page 5: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/5.jpg)
![Page 6: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/6.jpg)
![Page 7: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/7.jpg)
Informazioni,slides,esperimenti,tutorialetoolperidatajournalist
![Page 8: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/8.jpg)
![Page 9: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/9.jpg)
EricSchmidt,Google’sexecutivechairman
![Page 10: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/10.jpg)
Percercarli,trovarli,riusarliedarelorocontesto
Peranalizzarlieverificaresepossonoessereutili
Percostruireinformazionimaggiormenteaccurateebasatesuelementistatistici
![Page 11: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/11.jpg)
![Page 12: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/12.jpg)
Cominciamodaunadefinizione
Singolipezzidiinformazionediogninatura,descrizionidifattiriproducibilisenzaambiguità,partidiinformazionistrutturate
chepossonoesserearchiviateinformatodigitale
MaurizioNapolitano,TechnologistpressoFondazioneBrunoKessler(Trento)
![Page 13: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/13.jpg)
Cominciamodaunadefinizione
Undatoèapertosechiunqueèliberodiusarlo,riutilizzarlo,ridistribuirlo,edèsoggettotutt’alpiùall’obbligodicitazioneo
condivisioneallostessomodoOpenDefinition:http://opendefinition.org/od
![Page 14: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/14.jpg)
![Page 15: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/15.jpg)
![Page 16: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/16.jpg)
http://opendefinition.org/
![Page 17: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/17.jpg)
Sevogliopubblicaredeidatiin"OpenData"devo: deidati(chilihaprodotti?Ilclassico
esempiodeidatidelturismo,generalmenteraccoltiediffusidalleCamerediCommercio)
dirittialtruio ilsegretostatisticoleverifichenecessarieepreliminari
allapubblicazione.
Einoltredevotenereamenteche:NonpossoconcedereunalicenzacherilascipiùdirittidiquantinonneabbianoidatidiprovenienzaDevosempretenereinconsiderazionelapossibilitàdirimuoveredeidati(omodificarnelalicenza)seemergechelatitolaritànonèmia.
![Page 18: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/18.jpg)
LelicenzeutilizzabiliperilrilasciodeidatisecondoAGID
http://www.agid.gov.it/sites/default/files/linee_guida/patrimoniopubblicolg2014_v0.6.pdf
![Page 19: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/19.jpg)
,giurista,espertodidirittodigitale| http://goo.gl/zmjbY7
![Page 20: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/20.jpg)
![Page 21: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/21.jpg)
Formatideidatidigitaligiàutilizzabili,solodapulireecontrollare
SipossonoanalizzareconMsExceleLibreOfficeCalc,mysql(...)Èbuonanormapubblicarliconi
![Page 22: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/22.jpg)
Sonodatinonstrutturati senonèpossibileanalizzarlitramiteun'applicazionedifogliodicalcolo
Paginewebinformatohtml
Documentiditesto
Documentiinformatopdf
![Page 23: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/23.jpg)
L'artedelloscraping:sempliceocomplessa?
(datidaestrarredapdf)
(datidaestrarredapaginehtml)
sviluppateadhocconPython/Javascript/Java
![Page 24: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/24.jpg)
![Page 25: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/25.jpg)
Ilnostropuntodipartenzaèunatabelladidatistrutturati
http://dati.comune.bologna.it/node/340
![Page 26: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/26.jpg)
Difronteall’enormevarietàdelmondo,ilcomputercomprendepochitipidivariabili:
numeriinteri(consegno,inclusolo0)numeridecimali(consegno)dateeoraristringhedicaratteri(casesensitive)valoremancante(oNULL)
![Page 27: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/27.jpg)
Verificare,individuareerrori,correggere
Premessesbagliateportano(quasi)sempreaconclusionisbagliate,ancheseilragionamentoècorretto.
Pureseaffidabile,anchelafontepuòsbagliare.Cosìcomepuòbarare,truccare,mentire,nascondere,omettere,ecc.
Dacontrollaresempreprimaditutto:coerenzainterna,completezza,verosimiglianza.
Nonbuttarviamainienteeteneretracciadiquellochesifa...
![Page 28: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/28.jpg)
Verificare,individuareerrori,correggere
Strumentideifoglidicalcolo(comeMicrosoftExcel,LibreOfficeCalc):filtriefunzionidiordinamento;formattazionecondizionale;definizioneesplicitadeitipi(stringa,numero,data,...);semplicigrafici.
SipuòfareconMicrosoftOfficeoLibreOfficeCalcOppureconunostrumentoadhoc:OpenRefine( ).openrefine.org
![Page 29: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/29.jpg)
Ognicolonnarappresentaecontieneunoeunsolotipodidato.
Ognirigarappresentaecontieneunoeunsolooggetto
Nonpossonoesistererigheperfettamentevuoteoidentiche.
Controllachelastrutturadeidatisiacorretta:ognicolonnadevecontenerevaloridellostessotipo(date,luoghi)
Controllacheidatisitrovinoinformatoomogeneo(adesempiolaformattazionedelladataoimaiuscoli/minuscoli)
Controllaqualesistemadinumerazionestaiusando.Europeooanglosassone?Controllaiseparatoridimigliaiaedecimali
![Page 30: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/30.jpg)
Controllacheleintestazionisianosemprenellaprimariga
Lerighevuotenondevonoesistere.Lecellevuotepossonoinveceindicarevalorimancanti(tutteindicanosemprevalorimancanti).
Attenzioneacellefintamentevuote:ilcaratterespazioc’è,anchesenonsivede!
Controllalesommeselavorisutabellenumericheelestaimodificando
Suddividileinformazioniinpiùcolonnepossibile(peresempiosesihannonomicompleti,megliodividerliin“nome”e“cognome”)
![Page 31: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/31.jpg)
![Page 32: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/32.jpg)
Possosceglierel'ordinamentoalfabetico(A-ZoZ-A)onumerico(min-maxoviceversa).Inquestocasoordinodalpiùgrandealpiùpiccolo
![Page 33: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/33.jpg)
![Page 34: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/34.jpg)
Raggruppoidatiperquartierecalcolandoiltotaledegliiscritti
![Page 35: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/35.jpg)
Quandosihannodiversetabellechedescrivonoglistessielementi,spessoprovenientidafontidiverse,èpossibileunirleearricchirecosìil
miodatasetscoprendonuoverelazionetraidati.
Neifoglidicalcolo: , , .
![Page 36: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/36.jpg)
Datisulladisoccupazioneosuicostideiservizi:quellidellatuacittà/regionesonopiùaltiopiùbassirispettoadaltriterritori?
-Lefontiufficialitendonoaconcentrarsisudatidelquartotrimestre.Ilcontestoelaprospettivacambianoosservandodatichemostranolosviluppodiunfenomenonegliultimi5o10anni.
-Un'istituzioneannunciamilionidieurodiinvestimentiperlescuole.Faiqualcheconto:quantistudentipotrannobeneficiarne,suqualeperiododitempo?Ricalcolareilvaloreprocapitediprogrammidiinvestimentospessopuòchiarireilrealesignificato.
-Provaadeseguiresemplicicontrollidisommeetotali.Verificalemodalitàconlequaliidatisonostatiraccoltieconqualiipotesiomodelli.Qualèiltassodidisoccupazioneneltuopaese?Controllaloeconfrontaloconaltripaesiomodellialternativi.
![Page 37: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/37.jpg)
![Page 38: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/38.jpg)
Comenoneramaisuccessonellenostrevite,oggiabbiamoaccessoaun’infinitàdiinformazionilibereegratuite.Conglistrumentigiustipossiamocominciareadareunsensoaquestidatipervedereschemietrendchealtrimentipernoisarebberoinvisibili.Trasformandoinumeriinformagrafica,permetteremoailettoridiconoscerelestoriechequeinumeri
nascondono.
AlbertoCairo,"ThefunctionalArt"
![Page 39: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/39.jpg)
Principalistrumentivisualizzazione:graficibase(linee,barre,torte):mappegeografiche:graficigerarchici:grafi(dettianchereti):timeline:
Maonlinecisonotantissimialtristrumenti:l'importanteèaverechiaroilproprioobiettivoenonaverepauradisperimentare!
http://datawrapper.ithttp://cartodb.com
http://raw.densitydesign.org/http://gephi.org
http://timeline.knightlab.com/
![Page 40: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/40.jpg)
ConDatawrapperèpossibilerealizzaregraficiinterattiviinpochiminuti(graficiabarre,torte,istogrammi,graficialinee,equalchemappa)
![Page 41: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/41.jpg)
CartoDBpermettedicrearemappeinterattiveinpochiistanti.L'importanteèchelatuatabellaabbiadeidatigeografici.
![Page 42: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/42.jpg)
RAWpermettedigestirebenelerelazionitraidatielalorogerarchia.E'faciledausareprovandogliesempigiàpresenti(esempiodiqualiingredientisonofattiicocktail?).
![Page 43: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/43.jpg)
Costruireunacronistoriadeglieventipuòesseremoltoutile.SipuòfareconTimeline.JS,adesempioinserendoinunatabellavariarticoliinsuccessionetemporale(guardalatimelinedelterremotoinEmilia).
![Page 44: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/44.jpg)
Qualisonolerelazionitraidati?E'possibilevisualizzarleconGEPHI,unsoftwarediNetworlAnalysis(basatosuigrafi).E'spessousatopervedereleconnessionitragliutentisuTwitteroleamiciziesuFacebook.
![Page 45: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/45.jpg)
Spessovisualizzareidatipuòaiutarcia"scoprire"dellenotizie
Quantoègrandeladifferenzadeltassodidisoccupazionetradueopiùterritori?Com'ècambiatounfenomenoneltempo?
Visualizzarequestidatipuòaiutarciacomprendereinmanierapiùimmediataunfenomenoefareprenderealnostrolavorogiornalisticoun'altradirezione:torniamoindietro,cerchiamoaltridati,limettiamoaconfronto.
![Page 46: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/46.jpg)
LebestpracticesdelDataJournalismprevedonocheinsiemealleinchiestevenganopubblicatiidatirelativi,perpermetterediverificarelevisualizzazionieirisultati.Noiabbiamocostruito
![Page 47: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/47.jpg)
AndreaNelsonMauro/"nelsonmau"[email protected]
@nelsonmau
www.dataninja.ithttp://school.dataninja.it
http://dataninja.it/newsletter
http://datamediahub.it
![Page 48: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/48.jpg)
Violazionivarchitelecontrollati,SIRIOeRITA
![Page 49: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/49.jpg)
(SOD)
Dati.gov.itOpenDataCensusLicenzeCreativeCommonsAgendaDigitaleItalianaSpaghettiOpenDataMailinglistpubblicadiSpaghettiOpenDataOpenBilanciOpenCoesioneCIRSFID-UniversitàdiBolognaCodicedell'AmministrazioneDigitaleOpenDefinitionConfiscatiBeneTheMigrants'FilesOpenDataBolognaFivestaropendata
![Page 50: Open Data & Data Visualization: dalle licenze ai grafici | Bologna, 16 giugno 2014](https://reader033.fdocument.pub/reader033/viewer/2022052412/558a0c21d8b42a4a438b467c/html5/thumbnails/50.jpg)
(estrazionetabelledapdf)(puliziadati)
TabulaOpenRefine