Näin avaat dataa

-koulutuspäivä

27.3.2015

Tanja Lahti ja Hami Kekkonen

Helsingin kaupungin tietokeskus

klo 8.30 Esittely ja koulutuksen tavoitteet

klo 8.50 Avoin data ja Helsinki Region Infoshare

klo 9.30 Paritehtävä: Mitä dataa organisaatiostasi löytyy?

Klo 9.50 Tauko

klo 10 Avaamisen perusteet käytännössä

klo 10.40 Avaamisharjoitus

klo 11 Case eräajotiedosto: Helsingin kaupungin ostot (Kari Gröndahl)

klo 11.30-12.30 Lounas (omakustanteinen)

klo 12.30 Mikä on rajapinta? (Henri Kotkanen)

klo 13.15 Case rajapinta-avaus: Pääkaupunkiseudun Palvelukartan REST-rajapinta (Mirjam Heikkinen)

klo 14.15 Iltapäiväkahvit

klo 14.35 Miten ja mistä lähteä liikkeelle?

klo 14.55 Paritehtävä: Mitä dataa voisin avata?

klo 15.15 Kysymyksiä, osallistujen omia avauksia

klo 15.30 Koulutuksen päättäminen

Koulutuksen ohjelma

Avoin data

Helsingin kaupungin aineistopankki/SkyFoto

SOSIAALI- JA

TERVEYDENHUOLTO

PYSÄKÖINTI

VÄESTÖ

PÄÄTÖKSET

PÄIVÄHOITO JA

KOULUTUS

ASUMINEN

JULKINEN

LIIKENNE

ENERGIA

MAANKÄYTTÖ

TAPAHTUMAT

RAKENTAMINEN

KULTTUURI

Valtavasti dataa

Julkinen tieto vrt. avoin tieto

Julkinen tieto:

pääsy tietoon, ihmiset pääsevät lukemaan tietoja

Avoin julkinen tieto (data):

kansalaiset ja yritykset voivat käyttää tietoja omiin

tarkoituksiinsa tasavertaisesti julkisen hallinnon kanssa

Lähde: Anne Kauhanen-Simanainen, VM, JulkICT-toiminto 20.4.2012 http://www.slideshare.net/THLfi/avoin-julkinen-tieto-yhteiskunnan-elvyttjn

© Gene Bellinger, Durval Castro and Anthony Mills - systems-thinking.org

http://opendefinition.org/okd/suomi/

Julkista tietoa

Lupa käyttää

Koneluettavassa muodossa

Maksutta saatavilla

“A piece of content or data is open

if anyone is free to use, reuse, and

redistribute it — subject only, at

most, to the requirement to

attribute and/or share-alike.”

Avoin data

• Julkishallinto

hallinnon sisäinen tehokkuus

• Kuntalainen

läpinäkyvyys ja demokratia

• Yritykset

liiketoiminta ja innovaatiot

Avoimen datan hyötyjä

Helsinki Region Infoshare

Mikä on Helsinki Region Infoshare

(HRI)?

• HRI on pääkaupunkiseudun kaupunkien (Helsinki, Espoo,

Vantaa ja Kauniainen) yhteinen avoimen datan palvelu,

joka ollut pioneeri Suomessa

• Kaupunkien tuottama / keräämä julkinen tieto (data)

tarjotaan kaupunkien ulkopuolistenkin hyödynnettäväksi

(mm. kehittäjät, korkeakoulut, yritykset, media)

• Palvelu perustettu vuonna 2010, nyt osa kaupunkien

normaalia toimintaa

Helsinki Region Infoshare www.hri.fi

Avoimen datan palvelu,

datakatalogi, jossa olevia

pääkaupunkiseutua tai sen osia

koskevia tietoaineistoja voi

kuka tahansa vapaasti hyödyntää

– yli 1 100 aineistoa

Lisäksi sivustolla:

• Ohjeita datan avaamiseen

• Sovellusgalleria

• Hyödyntämisvinkkejä ja -esimerkkejä

• Palautteenanto avatuista datoista

• Datatoiveiden esittäminen

CLEARING

HOUSE

➜ Tuottavat alkuperäistä

tietoa

➜ Ylläpitävät omaa

tietoaan

➜ Osallistuvat tiedon

avaamiseen

➜ Toimittavat

tietoaineistojen

metatiedot Clearing

houselle

Dataa

Palautetta ja

toiveita

datasta

Tiedon

tuottaminen

Tiedon

avaaminen

Tiedon

jakaminen

Tiedon

hyödyntäminen

Loppukäyttäjät Kriteerit ja ohjeet

Avaamisen apuvälineet

Palautetta datasta

Dataa ja

metadataa

Julkisen tiedon

tuottajat ja

lähteet

➜ Priorisoi mitä tietoja

avataan

➜ Kriteerit ja ohjeet

➜ Avustaa tiedon tuottajia

avaamisessa

➜ Ottaa vastaan tietoja,

arvioi ne ja hyväksyy

jakeluun

➜ Vastaa verkkopalvelun

ylläpidosta

➜ Ylläpitää

metatietorekisteriä

➜ Kerää käyttäjäpalautetta

datasta

➜ Kerää käyttäjien toiveita

uusista tietoaineistoista

➜ Kerää muuta

käyttäjäpalautetta

➜ Kuntien työntekijät,

yritykset, tutkimuslaitokset,

kansalaiset, oppilaitokset,

jne.

➜ Hyväksyvät käyttöehdot

➜ Lataavat ja hyödyntävät

dataa

➜ Palautetta ja toiveita

datasta

Clearing

house Tiedon

jakelija

”Datan

metatieto-

rekisteri”

”Helsingin

seudun

datakatalogi”

HRI-toimintamalli

Tilastoja ja ennusteita Esim. asuminen, työllisyys, hyvinvointi, väestö

Paikkatietoaineistoja Esim. aluejaot, vanhat kartat ja ilmakuvat,

rakennustietoja, liikennevalot, lumiaurojen

sijantitiedot

Muita tietoaineistoja Esim. PKS:n palvelupisterekisteri,

päätöksentekodataa, HSL:n aikatauludataa, kuntien

tilinpäätöstiedot, Helsingin kaupungin ostot, HKO:n

konserttitietokanta

HRI:ssa avattuja tietoaineistoja

Esittelyvideo HRI:sta ja

avoimesta datasta suomeksi,

ruotsiksi ja englanniksi

https://www.youtube.com/user/HRInfoshare

http://www.hri.fi/fi/ajankohtaista/hri-piirrosvideona/

HRI ja avoin data 3 minuutissa

Yhteistyötä

hyödyntäjien kanssa

Datan hyödyntäjä? Datan hyödyntäjä = Kuka tahansa

Kaupunkiorganisaatio

Kaupunkilaiset

http://dev.hel.fi

Kaikille avoimia

kehittäjätapaamisia

Lasipalatsin

Kaupunkiverstaalla

Avoimen datan

”Avoin konttori ”

joka toinen torstai

klo 15 alkaen –

seuraava to 9.4.

Teemaseminaareja:

- ympäristö

- paikkatieto

- vapaa-aika

- ..

Tervetuloa!

Vuoropuhelua kehittäjien kanssa

http://dev.hel.fi

Kannustetaan hyödyntämään

• Kehittäjäyhteistyö, esim. Helsinki Loves Developers

• Avoimen datan avoin konttori

• Kilpailut, esim. Apps4Finland

• Datademo-rahoitusmalli

• Hackathonit

• Jne.

6AIKA-ohjelmasta tukea kehittämiseen

• 6AIKA = Kuuden suurimman kaupungin

strategia ja yhteistyöohjelma

• Painopisteet:

o Avoin data ja rajapinnat

o Avoimet innovaatioalustat

o Avoin osallisuus

• Tulossa pilottihankehakuja

Lisätietoja www.6aika.fi

Avoimen datan

hyödyntämisesimerkkejä

Datajournalismi

Opetus ja tutkimus

Läpinäkyvyys

Liiketoiminta

Avoin data

Osallistuminen

Taide

Median voima -

datajournalismi

• HS 16.10.2014 uutinen

toimeentulotuen määristä

• Taustalla kuuden suurimman

kaupungin tekemä ja avoimena

datana avaama vertailu

http://www.hs.fi/kaupunki/a1413347777212

http://www.hri.fi/fi/dataset/kuuden-suurimman-kaupungin-toimeentulotuen-vertailu

Helsingin

kaupungin ostot

Läpinäkyvyyttä

visualisoinneilla

http://www.hri.fi/fi/dataset/helsingin-kaupungin-ostot

http://www.hri.fi/fi/dataset/paakaupunkiseudun-matka-aikamatriisi

http://www.hri.fi/fi/ajankohtaista/matka-aikamatriisi-sai-hrin-erityispalkinnon-apps4finlandissa/

Tutkimuksen kautta uutta tietoa

Helsingin ilmakuvat 1930-,

1940-, 1950-, 1960-, 1970-,

1980- ja 2010-luvuilta

-> Helsinki ilmakuvina

1932–2012

http://www.hri.fi/fi/sovellukset/helsinki-

ilmakuvina-1943-2012/

Kurkistus menneisyyteen ja muutokseen

Sovelluksilla uutta liiketoimintaa ja

innovaatioita

http://www.hri.fi/fi/sovellukset/ahjo-explorer/

OpenAhjo & Ahjo Explorer

http://www.hri.fi/fi/sovellukset/

• Ulkopuolisten tahojen

tekemien, avointa dataa

hyödyntävien sovellusten,

visualisointien ja

ohjeistuksien esittelyä

• Sovellusideoiden

kerääminen käyttäjiltä

1 Sovellusgalleria

Paritehtävä

Mitä dataa

organisaatiostasi löytyy?

• Mitä dataa tuotat työssäsi?

• Mitä dataa käytät työssäsi?

• Mitä dataa tarvitsisit työssäsi?

• Mikä on kiinnostavin datasetti parisi

organisaatiossa?

Avaamisen perusteet

käytännössä

Datan avaaminen käytännössä

Julkisuus • Tiedon oltava julkista

o Julkisuuslaki

o Muu lainsäädäntö

• Tieto ei saa sisältää henkilötietoja o Julkaistaan vain tietoa, jossa ei ole henkilötietoja

o Tarvittaessa tiedon anonymisointi

• Julkaisijalla on oikeus julkaista tieto o Tekijän- ym. immateriaalioikeudet

o Sopimukset ym.

• Maksuttomuus o Kuntalaki 50§: valtuusto päättää kunnan maksujen perusteista

Koneluettavuus Ihminen hahmottaa datasta nopeasti esim. otsikot, väli- tai loppusummat, lisätiedot, jne.

Koneelliseen tulkintaan tarvitaan rakenteinen, systemaattinen muoto

Missä muodossa avata dataa?

Erilaisia tapoja avata dataa

• Tiedostona o Tiedosto, jossa data ylläpidetään (xls / csv / tab / shp / …)

o Otetaan tieto manuaalisesti ulos järjestelmästä

o Otetaan tieto automatisoidusti ulos järjestelmästä

• Rajapinnan kautta o Tehdään rajapinta järjestelmästä automatisoidusti ulos otettavaan tietoon

o Tehdään järjestelmään / sen kopioon rajapinta

Missä muodossa avata dataa?

Kysymyksiä, joita hyvä pohtia:

• Kuinka usein data päivittyy / päivitetään?

• Kuinka suuri datamäärä on?

• Onko data reaaliaikaista, vai esim. vuosittaista tietoa?

• Kuinka paljon käsityötä datan muokkaaminen vaatii?

• Mihin dataa voisi käyttää?

• Onko jokin muu taho jo avannut vastaavan datan? Miten

se on tehty?

Lisenssi

• Datan omistaja antaa käyttöoikeuden eli lisenssin datansa

o Kopiointiin, levitykseen, muokkaukseen, yhdistelyyn ym. sekä

ei-kaupallisessa että kaupallisessa käytössä

• Datan soveltaja kantaa vastuu sovelluksestaan

• Lisenssisuositus (JHS 189): Creative Commons BY 4.0

• Suositeltava lähdeviittaus sovelluksessa:

Lähde: Helsingin 3D-rakennukset. Aineiston ylläpitäjä on Helsingin

kaupungin kiinteistövirasto ja alkuperäinen tekijä Helsingin kaupunki,

kiinteistöviraston kaupunkimittausosasto. Aineisto on ladattu

Helsinki Region Infoshare -palvelusta 17.03.2015 lisenssillä

Creative Commons Nimeä 4.0 Kansainvälinen (CC BY 4.0).

Datan julkaiseminen

• Metatiedot kuntoon • Sanallinen kuvaus: mitä data pitää sisällään, miten se on tehty, mitä

käyttäjän tulee huomioida ja tietää siitä + avainsanoitus ym. hakutoimintoja

varten

• Aineiston jakelualusta • Viraston oma palvelin / HRI:n datastore / kaupungin

verkkojulkaisujärjestelmä

• Julkaisu

Jatko

• Avauksesta tiedottaminen • Kenelle ja missä avaamisesta on hyvä tiedottaa?

• Datan ylläpito

• Muutoksista tiedottaminen • Datan / metadatan muutokset

• Palautteen kerääminen ja keskustelu • Seuraa, millaisen vastaanoton data saa, kerää palautetta, keskustele!

• Datan päivittäminen • Päivitä dataan uusimmat tiedot ilmoitetun päivitystiheyden mukaisesti

esim. kerran vuodessa. Päivitysrutiinit hyvä sopia jo dataa avattaessa.

http://www.hri.fi/fi/avaa-dataa/datan-

avaajan-muistilista/

Datan avaajan

muistilista

Datan avaamisen haasteita

• MOTIIVI - Ei koeta hyödylliseksi, tai koetaan haitalliseksi.

• RESURSSIT – Koetaan ettei ole aikaa, rahaa tai osaamista

• JURIDIIKKA – Uhka yksityisyydensuojalle tai yleiselle turvallisuudelle

• TEKNIIKKA – Ei ole sopivassa muodossa, ei ole paikkaa laittaa

tiedostoja julkiseen jakeluun

• VÄÄRINKÄYTÖN PELKO – Pelätään että julkaistua dataa tulkitaan

väärin tai käytetään väärin.

• PALAUTTEEN PELKO – Ei haluta julkaista dataa koska pelätään

palautteen ja mahdollisen kritiikin aiheuttamaa kuormitusta.

• TOIMINTAKULTTUURIN MUUTOS

Datan avaamisen haasteita

Esitetty OKCon-tapahtumassa Genevessä 9/2013

Avaamisharjoitus

Avaamisharjoitus

• Miten muokkaat dataa, että se olisi koneluettavassa muodossa?

• Onko salattavia tietoja? Miten ne voisi piilottaa?

• Onko ylimääräistä tietoa? Tarvitaanko yhteensä-tietoa?

• Mitä tehdä tekstien eri kieliversioille?

• Mitkä tiedoista pitäisi siirtää metatietokuvaukseen?

• Mikä formaatti on paras? XLS / CSV / XML, … ? Yksi vai useampia

formaatteja?

Lopuksi voit lähettää datan HRI:lle avattavaksi:

http://www.hri.fi/fi/avaa-dataa/ilmoita-tietoaineisto/

Miten ja mistä lähteä

liikkeelle?

Pääkaupunkiseudun liikennemeluvyöhykkeet

Matalalla roikkuvat hedelmät

http://www.hri.fi/fi/dataset/vantaan-liikennemeluvyohykkeet

http://www.hri.fi/fi/dataset/helsingin-liikennemeluvyohykkeet

http://www.hri.fi/fi/dataset/espoon-ja-kauniaisten-liikennemeluvyohykkeet

Pääkaupunkiseudun väestöennusteet

Mitä tietoja kysellään eniten?

Mitä tietoja haluaisit käytettävän enemmän?

http://www.hri.fi/fi/dataset/paakaupunkiseudun-vaestoennuste-2015-2023

http://www.hri.fi/fi/ajankohtaista/miten-vaestoennuste-laaditaan/

Terassit Helsingin yleisillä alueilla

Datatoiveesta sovellukseksi

http://www.hri.fi/fi/dataset/terassit-helsingin-yleisilla-alueilla

http://www.hri.fi/fi/datatoiveet/

Helsingin kaupungin ostot

Tietojärjestelmäluettelo suunnittelun apuna

http://www.hri.fi/fi/dataset/helsingin-kaupungin-ostot

Mallia muualta Suomesta / maailmalta

http://dataportals.org/

Mitä dataa kaivataan?

Paritehtävä

Mitä dataa voisin avata?

• Mitä omassa työssäsi tuottamiasi / käyttämiäsi tietoaineistoja voisi

avata?

o Mitä tulee huomioida?

o Missä formaatissa? Eräajotiedostona vai rajapinnan kautta?

• Mitä voisit saada / toivoisit saavasi avaamisesta takaisin päin?

• Miten voisit hyödyntää avointa dataa omassa työssäsi?

• Voisivatko muualla pääkaupunkiseudulla / Suomessa / maailmalla

avatutu aineistot olla sinulle hyödyllisiä?

• Mitä konkreettista aiot tehdä tämän koulutuksen jälkeen?

Tervetuloa koulutukseen!

• ”Näin avaat dataa” -koulutustilaisuus

pääkaupunkiseudun kaupunkien työntekijöille

o Järjestetään syksylläkin

• ”Avoimen datan hyödyntämismahdollisuudet” -koulutustilaisuus

pääkaupunkiseudun kaupunkien työntekijöille

o ti 5.5. klo 8.30 - 15.30

o ma 12.10. klo 8.30 - 15.30

• Geoserver-koulutus pe 29.5. klo 8.30

Ilmoittautuminen Oiva Akatemian kautta

KIITOS! Helsinki Region Infoshare (HRI)

Verkkopalvelu: www.hri.fi

Sähköposti: hri@hel.fi

Facebook: www.facebook.com/helsinkiregioninfoshare

Twitter: @HRInfoshare

Uutiskirje: http://www.hri.fi/fi/uutiskirje/

Projektipäällikkö

Tanja Lahti

tanja.lahti@hel.fi

040-553 2425

Suunnittelija

Hami Kekkonen

hami.kekkonen@hel.fi

040-334 4780