Ibm watson analytics bluemix case with hsl_and_weather_data tv
-
Upload
simo-hurme -
Category
Data & Analytics
-
view
154 -
download
0
Transcript of Ibm watson analytics bluemix case with hsl_and_weather_data tv
1
Watson Analytics Demo -Miten sää vaikuttaa HSL:n bussin myöhästymiseen?Tuukka Vartiainen, Analytics Client Architect
2
Taustaa
� Mitä voisimme ennustaa autojen telematiikkatiedosta? Voidaanko auton
paikkatietoa ja säädataa hyödyntämällä löytää hyviä analytiikkakäyttötapauksia?
� HSL:n bussit on sensoroitu GIS-sensorein ja rajapinnat avattu MQTT-streaminä
� HSL:n GIS-tieto sisältää karttakoordinaatit, linjan lähtöajan, ajosuunnan sekä
viivästymistiedon
� Tältä pohjalta toteutimme yksinkertaisen demokäyttötapauksen, ja seuraavilta
sivuilta löydät kuvauksen
1. Datan keruu ja arkkitehtuuri
2. Analyysit ja visualisointi
3. Tietokannat, tiedon prosessointi ja yhdistely
3
1. Datan keruu ja arkkitehtuuri
4
AutomatedData Warehousing
Node-REDprosessing
CloudantnoSQL
DashDBData Warehouse’
Watson Analytics
Bluemix.net
HSL+SÄÄ-demon ratkaisumalli
JSON
MQTT
REST/JSON
The WeatherCompany /
Insights for Weather,Current weather API
OnboardGIS
5
HSL + Säädata => Ennuste- tutkitaan linjan 550 bussien myöhästymistä; voiko talvinen sää olla selittävä tekijä?
6
1) Kuunnellaan HSL-linjalla 550 kulkevia busseja (Bluemix / NodeRED -implementaatio)
- kerätään talteen linjalla ajossa olevien bussien paikkatieto- talletetaan bussin lähettämä paikkatieto Cloudant-kantaan
7
HSL linja 550 GIS-tiedot visualisoituna pituus- ja
leveyskoordinaatteina (vrt. 550 linjakartta)
8
2) Kerätään säädata talteen kolmesta pisteestä (kts seuraava sivu)- NodeRED -implementaatio kutsuu tunnin välein Insights for Weather -palvelua:
9
Kerätään säädataa kolmesta pisteestä joka tunti
- lasketaan bussin sijaintia lähin piste ja lisätään sen nimi
sensoridataan
10
2. Analyysit ja visualisointi
11
Katsotaan mitä datasta saa irti
Esim. keskimääräinen päivittäinen lumisademäärä havaintopisteissä;- tammikuussa 2016 tuli lunta keskimäärin yli 1cm/päivä kaikissa havaintopisteissä
- helmikuussa puolet siitä (Viikissä vähemmän)
- muut kuukaudet olivat käytännössä lumettomia
(Watson Analytics / Data Exploration)
LaajalahtiViikkiHaaga
12
Watson Analytics
Ennustemalli (prediction)
Datan perusteella,
- Bussien myöhästy-minen voidaan parhaiten ennustaa monen tekijän ennustemallilla
- 23.1% osuma-tarkkuuteen päästään käyttämällä 24 tunnin sademäärää ja viikonpäivää tai vaihtoehtoisesti ilmanpainetta ja viikonpäivää
- Tarkempi selitys löytyy taulukosta
13
Löydökset
� Jos ilmanpaine on korkea (yli 1009 mBar)
- Keskimääräiset myöhästymiset eivät ole merkittäviä (korkeintaan 3 min)
� Jos ilmanpaine on matala (alle 998 mBar)
- Bussit ovat keskimäärin 6 minuuttia myöhässä keskiviikkoisin ja yli 10 minuuttia myöhässä tiistaisin
Watson Analytics
Kahden tekijän malli
14
Watson Analytics
Ennustemalli, monen tekijän malli
� Parhaan tilastollisen ennusteen osumatarkkus on 34.9%
� Siihen päästään yhdistämällä lähtöaika, 24 tunnin alin lämpötila, 24 tunnin lumisademäärä, ilmanpaine, tuulen nopeus ja muita tekijöitä
� Tarkemmat tiedot nähdään päätöspuusta (decision tree)
15
Vahvin ennuste linjan 550 bussien myöhästymiselle
Pahin yhdistelmä bussien myöhästymisen kannalta:
� 24 tunnin alin lämpötila
-13 ja -7 C välillä
� Viikonpäivä tiistai tai
torstai
� Lähtöaika 7:59 ja
13:25 välillä
� Näissä olosuhteissa
bussit olivat
keskimäärin 20
minuuttia myöhässä
viime talvena
16
Toiseksi vahvin ennuste
Toinen ennuste:
� 24 tunnin alin lämpötila -13 ja -7 C välillä
� Lähtöaika 13:25 -19:59 välillä
� 24 tunnin sademäärä yli 2cm
� Näissä olosuhteissa bussit olivat keskimäärin 12,5 minuuttia myöhässä
17
3. Tietokannat, tiedon prosessointi ja yhdistely
18
Cloudant NoSQL
� 571 000 sensor events collected
� 4306 weather
observations
collected
19
Cloudant NoSQL
� Automatic warehouse
generated in
DashDB by
Cloudant 1-click
warehousing
� Automatic data
replication
running
20
DashDB cloud data warehouse
� Data collected and replicated in real time
� Created a view joining bus location data and weather observations
� Copy data into a data set for analysis
- Clean data, remove duplicates
21
Watson Analytics for self service data analysis
� Connect to
DashDB data set
� Watson Analytics
Pro can connect to
just about any
relational DB to get
data
� Sign up for a
freemium accunt at
watsonanalytics.com
22
Yhteystiedot: Tuukka Vartiainen / Analytics Client Architect
Watson Analytics webinaari: http://bit.ly/2dLufqe