Valideringstjänst för Miljöövervakningsdata, Anders Foureaux, Naturvårdsverket
-
Upload
geological-survey-of-sweden -
Category
Science
-
view
69 -
download
0
Transcript of Valideringstjänst för Miljöövervakningsdata, Anders Foureaux, Naturvårdsverket
![Page 1: Valideringstjänst för Miljöövervakningsdata, Anders Foureaux, Naturvårdsverket](https://reader034.fdocument.pub/reader034/viewer/2022042819/55cb58e9bb61eb390d8b4784/html5/thumbnails/1.jpg)
1 Naturvårdsverket | Swedish Environmental Protection Agency 1
Valideringstjänst för
Miljöövervakningsdata
GeoArena 2014 2014-10-14
Anders Foureaux
Processledare Dataflöden – Datavärdskap
Enheten för integrerad miljödataförsörjning
Naturvårdsverket
![Page 2: Valideringstjänst för Miljöövervakningsdata, Anders Foureaux, Naturvårdsverket](https://reader034.fdocument.pub/reader034/viewer/2022042819/55cb58e9bb61eb390d8b4784/html5/thumbnails/2.jpg)
2 Naturvårdsverket | Swedish Environmental Protection Agency 2
Den svenska miljöövervakningen bygger i hög
grad på att data samlas in av väldigt många olika
utförare på nationell, regional och lokal nivå.
Varje utförare ska enligt kontrakt leverera data till
en Datavärd som har i uppgift att:
1. Leveranskontrollera data
2. Lagra data
3. Tillgängliggöra data
Det finns mellan 10 och 15 datavärdar
Bakgrund
![Page 3: Valideringstjänst för Miljöövervakningsdata, Anders Foureaux, Naturvårdsverket](https://reader034.fdocument.pub/reader034/viewer/2022042819/55cb58e9bb61eb390d8b4784/html5/thumbnails/3.jpg)
3 Naturvårdsverket | Swedish Environmental Protection Agency 3
![Page 4: Valideringstjänst för Miljöövervakningsdata, Anders Foureaux, Naturvårdsverket](https://reader034.fdocument.pub/reader034/viewer/2022042819/55cb58e9bb61eb390d8b4784/html5/thumbnails/4.jpg)
4 Naturvårdsverket | Swedish Environmental Protection Agency 4
Utförare
Konsulter
Beställare
Avtal
Datavärd
Dataleverans
Avtal
![Page 5: Valideringstjänst för Miljöövervakningsdata, Anders Foureaux, Naturvårdsverket](https://reader034.fdocument.pub/reader034/viewer/2022042819/55cb58e9bb61eb390d8b4784/html5/thumbnails/5.jpg)
5 Naturvårdsverket | Swedish Environmental Protection Agency 5
Utförare
Konsulter Datavärd
Dataleverans
Beställare
Avtal Avtal
![Page 6: Valideringstjänst för Miljöövervakningsdata, Anders Foureaux, Naturvårdsverket](https://reader034.fdocument.pub/reader034/viewer/2022042819/55cb58e9bb61eb390d8b4784/html5/thumbnails/6.jpg)
6 Naturvårdsverket | Swedish Environmental Protection Agency 6
Fråga: Svar:
När är en dataleverans till
datavärd godkänd?
Vem godkänner leveransen?
Med stöd av vad?
Manual?
Erfarenhet?
Magkänsla?
Vem bestämmer?
![Page 7: Valideringstjänst för Miljöövervakningsdata, Anders Foureaux, Naturvårdsverket](https://reader034.fdocument.pub/reader034/viewer/2022042819/55cb58e9bb61eb390d8b4784/html5/thumbnails/7.jpg)
7 Naturvårdsverket | Swedish Environmental Protection Agency 7
• Det tar idag för lång tid mellan insamling av data innan en användare kan använda datat
• Kvalitetskontrollen tar för lång tid och är alltför personberoende
• Det är svårt för slutanvändaren att hitta relevant kvalitetsinformation i anslutning till datat.
Problem
![Page 8: Valideringstjänst för Miljöövervakningsdata, Anders Foureaux, Naturvårdsverket](https://reader034.fdocument.pub/reader034/viewer/2022042819/55cb58e9bb61eb390d8b4784/html5/thumbnails/8.jpg)
8 Naturvårdsverket | Swedish Environmental Protection Agency 8
En valideringstjänst för miljödata
Utvecklad av Metria på uppdrag av
Naturvårdsverket
Arbetet är fortfarande under utveckling
HaV ansluter nu till utvecklingsarbetet
Lösning
![Page 9: Valideringstjänst för Miljöövervakningsdata, Anders Foureaux, Naturvårdsverket](https://reader034.fdocument.pub/reader034/viewer/2022042819/55cb58e9bb61eb390d8b4784/html5/thumbnails/9.jpg)
9
1. -Korta tiden mellan datafångst och användning eller presentation av data
2. -Kontrollera kvaliten på data mot erkända standarder och kvalitetsmåttt
3. -Skapa metadata för kvalitetsbeskrinving "on-the fly" I samband med kvalitetskontrollen
4. -Samla alla kvalitetskrav i en Data Produkt Specifikation.
5. -Spara tid så att anlitade experter hos datavärden ges möjlighet till mer kvalificerade analyser istället för att rätta felaktiga datafiler
6. -Så långt möjligt, använda samma OGC- och ISO standarder för Miljödata som INSPIRE föreskriver för Geodata.
Mål
![Page 10: Valideringstjänst för Miljöövervakningsdata, Anders Foureaux, Naturvårdsverket](https://reader034.fdocument.pub/reader034/viewer/2022042819/55cb58e9bb61eb390d8b4784/html5/thumbnails/10.jpg)
10 Naturvårdsverket | Swedish Environmental Protection Agency 10
En av >150 manualer
för insamling av data…
![Page 11: Valideringstjänst för Miljöövervakningsdata, Anders Foureaux, Naturvårdsverket](https://reader034.fdocument.pub/reader034/viewer/2022042819/55cb58e9bb61eb390d8b4784/html5/thumbnails/11.jpg)
11 Naturvårdsverket | Swedish Environmental Protection Agency 11
?
?
?
?
?
?
Manualerna
behöver bli
mer precisa!
![Page 12: Valideringstjänst för Miljöövervakningsdata, Anders Foureaux, Naturvårdsverket](https://reader034.fdocument.pub/reader034/viewer/2022042819/55cb58e9bb61eb390d8b4784/html5/thumbnails/12.jpg)
Data Produkt Specifikation
ISO 19 131
Vi har för våra miljödata (tabelldata) testat att använda en
rad ISO standarder för att beskriva de kvalitetskrav vi
sedan länge ställer på de data vi samlar in.
Vi utgår från samma standarder som används inom
INSPIRE, men refererar även till andra
Vi samlar allt i ett och samma dokument för respektive
datatyp/ manual. Metaller och miljögifter i sediment t ex.
Dokumentet heter Dataproduktspecifikation och följer
standarden ISO 19 131
Vi är inte riktigt klara…
![Page 13: Valideringstjänst för Miljöövervakningsdata, Anders Foureaux, Naturvårdsverket](https://reader034.fdocument.pub/reader034/viewer/2022042819/55cb58e9bb61eb390d8b4784/html5/thumbnails/13.jpg)
13 Naturvårdsverket | Swedish Environmental Protection Agency 13
DPS för Metaller
och miljögifter i
sendiment
![Page 14: Valideringstjänst för Miljöövervakningsdata, Anders Foureaux, Naturvårdsverket](https://reader034.fdocument.pub/reader034/viewer/2022042819/55cb58e9bb61eb390d8b4784/html5/thumbnails/14.jpg)
14 Naturvårdsverket | Swedish Environmental Protection Agency 14
DPS för Miljögifter
i biota
(fisk t ex)
![Page 15: Valideringstjänst för Miljöövervakningsdata, Anders Foureaux, Naturvårdsverket](https://reader034.fdocument.pub/reader034/viewer/2022042819/55cb58e9bb61eb390d8b4784/html5/thumbnails/15.jpg)
15 Naturvårdsverket | Swedish Environmental Protection Agency 15
DPS för
Luftkvalitetsmätni
ngar i tätorter
![Page 16: Valideringstjänst för Miljöövervakningsdata, Anders Foureaux, Naturvårdsverket](https://reader034.fdocument.pub/reader034/viewer/2022042819/55cb58e9bb61eb390d8b4784/html5/thumbnails/16.jpg)
16 Naturvårdsverket | Swedish Environmental Protection Agency 16
Handbok för DPS
finns att ladda ned
hos SIS
kostnadsfritt!
![Page 17: Valideringstjänst för Miljöövervakningsdata, Anders Foureaux, Naturvårdsverket](https://reader034.fdocument.pub/reader034/viewer/2022042819/55cb58e9bb61eb390d8b4784/html5/thumbnails/17.jpg)
17 Naturvårdsverket | Swedish Environmental Protection Agency 17
Indatamall (xls) Metaller och miljögifter i
sediment
Ex ANALYSINSTRUMENT
Obligatorisk parameter
enligt DPS och kodlista
Ex SEDIMENT FÄRG
Valfri parameter
enligt DPS
Excel är inte slutmålet för inleverans av data…
![Page 18: Valideringstjänst för Miljöövervakningsdata, Anders Foureaux, Naturvårdsverket](https://reader034.fdocument.pub/reader034/viewer/2022042819/55cb58e9bb61eb390d8b4784/html5/thumbnails/18.jpg)
18 Naturvårdsverket | Swedish Environmental Protection Agency 18
Indatamall (xls) Luftkvalitet
Excel är inte slutmålet för inleverans av data…
![Page 19: Valideringstjänst för Miljöövervakningsdata, Anders Foureaux, Naturvårdsverket](https://reader034.fdocument.pub/reader034/viewer/2022042819/55cb58e9bb61eb390d8b4784/html5/thumbnails/19.jpg)
19 Naturvårdsverket | Swedish Environmental Protection Agency 19
Data-
specification Data-
model Codelists
Cloudbased
Validation Service
Data
Specificaton
compliance
Metadata
Translation Validation
Data
host
Datafile in xls is
transformed into O&M (xml)
![Page 20: Valideringstjänst för Miljöövervakningsdata, Anders Foureaux, Naturvårdsverket](https://reader034.fdocument.pub/reader034/viewer/2022042819/55cb58e9bb61eb390d8b4784/html5/thumbnails/20.jpg)
20 Naturvårdsverket | Swedish Environmental Protection Agency 20
Data-
specification Data-
model Codelists
Cloudbased
Validation Service
Data
Specificaton
compliance
Metadata
Translation Validation
Data
host
Datafile in xls is
transformed into O&M (xml)
![Page 21: Valideringstjänst för Miljöövervakningsdata, Anders Foureaux, Naturvårdsverket](https://reader034.fdocument.pub/reader034/viewer/2022042819/55cb58e9bb61eb390d8b4784/html5/thumbnails/21.jpg)
21 Naturvårdsverket | Swedish Environmental Protection Agency 21
Data-
specification Data-
model Codelists
Cloudbased
Validation Service
Data
Specificaton
compliance
Metadata
Translation Validation
Data
host
?
Datafile in xls is
transformed into O&M (xml)
StnReg WFS-T
![Page 22: Valideringstjänst för Miljöövervakningsdata, Anders Foureaux, Naturvårdsverket](https://reader034.fdocument.pub/reader034/viewer/2022042819/55cb58e9bb61eb390d8b4784/html5/thumbnails/22.jpg)
22 Naturvårdsverket | Swedish Environmental Protection Agency 22
The validation
service need other
look-up services
for example
At JRC
![Page 23: Valideringstjänst för Miljöövervakningsdata, Anders Foureaux, Naturvårdsverket](https://reader034.fdocument.pub/reader034/viewer/2022042819/55cb58e9bb61eb390d8b4784/html5/thumbnails/23.jpg)
23 Naturvårdsverket | Swedish Environmental Protection Agency 23
The validation
service need other
look-up services
for example
At JRC
At EEA
![Page 24: Valideringstjänst för Miljöövervakningsdata, Anders Foureaux, Naturvårdsverket](https://reader034.fdocument.pub/reader034/viewer/2022042819/55cb58e9bb61eb390d8b4784/html5/thumbnails/24.jpg)
24 Naturvårdsverket | Swedish Environmental Protection Agency 24
The validation
service need other
look-up services
for example
At JRC
At EEA
Our
Station registry
WFS-T
![Page 25: Valideringstjänst för Miljöövervakningsdata, Anders Foureaux, Naturvårdsverket](https://reader034.fdocument.pub/reader034/viewer/2022042819/55cb58e9bb61eb390d8b4784/html5/thumbnails/25.jpg)
25 Naturvårdsverket | Swedish Environmental Protection Agency 25
Validation Service (FME)
Registry of monitoring stations (WFS-T)
Two ongoing pilot project together with Metria and
Sweco (consultants) and the Data hosts and other
experts
Two pilots
![Page 26: Valideringstjänst för Miljöövervakningsdata, Anders Foureaux, Naturvårdsverket](https://reader034.fdocument.pub/reader034/viewer/2022042819/55cb58e9bb61eb390d8b4784/html5/thumbnails/26.jpg)
26
![Page 27: Valideringstjänst för Miljöövervakningsdata, Anders Foureaux, Naturvårdsverket](https://reader034.fdocument.pub/reader034/viewer/2022042819/55cb58e9bb61eb390d8b4784/html5/thumbnails/27.jpg)
2012-02-02 27
XLS (t ex)
![Page 28: Valideringstjänst för Miljöövervakningsdata, Anders Foureaux, Naturvårdsverket](https://reader034.fdocument.pub/reader034/viewer/2022042819/55cb58e9bb61eb390d8b4784/html5/thumbnails/28.jpg)
28
Respons per mail till leverantören om det
gick bra. Datavärden får filen med data +
specifikationsuppfyllelse + kvalitetsrapport
Kvalitetsrapport
Orginalfil (xls)
Leveranskvitto
Omtransformerad
Enligt O&M (xml)
![Page 29: Valideringstjänst för Miljöövervakningsdata, Anders Foureaux, Naturvårdsverket](https://reader034.fdocument.pub/reader034/viewer/2022042819/55cb58e9bb61eb390d8b4784/html5/thumbnails/29.jpg)
29
Respons per mail till leverantören om det
INTE gick bra. Datavärden får ingen
leverans.
![Page 30: Valideringstjänst för Miljöövervakningsdata, Anders Foureaux, Naturvårdsverket](https://reader034.fdocument.pub/reader034/viewer/2022042819/55cb58e9bb61eb390d8b4784/html5/thumbnails/30.jpg)
30
Stationen saknas i
Stationsregistret
som just nu är en
pilot, utvecklad av
Sweco i form av en
WFS-tjänst som
svarar på anrop från
valideringstjänsten.
WFS = Web Feature
Service (OGC- och
ISO standard
Fel!
Respons per mail till leverantören i om det
INTE gick bra. Med förklaringar.
![Page 31: Valideringstjänst för Miljöövervakningsdata, Anders Foureaux, Naturvårdsverket](https://reader034.fdocument.pub/reader034/viewer/2022042819/55cb58e9bb61eb390d8b4784/html5/thumbnails/31.jpg)
31
Kvalitetsrapporten i xml enligt ISO 19139
vilket är samma som ISO 19115, dvs
”Inspire-standard för metadata”
![Page 32: Valideringstjänst för Miljöövervakningsdata, Anders Foureaux, Naturvårdsverket](https://reader034.fdocument.pub/reader034/viewer/2022042819/55cb58e9bb61eb390d8b4784/html5/thumbnails/32.jpg)
• För att på ett standardiserat och spårbart sätt kunna
beskriva mätdatas kvalitet.
• För att låta en maskin i steg ett automatiskt göra de
kontroller som idag görs av människor
(och som är en av de främsta orsakerna till att data
inte kommer ut på webben i den takt användarna
förväntar sig)
• För att att skapa en starkare koppling mellan
kvalitetskraven i manualerna och valideringen.
Varför en fristående valideringstjänst ?
![Page 33: Valideringstjänst för Miljöövervakningsdata, Anders Foureaux, Naturvårdsverket](https://reader034.fdocument.pub/reader034/viewer/2022042819/55cb58e9bb61eb390d8b4784/html5/thumbnails/33.jpg)
• Ger Naturvårdsverket (eller annan beställare)
ett verktyg att underlätta och kvalitetssäkra
miljöövervakningens datainsamling.
• Att satsa på en fristående tjänst som kan
nyttjas av många måste rimligen bli billigare
än att varje datavärd bygger sin egen tjänst
• Att satsa på en gemensam tjänst kommer
främja samordningen kring termer, begrepp,
kodlistor
• Kan utökas till alla datatyper, format, för t ex
utsläpp
Fördelar ?
![Page 34: Valideringstjänst för Miljöövervakningsdata, Anders Foureaux, Naturvårdsverket](https://reader034.fdocument.pub/reader034/viewer/2022042819/55cb58e9bb61eb390d8b4784/html5/thumbnails/34.jpg)
Tillämpade standarder
• Dataspecifikation ISO 19131 struktur enligt
INSPIRE (även kallad produktspecifikation)
• Datamodell baserad på ISO 19156 Observations
and measurements vilket gör datamodellerna
kompatibla med INSPIRE datatema EF,
stationsregistret och analysmetodregister
• Kvalitetskontroll i enlighet med ISO 19157
• Metadata, resultat från QC enligt ISO 19139
(Samma som ISO 19115 fast uttryckt i XML)
![Page 35: Valideringstjänst för Miljöövervakningsdata, Anders Foureaux, Naturvårdsverket](https://reader034.fdocument.pub/reader034/viewer/2022042819/55cb58e9bb61eb390d8b4784/html5/thumbnails/35.jpg)
35 Naturvårdsverket | Swedish Environmental Protection Agency 35
![Page 36: Valideringstjänst för Miljöövervakningsdata, Anders Foureaux, Naturvårdsverket](https://reader034.fdocument.pub/reader034/viewer/2022042819/55cb58e9bb61eb390d8b4784/html5/thumbnails/36.jpg)
36 Naturvårdsverket | Swedish Environmental Protection Agency 36
Fråga: Svar:
När är en dataleverans till
datavärd godkänd?
När den uppfyller kraven i
dataproduktspecifikationen
Vem godkänner leveransen? En maskin i steg ett
En människa i steg två
Med stöd av vad?
Dataproduktspecifikationen
+ Expertbedömning
(människan behövs )
Manual? Behöver kopplas till DPS!
Erfarenhet? Bra om det finns
Magkänsla? Bra om den finns
Vem bestämmer? Beställaren
![Page 37: Valideringstjänst för Miljöövervakningsdata, Anders Foureaux, Naturvårdsverket](https://reader034.fdocument.pub/reader034/viewer/2022042819/55cb58e9bb61eb390d8b4784/html5/thumbnails/37.jpg)
37 Naturvårdsverket | Swedish Environmental Protection Agency 37
Frågor?