FME WT 2014: (NL) Kwaliteitscontrole en correctie van geografische data
description
Transcript of FME WT 2014: (NL) Kwaliteitscontrole en correctie van geografische data
CONNECT. TRANSFORM. AUTOMATE.
Validatie en kwaliteitscontrole met FMEBruno De LatGeodata Ingenieur en GIS Project Manager
CONNECT. TRANSFORM. AUTOMATE.
Inhoud
Waarom validatie en kwaliteitscontrole? Wat kan er gecontroleerd worden?
Schema Attribuut-waarden Geometrie
Validatie workflow met FME Desktop en FME Server
Voorbeelden
CONNECT. TRANSFORM. AUTOMATE.
Waarom validatie en kwaliteitscontrole?
Slechte data kosten tijd, geld en soms zelfs levens.
CONNECT. TRANSFORM. AUTOMATE.
Waarom validatie en kwaliteitscontrole?
FME Desktop en FME Server zijn krachtige tools om data te controleren en feedback te geven
Zeer veel FME gebruikers gebruiken FME voor validatie- en kwaliteitscontrole
CONNECT. TRANSFORM. AUTOMATE.
Wat kan gecontroleerd worden?
þ Schema Feature Type naam Attribuut aanwezigheid Attribuut naam Attribute data type Coördinatensysteem
CONNECT. TRANSFORM. AUTOMATE.
Wat kan gecontroleerd worden? þ Schema
Schema controle – Voornaamste middelen Schema (Any Format) Reader FeatureTypeFilter StatisticsCalculator AttributeClassifier XMLValidator JSONValidator
CONNECT. TRANSFORM. AUTOMATE.
Wat kan gecontroleerd worden? þ Schema
Schema (Any Format) Reader
CONNECT. TRANSFORM. AUTOMATE.
Wat kan gecontroleerd worden? þ Schema
FeatureTypeFilter
CONNECT. TRANSFORM. AUTOMATE.
Wat kan gecontroleerd worden? þ Schema
StatisticsCalculator
CONNECT. TRANSFORM. AUTOMATE.
Wat kan gecontroleerd worden? þ Schema
AttributeClassifier
CONNECT. TRANSFORM. AUTOMATE.
Wat kan gecontroleerd worden? þ Schema
XMLValidator
CONNECT. TRANSFORM. AUTOMATE.
Wat kan gecontroleerd worden? þ Schema
JSONValidator
CONNECT. TRANSFORM. AUTOMATE.
Wat kan gecontroleerd worden? þ Attribuutwaarden
þ Attribuutwaarden Aanwezigheid attribuut Data Type (numeric, alpha etc) Waarde in een range Geen duplicaten
CONNECT. TRANSFORM. AUTOMATE.
Wat kan gecontroleerd worden? þ Attribuutwaarden
Attribuutwaarden – Voornaamste middelen Tester and TestFilter AttributeClassifier AttributeRangeFilter & AttributeFilter NullAttributeMapper Matcher DuplicateRemover StringSearcher StatisticsCalculator
CONNECT. TRANSFORM. AUTOMATE.
Wat kan gecontroleerd worden? þ Attribuutwaarden
TesterTestFilter
CONNECT. TRANSFORM. AUTOMATE.
Wat kan gecontroleerd worden? þ Attribuutwaarden
NullAttributeMapper Lees verschillende ‘types’ van NULL values Schrijf verschillende ‘types’ van NULL values
CONNECT. TRANSFORM. AUTOMATE.
Wat kan gecontroleerd worden? þ Attribuutwaarden
DuplicateRemover
CONNECT. TRANSFORM. AUTOMATE.
Wat kan gecontroleerd worden?
þ Geometrie in 2D en 3D Intersecties Orientatie Duplicate vertices Ongeldige geometrie etc
CONNECT. TRANSFORM. AUTOMATE.
Wat kan gecontroleerd worden? þ Geometrie
Geometrie – Voornaamste middelen GeometryValidator GeometryFilter Matcher SpatialFilter SliverRemover & SpikeRemover AreaCalculator & LengthCalculator OrientationExtractor
CONNECT. TRANSFORM. AUTOMATE.
Wat kan gecontroleerd worden? þ Geometrie
GeometryValidator 12 testen (meer verwacht in volgende versies) Integratie oude transformers (SelfIntersector) Check & Repair
CONNECT. TRANSFORM. AUTOMATE.
Wat kan gecontroleerd worden? þ Geometrie
GeometryValidator
CONNECT. TRANSFORM. AUTOMATE.
Wat kan gecontroleerd worden? þ Geometrie
GeometryFilter Nieuwe stijl in FME 2014
CONNECT. TRANSFORM. AUTOMATE.
Wat kan gecontroleerd worden? þ Geometrie
Matcher Combinatie geometrie en attributen Inclusief vertex toleranties
CONNECT. TRANSFORM. AUTOMATE.
Wat kan gecontroleerd worden? þ Geometrie
SpatialFilter Alle mogelijke ruimtelijke relaties nagaan
CONNECT. TRANSFORM. AUTOMATE.
Wat kan gecontroleerd worden? þ Geometrie
SliverRemover Opsporen en oplossen van slivers
CONNECT. TRANSFORM. AUTOMATE.
Wat kan gecontroleerd worden? þ Geometrie
SpikeRemover Opsporen en oplossen van Spikes Maximum Spike Angle
CONNECT. TRANSFORM. AUTOMATE.
Validatie Workflow met FME Desktop
FME Workbench: Validatieregels
Testen op 1 of meerdere problemen Correcties
Automatisch vs Manueel Writers
Rapport met statistieken van fouten Geografisch bestand met locatie van fouten en detail-
melding Desktop = Lokaal gebruik
CONNECT. TRANSFORM. AUTOMATE.
Validatie Workflow met FME Server
Input data via email upload directory watcher scheduled task
Resultaten en rapport aanbieden via email, data download, browers, FTP,…
Volledig automatisch Gebruiker moet geen FME-kennis & licentie
hebben
CONNECT. TRANSFORM. AUTOMATE.
Voorbeelden
Statistieken van fouten in Excel
CONNECT. TRANSFORM. AUTOMATE.
Voorbeelden
Statistieken van fouten in HMTL
CONNECT. TRANSFORM. AUTOMATE.
Voorbeelden
Locatie van fouten Detailmelding van fout
CONNECT. TRANSFORM. AUTOMATE.
Voorbeelden: Workflow met FME Server
User/Editor using ArcGIS
FME Server
Download MyData
Validate MyData
Upload MyData
Extract & Lock
Upload & Unlock
User uses web interface to interact with FME
Author using FME Desktop to model
Validateddata
Data being edited
Data editor environment
FME Author environmentPublish Workbench to FME Server
Data to be edited
Data ready for upload
Database Server
PC
Citrix
Network Disk
Query
Server administratormonitoring FME server
No
Yes
Log file
AWISInformix
Spatial DatabladeProductie
AWISInformix
Spatial DatabladeStaging
ET
L
Cancel Download
CONNECT. TRANSFORM. AUTOMATE.
GIM Training Centre:Kwaliteitsaspecten van Geodata
Theorie (Voormiddag) Inleiding: Overzicht kwaliteitsaspecten van geodata Mogelijke foutenbronnen en hoe ze te vermijden Hoe kwaliteitsvolle geodata opbouwen Vastleggen van een kwaliteitsnorm Kwaliteitscontrole-technieken
Praktijk (Namiddag) Sessie A: ArcGIS Sessie B: FME
Waar en Wanneer? Dinsdag 27 mei 2014 (Heverlee) Woensdag 19 november 2014 (Heverlee)
CONNECT. TRANSFORM. AUTOMATE.
Samenvatting
Kwaliteit van geodata is belangrijk! FME is uitstekend geschikt om fouten op te
sporen FME is uitstekend geschikt om fouten te
corrigeren.
CONNECT. TRANSFORM. AUTOMATE.
Dank u!
Vragen?
Voor meer informatie: Bruno De Lat [email protected] GIM http://www.gim.be