2019 Juan Carlos García Palomares Big Data...
Transcript of 2019 Juan Carlos García Palomares Big Data...
Big Data: retos y oportunidades para
la investigación geográfica
Big Data: Nuevas fuentes de datos
para el estudio del transporte y la movilidad.
Juan Carlos García Palomares
Profesor Titular
Big Data y Smart Cities
Revolución de los datos. Producción de datos masivos a un ritmo antes insospechado:
• Datos generados por máquinas. Redes de sensores y dispositivos.
• Datos generados por los usuarios en Internet. La web 2.0: datos, opiniones, valoraciones, comportamientos
El valor de los datos. El petróleo de la cuarta revolución industrial
Las actividades humanas dejan rastro. Podemos analizar el funcionamiento de la ciudad a través de ese rastro digital
https://iiot-world.com/smart-cities/ten-best-practices-for-building-smart-city-innovation-labs/
Tecnología y dispositivos que producen o almacenan datos de nuestra actividad diaria (IoT)
Olga Subirós (CC BY-NC-ND-2.0)
1/6/14. Videovigilancia: las imágenes pueden ser
interceptadas.
2. Contadores de luz y termostatos: dan información
de hábitos.
3 /4. Televisores inteligentes y consolas: incorporan
cámaras y micrófonos.
5. Controles biométricos de entrada y salida.
7. Monitorización remota en el trabajo: capturas de
pantalla del trabajador para medir la productividad.
8. Bases de datos personales: pueden contener
datos fiscales y de salud de los clientes.
9. Sensores de conteo de personas: monitarizan el
flujo de compradores y los tiempos de compra.
10. Tarjetas de fidelización: a cambio de descuentos,
crean perfiles del comprador.
11. Ibeacons: envían ofertas a móviles cercanos.
12. Wifi gratuito: se puede ofrecer a cambio de
acceso al perfil de Facebook.
13. Abonos de transporte público: tarjetas
recargables que producen datos de
desplazamientos.
14. Redes de bicicletas públicas: registro de
trayectos.
15. Coches: hay sistemas para registrar las
matrículas.
16. Telefonía móvil: permite geolocalizar.
17. Cámaras térmicas y sensores sonoros: miden
flujo de peatones y niveles de ruido.
18. Mobiliario urbano que detecta presencia de
peatones.
19. Sistemas de párking: el pago con tarjeta de
plazas azules y verdes genera datos del usuario.
Datos generados por los usuarios en Internet
http://www.internetlivestats.com/
Características de Big Data (las 3V) y los retos
Sagiroglu, S., & Sinanc, D. (2013, May). Big data: A review. In Collaboration
Technologies and Systems (CTS), 2013 International Conference on (pp. 42-47).
IEEE.
La huella digital y la movilidad
Trayectorias espacio-temporales: estancias y viajes
Calidad de los datos:
- Exactitud posicional
- Granularidad temporal
- Datos sobre los usuarios
y los viajes
Patrones de movilidad a partir de Twitter
Ciuccarelli, P., Lupi, G., & Simeone, L. (2014): Visualizing the Data City (pp. 17-22). Springer International Publishing.
Prisma espacio temporal de la rutas realizadas por un turista en la ciudad de Toledo
Rutas de turistas a partir de fotografías geolocalizas (Flikr)
Google Maps cronología
Estimación de matrices origen-destino por medio de teléfonos móviles, Raleigh, USA
http://www.theatlanticcities.com/technology/2012/02/you-already-own-next-most-important-transportation-planning-
tool/1124/
This is a bird’s eye view of all the common home-work
travel pairs in Raleigh over this 60-day period (the
most frequent trips are in black, the least frequent in
purple)
A map focusing on trips to and from North
Carolina State University
Matrices O-D y flujos en transporte público a partir de las tarjetas inteligentes de transporte
Tao, S., Rohde, D., & Corcoran, J. (2014). Examining the spatial–temporal dynamics of bus passenger travel
behaviour using smart card data and the flow-comap. Journal of Transport Geography, 41, 21-36.
Detectores de teléfonos móviles por bluetoothen la gestión de eventos turísticos
Versichele, M., Neutens, T., Delafontaine, M., & Van de Weghe, N. (2012). The use of Bluetooth for analysing spatio-temporal dynamics of
human movement at mass events: A case study of the Ghent Festivities. Applied Geography, 32(2), 208-220.
Conteos de peatones en turismo de masaspor medio de cámaras de video / cámaras térmicas
http://www.hajjcore.org/arif/
El sistema de apoyo a la decisión propuesto analiza las imágenes de video, cámaras térmicas o ambas,
para detectar automáticamente problemas de aglomeración y advertir al personal de seguridad para
que se concentre en un área en particular. También:
• las personas que ingresan y salen para tener en vivo una estimación del total de personas
dentro de la mezquita.
• estima la información sobre el flujo en la mezquita para ayudar a observar los lugares donde la
multitud se queda inmóvil debido al exceso de gente.
Trayectorias de personas con cámaras y sensores: mapas en tiempo real con movimientos de gente
http://blog.placemeter.com/real-time-data-visualization?utm_campaign=LG-GE-BP-1602
ArcGIS&utm_content=27618055&utm_medium=social&utm_source=twitter
http://placemeter-arcgisdemo.s3-website-us-east-1.amazonaws.com/
Estimando la velocidad peatonal por medio de cámaras de video
Finnis, K. y Walton, D. (2007): Field observations of factors influencing pedestrian walking speeds. Ergonomics, 51 (6), 827 842.
Gasto con tarjeta bancaria según tramos de calle y horas del día en Barcelona
https://www.centrodeinnovacionbbva.com/noticias/6564-el-uso-eficiente-de-la-informacion-y-el-modelo-de-
smart-cities-que-queremos
Huellas digitales en el paisaje urbano:redes de segregación a través de big data
http://urbandemographics.blogspot.co.uk/2015/02/finding-networks-of-segregation-through.html
tGISGrupo de Investigación de la Universidad Complutense de Madrid
Nuevas fuentes de datos utilizadas por tGIS
Movilidad urbana general
� Empresas de navegadores - TomTom Speed Profiles
� Ficheros GTFS (General Transit Feed Specification)
� Registros teléfonos móviles - CDR
� Registros GPS bicicletas públicas, APPs
Movilidad turística
Redes sociales:
� Twitter (general, alojamientos)
� Flickr y Panoramio (sightseeing)
� Foursquare (consumo)
� Wikiloc (rutas)
TomTom Speed Profiles proporciona información de las velocidades reales obtenidas
a partir de sus dispositivos de navegación (GNSS) y de mediciones de smartphones
Base de datos de TomTom: Perfiles de velocidad
98 perfiles de velocidad (cada 5 minutos)
Stop and Go [0% FFS, 45% FFS] Slow (45% FFS, 65 FFS]
Moderate (65% FFS, 85% FFS] Free Flow Speed (FFS) (85% FFS, 100% FFS]
Cobertura internacional (comparaciones entre ciudades)
Londres París Madrid Barcelona
Berlín Hamburgo Roma Milán
Usando los datos de TomTom hemos analizado el impacto de la congestión en la accesibilidad
de 8 grandes áreas metropolitanas europeas:
Moya-Gómez, B. and García-Palomares, J.C. (2017). The impacts of congestion on automobile accessibility. What happens in the
largest European cities?. Journal of Transport Geography, 62, 148-159
Análisis de congestión dinámica: Tomtom Speed Profiles
Perfil temporal de accesibilidad media diaria
Diferencias entre ciudades, tanto en la intensidad de la pérdida como en la distribución
horaria:
Moya-Gómez, B. and García-Palomares, J.C. (2017). The impacts of congestion on automobile accessibility. What happens in the
largest European cities?. Journal of Transport Geography, 62, 148-159
TomTom, GTFS y Twitter: la primera y la última milla en viajes en tren de alta velocidad Madrid-Barcelona
Moyano, A., Gutiérrez, J. y Moya, B. (2018). Access and egress times to high-speed rail stations: a spatiotemporal accessibility
analysis. Journal of Transport Geography.
Porcentaje del total de
tiempo de viaje: del
35% para taxi al 55% en
transporte público.
TomTom, GTFS y Twitter: la primera y la última milla en viajes en tren de alta velocidad Madrid-Barcelona
Martín, J.C., Román, C., García-Palomares, J.C. y Gutiérrez, J. (2014): Spatial Analysis of the Competitiveness of the High-Speed Train
and Air Transport: The Role of Access to Terminals in the Madrid-Barcelona corridor. Transportation Research Part A, 69, 392–408.
TomTom, GTFS y Twitter: la primera y la última milla en viajes en tren de alta velocidad Madrid-Barcelona
Cambios en la distribución de la población a lo largo del día
Los tweets se han agrupado espacial y temporalmente (según franjas horarias) a nivel de
usuarios, se recoge la presencia de un usuario y no el número de tweets.
Moya-Gómez, B., Salas-Olmedo, M.H., García-Palomares, J.C. and Gutiérrez Puebla, J. (2017). Dynamic accessibility using big data: the
role of the changing conditions of network congestion and destination attractiveness. Networks and Spatial Economics.
El ritmo temporal de la ciudad: Perfiles temporales de las áreas de actividad
García-Palomares, J.C., Salas-Olmedo, M.H., Moya-Gómez, B., Condeço-Melhorado, A., Gutiérrez, J. (2018): City
dynamics through Twitter: Relationships between land uses and spatiotemporal demographics. Cities, 72(B), 310-319.
0,0
5,0
10,0
15,0
20,0
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
Aeropuerto Estaciones Hospitales Oficinas
Universidades Parques y ocio CC La Vaguada
Relaciones usos del suelo – actividad en twitter
García-Palomares, J.C., Salas-Olmedo, M.H., Moya-Gómez, B., Condeço-Melhorado, A., Gutiérrez, J. (2018): City dynamics
through Twitter: Relationships between land uses and spatiotemporal demographics. Cities, 72(B), 310-319.
Scenario"Madrid N.
Norte"
Scenario"PostDamer
Platz"
Scenario"Madrid N.
Norte" (Office)
Scenario"La Défense"
Education (m2) 90.000 48.000 90.000 0
Office (m2) 900.000 500.000 2.000.000 4.285.000
Park (m2) 300.000 300.000 300.000 300.000
Transport (m2) 50.000 50.000 50.000 50.000
Culture (m2) 60.000 30.000 60.000 60.000
Retail (m2) 120.000 63.000 120.000 120.000
Industry (m2)
Health care (m2) 30.000 16.000 30.000 0
Residence (m2) 1.100.000 575.000 0 0
Other (m2)
Distance to citycentre (m) 10.800 10.800 10.800 10.800
Total (m2) 2.650.000 1.582.000 2.650.000 4.815.000
Aplicaciones del modelo a futuros nuevos desarrollos
García-Palomares, J.C., Salas-Olmedo, M.H., Moya-Gómez, B., Condeço-Melhorado, A., Gutiérrez, J. (2018): City dynamics
through Twitter: Relationships between land uses and spatiotemporal demographics. Cities, 72(B), 310-319.
Registros GPS: sistema de bicicletas públicas de Madrid
Romanillos, G., Moya-Gómez, B., Zaltz-Austwick, M., and Lamíquiz-Daudén, Patxi J. (2018). The pulse of the cycling city: visualising
Madrid bike share system GPS routes and cycling flow. Journal of Maps, 14 (1), 34-43
Romanillos, G., Moya-Gómez, B., Zaltz-Austwick, M., and Lamíquiz-Daudén, Patxi J. (2018). The pulse of the cycling city: visualising
Madrid bike share system GPS routes and cycling flow. Journal of Maps, 14 (1), 34-43
Registros GPS: sistema de bicicletas públicas de Madrid
Fotografías geolocalizadas: áreas de concentración de turistas
Gutiérrez, J., García-Palomares, J. C., Romanillos, G., & Salas-Olmedo, M. H. (2017). The eruption of Airbnb in tourist cities:
Comparing spatial patterns of hotels and peer-to-peer accommodation in Barcelona. Tourism Management, 62, 278-291.
La irrupción de Airbnb en las ciudades
Hoteles y Airbnb frente a Panoramio (LISA bivariado)
Gutierrez, J., Garcia-Palomares, J.C., Romanillos, G, and Salas-Olmedo, M.H. (2016). Airbnb in Tourist Cities: Comparing Spatial Patterns of
Hotels and Peer-to-Peer Accommodation. arXiv. En revisión en Tourism Management
VENTAJAS DEL BIG DATA PARA EL ANÁLISIS DE LA CIUDAD
Recogida pasiva Verosimilitud: lo que la gente hace, no lo que dice que hace
Grandes volúmenes de datos Muestras de tamaño mucho mayor que en las encuestas de
movilidad (telefonía móvil)
Compleción (tarjeta transporte y bicicletas públicas)
Resolución temporal alta Datos continuos:
- información siempre actualizada
- monitorización en tiempo real o casi real
- secuencias temporales: día, semana, mes, año
- periodos atípicos
Resolución espacial alta –
media/alta
Localización precisa:
- GPS
- registros teléfonos móviles (antenas – triangulación)
Coste y tiempo Mucho menores que en las encuestas de movilidad
LIMITACIONES /DIFICULTADES DEL USO DEL BIG DATA
Sesgo Variable según fuentes de datos:
- compleción (tarjetas transporte / registros bicicletas
públicas)
- bajo en registros de telefonía (penetración de la
compañía y filtrado)
- medio en redes sociales
Dificultad para limpieza,
almacenamiento y proceso de
datos
Errores
Datos masivos – Tecnologías Big Data
Información pobre sobre los
usuarios
Enriquecimiento de datos
- por variables de los registros (directa o indirecta)
- por patrones de comportamiento (domicilio-trabajo)
- por cruce espacial – GIS
Accesibilidad a los datos Dependencia de empresas para ciertas fuentes de datos
Big Data: retos y oportunidades para
la investigación geográfica
Muchas gracias
Juan Carlos García Palomares
Seminario Big Data y Movilidad
Montevideo, Noviembre de 2018
@tGIS_ucm