Fernando Tricas Garc a -...
Transcript of Fernando Tricas Garc a -...
![Page 1: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/1.jpg)
Curso: (62949) Internet para las cosas
Fernando Tricas Garcıa
Departamento de Informatica e Ingenierıa de SistemasUniversidad de Zaragoza
http://webdiis.unizar.es/~ftricas/
http://moodle.unizar.es/
![Page 2: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/2.jpg)
Big Data
Fernando Tricas Garcıa
Departamento de Informatica e Ingenierıa de SistemasUniversidad de Zaragoza
http://webdiis.unizar.es/~ftricas/
http://moodle.unizar.es/
62949 – Internet para las cosas. Fernando Tricas Garcıa. 2
![Page 3: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/3.jpg)
¿Por que?
I Generado automaticamente
I Tıpicamente una nueva fuente de datos
I No disenado para ser amistoso (no disenado)
I Puede ser de poco valor
62949 – Internet para las cosas. Fernando Tricas Garcıa. 3
![Page 4: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/4.jpg)
Diferencias
I Son datos igual que los pequenos
I Otras necesidades tecnicas (arquitectura, gestion, . . . )
I De ¿Que datos almacenamos?A: ¿Que podemos hacer si tenemos mas datos?
I Mejor datos mas diversos que mas datos
I Volumen, variedad, velocidad, ¿veracidad?
62949 – Internet para las cosas. Fernando Tricas Garcıa. 4
![Page 5: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/5.jpg)
3 (+1) V’s
http://www.ibmbigdatahub.com/infographic/four-vs-big-data
62949 – Internet para las cosas. Fernando Tricas Garcıa. 5
![Page 6: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/6.jpg)
Volumen
IDC −→ Universo Digital sera de 35 Zetabytes en 2020
1,000,000,000,000,000,000,000https://en.wikipedia.org/wiki/Zettabyte
62949 – Internet para las cosas. Fernando Tricas Garcıa. 6
![Page 7: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/7.jpg)
Volumen
“The combined space of all computer hard drives in theworld was estimated at approximately 160 exabytes in2006. As of 2009, the entire World Wide Web was esti-mated to contain close to 500 exabytes. This is one halfzettabyte. This has increased rapidly however, as SeagateTechnology reported selling a total capacity of 330 exaby-tes of hard drives during the 2011 Fiscal Year.
https://en.wikipedia.org/wiki/Zettabyte
62949 – Internet para las cosas. Fernando Tricas Garcıa. 7
![Page 8: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/8.jpg)
Variedad
I No solo numeros, fechas, cadenas
I 80 % datos no estructurados (datos geoespaciales, imagen,sonido, vıdeo, texto,. . . ).
I Estructura impredecible
62949 – Internet para las cosas. Fernando Tricas Garcıa. 8
![Page 9: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/9.jpg)
Velocidad
Tiempo real, incluso sin llegar a almacenar
I Clickstream
I Operaciones de bolsa, en tiempo real
I M2M con muchos dispositivos
I Infraestructura, sensores
I Juegos en lınea
62949 – Internet para las cosas. Fernando Tricas Garcıa. 9
![Page 10: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/10.jpg)
Moore vs big data
https://amplab.cs.berkeley.edu/
for-big-data-moores-law-means-better-decisions/
62949 – Internet para las cosas. Fernando Tricas Garcıa. 10
![Page 11: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/11.jpg)
¿Veracidad?
I Datos complejos
I Precision y calidad poco controlable
62949 – Internet para las cosas. Fernando Tricas Garcıa. 11
![Page 12: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/12.jpg)
Un mundo de V’s
I Valor
I Validez
I Volatilidad
I Variabilidad
I Viabilidad...
62949 – Internet para las cosas. Fernando Tricas Garcıa. 12
![Page 13: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/13.jpg)
Riesgos
I Demasiado de todo
I Coste crece rapido
I Privacidad (regulaciones y autocontrol)
62949 – Internet para las cosas. Fernando Tricas Garcıa. 13
![Page 14: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/14.jpg)
Beneficios
I Poder tomar mejores decisiones en el momento adecuado
I Poder conservar informacion que aun no sabemos siutilizaremos
I Acceso a la informacion independientemente de la forma enque esta
I Beneficio desde el punto de vista de los clientes (ofrecer mejorservicio)
I Construir un ecosistema mejor de informacion
62949 – Internet para las cosas. Fernando Tricas Garcıa. 14
![Page 15: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/15.jpg)
Datos
I Actividad
I Conversacion
I Fotografıa e imagen
I Sensores
I IoT
Y entonces...
I Seleccion de fuentes
I Eliminacion de datos redundantes (y ruido)
62949 – Internet para las cosas. Fernando Tricas Garcıa. 15
![Page 16: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/16.jpg)
Datos
I Actividad
I Conversacion
I Fotografıa e imagen
I Sensores
I IoT
Y entonces...
I Seleccion de fuentes
I Eliminacion de datos redundantes (y ruido)
62949 – Internet para las cosas. Fernando Tricas Garcıa. 15
![Page 17: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/17.jpg)
Aplicaciones
I Salud
I Trafico
I Seguridad
I Fabricacion
I Ventas
I Telecomunicaciones
I Bolsa
I Buscadores
62949 – Internet para las cosas. Fernando Tricas Garcıa. 16
![Page 18: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/18.jpg)
Objetivos
I Modelos predictivos
I Comportamiento clientes
I Mejora de procesos
I Mejora de salud
I Deteccion de fraude
I Urbanismo, ciudades,...
¿mas ideas?
62949 – Internet para las cosas. Fernando Tricas Garcıa. 17
![Page 19: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/19.jpg)
¿Que se hace?
I Regresion (relaciones)
I Clasificacion
I Clustering (agrupamiento)
I Asociacion
I Resumen
I Deteccion de anomalıas
I Machine learning // Data mining
62949 – Internet para las cosas. Fernando Tricas Garcıa. 18
![Page 20: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/20.jpg)
Big data Analytics
I Examinar grandes cantidades de datos
I Informacion apropiada
I Identificacion de patrones ocultos, relaciones no conocidas
I Ventaja competitiva
I Decisiones de negocio: estrategicas y de operacionesI Marquetin
I segmentacion, Estimacion de gasto, analisis de perdida declientes, optimizacion de cartera de productos,recomendaciones, fidelizacion, descuentos
I Recursos humanosI identificacion/monitorizacion/retencion de talento, formacion,
abandono
62949 – Internet para las cosas. Fernando Tricas Garcıa. 19
![Page 21: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/21.jpg)
Datos
I Estructurados (DBRM, Tablas)
I Semi-estructurados (XML, json)I No estructurados (texto, imagenes, vıdeo)
I Datos no estructurados + metadatos
62949 – Internet para las cosas. Fernando Tricas Garcıa. 20
![Page 22: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/22.jpg)
Tablas
https://docs.oracle.com/cd/E13167_01/aldsp/docs21/xquery/sql_pushdown.html
62949 – Internet para las cosas. Fernando Tricas Garcıa. 21
![Page 23: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/23.jpg)
XML
I XML (Extensible Markup Language)
62949 – Internet para las cosas. Fernando Tricas Garcıa. 22
![Page 24: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/24.jpg)
Y otros ...
I JSON (JavaScript Object Notation)
I CSV (Comma Separated Values)
(Hay mas)
62949 – Internet para las cosas. Fernando Tricas Garcıa. 23
![Page 25: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/25.jpg)
Datos y su interpretacion
Datos con codigo (?)
I Middleware (presentar los datos segun las necesidades)
I Conectar y extraer datos del almacenamiento
I Transformar los datos
I Subdividirlos para su procesado
62949 – Internet para las cosas. Fernando Tricas Garcıa. 24
![Page 26: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/26.jpg)
Infraestructura
I Servidores distribuidos/nube
I Almacenamiento distribuido
I Procesamiento distribuido (MapReduce, Hadoop)
I Bases de datos especializadas (menos estructura, masprestaciones)
I Interpretacion de los datos (semantica)
62949 – Internet para las cosas. Fernando Tricas Garcıa. 25
![Page 27: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/27.jpg)
Tecnologıas
62949 – Internet para las cosas. Fernando Tricas Garcıa. 26
![Page 28: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/28.jpg)
Almacenamiento
HDFS (Hadoop Distributed File System)
I Grandes ficheros divididos en trozos
I Se mueven partes de los ficheros al cluster
I Tolerancia a fallos mediante replicacion
I Registro mediante NameNode (metadata), acceso medianteDataNode (data)
I Escribe una vez, utiliza varias
Otros: Ceph, Swift, Dispersed Storage Network (Cleversafe), GPFS(IBM), Isilon (EMC), Lustre, MapR File System
62949 – Internet para las cosas. Fernando Tricas Garcıa. 27
![Page 29: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/29.jpg)
MapReduce
I Algoritmos proximos a los datos
I Datos/algoritmos preparados para la paralelizacion
I Commodity computingI Simplicidad:
I Fase Map (de los datos, a una lista de clave, valor)I Fase Reduce (agrupar datos con la misma clave)
Origen: multiplicaciones de grandes matrices para calculo delPageRank
62949 – Internet para las cosas. Fernando Tricas Garcıa. 28
![Page 30: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/30.jpg)
MapReduce
http://hadoopproject.com/mapreduce-projects/
62949 – Internet para las cosas. Fernando Tricas Garcıa. 29
![Page 31: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/31.jpg)
MapReduce
https://www.reddit.com/r/ProgrammerHumor/comments/5rf9xf/map_filter_and_reduce_explained/
https:
//css-tricks.com/an-illustrated-and-musical-guide-to-map-reduce-and-filter-array-methods/
62949 – Internet para las cosas. Fernando Tricas Garcıa. 30
![Page 32: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/32.jpg)
noSQL
Not Only SQLTambien: non-relational
62949 – Internet para las cosas. Fernando Tricas Garcıa. 31
![Page 33: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/33.jpg)
SQL
Structured Query Language
I Tablas
I Estructura
I Vistas, uniones, ...
I Indices, consistencia, transacciones, busqueda,...
62949 – Internet para las cosas. Fernando Tricas Garcıa. 32
![Page 34: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/34.jpg)
ACID
I Atomicity
I Consistency
I Isolation (entre operaciones)
I Durability
62949 – Internet para las cosas. Fernando Tricas Garcıa. 33
![Page 35: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/35.jpg)
noSQL
I Tecnologıa antigua (1960’s) (anterior a RDBMS)I Nombre del siglo XXI (Google, Amazon, Facebook, Twitter, ...
web 2.0)
I Ficheros secuenciales
I BD jerarquica
I Base de datos en red
I Distribuida
I Simplicidad, escalabilidad horizontal
I Consistencia eventual (disponibilidad, tolerancia a la particion,velocidad ...)
62949 – Internet para las cosas. Fernando Tricas Garcıa. 34
![Page 36: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/36.jpg)
noSQL
I Columnas
I Documentos
I Grafos
I clave, valor
I Multi-modelo
62949 – Internet para las cosas. Fernando Tricas Garcıa. 35
![Page 37: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/37.jpg)
noSQL. Columnas
http://www.ingenioussql.com/2013/02/28/
rules-of-engagement-nosql-column-data-stores/
62949 – Internet para las cosas. Fernando Tricas Garcıa. 36
![Page 38: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/38.jpg)
noSQL. Documentos
I Informacion semi-estructurada
I MetadatosI Organizacion
I ColeccionesI EtiquetasI Directorios
...
mongoDB, couchDB
62949 – Internet para las cosas. Fernando Tricas Garcıa. 37
![Page 39: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/39.jpg)
noSQL. Grafos
I Estructuras de grafos para queries semanticasI Nodos (entidades: gente, negocios, cuentas, ...)
I Propiedades
I Arcos (Conectan nodos entre sı o nodos con propiedades)
Neo4j
62949 – Internet para las cosas. Fernando Tricas Garcıa. 38
![Page 40: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/40.jpg)
noSQL. Clave-valor
https://en.wikipedia.org/wiki/Key-value_database#/media/File:
KeyValue.PNG
Cassandra
62949 – Internet para las cosas. Fernando Tricas Garcıa. 39
![Page 41: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/41.jpg)
noSQL. Clave-valor
I Cada clave puede tener asociados datos de diferente tipo (nodefinido)
I mas flexible
I A veces menos espacio y mas prestaciones
62949 – Internet para las cosas. Fernando Tricas Garcıa. 40
![Page 42: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/42.jpg)
Niveles
I Batch layerI calculos arbitrariosI escalable horizontalmenteI mayor latenciaI Map/ReduceI Solo anadir (copia maestra)
I Speed layerI Para compensar la alta latencia del otroI Algoritmos incrementalesI Horas de datos en lugar de . . .
I Serving layer (resultados)
62949 – Internet para las cosas. Fernando Tricas Garcıa. 41
![Page 43: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/43.jpg)
Niveles
I Batch layerI calculos arbitrariosI escalable horizontalmenteI mayor latenciaI Map/ReduceI Solo anadir (copia maestra)
I Speed layerI Para compensar la alta latencia del otroI Algoritmos incrementalesI Horas de datos en lugar de . . .
I Serving layer (resultados)
62949 – Internet para las cosas. Fernando Tricas Garcıa. 41
![Page 44: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/44.jpg)
Fuentes de datos
I Social network profiles
I Social influencers (resenas, analisis, ...)
I Activity-generated data
I Software as a Service (SaaS) and cloud applications
I Public (open source intelligence)
I Hadoop MapReduce application results
I Data warehouse appliances
I Columnar/NoSQL data sources
I Network and in-stream monitoring technologies
I Legacy documents
http://www.zdnet.com/article/top-10-categories-for-big-data-sources-and-mining-technologies/
62949 – Internet para las cosas. Fernando Tricas Garcıa. 42
![Page 45: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/45.jpg)
Referencias
http://www.slideshare.net/nasrinhussain1/big-data-ppt-31616290
http:
//www.slideshare.net/BernardMarr/140228-big-data-slide-share/
http://www.slideshare.net/outerthought/big-data
http://www.slideshare.net/PhilippeJulio/hadoop-architecture/
http://www.slideshare.net/zanorte/big-data-para-dummies
http://www.slideshare.net/nasrinhussain1/big-data-ppt-31616290
http:
//www.slideshare.net/BernardMarr/140228-big-data-slide-share/
http://www.slideshare.net/outerthought/big-data
http://www.slideshare.net/PhilippeJulio/hadoop-architecture/
http://www.slideshare.net/zanorte/big-data-para-dummies
62949 – Internet para las cosas. Fernando Tricas Garcıa. 43
![Page 46: Fernando Tricas Garc a - unizar.eswebdiis.unizar.es/~ftricas/Asignaturas/iot/Transparencias/iot-bigDat… · Volumen \The combined space of all computer hard drives in the world was](https://reader033.fdocument.pub/reader033/viewer/2022042113/5e8ea891610f155eae20bc69/html5/thumbnails/46.jpg)
Y mas cosas....
I No hemos hablado de visualizacion
I No hemos hablado de analisis de redes sociales (SNA)
62949 – Internet para las cosas. Fernando Tricas Garcıa. 44