WTF with Big Data?

70
WTF with Big Data? Conceptos, use-cases, y advertencias para una buena práctica Jesús Ramos TW: @xuxoramos FB: /xuxoramos Email: [email protected] 1

Transcript of WTF with Big Data?

Page 1: WTF with Big Data?

WTF with Big Data?Conceptos, use-cases, y advertencias para una buena práctica

Jesús RamosTW: @xuxoramosFB: /xuxoramosEmail: [email protected]

1

Page 2: WTF with Big Data?

Quién soy?

1. ISC02 (ITESM).2. Financial Econometrics (UNottingham + UWashington)3. Graduado de la Data Science Specialization de Coursera + JHU.4. Consultado con 6 firmas para levantar capacidades analíticas (BMV, Indeval,

GBM, ConCrédito, Propiedades.com, Nestlé, etc).5. Cofundador de @TheDataPub, la comunidad de Ciencia de Datos más grande

de México.6. COO en Datank.ai.7. Anti-buzzwords, anti-hype: Data Gestapo.8. Gamer los sábados. Foodie los domingos.

2

Page 3: WTF with Big Data?

Qué busco esta noche?

Que sepan la diferencia entre Big Data, Data Science, Business Intelligence, Machine Learning y AI.

Que puedan ver más allá de los sales pitches de los IT vendors.

Que sepan qué se puede hacer y qué han hecho otras industrias con ML.

Que conozcan los retos más grandes para traer DS y ML a las empresas.

Que reconozcan por qué es crítico para México especializarse en DS y ML.

3

Page 4: WTF with Big Data?

Cómo trabajaremos?

Parte I: Definiciones (para el taller y para la vida) - 40 min.

Parte II: Use cases (malos y buenos) - 20 min.

Parte III: Por qué los proyectos de ML fallan? - 20 min.

Parte IV: Qué necesita México para ser referente de ML? - 20 min.

4

Page 5: WTF with Big Data?

Parte IDefiniciones

"Data is the new oil?

Qué es Big Data?

Qué es Analytics?

Qué es BI?

Qué es Data Science?

Qué es Machine Learning?

Qué es Artificial Intelligence?

5

Page 6: WTF with Big Data?

@xuxoramos

Qué tiene diferente la economía de datos?

6

Page 7: WTF with Big Data?

@xuxoramos

Qué tiene diferente la economía de datos?

Escasez

7

Page 8: WTF with Big Data?

@xuxoramos

Qué tiene diferente la economía de datos?

Escasez

Capital+

Mano de obra=

Bienes yServicios

8

Page 9: WTF with Big Data?

@xuxoramos

Qué tiene diferente la economía de datos?

Escasez Abundancia

VSCapital

+Mano de obra

=

Bienes yServicios

9

Page 10: WTF with Big Data?

@xuxoramos

Qué tiene diferente la economía de datos?

Escasez Abundancia

VSCapital

+Mano de obra

=

Bienes yServicios

Capital +Mano de Obra +

DATA=

Bienes yServicios

Inteligentes

10

Page 11: WTF with Big Data?

@xuxoramos

Qué tiene diferente la economía de datos?

Escasez Abundancia

VSCapital

+Mano de obra

=

Bienes yServicios

Capital +Mano de Obra +

DATA=

Bienes yServicios

Inteligentes

11

Page 12: WTF with Big Data?

@xuxoramos

Cuánto vale esto?

12

Page 13: WTF with Big Data?

@xuxoramos

Cuánto vale esto?

$19mmdd

13

Page 14: WTF with Big Data?

@xuxoramos

Cuánto vale esto?

$19mmdd $2.5mdd

14

Page 15: WTF with Big Data?

@xuxoramos

Cuánto vale esto?

$19mmdd $2.5mdd $990mdd

15

Page 16: WTF with Big Data?

@xuxoramos

Cuánto vale esto?

$19mmdd $2.5mdd $990mdd

Ca$h Flow?16

Page 17: WTF with Big Data?

@xuxoramos

Cuánto vale esto?

$19mmdd $2.5mdd $990mdd

Ca$h Flow?17

Page 18: WTF with Big Data?

@xuxoramos

Cuánto vale esto?

$19mmdd $2.5mdd $990mdd

DATA** https://techcrunch.com/2015/10/13/whats-the-value-of-your-data/

18

Page 19: WTF with Big Data?

@xuxoramos

Cuánto vale esto?

19

Page 20: WTF with Big Data?

@xuxoramos

Cuánto vale esto?

20

$80mmdd

En intangibles(i.e. DATA!)

12% del PIB Mexicano atribuible a servicios!

Page 21: WTF with Big Data?

Entonces qué es "big data"?

21

Page 22: WTF with Big Data?

@xuxoramos

Definición "Big Data"

22

Servers, pipelines, cloud infra, boxes para procesar y

mover datos

Page 23: WTF with Big Data?

@xuxoramos

Definición "Big Data"

23

Servers, pipelines, cloud infra, boxes para procesar y

mover datos

Page 24: WTF with Big Data?

@xuxoramos

Definición "Big Data"

24

Servers, pipelines, cloud infra, boxes para procesar y

mover datos

El conocimiento que sacamos de

estos datos.

Page 25: WTF with Big Data?

@xuxoramos

Definición "Big Data"

25

Big Data Analytics

Page 26: WTF with Big Data?

@xuxoramos

Definición "Big Data"

26

Una empresa que tiene:

- Tablas (+120 columnas, 1M renglones, 6TB)- Texto (2K páginas)- Social (5K seguidores, 10 TW/posts x seguidor)- Vídeo (20TB)- Y puede/espera monetizar todo.- Entonces si tiene Big Data.

Page 27: WTF with Big Data?

"Big data needs Analytics. Analytics doesn't need big data"

- Carla Gentry

27

Page 28: WTF with Big Data?

Qué es "Analytics"?

28

Page 29: WTF with Big Data?

"Describir un conjunto de datos en sus cantidades, tiempos, factores, frecuencias, e inferir algo que afecte mi realidad."

29

Page 30: WTF with Big Data?

@xuxoramos

Qué es "Analytics"?

30

Page 31: WTF with Big Data?

@xuxoramos

Qué es "Analytics"?

31

Page 32: WTF with Big Data?

Qué es "Data Science"?

32

Page 33: WTF with Big Data?

Mates, vueltas "operacionales".

33

Page 34: WTF with Big Data?

@xuxoramos

Qué distingue BI de Data Science?

34

Page 35: WTF with Big Data?

@xuxoramos

Qué compone a Data Science?

35

Page 36: WTF with Big Data?

Qué es "Machine Learning"?

36

Page 37: WTF with Big Data?

@xuxoramos

Qué es ML?

"Descubrimiento de funciones que partan el espacio de datos, ajusten a una curva sin conocer su orígen, o detecten grupos emergentes."

- Dr. Fernando Esponda (ITAM)

37

Page 38: WTF with Big Data?

@xuxoramos

Qué diferencia tiene con Desarrollo de SW?

38

Máquina

Programa

Datos

Contexto

Resultado de negocio

Proyectos de Software

Máquina

Resultado de negocio

Datos

Contexto

Programa

Proyectos de Machine Learning

Page 39: WTF with Big Data?

@xuxoramos

Objetivo del Machine Learning

39

Identificar patrones equivocándose lo menor posible.

Page 40: WTF with Big Data?

@xuxoramos

Cómo lo logra?

40

Balanceando componentes del error: sesgo + varianza.

Page 41: WTF with Big Data?

@xuxoramos

Cómo balanceamos?

41

A mayor número de variables, mayor complejidad.

También mayor varianza.

Y menor sesgo.

Page 42: WTF with Big Data?

@xuxoramos

Usos del Machine Learning

42

Clasificación

Partir el espacio de datos en N categorías con funciones.

Page 43: WTF with Big Data?

@xuxoramos

Usos del Machine Learning

43

Regresión

Función que se ajuste al espacio de datos.

Page 44: WTF with Big Data?

@xuxoramos

Usos del Machine Learning

44

Agrupamiento/Clustering

No supervisado!

Descubrimiento de grupos emergentes.

Page 45: WTF with Big Data?

@xuxoramos

Usos del Machine Learning

45

Reducción de dimensionalidad

Proyectar el espacio de datos a una sola dimensión y evaluar pérdida de información.

Page 46: WTF with Big Data?

Y qué es Artificial Intelligence?

46

Page 47: WTF with Big Data?

@xuxoramos

Qué es AI?

47

Actuar racionalmente

Actuar como humano

Pensar como humano

Pensar racionalmente

Page 48: WTF with Big Data?

@xuxoramos

Qué es AI?

48

Actuar racionalmente

Actuar como humano

Pensar como humano

Pensar racionalmente

Page 49: WTF with Big Data?

Parte IIUse Cases (buenos y malos)

- Buenos- Banca- Telco- Logística- Remesas- Medios

- Malos- Fashion- Internet- Telco- Twitter- Salud

49

Page 50: WTF with Big Data?

Los Buenos

50

Page 51: WTF with Big Data?

Importante Financiera Mexicana

1. Conversión de cliente de nómina a TC en 29%.

2. $2.7mmdp en revenue al año desde 2010.

3. Cómo lo hizo?

4. Clasificación!

51

Page 52: WTF with Big Data?

UPS

1. Ahorro de combustible haciendo que camiones

sólo den vuelta a la derecha.

2. Ahorro de $47mdd al año.

3. Cómo lo hicieron?

4. Diseño de experimentos!

52

Page 53: WTF with Big Data?

Importante Telco Mexicana

1. Identificación de usrs consumiendo $7K MXN semanales de tiempo aire en prepago.

2. Creación de producto de crédito de tiempo aire de hasta $2K.

3. $4mmdp al año de revenue.4. Cómo lo hicieron?5. Clustering!

53

Page 54: WTF with Big Data?

Western Union

1. Prevención de fraude en remesas en automático y personalizado.

2. $32mdd en ahorro operativo en 2012. $21mdd son de transacciones detenidas al momento.

3. Cómo le hicieron?4. Clasificación!5. Similar a algoritmos de spam/ham.

54

Page 55: WTF with Big Data?

Importante Grupo Editorial

1. Bajar bounce rate y mantener al visitante en sitios

de las marcas del grupo.

2. Aumentar ad impressions.

3. Cómo lo están haciendo?

4. Recommender Systems!

55

Page 56: WTF with Big Data?

Los Malos

56

Page 57: WTF with Big Data?

Los Malos

Importante Telco Mexicana

Google

Microsoft

Google

Walmart

2008 Financial Crisis

Trump Victory57

Page 58: WTF with Big Data?

Parte IIIPor qué fallan los proyectos de

ML y DS?

Una breve historia

Barreras a la adopción

58

Page 59: WTF with Big Data?

Historia de un Proyecto de "Pig Data"

59

CTOs drink the "Big Data" kool-aid and call their "buddy" at an IT Vendor.

Vendor promises unprecedented return if firm buys their "fridges".

Board grants budget out of ignorance. CTO buys boxes.

CTO migrates DWH from RDBMS to Hadoop. For them, this is DS.

Next Q arrives. No ROI. Project canceled. Boxes returned.

CTO no longer able to innovate. SWEngs quit and call themselves DS.

Page 60: WTF with Big Data?

Barreras a la adopción

Costo / Tiempo

Organizacionales

Culturales

60

Page 61: WTF with Big Data?

Barrera de Costo / Tiempo

- Ecosistema de datos fragmentado- Levantarlo es costoso (2 años para una organización

mediana)- Solo sirve para fines normativos- Operación siempre va más rápido que IT

61

Page 62: WTF with Big Data?

Barrera Organizacional: Dónde debe vivir DS?

62

Page 63: WTF with Big Data?

Barrera Organizacional: Dónde vive realmente?

63

Page 64: WTF with Big Data?

Barrera Cultural

64

Sin preguntas correctas

Sin mindset correcto

Sin leverage organizacional

Page 65: WTF with Big Data?

Barrera Cultural

65

Page 66: WTF with Big Data?

Parte IVEl caso de México

Deficiencias en Talent Pool

Escenario Macroeconómico

66

Page 67: WTF with Big Data?

Cómo anda México en DS y ML?

67

113K Ingenieros de Software al año.

350 Matemáticos, actuarios, físicos y estadísticos.

No se conoce la diferencia entre Data Scientist (DS) y Data Engineer (DE).

Tenemos miles de Data Engineers chingones.

No tenemos casi Científicos de Datos.

Tenemos muchos DE queriendo ser DS cuando no saben ni proba.

Page 68: WTF with Big Data?

Qué tenemos en nuestra contra?

68

La frontera norte se cierra a nuestros productos y servicios.

Poco petróleo, y a precio muy bajo.

Corrupción rampante.

Mercado interno débil.

Variables macroeconómicas malas.

La "mano de obra barata" no será relevante en la era de la automatización.

Page 69: WTF with Big Data?

Cómo lo hacemos bien?

1. Estableciendo un Repositorio Central de Datosa. Reportería normativab. Operativa / BIc. Data Science / Machine Learning

2. Patrocinando estos proyectos desde el más alto nivela. Compromiso de recursos a largo plazob. No tratarlos como proyectos de SWc. Reporte directo de Analytics / Data Science al CEO

3. Contratando correctamentea. Business first, Math second, Technology Third.b. IT no es suficiente.

69

Page 70: WTF with Big Data?

GraciasJesús RamosTW: @xuxoramosFB: /xuxoramosEmail: [email protected]

70