Владимир Красильщик, Яндекс

Санкт-Петербург, Россия

Анти-введение в Big Data

2Анти-введение в Big Data

Что за чувак переключает слайды?

2Анти-введение в Big Data

Что за чувак переключает слайды?

> Альма-матер: СПбГЭТУ “ЛЭТИ”

2Анти-введение в Big Data

Что за чувак переключает слайды?

> Альма-матер: СПбГЭТУ “ЛЭТИ”

> До Luxoft: таможня РФ и Беларуси, Continental, Daimler-Chrysler, школы Баварии и Баден-Вюртенберга, T-Mobile

2Анти-введение в Big Data

Что за чувак переключает слайды?

> Альма-матер: СПбГЭТУ “ЛЭТИ”

> До Luxoft: таможня РФ и Беларуси, Continental, Daimler-Chrysler, школы Баварии и Баден-Вюртенберга, T-Mobile> Luxoft: крупный инвестиционный банк

2Анти-введение в Big Data

Что за чувак переключает слайды?

> Альма-матер: СПбГЭТУ “ЛЭТИ”

> До Luxoft: таможня РФ и Беларуси, Continental, Daimler-Chrysler, школы Баварии и Баден-Вюртенберга, T-Mobile> Luxoft: крупный инвестиционный банк

> Яндекс

2Анти-введение в Big Data

Что за чувак переключает слайды?

> Альма-матер: СПбГЭТУ “ЛЭТИ”

> До Luxoft: таможня РФ и Беларуси, Continental, Daimler-Chrysler, школы Баварии и Баден-Вюртенберга, T-Mobile> Luxoft: крупный инвестиционный банк

> Яндекс

Какова цель выступления?

Big Data это …

4Анти-введение в Big Data

Big Data это …

> Big Data это когда петабайты данных

4Анти-введение в Big Data

Big Data это …

> Big Data это когда петабайты данных> Big Data это highload

4Анти-введение в Big Data

Big Data это …

> Big Data это когда петабайты данных> Big Data это highload> Big Data это hadoop

4Анти-введение в Big Data

Big Data это …

> Big Data это когда петабайты данных> Big Data это highload> Big Data это hadoop> Big Data это треш и угар

4Анти-введение в Big Data

Big Data это …

5

Big Data это …

5

Big Data это …

5

Big Data это …

6Анти-введение в Big Data

Big Data это …

6Анти-введение в Big Data

7Анти-введение в Big Data

Big Data это набор мер и технологий, направленный на монетизацию имеющихся у компании данных

9

НУ ДАВАЙ

РАССКАЖИ МНЕ БОЛЬШЕ О BIG DATA

Цель выступления - прочувствовать что такое Big Data

Почему доклад называется «анти-введение»?

12

Вопрос

Анти-введение в Big Data

12

Вопрос

Сколько транзакций в день обрабатывается в крупном инвестиционном банке?

Анти-введение в Big Data

13

Транзакции

Анти-введение в Big Data

13

Транзакции

Анти-введение в Big Data

13

Транзакции

Анти-введение в Big Data

13

Транзакции

Анти-введение в Big Data

13

Транзакции

Анти-введение в Big Data

13

Транзакции

Анти-введение в Big Data

13

Транзакции

Анти-введение в Big Data

13

Транзакции

Анти-введение в Big Data

13

Транзакции

Анти-введение в Big Data

13

Транзакции

Анти-введение в Big Data

14

Вопрос

Анти-введение в Big Data

14

Вопрос

Сколько транзакций в день обрабатывается в крупном инвестиционном банке?

Анти-введение в Big Data

14

Вопрос

Сколько транзакций в день обрабатывается в крупном инвестиционном банке?

1. 1M

Анти-введение в Big Data

14

Вопрос

Сколько транзакций в день обрабатывается в крупном инвестиционном банке?

1. 1M 2. 100M

Анти-введение в Big Data

14

Вопрос

Сколько транзакций в день обрабатывается в крупном инвестиционном банке?

1. 1M 2. 100M3. 500M

Анти-введение в Big Data

14

Вопрос

Сколько транзакций в день обрабатывается в крупном инвестиционном банке?

1. 1M 2. 100M3. 500M

до 500M

Анти-введение в Big Data

15Анти-введение в Big Data

29-05-2017 23:15

http://www.internetlivestats.com/twitter-statistics/

16

29-05-2017 23:15

http://www.internetlivestats.com/twitter-statistics/

16

17

http://www.internetlivestats.com/twitter-statistics/

17

http://www.internetlivestats.com/twitter-statistics/

18

Что такое …

Анти-введение в Big Data

19

умные-решения.рф

Анти-введение в Big Data

19

умные-решения.рф

Какие сейчас* самые популярные хештеги?

Анти-введение в Big Data

19

умные-решения.рф

Какие сейчас* самые популярные хештеги?

Анти-введение в Big Data

Сейчас* - на настоящий момент с начала времён

20

https://twitter.com/tophashtags

29-05-2017 12:31

20

https://twitter.com/tophashtags

29-05-2017 12:31

21

Инкрементальное решение

Анти-введение в Big Data

21

Инкрементальное решение

Анти-введение в Big Data

21

Инкрементальное решение

tweets

Анти-введение в Big Data

21

Инкрементальное решение

мясорубкаtweets

Анти-введение в Big Data

21

Инкрементальное решение

мясорубкаtweets

Анти-введение в Big Data

21

Инкрементальное решение

мясорубка

hashtag#1

tweets

hashtag#N

hashtag#2

…

Анти-введение в Big Data

21

Инкрементальное решение

мясорубка

hashtag#1

PostgreSQLtweets

hashtag#N

hashtag#2

…

Анти-введение в Big Data

21

Инкрементальное решение

мясорубка

hashtag#1

PostgreSQLtweets

hashtag#N

hashtag#2

counter#1

counter#2

counter#N

……

Анти-введение в Big Data

22

Инкрементальное решение

мясорубка

hashtag#1

PostgreSQLtweets

hashtag#N

hashtag#2

counter#1

counter#2

counter#N

……

Анти-введение в Big Data

…

23

Инкрементальное распараллеленное решение

мясорубка

PostgreSQLtweets

hashtag#Nhashtag#2

counter#1

counter#2

counter#N

…

hashtag#1

мясорубка

мясорубка

tweets

tweets

hashtag#Nhashtag#2

hashtag#1

hashtag#Nhashtag#2

hashtag#1

…

Анти-введение в Big Data

…

24

мясорубка

PostgreSQLtweets

hashtag#Nhashtag#2

counter#1

counter#2

counter#N

…

hashtag#1

мясорубка

мясорубка

hashtag#Nhashtag#2

hashtag#1

hashtag#Nhashtag#2

hashtag#1

…

tweets

tweets

Анти-введение в Big Data

Инкрементальное распараллеленное решение

…

25

мясорубка

PostgreSQLtweets

hashtag#Nhashtag#2

counter#1

counter#2

counter#N

…

hashtag#1

мясорубка

мясорубка

hashtag#Nhashtag#2

hashtag#1

hashtag#Nhashtag#2

hashtag#1

…

tweets

tweets

Анти-введение в Big Data

Инкрементальное распараллеленное решение

…

26

мясо~

PostgreSQLtweets

counter#1

counter#2

counter#N

…

hashtag#1

мясо~

мясо~

hashtag#2

hashtag#N

…

рубка

рубка

рубка

…

tweets

tweets

Анти-введение в Big Data

Инкрементальное распараллеленное решение без блокировок

Но есть две проблемы…

28Анти-введение в Big Data

1. Решение плохо адаптируется под смежные задачи

28

> Регионы

Анти-введение в Big Data

1. Решение плохо адаптируется под смежные задачи

28

> Регионы

> Временные интервалы

Анти-введение в Big Data

1. Решение плохо адаптируется под смежные задачи

28

> Регионы

> Временные интервалы

> Другие источники хэштегов: VK, FB, Instagram

Анти-введение в Big Data

1. Решение плохо адаптируется под смежные задачи

29Анти-введение в Big Data

2. Люди дапускают ашибки

30Анти-введение в Big Data

2. Люди дапускают ашибки 2. Люди допускают ошибки

31

Мясорубка

List list = tweet.getHashtags();list.forEach(hashtag -> { long counter = getCurrentCounter(hashtag); counter++; setCurrentCounter(hashtag, counter);});

Анти-введение в Big Data

32

Мисорубка

Анти-введение в Big Data

List list = tweet.getHashtags();list.forEach(hashtag -> { long counter = getCurrentCounter(hashtag); counter--; setCurrentCounter(hashtag, counter);});

33

умные-решения.рф

Анти-введение в Big Data

33

умные-решения.рф

Анти-введение в Big Data

33

умные-решения.рф

Анти-введение в Big Data

33

умные-решения.рф

Анти-введение в Big Data

33

умные-решения.рф

Анти-введение в Big Data

34

более-умные-решения.рф

Анти-введение в Big Data

34

более-умные-решения.рф

1. Отвечает на вопрос какие сейчас* самые популярные хештеги.

Анти-введение в Big Data

34

более-умные-решения.рф

1. Отвечает на вопрос какие сейчас* самые популярные хештеги.

2. Хорошо адаптируется под смежные задачи.

Анти-введение в Big Data

34

более-умные-решения.рф

1. Отвечает на вопрос какие сейчас* самые популярные хештеги.

2. Хорошо адаптируется под смежные задачи.

3. Устойчиво к человеческим ошибкам.

Анти-введение в Big Data

Более умное решение

Анти-введение в Big Data

35

Более умное решение

Анти-введение в Big Data

35

Более умное решение

Анти-введение в Big Data

35

tweets

Более умное решение

Анти-введение в Big Data

35

tweets

Более умное решение

Анти-введение в Big Data

35

tweets

Более умное решение

Анти-введение в Big Data

master dataset

batch layer

35

tweets

Более умное решение

Анти-введение в Big Data

master dataset

batch layer

35

tweets

Более умное решение

Анти-введение в Big Data

master dataset

batch layer

35

tweets

service layer

Более умное решение

Анти-введение в Big Data

master dataset

batch layer

35

tweets

service layer

batch view

Более умное решение

Анти-введение в Big Data

master dataset

batch layer

35

tweets

service layerbatch viewbatch view

Более умное решение

Анти-введение в Big Data

master dataset

batch layer

35

tweets

service layerbatch viewbatch view

batch view

Более умное решение

Анти-введение в Big Data

master dataset

batch layer

35

tweets

service layerbatch viewbatch view

batch viewbatch view

Более умное решение

Анти-введение в Big Data

master dataset

batch layer

35

tweets

tweets

service layerbatch viewbatch view

batch viewbatch view

Более умное решение

Анти-введение в Big Data

master dataset

batch layer

35

tweets

tweets

service layerbatch viewbatch view

batch viewbatch view

speed layer

Более умное решение

Анти-введение в Big Data

master dataset

batch layer

35

tweets

tweets

service layerbatch viewbatch view

batch viewbatch view

speed layer

realtime view

Более умное решение

Анти-введение в Big Data

master dataset

batch layer

35

tweets

tweets

service layerbatch viewbatch view

batch viewbatch view

speed layer

batch viewrealtime

view

Более умное решение

Анти-введение в Big Data

master dataset

batch layer

35

tweets

tweets

service layerbatch viewbatch view

batch viewbatch view

speed layer

batch viewrealtime

view

realtime view

Более умное решение

Анти-введение в Big Data

master dataset

batch layer

35

tweets

tweets

service layerbatch viewbatch view

batch viewbatch view

speed layer

batch viewrealtime

view

batch viewrealtime

view

Более умное решение

Анти-введение в Big Data

master dataset

batch layer

35

tweets

tweets

service layerbatch viewbatch view

batch viewbatch view

speed layer

batch viewrealtime

view

batch viewrealtime

view

query

Более умное решение

Анти-введение в Big Data

master dataset

batch layer

35

tweets

tweets

service layerbatch viewbatch view

batch viewbatch view

speed layer

batch viewrealtime

view

batch viewrealtime

view

query

Более умное решение

Анти-введение в Big Data

master dataset

batch layer

35

tweets

tweets

service layerbatch viewbatch view

batch viewbatch view

speed layer

batch viewrealtime

view

batch viewrealtime

view

query

Более умное решение

Анти-введение в Big Data

master dataset

batch layer

35

tweets

tweets

service layerbatch viewbatch view

batch viewbatch view

speed layer

batch viewrealtime

view

batch viewrealtime

view

query

Более умное решение

Анти-введение в Big Data

master dataset

36

Более умное решение

Анти-введение в Big Data

36

t

A B C

Более умное решение

Анти-введение в Big Data

0

36

t

A B C

Более умное решение

Анти-введение в Big Data

0

36

t

A B

realtime A

C

Более умное решение

Анти-введение в Big Data

0

36

t

A B

N

realtime A

C

Более умное решение

Анти-введение в Big Data

0

36

t

A B

N

realtime A

C

Более умное решение

Анти-введение в Big Data

0

36

t

A B

N

realtime A

C

Более умное решение

Анти-введение в Big Data

0

36

t

A B

N

realtime A

batch A

C

Более умное решение

Анти-введение в Big Data

0

36

t

A B

N

realtime A

batch A

C

Более умное решение

Анти-введение в Big Data

0

36

t

A B

N

realtime A

batch A

C

Более умное решение

Анти-введение в Big Data

0

36

t

A B

N

realtime A

batch A

realtime B

C

Более умное решение

Анти-введение в Big Data

0

36

t

A B

N

realtime A

batch A

Y

realtime B

C

Более умное решение

Анти-введение в Big Data

0

36

t

A B

N

realtime A

batch A

Y

realtime B

C

Более умное решение

Анти-введение в Big Data

0

36

t

A B

N

realtime A

batch A

Y

realtime B

C

Более умное решение

Анти-введение в Big Data

0

36

t

A B

N

realtime A

batch A

Y

realtime B

C

Более умное решение

Анти-введение в Big Data

0

36

t

A B

N

realtime A

batch A

Y

realtime B

C

Более умное решение

Анти-введение в Big Data

0

36

t

A B

N

realtime A

batch A

Y

realtime B

C

Более умное решение

Анти-введение в Big Data

0

36

t

A B

N

realtime A

batch A

Y

realtime B

C

batch B

realtime C

Более умное решение

Анти-введение в Big Data

0

36

t

A B

N

realtime A

batch A

Y

realtime B

C

batch B

realtime C

Более умное решение

Анти-введение в Big Data

0

36

t

A B

N

realtime A

batch A

Y

realtime B

C

batch B

realtime C

Более умное решение

Z

Анти-введение в Big Data

0

36

t

A B

N

realtime A

batch A

Y

realtime B

C

batch B

realtime C

Более умное решение

Z

Анти-введение в Big Data

0

36

t

A B

N

realtime A

batch A

Y

realtime B

C

batch B

realtime C

Более умное решение

Z

Анти-введение в Big Data

0

37

Лямбда-архитектура (Nathan Marz)

http://lambda-architecture.net

Анти-введение в Big Data

*Realtime

38Анти-введение в Big Data

Быстрые данные (Fast data): время от момента получения данных до момента выделения из них ценной информации

Big Data – Определение #1

39Анти-введение в Big Data

Big Data – Определение #1

39Анти-введение в Big Data

Много данных как результат: > избыточности > иммутабельности > репликации

Какие технологии подходят для реализации master dataset?

Файловые хранилища

41Анти-введение в Big Data

Файловые хранилища

41Анти-введение в Big Data

> HDFS > WebDAV > Amazon S3

NoSql базы данных

42Анти-введение в Big Data

NoSql базы данных

42Анти-введение в Big Data

документо-ориентированные (Mongo, MarkLogic) и key-value (Cassandra, Hazelcast)

NoSql базы данных

42Анти-введение в Big Data

документо-ориентированные (Mongo, MarkLogic) и key-value (Cassandra, Hazelcast)

распределенные

PostgreSQL не подходит для реализации master dataset!

PostgreSQL тоже подходит для реализации master dataset!

Big Data – Определение #2

45Анти-введение в Big Data

Big Data – Определение #2

45

3 технологических признака:

Анти-введение в Big Data

Big Data – Определение #2

45

3 технологических признака:

1) Гибкое хранилище и возможность делать разнообразные запросы (Mongo, Cassandra, HDFS, Postgres)

Анти-введение в Big Data

Каскадное хранилище

46Анти-введение в Big Data

Каскадное хранилище

46Анти-введение в Big Data

«Резиновая помойка»

Каскадное хранилище

46Анти-введение в Big Data

«Резиновая помойка»

Каскадное хранилище

46Анти-введение в Big Data

«Резиновая помойка»

HDFS, S3, WebDAV

Каскадное хранилище

46Анти-введение в Big Data

«Резиновая помойка»

HDFS, S3, WebDAV

Каскадное хранилище

46Анти-введение в Big Data

«Резиновая помойка» Хранилище фактов

HDFS, S3, WebDAV

Каскадное хранилище

46Анти-введение в Big Data

«Резиновая помойка» Хранилище фактов

HDFS, S3, WebDAV Mongo, MarkLogic, Postgres, Cassandra

Каскадное хранилище

46Анти-введение в Big Data

«Резиновая помойка» Хранилище фактов

HDFS, S3, WebDAV Mongo, MarkLogic, Postgres, Cassandra

Каскадное хранилище

46Анти-введение в Big Data

«Резиновая помойка» Хранилище фактов

HDFS, S3, WebDAV Mongo, MarkLogic, Postgres, Cassandra

SQL databases: Oracle, Postgres, MySql

Каскадное хранилище

46Анти-введение в Big Data

«Резиновая помойка» Хранилище фактов

HDFS, S3, WebDAV Mongo, MarkLogic, Postgres, Cassandra

SQL databases: Oracle, Postgres, MySql

Каскадное хранилище

46Анти-введение в Big Data

«Резиновая помойка» Хранилище фактов

HDFS, S3, WebDAV Mongo, MarkLogic, Postgres, Cassandra

SQL databases: Oracle, Postgres, MySql

NoSql databases: Parquet, ClickHouse, YT

Каскадное хранилище

46Анти-введение в Big Data

«Резиновая помойка» Хранилище фактов

HDFS, S3, WebDAV Mongo, MarkLogic, Postgres, Cassandra

SQL databases: Oracle, Postgres, MySql

NoSql databases: Parquet, ClickHouse, YT

Каскадное хранилище

46Анти-введение в Big Data

«Резиновая помойка» Хранилище фактов

HDFS, S3, WebDAV Mongo, MarkLogic, Postgres, Cassandra

SQL databases: Oracle, Postgres, MySql

Grids/Caches: Apache Ignite, GridGain, Coherence, Hazelcast

NoSql databases: Parquet, ClickHouse, YT

Про магазин и школьницу

47

https://habrahabr.ru/post/147284/ http://www.nytimes.com/2012/02/19/magazine/shopping-habits.html?pagewanted=all&_r=0

Big Data – Определение #2

48

3 технологических признака:

1) Гибкое хранилище и возможность делать разнообразные запросы (Mongo, Cassandra, HDFS, Postgres)

2) Надёжное “заведение” данных (Apache Storm, Spark Streaming, Apache Kafka)

Анти-введение в Big Data

Две проблемы распределенных систем

49Анти-введение в Big Data

Две проблемы распределенных систем

49Анти-введение в Big Data

Две проблемы распределенных систем

49

В распределенных системах существуют только две серьезные проблемы: 2. Доставить сообщение ровно один раз 1. Гарантировать порядок доставки сообщений 2. Доставить сообщение ровно один раз

Анти-введение в Big Data

Big Data – Определение #2

50

3 технологических признака:

1) Гибкое хранилище и возможность делать разнообразные запросы (Mongo, Cassandra, HDFS, Postgres)

2) Надёжное “заведение” данных (Apache Storm, Spark Streaming, Apache Kafka)

3) Крутые аналитические инструменты (Hadoop): query = function(all data)

Анти-введение в Big Data

Big Data – Определение #2

50

3 технологических признака:

1) Гибкое хранилище и возможность делать разнообразные запросы (Mongo, Cassandra, HDFS, Postgres)

2) Надёжное “заведение” данных (Apache Storm, Spark Streaming, Apache Kafka)

3) Крутые аналитические инструменты (Hadoop): query = function(all data)

Анти-введение в Big Data

Технологии Big Data или Pokemons?

52Анти-введение в Big Data

Spoink?

53

Spoink is a Pokemon!

Анти-введение в Big Data

54Анти-введение в Big Data

Arvados?

55

Arvados is a Big Data!

Анти-введение в Big Data

56Анти-введение в Big Data

Horsea?

57

Horsea is Pokemon!

Анти-введение в Big Data

58Анти-введение в Big Data

Seahorse?

59

Seahorse is a Big Data!

Анти-введение в Big Data

60Анти-введение в Big Data

Pangool?

61

Pangool is a Big Data!

Анти-введение в Big Data

62Анти-введение в Big Data

Vulpix?

63

Vulpix is Pokemon!

Анти-введение в Big Data

64Анти-введение в Big Data

Flink?

65

Flink is a Big Data!

Анти-введение в Big Data

66Анти-введение в Big Data

Postgres?

https://pixelastic.github.io/pokemonorbigdata/

67Анти-введение в Big Data

Big Data – Определение #3

68Анти-введение в Big Data

Big Data – Определение #3

68

Проектные признаки: 7V

Анти-введение в Big Data

Big Data – Определение #3

68

Проектные признаки: 7V1.Volume - Объемы

Анти-введение в Big Data

Big Data – Определение #3

68

Проектные признаки: 7V1.Volume - Объемы2.Variety - Разнообразие

Анти-введение в Big Data

Big Data – Определение #3

68

Проектные признаки: 7V1.Volume - Объемы2.Variety - Разнообразие3.Veracity - Достоверность

Анти-введение в Big Data

Big Data – Определение #3

68

Проектные признаки: 7V1.Volume - Объемы2.Variety - Разнообразие3.Veracity - Достоверность4.Velocity - Скорость

Анти-введение в Big Data

Big Data – Определение #3

68

Проектные признаки: 7V1.Volume - Объемы2.Variety - Разнообразие3.Veracity - Достоверность4.Velocity - Скорость5.Value - Ценность

Анти-введение в Big Data

Big Data – Определение #3

68

Проектные признаки: 7V1.Volume - Объемы2.Variety - Разнообразие3.Veracity - Достоверность4.Velocity - Скорость5.Value - Ценность6.Volatility - Неустойчивость

Анти-введение в Big Data

Big Data – Определение #3

68

Проектные признаки: 7V1.Volume - Объемы2.Variety - Разнообразие3.Veracity - Достоверность4.Velocity - Скорость5.Value - Ценность6.Volatility - Неустойчивость7.Visualisation - Визуализация

Анти-введение в Big Data

Big Data – Определение #4

69Анти-введение в Big Data

Big Data – Определение #4

69Анти-введение в Big Data

Big Data доставляет головную боль, в противном случае речь идет о старых добрых ETL, OLAP или CEP

Big Data – Определение #4

69Анти-введение в Big Data

ETL - Extract Transform Load OLAP - Online Analytical Processing CEP - Complex Event Processing

Big Data доставляет головную боль, в противном случае речь идет о старых добрых ETL, OLAP или CEP

70

Почему болит голова?

Анти-введение в Big Data

71

Почему болит голова?

t

Анти-введение в Big Data 71

72

Почему болит голова?

t

A

realtime A

Анти-введение в Big Data 72

73

Почему болит голова?

t

A B

realtime A

batch A

realtime B

Анти-введение в Big Data 73

74

Почему болит голова?

t

A B

realtime A

batch A

realtime B

C

batch B

realtime C

Анти-введение в Big Data 74

75

Почему болит голова?

t

A B

realtime A

batch A

realtime B

C

batch B

realtime C

D

Анти-введение в Big Data 75

batch C

realtime D

76

https://twitter.com/tophashtags - это Big Data?

Анти-введение в Big Data 76

76

https://twitter.com/tophashtags - это Big Data?

Анти-введение в Big Data 76

76

https://twitter.com/tophashtags - это Big Data?

Анти-введение в Big Data 76

76

https://twitter.com/tophashtags - это Big Data?

Анти-введение в Big Data 76

А может Big Data на самом деле не нужна?

Вы не Яндекс

78

https://blog.bradfieldcs.com/you-are-not-google-84912cf44afbhttps://habrahabr.ru/company/infopulse/blog/330708/

Анти-заключение про Big Data

79Анти-введение в Big Data

Анти-заключение про Big Data> Постоянная адаптация к смежным задачам и устойчивость к человеческим ошибкам

79Анти-введение в Big Data

Анти-заключение про Big Data> Постоянная адаптация к смежным задачам и устойчивость к человеческим ошибкам> Лямбда-архитектура

79Анти-введение в Big Data

Анти-заключение про Big Data> Постоянная адаптация к смежным задачам и устойчивость к человеческим ошибкам> Лямбда-архитектура> Смешные технологии для компонентов лямбда-архитектуры

79Анти-введение в Big Data

Анти-заключение про Big Data> Постоянная адаптация к смежным задачам и устойчивость к человеческим ошибкам> Лямбда-архитектура> Смешные технологии для компонентов лямбда-архитектуры> Много данных из-за избыточности, иммутабельности и репликации

79Анти-введение в Big Data

Анти-заключение про Big Data> Постоянная адаптация к смежным задачам и устойчивость к человеческим ошибкам> Лямбда-архитектура> Смешные технологии для компонентов лямбда-архитектуры> Много данных из-за избыточности, иммутабельности и репликации> Технологические признаки: гибкое хранение, надежное заведение данных, крутые аналитические инструменты

79Анти-введение в Big Data

Анти-заключение про Big Data> Постоянная адаптация к смежным задачам и устойчивость к человеческим ошибкам> Лямбда-архитектура> Смешные технологии для компонентов лямбда-архитектуры> Много данных из-за избыточности, иммутабельности и репликации> Технологические признаки: гибкое хранение, надежное заведение данных, крутые аналитические инструменты> Проектные признаки 7V

79Анти-введение в Big Data

Анти-заключение про Big Data> Постоянная адаптация к смежным задачам и устойчивость к человеческим ошибкам> Лямбда-архитектура> Смешные технологии для компонентов лямбда-архитектуры> Много данных из-за избыточности, иммутабельности и репликации> Технологические признаки: гибкое хранение, надежное заведение данных, крутые аналитические инструменты> Проектные признаки 7V> Головная боль

79Анти-введение в Big Data

Анти-заключение про Big Data> Постоянная адаптация к смежным задачам и устойчивость к человеческим ошибкам> Лямбда-архитектура> Смешные технологии для компонентов лямбда-архитектуры> Много данных из-за избыточности, иммутабельности и репликации> Технологические признаки: гибкое хранение, надежное заведение данных, крутые аналитические инструменты> Проектные признаки 7V> Головная боль> Нужна ли Вам Big Data?

79Анти-введение в Big Data

СПАСИБО!

Анти-введение в Big Data

80

Вапросы?vladimir.krasilschik@gmail.com @dyer_the pgday 2017 Санкт-Петербург, Россия Вопросы?

СПАСИБО!

Анти-введение в Big Data

80

Вапросы?vladimir.krasilschik@gmail.com @dyer_the pgday 2017 Санкт-Петербург, Россия Вопросы?

СПАСИБО!

Анти-введение в Big Data

80

Вапросы?vladimir.krasilschik@gmail.com @dyer_the pgday 2017 Санкт-Петербург, Россия Вопросы?

СПАСИБО!

Анти-введение в Big Data

80

Вапросы?vladimir.krasilschik@gmail.com @dyer_the pgday 2017 Санкт-Петербург, Россия Вопросы?

СПАСИБО!

Анти-введение в Big Data

80

Вапросы?vladimir.krasilschik@gmail.com @dyer_the pgday 2017 Санкт-Петербург, Россия Вопросы?