Анти введение Big Data · в крупном инвестиционном банке?...
219
Владимир Красильщик, Яндекс Санкт -Петербург, Россия Анти-введение в Big Data
Transcript of Анти введение Big Data · в крупном инвестиционном банке?...
Владимир Красильщик, Яндекс
Санкт-Петербург, Россия
Анти-введение в Big Data
2Анти-введение в Big Data
Что за чувак переключает слайды?
2Анти-введение в Big Data
Что за чувак переключает слайды?
> Альма-матер: СПбГЭТУ “ЛЭТИ”
2Анти-введение в Big Data
Что за чувак переключает слайды?
> Альма-матер: СПбГЭТУ “ЛЭТИ”
> До Luxoft: таможня РФ и Беларуси, Continental, Daimler-Chrysler, школы Баварии и Баден-Вюртенберга, T-Mobile
2Анти-введение в Big Data
Что за чувак переключает слайды?
> Альма-матер: СПбГЭТУ “ЛЭТИ”
> До Luxoft: таможня РФ и Беларуси, Continental, Daimler-Chrysler, школы Баварии и Баден-Вюртенберга, T-Mobile> Luxoft: крупный инвестиционный банк
2Анти-введение в Big Data
Что за чувак переключает слайды?
> Альма-матер: СПбГЭТУ “ЛЭТИ”
> До Luxoft: таможня РФ и Беларуси, Continental, Daimler-Chrysler, школы Баварии и Баден-Вюртенберга, T-Mobile> Luxoft: крупный инвестиционный банк
> Яндекс
2Анти-введение в Big Data
Что за чувак переключает слайды?
> Альма-матер: СПбГЭТУ “ЛЭТИ”
> До Luxoft: таможня РФ и Беларуси, Continental, Daimler-Chrysler, школы Баварии и Баден-Вюртенберга, T-Mobile> Luxoft: крупный инвестиционный банк
> Яндекс
Какова цель выступления?
Big Data это …
4Анти-введение в Big Data
Big Data это …
> Big Data это когда петабайты данных
4Анти-введение в Big Data
Big Data это …
> Big Data это когда петабайты данных> Big Data это highload
4Анти-введение в Big Data
Big Data это …
> Big Data это когда петабайты данных> Big Data это highload> Big Data это hadoop
4Анти-введение в Big Data
Big Data это …
> Big Data это когда петабайты данных> Big Data это highload> Big Data это hadoop> Big Data это треш и угар
4Анти-введение в Big Data
Big Data это …
5
Big Data это …
5
Big Data это …
5
Big Data это …
6Анти-введение в Big Data
Big Data это …
6Анти-введение в Big Data
7Анти-введение в Big Data
Big Data это набор мер и технологий, направленный на монетизацию имеющихся у компании данных
9
НУ ДАВАЙ
РАССКАЖИ МНЕ БОЛЬШЕ О BIG DATA
Цель выступления - прочувствовать что такое Big Data
Почему доклад называется «анти-введение»?
12
Вопрос
Анти-введение в Big Data
12
Вопрос
Сколько транзакций в день обрабатывается в крупном инвестиционном банке?
Анти-введение в Big Data
13
Транзакции
Анти-введение в Big Data
13
Транзакции
Анти-введение в Big Data
13
Транзакции
Анти-введение в Big Data
13
Транзакции
Анти-введение в Big Data
13
Транзакции
Анти-введение в Big Data
13
Транзакции
Анти-введение в Big Data
13
Транзакции
Анти-введение в Big Data
13
Транзакции
Анти-введение в Big Data
13
Транзакции
Анти-введение в Big Data
13
Транзакции
Анти-введение в Big Data
14
Вопрос
Анти-введение в Big Data
14
Вопрос
Сколько транзакций в день обрабатывается в крупном инвестиционном банке?
Анти-введение в Big Data
14
Вопрос
Сколько транзакций в день обрабатывается в крупном инвестиционном банке?
1. 1M
Анти-введение в Big Data
14
Вопрос
Сколько транзакций в день обрабатывается в крупном инвестиционном банке?
1. 1M 2. 100M
Анти-введение в Big Data
14
Вопрос
Сколько транзакций в день обрабатывается в крупном инвестиционном банке?
1. 1M 2. 100M3. 500M
Анти-введение в Big Data
14
Вопрос
Сколько транзакций в день обрабатывается в крупном инвестиционном банке?
1. 1M 2. 100M3. 500M
до 500M
Анти-введение в Big Data
15Анти-введение в Big Data
29-05-2017 23:15
http://www.internetlivestats.com/twitter-statistics/
16
29-05-2017 23:15
http://www.internetlivestats.com/twitter-statistics/
16
17
http://www.internetlivestats.com/twitter-statistics/
17
http://www.internetlivestats.com/twitter-statistics/
18
Что такое …
Анти-введение в Big Data
19
умные-решения.рф
Какие сейчас* самые популярные хештеги?
Анти-введение в Big Data
19
умные-решения.рф
Какие сейчас* самые популярные хештеги?
Анти-введение в Big Data
Сейчас* - на настоящий момент с начала времён
21
Инкрементальное решение
Анти-введение в Big Data
21
Инкрементальное решение
Анти-введение в Big Data
21
Инкрементальное решение
tweets
Анти-введение в Big Data
21
Инкрементальное решение
мясорубкаtweets
Анти-введение в Big Data
21
Инкрементальное решение
мясорубкаtweets
Анти-введение в Big Data
21
Инкрементальное решение
мясорубка
hashtag#1
tweets
hashtag#N
hashtag#2
…
Анти-введение в Big Data
21
Инкрементальное решение
мясорубка
hashtag#1
PostgreSQLtweets
hashtag#N
hashtag#2
…
Анти-введение в Big Data
21
Инкрементальное решение
мясорубка
hashtag#1
PostgreSQLtweets
hashtag#N
hashtag#2
counter#1
counter#2
counter#N
……
Анти-введение в Big Data
22
Инкрементальное решение
мясорубка
hashtag#1
PostgreSQLtweets
hashtag#N
hashtag#2
counter#1
counter#2
counter#N
……
Анти-введение в Big Data
…
23
Инкрементальное распараллеленное решение
мясорубка
PostgreSQLtweets
hashtag#Nhashtag#2
counter#1
counter#2
counter#N
…
hashtag#1
мясорубка
мясорубка
tweets
tweets
hashtag#Nhashtag#2
hashtag#1
hashtag#Nhashtag#2
hashtag#1
…
Анти-введение в Big Data
…
24
мясорубка
PostgreSQLtweets
hashtag#Nhashtag#2
counter#1
counter#2
counter#N
…
hashtag#1
мясорубка
мясорубка
hashtag#Nhashtag#2
hashtag#1
hashtag#Nhashtag#2
hashtag#1
…
tweets
tweets
Анти-введение в Big Data
Инкрементальное распараллеленное решение
…
25
мясорубка
PostgreSQLtweets
hashtag#Nhashtag#2
counter#1
counter#2
counter#N
…
hashtag#1
мясорубка
мясорубка
hashtag#Nhashtag#2
hashtag#1
hashtag#Nhashtag#2
hashtag#1
…
tweets
tweets
Анти-введение в Big Data
Инкрементальное распараллеленное решение
…
26
мясо~
PostgreSQLtweets
counter#1
counter#2
counter#N
…
hashtag#1
мясо~
мясо~
hashtag#2
hashtag#N
…
рубка
рубка
рубка
…
tweets
tweets
Анти-введение в Big Data
Инкрементальное распараллеленное решение без блокировок
Но есть две проблемы…
28Анти-введение в Big Data
1. Решение плохо адаптируется под смежные задачи
28
> Регионы
Анти-введение в Big Data
1. Решение плохо адаптируется под смежные задачи
28
> Регионы
> Временные интервалы
Анти-введение в Big Data
1. Решение плохо адаптируется под смежные задачи
28
> Регионы
> Временные интервалы
> Другие источники хэштегов: VK, FB, Instagram
Анти-введение в Big Data
1. Решение плохо адаптируется под смежные задачи
29Анти-введение в Big Data
2. Люди дапускают ашибки
30Анти-введение в Big Data
2. Люди дапускают ашибки 2. Люди допускают ошибки
31
Мясорубка
List list = tweet.getHashtags();list.forEach(hashtag -> { long counter = getCurrentCounter(hashtag); counter++; setCurrentCounter(hashtag, counter);});
Анти-введение в Big Data
32
Мисорубка
Анти-введение в Big Data
List list = tweet.getHashtags();list.forEach(hashtag -> { long counter = getCurrentCounter(hashtag); counter--; setCurrentCounter(hashtag, counter);});
34
более-умные-решения.рф
1. Отвечает на вопрос какие сейчас* самые популярные хештеги.
Анти-введение в Big Data
34
более-умные-решения.рф
1. Отвечает на вопрос какие сейчас* самые популярные хештеги.
2. Хорошо адаптируется под смежные задачи.
Анти-введение в Big Data
34
более-умные-решения.рф
1. Отвечает на вопрос какие сейчас* самые популярные хештеги.
2. Хорошо адаптируется под смежные задачи.
3. Устойчиво к человеческим ошибкам.
Анти-введение в Big Data
Более умное решение
Анти-введение в Big Data
35
Более умное решение
Анти-введение в Big Data
35
Более умное решение
Анти-введение в Big Data
35
tweets
Более умное решение
Анти-введение в Big Data
35
tweets
Более умное решение
Анти-введение в Big Data
35
tweets
Более умное решение
Анти-введение в Big Data
master dataset
batch layer
35
tweets
Более умное решение
Анти-введение в Big Data
master dataset
batch layer
35
tweets
Более умное решение
Анти-введение в Big Data
master dataset
batch layer
35
tweets
service layer
Более умное решение
Анти-введение в Big Data
master dataset
batch layer
35
tweets
service layer
batch view
Более умное решение
Анти-введение в Big Data
master dataset
batch layer
35
tweets
service layerbatch viewbatch view
Более умное решение
Анти-введение в Big Data
master dataset
batch layer
35
tweets
service layerbatch viewbatch view
batch view
Более умное решение
Анти-введение в Big Data
master dataset
batch layer
35
tweets
service layerbatch viewbatch view
batch viewbatch view
Более умное решение
Анти-введение в Big Data
master dataset
batch layer
35
tweets
tweets
service layerbatch viewbatch view
batch viewbatch view
Более умное решение
Анти-введение в Big Data
master dataset
batch layer
35
tweets
tweets
service layerbatch viewbatch view
batch viewbatch view
speed layer
Более умное решение
Анти-введение в Big Data
master dataset
batch layer
35
tweets
tweets
service layerbatch viewbatch view
batch viewbatch view
speed layer
realtime view
Более умное решение
Анти-введение в Big Data
master dataset
batch layer
35
tweets
tweets
service layerbatch viewbatch view
batch viewbatch view
speed layer
batch viewrealtime
view
Более умное решение
Анти-введение в Big Data
master dataset
batch layer
35
tweets
tweets
service layerbatch viewbatch view
batch viewbatch view
speed layer
batch viewrealtime
view
realtime view
Более умное решение
Анти-введение в Big Data
master dataset
batch layer
35
tweets
tweets
service layerbatch viewbatch view
batch viewbatch view
speed layer
batch viewrealtime
view
batch viewrealtime
view
Более умное решение
Анти-введение в Big Data
master dataset
batch layer
35
tweets
tweets
service layerbatch viewbatch view
batch viewbatch view
speed layer
batch viewrealtime
view
batch viewrealtime
view
query
Более умное решение
Анти-введение в Big Data
master dataset
batch layer
35
tweets
tweets
service layerbatch viewbatch view
batch viewbatch view
speed layer
batch viewrealtime
view
batch viewrealtime
view
query
Более умное решение
Анти-введение в Big Data
master dataset
batch layer
35
tweets
tweets
service layerbatch viewbatch view
batch viewbatch view
speed layer
batch viewrealtime
view
batch viewrealtime
view
query
Более умное решение
Анти-введение в Big Data
master dataset
batch layer
35
tweets
tweets
service layerbatch viewbatch view
batch viewbatch view
speed layer
batch viewrealtime
view
batch viewrealtime
view
query
Более умное решение
Анти-введение в Big Data
master dataset
36
Более умное решение
Анти-введение в Big Data
36
t
A B C
Более умное решение
Анти-введение в Big Data
0
36
t
A B C
Более умное решение
Анти-введение в Big Data
0
36
t
A B
realtime A
C
Более умное решение
Анти-введение в Big Data
0
36
t
A B
N
realtime A
C
Более умное решение
Анти-введение в Big Data
0
36
t
A B
N
realtime A
C
Более умное решение
Анти-введение в Big Data
0
36
t
A B
N
realtime A
C
Более умное решение
Анти-введение в Big Data
0
36
t
A B
N
realtime A
batch A
C
Более умное решение
Анти-введение в Big Data
0
36
t
A B
N
realtime A
batch A
C
Более умное решение
Анти-введение в Big Data
0
36
t
A B
N
realtime A
batch A
C
Более умное решение
Анти-введение в Big Data
0
36
t
A B
N
realtime A
batch A
realtime B
C
Более умное решение
Анти-введение в Big Data
0
36
t
A B
N
realtime A
batch A
Y
realtime B
C
Более умное решение
Анти-введение в Big Data
0
36
t
A B
N
realtime A
batch A
Y
realtime B
C
Более умное решение
Анти-введение в Big Data
0
36
t
A B
N
realtime A
batch A
Y
realtime B
C
Более умное решение
Анти-введение в Big Data
0
36
t
A B
N
realtime A
batch A
Y
realtime B
C
Более умное решение
Анти-введение в Big Data
0
36
t
A B
N
realtime A
batch A
Y
realtime B
C
Более умное решение
Анти-введение в Big Data
0
36
t
A B
N
realtime A
batch A
Y
realtime B
C
Более умное решение
Анти-введение в Big Data
0
36
t
A B
N
realtime A
batch A
Y
realtime B
C
batch B
realtime C
Более умное решение
Анти-введение в Big Data
0
36
t
A B
N
realtime A
batch A
Y
realtime B
C
batch B
realtime C
Более умное решение
Анти-введение в Big Data
0
36
t
A B
N
realtime A
batch A
Y
realtime B
C
batch B
realtime C
Более умное решение
Z
Анти-введение в Big Data
0
36
t
A B
N
realtime A
batch A
Y
realtime B
C
batch B
realtime C
Более умное решение
Z
Анти-введение в Big Data
0
36
t
A B
N
realtime A
batch A
Y
realtime B
C
batch B
realtime C
Более умное решение
Z
Анти-введение в Big Data
0
37
Лямбда-архитектура (Nathan Marz)
http://lambda-architecture.net
Анти-введение в Big Data
*Realtime
38Анти-введение в Big Data
Быстрые данные (Fast data): время от момента получения данных до момента выделения из них ценной информации
Big Data – Определение #1
39Анти-введение в Big Data
Big Data – Определение #1
39Анти-введение в Big Data
Много данных как результат: > избыточности > иммутабельности > репликации
Какие технологии подходят для реализации master dataset?
Файловые хранилища
41Анти-введение в Big Data
Файловые хранилища
41Анти-введение в Big Data
> HDFS > WebDAV > Amazon S3
NoSql базы данных
42Анти-введение в Big Data
NoSql базы данных
42Анти-введение в Big Data
документо-ориентированные (Mongo, MarkLogic) и key-value (Cassandra, Hazelcast)
NoSql базы данных
42Анти-введение в Big Data
документо-ориентированные (Mongo, MarkLogic) и key-value (Cassandra, Hazelcast)
распределенные
PostgreSQL не подходит для реализации master dataset!
PostgreSQL тоже подходит для реализации master dataset!
Big Data – Определение #2
45Анти-введение в Big Data
Big Data – Определение #2
45
3 технологических признака:
Анти-введение в Big Data
Big Data – Определение #2
45
3 технологических признака:
1) Гибкое хранилище и возможность делать разнообразные запросы (Mongo, Cassandra, HDFS, Postgres)
Анти-введение в Big Data
Каскадное хранилище
46Анти-введение в Big Data
Каскадное хранилище
46Анти-введение в Big Data
«Резиновая помойка»
Каскадное хранилище
46Анти-введение в Big Data
«Резиновая помойка»
Каскадное хранилище
46Анти-введение в Big Data
«Резиновая помойка»
HDFS, S3, WebDAV
Каскадное хранилище
46Анти-введение в Big Data
«Резиновая помойка»
HDFS, S3, WebDAV
Каскадное хранилище
46Анти-введение в Big Data
«Резиновая помойка» Хранилище фактов
HDFS, S3, WebDAV
Каскадное хранилище
46Анти-введение в Big Data
«Резиновая помойка» Хранилище фактов
HDFS, S3, WebDAV Mongo, MarkLogic, Postgres, Cassandra
Каскадное хранилище
46Анти-введение в Big Data
«Резиновая помойка» Хранилище фактов
HDFS, S3, WebDAV Mongo, MarkLogic, Postgres, Cassandra
Каскадное хранилище
46Анти-введение в Big Data
«Резиновая помойка» Хранилище фактов
HDFS, S3, WebDAV Mongo, MarkLogic, Postgres, Cassandra
SQL databases: Oracle, Postgres, MySql
Каскадное хранилище
46Анти-введение в Big Data
«Резиновая помойка» Хранилище фактов
HDFS, S3, WebDAV Mongo, MarkLogic, Postgres, Cassandra
SQL databases: Oracle, Postgres, MySql
Каскадное хранилище
46Анти-введение в Big Data
«Резиновая помойка» Хранилище фактов
HDFS, S3, WebDAV Mongo, MarkLogic, Postgres, Cassandra
SQL databases: Oracle, Postgres, MySql
NoSql databases: Parquet, ClickHouse, YT
Каскадное хранилище
46Анти-введение в Big Data
«Резиновая помойка» Хранилище фактов
HDFS, S3, WebDAV Mongo, MarkLogic, Postgres, Cassandra
SQL databases: Oracle, Postgres, MySql
NoSql databases: Parquet, ClickHouse, YT
Каскадное хранилище
46Анти-введение в Big Data
«Резиновая помойка» Хранилище фактов
HDFS, S3, WebDAV Mongo, MarkLogic, Postgres, Cassandra
SQL databases: Oracle, Postgres, MySql
Grids/Caches: Apache Ignite, GridGain, Coherence, Hazelcast
NoSql databases: Parquet, ClickHouse, YT
Про магазин и школьницу
47
https://habrahabr.ru/post/147284/ http://www.nytimes.com/2012/02/19/magazine/shopping-habits.html?pagewanted=all&_r=0
Big Data – Определение #2
48
3 технологических признака:
1) Гибкое хранилище и возможность делать разнообразные запросы (Mongo, Cassandra, HDFS, Postgres)
2) Надёжное “заведение” данных (Apache Storm, Spark Streaming, Apache Kafka)
Анти-введение в Big Data
Две проблемы распределенных систем
49Анти-введение в Big Data
Две проблемы распределенных систем
49Анти-введение в Big Data
Две проблемы распределенных систем
49
В распределенных системах существуют только две серьезные проблемы: 2. Доставить сообщение ровно один раз 1. Гарантировать порядок доставки сообщений 2. Доставить сообщение ровно один раз
Анти-введение в Big Data
Big Data – Определение #2
50
3 технологических признака:
1) Гибкое хранилище и возможность делать разнообразные запросы (Mongo, Cassandra, HDFS, Postgres)
2) Надёжное “заведение” данных (Apache Storm, Spark Streaming, Apache Kafka)
3) Крутые аналитические инструменты (Hadoop): query = function(all data)
Анти-введение в Big Data
Big Data – Определение #2
50
3 технологических признака:
1) Гибкое хранилище и возможность делать разнообразные запросы (Mongo, Cassandra, HDFS, Postgres)
2) Надёжное “заведение” данных (Apache Storm, Spark Streaming, Apache Kafka)
3) Крутые аналитические инструменты (Hadoop): query = function(all data)
Анти-введение в Big Data
Технологии Big Data или Pokemons?
52Анти-введение в Big Data
Spoink?
53
Spoink is a Pokemon!
Анти-введение в Big Data
54Анти-введение в Big Data
Arvados?
55
Arvados is a Big Data!
Анти-введение в Big Data
56Анти-введение в Big Data
Horsea?
57
Horsea is Pokemon!
Анти-введение в Big Data
58Анти-введение в Big Data
Seahorse?
59
Seahorse is a Big Data!
Анти-введение в Big Data
60Анти-введение в Big Data
Pangool?
61
Pangool is a Big Data!
Анти-введение в Big Data
63
Vulpix is Pokemon!
Анти-введение в Big Data
64Анти-введение в Big Data
Flink?
65
Flink is a Big Data!
Анти-введение в Big Data
66Анти-введение в Big Data
Postgres?
https://pixelastic.github.io/pokemonorbigdata/
67Анти-введение в Big Data
Big Data – Определение #3
68Анти-введение в Big Data
Big Data – Определение #3
68
Проектные признаки: 7V
Анти-введение в Big Data
Big Data – Определение #3
68
Проектные признаки: 7V1.Volume - Объемы
Анти-введение в Big Data
Big Data – Определение #3
68
Проектные признаки: 7V1.Volume - Объемы2.Variety - Разнообразие
Анти-введение в Big Data
Big Data – Определение #3
68
Проектные признаки: 7V1.Volume - Объемы2.Variety - Разнообразие3.Veracity - Достоверность
Анти-введение в Big Data
Big Data – Определение #3
68
Проектные признаки: 7V1.Volume - Объемы2.Variety - Разнообразие3.Veracity - Достоверность4.Velocity - Скорость
Анти-введение в Big Data
Big Data – Определение #3
68
Проектные признаки: 7V1.Volume - Объемы2.Variety - Разнообразие3.Veracity - Достоверность4.Velocity - Скорость5.Value - Ценность
Анти-введение в Big Data
Big Data – Определение #3
68
Проектные признаки: 7V1.Volume - Объемы2.Variety - Разнообразие3.Veracity - Достоверность4.Velocity - Скорость5.Value - Ценность6.Volatility - Неустойчивость
Анти-введение в Big Data
Big Data – Определение #3
68
Проектные признаки: 7V1.Volume - Объемы2.Variety - Разнообразие3.Veracity - Достоверность4.Velocity - Скорость5.Value - Ценность6.Volatility - Неустойчивость7.Visualisation - Визуализация
Анти-введение в Big Data
Big Data – Определение #4
69Анти-введение в Big Data
Big Data – Определение #4
69Анти-введение в Big Data
Big Data доставляет головную боль, в противном случае речь идет о старых добрых ETL, OLAP или CEP
Big Data – Определение #4
69Анти-введение в Big Data
ETL - Extract Transform Load OLAP - Online Analytical Processing CEP - Complex Event Processing
Big Data доставляет головную боль, в противном случае речь идет о старых добрых ETL, OLAP или CEP
70
Почему болит голова?
Анти-введение в Big Data
71
Почему болит голова?
t
Анти-введение в Big Data 71
72
Почему болит голова?
t
A
realtime A
Анти-введение в Big Data 72
73
Почему болит голова?
t
A B
realtime A
batch A
realtime B
Анти-введение в Big Data 73
74
Почему болит голова?
t
A B
realtime A
batch A
realtime B
C
batch B
realtime C
Анти-введение в Big Data 74
75
Почему болит голова?
t
A B
realtime A
batch A
realtime B
C
batch B
realtime C
D
Анти-введение в Big Data 75
batch C
realtime D
76
https://twitter.com/tophashtags - это Big Data?
Анти-введение в Big Data 76
76
https://twitter.com/tophashtags - это Big Data?
Анти-введение в Big Data 76
76
https://twitter.com/tophashtags - это Big Data?
Анти-введение в Big Data 76
76
https://twitter.com/tophashtags - это Big Data?
Анти-введение в Big Data 76
А может Big Data на самом деле не нужна?
Вы не Яндекс
78
https://blog.bradfieldcs.com/you-are-not-google-84912cf44afbhttps://habrahabr.ru/company/infopulse/blog/330708/
Анти-заключение про Big Data
79Анти-введение в Big Data
Анти-заключение про Big Data> Постоянная адаптация к смежным задачам и устойчивость к человеческим ошибкам
79Анти-введение в Big Data
Анти-заключение про Big Data> Постоянная адаптация к смежным задачам и устойчивость к человеческим ошибкам> Лямбда-архитектура
79Анти-введение в Big Data
Анти-заключение про Big Data> Постоянная адаптация к смежным задачам и устойчивость к человеческим ошибкам> Лямбда-архитектура> Смешные технологии для компонентов лямбда-архитектуры
79Анти-введение в Big Data
Анти-заключение про Big Data> Постоянная адаптация к смежным задачам и устойчивость к человеческим ошибкам> Лямбда-архитектура> Смешные технологии для компонентов лямбда-архитектуры> Много данных из-за избыточности, иммутабельности и репликации
79Анти-введение в Big Data
Анти-заключение про Big Data> Постоянная адаптация к смежным задачам и устойчивость к человеческим ошибкам> Лямбда-архитектура> Смешные технологии для компонентов лямбда-архитектуры> Много данных из-за избыточности, иммутабельности и репликации> Технологические признаки: гибкое хранение, надежное заведение данных, крутые аналитические инструменты
79Анти-введение в Big Data
Анти-заключение про Big Data> Постоянная адаптация к смежным задачам и устойчивость к человеческим ошибкам> Лямбда-архитектура> Смешные технологии для компонентов лямбда-архитектуры> Много данных из-за избыточности, иммутабельности и репликации> Технологические признаки: гибкое хранение, надежное заведение данных, крутые аналитические инструменты> Проектные признаки 7V
79Анти-введение в Big Data
Анти-заключение про Big Data> Постоянная адаптация к смежным задачам и устойчивость к человеческим ошибкам> Лямбда-архитектура> Смешные технологии для компонентов лямбда-архитектуры> Много данных из-за избыточности, иммутабельности и репликации> Технологические признаки: гибкое хранение, надежное заведение данных, крутые аналитические инструменты> Проектные признаки 7V> Головная боль
79Анти-введение в Big Data
Анти-заключение про Big Data> Постоянная адаптация к смежным задачам и устойчивость к человеческим ошибкам> Лямбда-архитектура> Смешные технологии для компонентов лямбда-архитектуры> Много данных из-за избыточности, иммутабельности и репликации> Технологические признаки: гибкое хранение, надежное заведение данных, крутые аналитические инструменты> Проектные признаки 7V> Головная боль> Нужна ли Вам Big Data?
79Анти-введение в Big Data
СПАСИБО!
Анти-введение в Big Data
80
Вапросы[email protected] @dyer_the pgday 2017 Санкт-Петербург, Россия Вопросы?
СПАСИБО!
Анти-введение в Big Data
80
Вапросы[email protected] @dyer_the pgday 2017 Санкт-Петербург, Россия Вопросы?
СПАСИБО!
Анти-введение в Big Data
80
Вапросы[email protected] @dyer_the pgday 2017 Санкт-Петербург, Россия Вопросы?
СПАСИБО!
Анти-введение в Big Data
80
Вапросы[email protected] @dyer_the pgday 2017 Санкт-Петербург, Россия Вопросы?
СПАСИБО!
Анти-введение в Big Data
80
Вапросы[email protected] @dyer_the pgday 2017 Санкт-Петербург, Россия Вопросы?
