Infoshare 2015

© 2013 Acxiom Corporation. All Rights Reserved. © 2013 Acxiom Corporation. All Rights Reserved.

Jak oswoić słonia w korporacji Hadoop in practice

11.06.2015 – Jakub Wszolek ([email protected])

twitter.com/jwszol

mailto:[email protected]

© 2013 Acxiom Corporation. All Rights Reserved.

NoSQL

2


Era danych

3

Nazwa Ilość danych

New York Stock 1 TB nowych danych / dzień

Ancestry.com (genealogy site) 2.5 PB danych

Facebook 1 PB danych

Allegro.pl Aukcja o numerze 1 600 000 000 (8 maja

2011)


Rynek pracy

4


Hadoop

5

• Hadoop framework

• Praktycznie nieograniczona skalowalność

• Środowisko rozproszone

• Możliwości szybkiej analizy dużych

wolumenów

• Dedykowane aplikacje

• wyszukiwanie trendów

• analizy statystyczne


Hadoop eco-system

6


Klaster klienta

7

• Srodowiska VM vs. Fizyczne

• Wolumen danych

• bigdata.myAcxiom.com – warstwa dostepowa


Klaster klienta

8

• HUE

• Dedykowane rozwiazania administracyjne


Ingestion/extraction process

9

Extract

Ingestion

Ingestion

Extract


Automatyzacja

• Oozie scheduler

• Autorskie narzedzia wspomagajace

-Hadoop Java Framework

-Python

-Shell script

• Rozbudowany system raportowania

10


Analiza - R

11

• RevR + RStudio

• DataScience

• Analiza trendów, zaawansowany klastering

• Budowanie modeli predykcyjych

• Klasyfikatory


Typowe problemy

• Podzial zasobow klastra pomiedzy wielku

uzytkowników

• Fair Scheduler - http://hadoop.apache.org/docs/r1.2.1/fair_scheduler.html

• Edge node – zarzadzanie dostepem

• Partycjonwanie duzych tabeli

• Nieoptymalne zapytania (HQL)

12

http://hadoop.apache.org/docs/r1.2.1/fair_scheduler.html

http://hadoop.apache.org/docs/r1.2.1/fair_scheduler.html

Infoshare 2015

Software

Transcript of Infoshare 2015