台灣 Hadoop Big Data 2014 趨勢預測與企業策略藍圖 精誠集團 Etu 負責人 蔣居裕 October 16, 2013

2

Monetize Data

Action

Insight

Knowledge

Information

Data

資料價值驅動

決策

分析

處理

394 公里

台灣南北全長 394 公里

一般人騎單車的時速約 15 公里；台灣夏季吹南風，冬季吹東北風

台灣夏季由北騎到南，一般人不可能達到平均時速 15 公里

暑假計畫要從台灣南騎到北，目標在 3 天內完成

詳情參見：

http://fredbigdata.blogspot.tw/2013/05/big-data.html

大綱

• 2013 台灣 Big Data 市場發展檢視

• 2014 台灣 Big Data 市場趨勢預測

• 成功在我，企業 Big Data 價值發展藍圖

• Etu 2014 發展重點

• Etu Solution Day 2013 活動導覽

3

2013 台灣 Big Data 市場發展檢視

4

參考資料

主辦單位：Etu 協辦單位：Hadoop Taiwan User Group 調查期間：2013.9.12 ~ 2013.10.7 有效樣本數：176

5

1.《台灣 Hadoop 2013 現狀問卷調查》 2. Etu Training 學員統計

主辦單位：Etu 統計期間：2012.8.30 ~ 2013.9.26 開班次數：30

2013 關於市場：行業與應用

6

Etu 的一些 2013 市場經驗分享

• 兩岸 Hadoop 平台搭建案例較 2012 年成長約

14 倍；大陸成長速度比台灣高

• 10 個主要行業，21 種應用

• 早期投入者，越用越深，越用越廣

7

Etu 的一些 2013 市場經驗分享 ─ 行業

台灣 大陸

1. 電信

2. 零售 (含 EC) 3. 政府

4. 數位媒體

5. 線上遊戲

6. 電力能源

7. 高科技製造

8. 氣象

9. 金融-證期

1. 電信

2. 零售 (含 EC)

3. 政府

4. 數位媒體

5. 線上遊戲

6. 電力能源

7. 商業地產

8. 金融-保險

8

受調者前 5 大行業：

1. 資訊服務 (36%)

2. 教育 (14%)

3. 高科技製造 (12%)

4. 電子商務 (6%)

5. 電信 (6%)

9 資料來源：《台灣 Hadoop 2013 現狀問卷調查》 資料統計：Etu

調查告訴我們的事 – 行業

學員行業前 6 名：

1. 資訊服務 (42%)

2. 電信 (10%)

3. 教育 (9%)

4. 服務業其他 (5%)

5. 銀行/政府 (4%)

6. 半導體/電腦週邊/生技醫療/

製造業其他/電子零組件 (3%)

10 資料來源：Etu Training 學員統計 資料統計：Etu

教育訓練告訴我們的事 – 行業

資

訊

服

務

電

信

業

教

育

服

務

服

務

業

其

他

銀

行

政

府

機

關

半

導

體

業

電

腦

週

邊

生

技

醫

療

製

造

業

其

他

電

子

零

組

件

電

子

通

路

金

融

業

其

他

光

電

業

保

險

汽

車

工

業

不

動

產

服

務

業

證

券

貿

易

百

貨

42%

10% 9%

5% 4% 4% 3% 3% 3% 3% 3% 2% 2% 2% 2% 1% 1% 1% 1%

11

台灣資服廠商與教育單位比企業更急於 認識與使用 Hadoop Big Data 技術

12

Highlighted 行業 – 應用

• 電信/高科技製造

• 零售/數位媒體

Data Warehouse Offload

Hadoop Resource Pool

精準推薦 集團客戶行為 資料分析工廠

Hadooper in Taiwan 2013

13

《台灣 Hadoop 2013 現狀問卷調查》

經驗 期待

學習 需求 角色

背景 社群

使用

分享

14 ※ 完整調查報告將於 2013 年 10 月底公佈，敬請關注 Etu 官網或 Etu Taiwan Facebook 粉絲專頁

特色：台灣第一份針對 Hadoop 的使用調查 目的：具體描繪台灣 Hadooper 的面貌

台灣 Hadooper 的典型面貌

• 男性

• 居住在北部地區

• 在多於 100 位員工的組織中擔任基層技術員工；

角色以應用程式開發為主，資料分析、系統管理依

序次之

• 接觸 Hadoop 的時間少於 1 年

15 照片來源：PLF Photographie

關於 Hadooper 超過 3/4 居住在北部地區

16

關於 Hadooper 近 8 成為男性

17

關於 Hadooper 基層員工：中高階主管 ＝ 53%：14% 學生 = 23%

18

0 5 10 15 20 25 30 35

<= 10 人

11~50 人

51~100 人

101~500 人

501~1000 人

1001~5000 人

5001~10000 人

> 10000 人

35

32

12

21

9

24

7

18

19

關於 Hadooper 一半任職於 > 100 位員工的組織

47% 為技術人員 23% 為學術研究人員 9% 為商業智慧/資料分析人員

20

關於 Hadooper

前 5 大行業： 1. 資訊服務 (36%) 2. 教育 (14%) 3. 高科技製造 (12%) 4. 電子商務 (6%) 5. 電信 (6%)

21

關於 Hadooper

應用開發：資料分析：系統管理 = 27%：14%：11% Real Hadoop User 超過一半 (52%)

22

關於 Hadooper

超過一半 (56%) 接觸 Hadoop 的時間少於 1 年 (含不熟)；超過 2 年經驗者約佔 4 成

23

關於 Hadooper

認識：驗證：導入 = 33%：17%：23%

24

關於 Hadoop 使用

關心的前 5 大應用 1. 線上行為分析 (44%) 2. 精準行銷 (34%) 3. 客戶服務體驗 (34%) 4. 推薦系統 (30%) 5. 多結構化資料倉儲 (29%)

25

關於 Hadoop 使用

對使用 Hadoop 最有幫助的前 3 大工具 1. 資料視覺化 (20%) 1. 統計/分析 (20%) 2. 各種資料來源的接引 (18%)

26

關於 Hadoop 使用

組織目前對於 Hadoop 最迫切的前 3 大需求 1. 最簡單易用的 Hadoop 平台軟體 (48%) 2. 完整的教育訓練課程 (33%) 3. 專業的技術顧問服務 (28%)

27

關於 Hadoop 使用

2014 台灣 Big Data 市場趨勢預測

28

1. 首先過河的人，要開始挑戰資料價值的海洋

• 首先投入 Hadoop 應用者，隨著資料的持續累積，將越用越廣、越用越深

• 電信、線上/線下零售、數位媒體、高科技製造、政府，確定為率先採用 Hadoop 的行業

• 即使是同一行業，各公司可能會有不同的起始應用類型

2014 台灣 Big Data 市場趨勢預測

29

越用越深 一個精準推薦引擎，更多價值創新

“我們利用 Etu Recommender 運算出的推薦清單，對點數未用會員 所發出的個人化電子報，

成交金額是未個人化前的 5 倍以上”

30

A 客戶行銷主管說

2. Total Data BI 帶動企業採用多結構化資料倉儲

2014 台灣 Big Data 市場趨勢預測

• 接引內、外資料，多結構化資料倉儲是建置標的；客戶行為分析、精準行銷、客戶體驗是應用目標

31

前所未有 加入新的資料來源，創新商業智慧

“我們對放在 RDB 裡的交易資料進行 BI 分析，已經很難再有新的突破”

B 客戶 BI 主管說

32

客戶行為資料工廠對零售業的必要性

Listen Analysis Action

關聯性分析

個人化推薦結果

Customer Behavior Data Factory

個人化 E-DM

個人化型錄

個人化電話行銷

關聯商品陳列

客戶動態行為 個人化推薦清單

• 交易 Transaction • 瀏覽 Browsing • 點擊 Click-streaming • 搜尋 Search • 購物車 Cart • 結帳 Check-out • 評論 Rating

基於推薦系統所建構出的客戶行為資料工廠 將會是零售業未來致勝的關鍵

Listen to Customers’ Behavior

33

+ 外 部 資 料

3. 從新舊系統整合到 End-to-End 解決方案，大部分企業期待廠商能夠完整交付 Big Data 應用與專業技術顧問

2014 台灣 Big Data 市場趨勢預測

• 「容易」(Ease) 是 Big Data 產品進入企業的關鍵字；2014 年將有更多強調容易使用的整合性產品或解決方案出現

• 本地的 Hadoop Big Data 技術顧問更能獲得台灣企業的信賴

34

Hadoop,

不可能更容易

35

36

Etu Recommender 個人化精準推薦 End-to-End 解決方案

37

快速上線，快速驗證，持續最佳化

4. 資料探索工具當道，力助 Business User 比 IT 人員更能挖掘 Big Data 的價值

2014 台灣 Big Data 市場趨勢預測

• 「探索」(Discovery) 是 Big Data 分析的神髓所在 — 探索關聯、探索意圖、探索缺少什麼。將有越來越多產品強調探索 Big Data 的各種價值

• 資料視覺化 (Data Visualization) 是探索的關鍵能力

38

5. Big Data 教育訓練課程，從以處理技術為主者，快速擴展到資料分析。但均會被含括在「資料科學」大傘下

2014 台灣 Big Data 市場趨勢預測

• 資料科學家萬中選一，強調專業分工的資料科學團隊，才是實踐資料價值希望之所在

• Open Data 應用養成的資料科學人才，將可為 Big Data 處理、分析、視覺化所用

39

《台灣生活資料科學團隊養成計畫》 Data Science Program

40

人才為本

應用為價值

在3年內，為台灣培養300位

資料科學團隊成員

成功在我，企業 Big Data 價值發展藍圖

41

42

資料價值的商業層次

提高營運效能 • 降低成本與風險 • 節省時間 • 用戶自我服務 • 降低複雜度

增加營收 • 微型趨勢銷售 • 改善客戶體驗 • 降低退約率 • 偵測詐騙

開創新藍海 • 競爭差異化 • 提供新服務 • 掌握市占率 • 育成新事業

43

處理者

分析者 策略者

策略者

Source: Next-Gen Data Scientist, Dr. Rachel Schutt

70%～85% 的工作時間

資料價值探索 End-to-End 流程

企業採用新技術產品典型的 3 階段過程

技術內涵

產品/工具/解決方案

廠商

Use Case

Successful Story

成本效益

認識

找一個題目

定義驗證的目標

進行 PoC

結案報告/評量結果

驗證

價值目標

預算編列

需求/分析

設計

建置

上線營運

成果檢視/持續改善

擴大戰果

導入

44

認識 Hadoop 的全貌

45

「Hadoop 直通學習地圖」系列學程

L1 企業 Big Data 第一天系列課程

L2 企業 Big Data 前進系列課程

Etu Training 2.0

驗證 Hadoop 能夠帶來價值

46

一次滿足，輕鬆起步

導入 Hadoop End-to-End 解決方案

47

Etu ＋ Etu Partners

Etu 2014 發展重點

48

Etu 2014 關鍵字

• 客戶、客戶、客戶

– 從認識、驗證、到導入，一路長伴

• 夥伴、夥伴、夥伴

– ISV

– VAR/SI

• 應用、應用、應用

– 從精準推薦到客戶行為分析

– 從單一產品到整合方案

49

Etu Solution Day 2013 活動導覽

50

51

Etu Solution Day 2013

52

+

Finder 雲端電子刊物加值平台 Etu Appliance：大量檔案格式轉換運算

53

+

Tableau 巨量資料探索工具 Etu Appliance：多結構化資料倉儲

54

+

Oviewer 收視量測系統 Etu Appliance：大量臉部辨識資料及時處理與分析

55

+

SDN 網管完整解決方案 Etu Appliance：大量網路資料封包預處理

56

+

Customer Insights > On-Demand Target Audience

Etu Appliance：大量多結構化資料預處理

1. 成功在我，先過河者，才有資格在資料價值的海洋愜意遨遊。

2. Etu 是您認識、驗證、與導入 Hadoop Big

Data 平台與應用時最可親的夥伴。

3. Etu 與 Etu Partners 攜手，為您的 Big Data

提供 End-to-End 解決方案。

如果您只記得 3 件事

57

Etu Appliance – 最簡單的 Hadoop 平台

2013 大數據優秀產品獎

58

產品試用：Etu Virtual Appliance

(EVA)

http://www.etusolution.com/index.php/tw/download/eva/eva-overview-tw

59

謝謝你，藍衣人

60

從電商到媒體，從商品推薦到客戶行為分析

udn的Big Data價值實踐之路

聯合報電子商務部

黃俊賢

Agenda

一、源起 - udn買東西的誕生

二、Big Data的價值

三、尋找金羊毛

四、未來展望

五、「你究竟從事甚麼產業？」

最懂你的網站

員工數 140人

會員數 40/200萬

商品品項數 120萬

單月不重複訪客 200萬

年銷售額 15億

關於聯合報系

1.1億

600萬

200萬

264/

9,599

60萬

448/

1,344 250萬

62

Big Data的價值 – 回歸本質

S + V + O

S V O

S Ving O

Big Data能帶來甚麼改變?

體能/裝備

戰技

戰法

戰術

戰略

尋找金羊毛

Touchdown!

Etu Recommender Application

協同過濾 分析

Collaborative Filtering

轉化率分析

資料 擷 取

推薦清單

推薦引擎

Etu Appliance

Etu Recommender

Product Pages

Category Pages

Search Results

Cart Pages

Email Confirmation

EDM

歷史訂單

產品資料

即時訂單

瀏覽、點擊

放入購物車

結帳

線上評論

搜尋

未來展望 – EC篇

Big Data實際應用

透過各種方式探索、收集、分析客戶的需求與｢問題｣，與客戶進行實質的互動

推薦引擎：online

• 推薦類型：User Based、Item Based推薦

• 同類推薦：商品、新聞、廣告、展演活動…等

• 跨類推薦：新聞推商品、新聞推廣告、活動推商品…等

大數據分析：offline

• 瀏覽行為分析：顧客動線分析 – Click Stream

• 網站功能效益：電子報、活動網頁、排行榜、…

• 行銷效益分析：準確地評估活動或廣告帶來的效益。

• 使用者喜好分析 (使用者分群)

• 使用者行為預測

“pre-” + “-ing” + “post-”

Recommender

商品頁

电商前台页面

分館頁 購物車頁 推薦結果

行為數據採集 推薦結果 API

HBase 瀏覽日誌

搜尋日誌

購物車

訂單

消費者

統計分析

行為數據倉庫 Hive

JDBC/ODBC Connector

Hive SQL

Hive SQL

採集 推薦計算 結果展現 分析挖掘

Tableau

ER Data Exporter

從面向「內容」到面向「用戶」

EC

廣告

TV 出版

藝文展演

教育

新聞

(內容)

未來展望 – udn 2.0

CRM

「你究竟從事甚麼產業？」

新產業的誕生 – 大聯合報虛擬生活圈

解構傳統產業定義

顧客導向 ：單向餵養 -> 雙向交流

跨平台、跨載具 (多螢)

雙向虛實整合

企業能不能持續成長，取決於對本身業務的定義有多寬廣，以及對顧客需求的評估有多仔細。因此，要以顧客為導向，妥善地管理你的產品；而且，不要畫地自限，只著眼於眼前的獲利，才能讓自己的事業有更高、更寬廣的發展。

鐵路公司任由其他公司搶走顧客，因為他們認為自己屬於鐵路業，而不是運輸業。他們會對自己的業務範圍界定錯誤，是因為他們以鐵路為導向，而不是以運輸為導向；是以產品為導向，而不是以顧客為導向。

行銷短視症 (Marketing Myopia)

希奧多．李維特 Theodore Levitt

0101010101010111101010101010000110101010100010101010110110100010101110110101101101101110110111

0001111001110011011101010111111011010010101010101011110101010101000011010101010001010101011011

01000101011101101011011011011101101110001111001110011011101010111111011010010101010101011110101

01010100001101010101000101010101101101000101011101101011011011011101101110001111001110011011101

0101111110110100101010101010111101010101010000110101010100010101010110110100010101110110101101

10110111011011100011110011100110111010101111110110100101010101010111101010101010000110101010100

01010101011011010001010111011010110110110111011011100011110011100110111010101111110110100101010

1010101111010101010100001101010101000101010101101101000101011101101011011011011101101110001111

0011100110111010101111110110100101010101010111101010101010000110101010100010101010110110100010

10111011010110110110111011011100011110011100110111010101111110110100101010101010111101010101010

00011010101010001010101011011010001010111011010110110110111011011100011110011100110111010101111

1101101001010101010101111010101010100001101010101000101010101101101000101011101101011011011011

1011011100011110011100110111010101111110110100101010101010111101010101010000110101010100010101

01011011010001010111011010110110110111011011100011110011100110111010101111110110100101010101010

11110101010101000011010101010001010101011011010001010111011010110110110111011011100011110011100

1101110101011111101101001010101010101111010101010100001101010101000101010101101101000101011101

10101101101101110110111000111100111001101110101011111101101001010101010101111010101010100001101

01010100010101010110110100010101110110101101101101110110111000111100111001101110101011111101101

0010101010101011110101010101000011010101010001010101011011010001010111011010110110110111011011

1000111100111001101110101011111101101001010101010101111010101010100001101010101000101010101101

10100010101110110101101101101110110111000111100111001101110101011111101101001010101010101111010

10101010000110101010100010101010110110100010101110110101101101101110110111000111100111001101110

1010111111011010010101010101011110101010101000011010101010001010101011011010001010111011010110

11011011101101110001111001110011011101010111111011010010101010101011110101010101000011010101010

00101010101101101000101011101101011011011011101101110001111001110011011101010111111011010010101

0101010111101010101010000110101010100010101010110110100010101110110101101101101110110111000111

1001110011011101010111111011010010101010101011110101010101000011010101010001010101011011010001

01011101101011011011011101101110001111001110011011101010111111011010010101010101011110101010101

00001101010101000101010101101101000101011101101011011011011101101110001111001110011011101010111

1110110100101010101010111101010101010000110101010100010101010110110100010101110110101101101101

11011011100011110011100110111010101111110110100101010101010111101010101010000110101010100010101

01011011010001010111011010110110110111011011100011110011100110111010101111110110100101010101010

11110101010101000011010101010001010101011011010001010111011010110110110111011011100011110011100

1101110101011111101101001010101010101111010100001101001010101010101111010100010

Etu Solution Day 2013

看的更精準 ─ 目光行銷與 Big Data 的相遇

PilotTV 前線媒體 馬志堅

73

3,953,948 是PilotTV每天平均有效的收視人次數

含金量: 99.99%

Starbauk

s 7-11 , Family Mart McDonald’s

KRTC

74

75

0101010101010111101010101010000110101010100010101010110110100010101110110101101101101110110111

0001111001110011011101010111111011010010101010101011110101010101000011010101010001010101011011

01000101011101101011011011011101101110001111001110011011101010111111011010010101010101011110101

01010100001101010101000101010101101101000101011101101011011011011101101110001111001110011011101

0101111110110100101010101010111101010101010000110101010100010101010110110100010101110110101101

1011011101101110001111001111

Targeting 是傳統廣告沒有的概念! 數位趨勢在改變 找到對的TA是關鍵

樣本=母體 過去的媒體依賴統計 , 卻也隱藏缺失!

資料即生意 PilotTV是前端資料的生產者+蒐集者 , 資料 , 帶來了媒體革命!

第2直覺 消費者打破了統計常規 , 能掌握多元(多維度)的行為資料 , 將會是決策者的關鍵第二直覺

Big Data非新鮮事 在媒體產業中找到新的資料取向 , 並且擁有資料才是王道

目光行銷帶來的改變…

76

當目光行銷專家遇到 Big Data 處理專家…

即時 多元

77

[PilotTV+Etu]一種值得期待的資訊系統架構

Images

Machine Logs

Recognition

Logs

Location

CRM

SCM

Audio/ Video

ETL

Hadoop

Adaptor

Metadata

Hive

Teradata

Oracle

Aster Data

SQL Server

PostgreSQL

MySQL

HDFS

HBase Pig

Visualization

SAS

BI

MapReduce

Cascading

Mahout

Business Analyst

Programmer

Data Analyst

Big Data Step

Stream Service

Traditional Data Warehouse

/ Data Mart

Big Data Analytics

Big Data Data Structure

Action Track

Oviewer PilotTV Etu

Appliance

PilotTV+Et

u 78

智慧的看板演化& PTV total Solution

79

80

0101010101010111101010101010000110101010100010101010110110100010101110110101101101101110110111

0001111001110011011101010111111011010010101010101011110101010101000011010101010001010101011011

01000101011101101011011011011101101110001111001110011011101010111111011010010101010101011110101

01010100001101010101000101010101101101000101011101101011011011011101101110001111001110011011101

0101111110110100101010101010111101010101010000110101010100010101010110110100010101110110101101

10110111011011100011110011100110111010101111110110100101010101010111101010101010000110101010100

01010101011011010001010111011010110110110111011011100011110011100110111010101111110110100101010

1010101111010101010100001101010101000101010101101101000101011101101011011011011101101110001111

0011100110111010101111110110100101010101010111101010101010000110101010100010101010110110100010

10111011010110110110111011011100011110011100110111010101111110110100101010101010111101010101010

00011010101010001010101011011010001010111011010110110110111011011100011110011100110111010101111

1101101001010101010101111010101010100001101010101000101010101101101000101011101101011011011011

1011011100011110011100110111010101111110110100101010101010111101010101010000110101010100010101

01011011010001010111011010110110110111011011100011110011100110111010101111110110100101010101010

11110101010101000011010101010001010101011011010001010111011010110110110111011011100011110011100

1101110101011111101101001010101010101111010101010100001101010101000101010101101101000101011101

10101101101101110110111000111100111001101110101011111101101001010101010101111010101010100001101

01010100010101010110110100010101110110101101101101110110111000111100111001101110101011111101101

0010101010101011110101010101000011010101010001010101011011010001010111011010110110110111011011

1000111100111001101110101011111101101001010101010101111010101010100001101010101000101010101101

10100010101110110101101101101110110111000111100111001101110101011111101101001010101010101111010

10101010000110101010100010101010110110100010101110110101101101101110110111000111100111001101110

1010111111011010010101010101011110101010101000011010101010001010101011011010001010111011010110

11011011101101110001111001110011011101010111111011010010101010101011110101010101000011010101010

00101010101101101000101011101101011011011011101101110001111001110011011101010111111011010010101

0101010111101010101010000110101010100010101010110110100010101110110101101101101110110111000111

1001110011011101010111111011010010101010101011110101010101000011010101010001010101011011010001

01011101101011011011011101101110001111001110011011101010111111011010010101010101011110101010101

00001101010101000101010101101101000101011101101011011011011101101110001111001110011011101010111

1110110100101010101010111101010101010000110101010100010101010110110100010101110110101101101101

11011011100011110011100110111010101111110110100101010101010111101010101010000110101010100010101

01011011010001010111011010110110110111011011100011110011100110111010101111110110100101010101010

11110101010101000011010101010001010101011011010001010111011010110110110111011011100011110011100

1101110101011111101101001010101010101111010100001101001010101010101111010100010

前線媒體 廣告網絡 台北市內湖區瑞光路548巷15號3樓 02-2627-0333 高雄市鼓山區文信路262號7樓-1 07-552-2233

81

82

Etu Taiwan Facebook

ENVISIONING THE

BIG DATA FLOWS INTO BUSINESS VALUE

taipei . beijing

Etu，亞洲原生的 Hadoop Big Data 創新品牌

83

好好聽．好好看 我們 2014 再見