データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み
-
Upload
yahoo -
Category
Technology
-
view
2.792 -
download
1
Transcript of データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み
![Page 1: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/1.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
吉野 彰真
データテクノロジースペシャル:
Yahoo! JAPANにおける
メタデータ管理の試み
2017年2月16日
![Page 2: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/2.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
アジェンダ
1
1. 自己紹介
2. ヤフーの事業
3. ヤフーのビッグデータ
4. データマネジメント概論
5. メタデータ管理の取り組み
6. まとめ
![Page 3: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/3.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
自己紹介
2
データ&サイエンスソリューション統括本部
データガバナンスチーム
吉野 彰真 (YOSHINO Akimasa)
2011年 ヤフーに入社
大規模RDB環境(Oracle/MySQL)の構築・運用を経て、データマネジメント領域を担当
![Page 4: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/4.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
データ&サイエンスソリューション統括本部
3
データセンター
データ&サイエンス
Yahoo! JAPAN サービス
データプラットフォーム
サイエンス
データサービス
データ&サイエンスソリューション統括本部
研究所
![Page 5: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/5.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
1. ヤフーの事業
![Page 6: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/6.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
事業状況
5
20 years
1718
19
![Page 7: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/7.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
0
100
200
300
400
500
600
bilion U.S. dollars
企業価値
6
http://www.statista.com/statistics/277483/market-value-of-the-largest-internet-companies-worldwide/
as of May 2016
世界18位
![Page 8: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/8.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
ユーザー規模
7
9,000万1日約 ユニークブラウザ
※出典:ヤフー株式会社 2016年度第3四半期事業指標推移表(2016年4月-12月の平均)
![Page 9: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/9.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
提供サービス
8
Media
US
Search Video Answer Mail
JP
US
JP
Membership C2C Payment C2C EC B2C EC Local
YAHOO! Google NETFLIX Quora GMail
Aol. PayPal ebay amazon yelp
![Page 10: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/10.jpg)
社外秘
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 9
![Page 11: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/11.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
ネット企業から
データドリブン企業へ
![Page 12: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/12.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
データ = AIによる産業革命
11
ーーーーー
生産能力の向上
認知能力の向上
機械
AI
蒸気機関
ビッグデータ
●産業革命
●新産業革命
ビッグデータがないとAIは作れない
![Page 13: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/13.jpg)
社外秘
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 12
![Page 14: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/14.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
マルチなデータセット
13
EC FinTech
メディア
など
など
など
![Page 15: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/15.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
データ = 直接的資産
14
検索
EC
金融
メッセージングサービス
地図、カーナビ
興味のある言葉
買ったもの
ユーザーの資産
自然言語
位置情報
![Page 16: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/16.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
データ = エコシステムの源泉
15
サービスや機能を提供
データがたまる
データから気づきを得る AI ユーザー
データ
![Page 17: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/17.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
データ = エコシステムの源泉
16
データから気づきを得る
サービスや機能を提供
データがたまる
AI ユーザ
データ
無限の再帰性
![Page 18: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/18.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
例: タイムライン
17
タイム
ライン
おすすめ AI
検索クエリ
クリック履歴
おすすめ記事
検索
![Page 19: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/19.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
例:広告
18
クリックしたくなる広告
(最適な情報)
検索
広告
Yahoo! JAPAN
サービス
パートナーサイト
クリック履歴
検索クエリ
訪問履歴
PV履歴
AI
![Page 20: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/20.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
これからのヤフー
19
データから得た気づきを最大限に活用した
ヤフーにしかできない
提案・サービス
![Page 21: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/21.jpg)
社外秘
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 20
![Page 22: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/22.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
取り組んでいくこと
21
データを効率よく運用する
計算力の強化
人財の強化
サービスの磨き込み
ものづくりの変革
1
2
3
4
51
2
3
4
5
AI ユーザー
データ
![Page 23: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/23.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
2. ヤフーのビッグデータ
![Page 24: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/24.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
膨大なデータボリューム
23
月間674億PV
PC + その他
281億 PV
Smart Phone
393億 PVFY16-3Q事業指標 http://ir.yahoo.co.jp/jp/archives/present/2016q3/index.html
![Page 25: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/25.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
巨大なデータプラットフォーム
24
NoSQLObject
StorageDWHHadoop RDB
![Page 26: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/26.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
巨大なデータプラットフォーム
25
NoSQLObject
StorageDWHHadoop RDB
7,000 nodes
150 PB
800DBs
600,000Query/day
1,500nodes
2,000nodes
*弊社独自の調査 2017年1月時点
![Page 27: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/27.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
技術
26
![Page 28: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/28.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
Global
27
![Page 29: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/29.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
どれだけ価値を引き出せるか?
28
?
![Page 30: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/30.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
どれだけ価値を引き出せるか?
29
?
データマネジメント
↓
データの資産化
資産価値の最大化
![Page 31: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/31.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
3. データマネジメント概論
![Page 32: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/32.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
フレームワーク
http://cmmiinstitute.com/data-management-maturity
Data Management Maturity (DMM)℠ Model
https://www.dama.org/content/body-knowledge
Data Management Body of Knowledge (DMBOK)
• PMBOK → DMBOK• 知識体系
• CMMI → DMM• 成熟度モデル
31
![Page 33: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/33.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
難しいポイント
データの構造 事業の構造 企業文化
32
![Page 34: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/34.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
ヤフーの考えるマネジメント領域
データスチュワードシップ
メタデータ管理
データアーキテクチャ
データウェアハウス&
ビジネスインテリジェンス
データストレージ&オペレーション
データインテグレーション&インターオペラビ
リティ
データセキュリティ
ドキュメント&コンテンツ
リファレンス&マスターデータ
データモデリング&デザイ
ン
データクォリティ
33
![Page 35: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/35.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
ヤフーの考えるマネジメント領域
データスチュワードシップ
メタデータ管理
データアーキテクチャ
データウェアハウス&ビジネスインテ
リジェンス
データストレージ&オペレーション
データインテグレーション&インターオペラビ
リティ
データセキュリティ
ドキュメント&コンテンツ
リファレンス&マスターデータ
データモデリング&デザイ
ン
データクォリティ
フレームワークを参考に領域を定義
領域ごとにやること整理
イニシアチブ化34
![Page 36: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/36.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
目下注力しているイニシアチブ
35
a.データスチュワードシップ
b.データ標準化
c.データライフサイクル&エコシステム
d.メタデータ管理
![Page 37: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/37.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
a. データスチュワードシップ
カンパニーA カンパニーB カンパニーC
全社横断 ネットワーク 場の ・
36
![Page 38: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/38.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
サービスCカンパニーBカンパニーA サービスD
b. データ標準化
37
標準 計測と
![Page 39: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/39.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
c. データライフサイクル/エコシステム
38
・利用量の可視化・利用状況の可視化
利用
・保管方針・コスト可視化
蓄積
![Page 40: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/40.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 39
c. データライフサイクル/エコシステム
ログ種別毎 Hadoopアクセス回数(2016/2/1実績)
![Page 41: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/41.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 40
d. メタデータ管理
![Page 42: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/42.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
4. メタデータ管理の
取り組み
![Page 43: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/43.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
メタデータ管理とは?
42
• メタデータ = “データについてのデータ”
DATA
METADATA
{タイトル} {シリーズ}{あらすじ} {著者} {翻訳者} {出版社} {版} {発行年月日} {価格}
:
![Page 44: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/44.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
メタデータ管理とは?
43
メタデータ管理
= データ資産化の第一歩
![Page 45: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/45.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
メタデータの種類
44
テクニカルメタデータ テーブル/カラムの定義、ファイルパス、サーバ
ビジネスメタデータ 日本語の説明、コード体系(男性=0,女性=1)
運用メタデータ SLA、 連絡先、オーナー
データフロー
データ品質
データの価値
リネージ、加工元 → 加工先の関連
定量化・スコア化された指標、正確性・完全性・精度…
意思決定・ビジネス利用の実績・ポテンシャル
![Page 46: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/46.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
メタデータの種類
45
テクニカルメタデータ テーブル/カラムの定義、ファイルパス、サーバ
ビジネスメタデータ 日本語の説明、コード体系(男性=0,女性=1)
運用メタデータ SLA、 連絡先、オーナー
データフロー
データ品質
データの価値
リネージ、加工元 → 加工先の関連
定量化・スコア化された指標、正確性・完全性・精度…
意思決定・ビジネス利用の実績・ポテンシャル
![Page 47: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/47.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
メタデータの種類
46
テクニカルメタデータ テーブル/カラムの定義、ファイルパス、サーバ
ビジネスメタデータ 日本語の説明、コード体系(男性=0,女性=1)
運用メタデータ SLA、 連絡先、オーナー
データフロー
データ品質
データの価値
リネージ、加工元 → 加工先の関連
定量化・スコア化された指標、正確性・完全性・精度…
意思決定・ビジネス利用の実績・ポテンシャル
![Page 48: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/48.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
メタデータの種類
47
テクニカルメタデータ テーブル/カラムの定義、ファイルパス、サーバ
ビジネスメタデータ 日本語の説明、コード体系(男性=0,女性=1)
運用メタデータ SLA、 連絡先、オーナー
データフロー
データ品質
データの価値
リネージ、加工元 → 加工先の関連
定量化・スコア化された指標、正確性・完全性・精度…
意思決定・ビジネス利用の実績・ポテンシャル
![Page 49: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/49.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
メタデータの種類
48
テクニカルメタデータ テーブル/カラムの定義、ファイルパス、サーバ
ビジネスメタデータ 日本語の説明、コード体系(男性=0,女性=1)
運用メタデータ SLA、 連絡先、オーナー
データフロー
データ品質
データの価値
リネージ、加工元 → 加工先の関連
定量化・スコア化された指標、正確性・完全性・精度…
意思決定・ビジネス利用の実績・ポテンシャル
![Page 50: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/50.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
ポイント
49
課題ベースで選択
&
自動と人手
![Page 51: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/51.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
課題感 (1/2)
50
データ資産の全体観が把握できていない存在レベルでもいいのでひととおり把握したい
? ? ? ?
× 横断利用
× 資産の把握
![Page 52: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/52.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
課題感 (2/2)
51
“人手” に 膨大な工数が必要
![Page 53: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/53.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
データ資産把握のイメージ
52
カバレッジ (100%)
充実度
![Page 54: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/54.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
データ資産把握のイメージ
53
カバレッジ (100%)
充実度
技術
![Page 55: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/55.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
データ資産把握のイメージ
54
カバレッジ (100%)
充実度
技術
ルール/マネジメント
![Page 56: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/56.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
メタデータ管理の仕組み(構想)
55
new
Hadoop
(HDFS) (Hive)
new
new
ObjectStorage
(S3ライクなFS)
new
Teradata
new
RDBOracle/MySQL
new
KVS
準構造化 構造化 非構造化 構造化
メタデータ管理データプラットフォーム
網羅率100%で自動収集
ルールに基づき人手で追記
![Page 57: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/57.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
今後の予定
56
・仕組み構築 ・ルールの策定と展開
ソリューション 明快なルール
開発 スチュワードシップ
すべての事業の基礎としてやり遂げる
![Page 58: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/58.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
5. まとめ
![Page 59: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/59.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
まとめ
58
データ=資産
メタデータ管理は資産管理の第一歩
模範をめざす
![Page 60: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/60.jpg)
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
仲間募集中!
59
日本の課題解決エンジンを支える
Yahoo! JAPAN の データ部門
スマホ or PC から
「ヤフー 採用」
で検索!
※写真はイメージです
名刺交換
or
![Page 61: データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み](https://reader031.fdocument.pub/reader031/viewer/2022030313/58ce61731a28ab2f268b588b/html5/thumbnails/61.jpg)
(写真:アフロ)