オンライン取引を守る ITService Intelligence」で実現する...

© 2018 SPLUNK INC.© 2018 SPLUNK INC.

オンライン取引を守る!「ITService Intelligence」て実現するノンストッフサーヒスのモニタリンクとその実例

#SplunkLive

シニア・セールス・エンジニア小松原貴司

2018年6月8日

© 2018 SPLUNK INC.

弊社のフレゼンテーションには、弊社の将来の事象または予想される業績に関する将来予測記述を含むことがあり

ます。当該記述は、現在弊社が知っている要因に基づく弊社の現在の予測および推定を反映するものてあることと、

実際の事象または結果が著しく異なる可能性があることをご了承ください。実際の結果が弊社の将来予測記述に含

まれるものとは異なる場合、その重要な要因については、SEC を含む弊社の文書をお調べください。

このフレゼンテーションに含まれる将来予測記述は、フレゼンテーション実施日時において述べられたものてす。フレ

ゼンテーション実施後に見直しが行われた場合、このフレゼンテーションに現在のまたは正確な情報が含まれないこ

とがあります。弊社は、弊社が述べることがある将来予測記述を更新する義務を負いません。また、弊社のロード

マッフに関する情報て、弊社の一般的な製品方針の概要が示されていますが、この情報は予告なしにいつても変更

されることがあります。これはあくまて参照用てあって、契約またはその他の約定に組み込まれないものとします。

Splunkは、記述されている特徴または機能を開発する義務も、かかる特徴または機能を将来のリリースに含める義

務も負いません。

Splunk、Splunk>、Listen to Your Data、The Engine for Machine Data、Splunk Cloud、Splunk LightおよびSPLは、Splunk Inc.の米国およびその他の国における商標または

登録商標てす。他のすべてのブランド名、製品名、もしくは商標は、それぞれの所有者に帰属します。© 2018 Splunk Inc. 無断複写・転載を禁じます。

免責事項

このスライドは、すべてのサードパーティーフレゼンテーションの際に必須てす。

© 2018 SPLUNK INC.

Splunk ITSI のデモ

Introduction

© 2018 SPLUNK INC.

1. Splunk IT Service Intelligence のご紹介

2. ソフトバンク・ペイメント・サーヒス様におけるIT Service Intelligence活用事例

アジェンダ

© 2018 SPLUNK INC.

IT 運用の見直しと改善

従来の IT

▶ 構造化データ

▶ 脆弱なツールおよび統合

▶ 「障害」と「トラッフ」への強いこだわり

▶ 構成要素を重視

▶ 検索指向

データ主導型 IT

0101101

0010101

▶ 構造化データと非構造化データ

▶ 堅牢なデータ統合

▶ ヒックデータによるリアルタイムなインサイト

▶ サーヒス全体を重視

▶ 機械学習主導の分析

© 2018 SPLUNK INC.

サービスインテリジェンスとは

ヒジネスを意識した IT の実現重要な指標を測定して報告

運用効率の改善サイロを横断したコラボレーションてサーヒス運用を改善

データに基づく意思決定高度な分析とパワフルなインサイトて問題を解決して隠れた危険を予測

© 2018 SPLUNK INC.

機械学習による分析て、リアルタイムなサーヒスインサイト、シンフルな運用、根本原因の特定を実現

© 2017 SPLUNK INC.

Splunk IT Service Intelligence

▶ ベアメタルからヒジネス層まて、テクノロジースタック全体を可視化

▶ 経営層向けにカスタマイズされたヒューを使用してエコシステム全体を表示

▶ イベントにコンテキストを適用し、影響に基づいて調査を優先順位付け

サーヒスモデル

機械学習▶ 誤ったアラートを最小限に抑える適応しきい値の自動設定

▶ 動作異常アラートて問題にフロアクティブに対応

▶ データとインテリジェンスを自動的に関連付けて SME への依存を軽減

アクセラレータて▶ SPL コーディンクを最小限に抑制

迅速▶ な可視化を可能にするトレンド集計

マルチ▶ KPI アラートて異常をフロアクティブに特定

検索ベースの KPI

時系列▶ インデックス

スキーマ▶ オンリード

あらゆるデータに▶ 対応

マシンデータ向けのフラットフォーム

© 2017 SPLUNK INC.

ヒジネスにとっての可能性

健全性スコア - 基盤フロセスの健全性を概要レベルて集計

販売前注文配送課金

© 2017 SPLUNK INC.

サーヒスオーナーにとっての可能性



© 2017 SPLUNK INC.

IT 運用にとっての可能性



© 2017 SPLUNK INC.

アフリケーション開発にとっての可能性



© 2018 SPLUNK INC.

▶ IT 担当者の多くが捉える IT の世界

▶ 各層はサイロ化されている

▶ 専任専門家チームが (それぞれの領域のツールを使用して) 担当する層の健全性だけに集中している

▶ その層の健全性は、層の中の各コンポーネントの健全性を集計したものに基づいて可視化される

▶ 100 個の DB のうち 2 つに問題がある程度なら許容する

サイロ化されたIT スタック

物理サーバー (Dell、HP、CISCO のブレードやサーバー)

ゲスト OS (Windows/Linux/*NixOS)

データベース (Oracle、SQL Server、MySQL)

ハイパーバイザー (ESX、HyperV、Citrix)

Web サーバー (Apache、TomCat)

アフリケーションサーバー(WebLogic、JBoss EAP、WebSphere)

アフリケーション、ヒジネス/ミッションサーヒス

SAN/NAS ストレージ (EMC、NetApp)

ネットワーク

© 2018 SPLUNK INC.

▶ 層の健全性を集計したものては不適切

▶ ここて重要なのは依存関係

▶ アフリケーションの健全性は、そのアフリケーションが依存している各層の各コンポーネントの健全性に依存する

▶ 使用しているアフリケーションが、問題のある 2 つの DB の 1 つまたは両方に依存していれば、大きな問題が生じる

▶ 「黄色」て表示されている VM はどうなのか？

サーヒスモニタリンクの重要性

物理サーバー (1,2,3,4,5,6,7,8,9,10…N)

ゲスト OS (1,2,3,4,5,6,7,8,9,10…N)

データベース (1,2,3,4,5,6,7,8,9,10…100)

VM/ハイパーバイザー (1,2,3,4,5,6,7,8,9,10…N)

Web サーバー (1,2,3,4,5,6,7,8,9,10…N)

アフリケーションサーバー (1,2,3,4,5,6,7,8,9,10…N)

サーヒス/アフリケーション要求

SAN/NAS ストレージ (1,2,3,4,5,6,7,8,9,10…N)

ネットワーク

ステータス

100%

100%

98%

100%

95%

100%

100%

100%

停止

© 2018 SPLUNK INC.

解決が必要な 2 つの問題

サーヒスインサイトイベント分析

サーヒススタックの複数の階層が

互いにどのようにやり取りしているか、

サーヒスの低下がインフラ運営、

サーヒスレベル、さらにはヒジネスに

どのような影響を与えているかを

理解する

サーヒスに関する重要な問題を

迅速に発見し、インシデントの

根本原因を特定し、解決する問題の

優先順位を決定し、ヒジネスに

影響するサーヒスを修復する

© 2018 SPLUNK INC.


サーヒスインサイトイベント分析

KPI から算出されるサーヒス健全性スコア

運用パターンに基づいてKPI トレンドの基準を設定し、

異常な状態を識別

トリアージと分析を迅速に行うために、KPI とトレンドを統合して可視化

調査を迅速にするリソース単位の深い

インサイト

機械学習てノイズを削減し、問題の根本原因に関するアラートを特定

インシデント対応と修復作業の開始

トリアージと調査を優先順位付けするための、イベントに

関するサーヒスインサイト

イベント管理を自動化するための高度な分析と

インシデントワークフロー

© 2018 SPLUNK INC.

お客様が重視するのは、全体像の把握

MTTR を短縮

63% 90%

インシデント件数を低減

顧客満足度を向上

アッフタイムを向上

ツールを統合 IT ユーザーと

ヒジネスユーザーが、同じデータを使用

© 2018 SPLUNK INC.

ソフトバンク・ペイメント・サービス様の事例

鈴木彰様


オンライン取引を守る!「ITService Intelligence」て実現するノンストッフサーヒスのモニタリンクとその実例

ソフトバンク・ペイメント・サーヒス株式会社

システム本部システム運用統括部運用企画課鈴木彰様

© 2018 SPLUNK INC.

会社およびサービスのご紹介

© 2018 SPLUNK INC.

ソフトバンク・ペイメント・サーヒス株式会社

鈴木彰

データベース・エンジニア（最近はインフラ領域も少し）

Splunkは効率化&可視化目的て2010年頃から触り始める

主な業務

システム▶ 運用の改善

トラブルシューティンク▶

新規▶ サーヒスのためのインフラ/DB構築

自己紹介

© 2018 SPLUNK INC.

ソフトバンク・ペイメント・サーヒスとはソフトバンク傘下の決済分野における中核事業会社

インターネット

コンテンツ

決済・金融

通信

海外投資

その他

SoftBank クルーフ企業

© 2018 SPLUNK INC.

事業内容決済代行からカード事業まて幅広く展開

ソフトバンク携帯ユーザー向けの「ソフトバンクカード」のカード発行・運営をしています。ソフトバンクカードは、Visa加盟店て利用てきるフリペイドカードてす。ご利用金額に応じてTポイントが貯まります。

カード発行業務

決済代行

EC運営事業者さま向けにオンライン決済事業を運営しています。豊富な決済手段をまとめてご提供しています。

カード加盟店業務

Visa、Mastercard、UnionPay（銀聯）のメンバーシッフライセンスを保有しており、各ブランドのアクワイアラー（クレジットカード加盟店契約会社）としての加盟店審査や管理事業、端末決済サーヒスを提供しています。

ソフトバンクと共同て、ソフトバンク携帯ユーザー向けの通話料合算請求「ソフトバンクまとめて支払い」の開発・運営をしています。

キャリア決済

実店舗/訪問販売

EC/ネット店舗

© 2018 SPLUNK INC.

オンライン決済サーヒスECサイト向けに多種多様な決済手段に対応した決済画面や決済APIを提供

加盟店

通販サイト

ゲーム

電子書籍/動画

教育

不動産

その他

チケット

決済機関

コンビニ支払い

携帯キャリア決済

クレジットカード

プリペイドカード

口座振替

ポイント支払い

アカウント連携決済

当社

決済サーヒス全て一本化

リンク型

API型

© 2018 SPLUNK INC.


加盟店

通販サイト

ゲーム

電子書籍/動画

教育

不動産

その他

チケット

決済機関





口座振替



当社


リンク型

API型

多種多様な決済手段を一括て導入可能手続きコスト・開発コストを削減

© 2018 SPLUNK INC.


加盟店

通販サイト

ゲーム

電子書籍/動画

教育

不動産

その他

チケット

決済機関





口座振替



当社


リンク型

API型

決済手段 40 種以上に対応

© 2018 SPLUNK INC.


加盟店

通販サイト

ゲーム

電子書籍/動画

教育

不動産

その他

チケット

決済機関





口座振替



当社


リンク型

API型

導入実績 82,568 店舗※ 2018年2月時点

© 2018 SPLUNK INC.


加盟店

通販サイト

ゲーム

電子書籍/動画

教育

不動産

その他

チケット

決済機関





口座振替



当社


リンク型

API型

年間実績

取扱高 2兆5,000億円

トランザクション件数 6億件件

※ 2017年度実績

© 2018 SPLUNK INC.

システム概要図

加盟店様

フロントエンドAP

外部接続GW

DB(Master)

DB(Slave)

決済管理画面

加盟店様

各種決済機関

© 2018 SPLUNK INC.

1. Splunk導入期の話

2. サーバ（サブシステム）の可視化• Splunkダッシュボードを作成した話

• オンラインシステムてウォッチすべきものとは？

3. システム全体の可視化• Splunk ITSIを導入した話

• Glass Tableてのシステムマッフの作成

• Deep Diveによる相関分析

本日お話しすることシステムの可視化

© 2018 SPLUNK INC.

Splunk導入期

ログデータの集約

© 2018 SPLUNK INC.

▶ 2010年春頃

▶ システム調査におけるロク解析の効率化のため

▶ 当時はSplunkの日本語情報もまだまだ少ない時代

▶ 可視化とかはまだまだ先の話。。。

Introduction

© 2018 SPLUNK INC.

2010年当時、困っていたことシステム調査にかかる膨大な工数と手間

依頼部門

システム部門

調査依頼

依頼受領

ロクファイル

収集情報抽出集計&加工結果回答

回答受領

© 2018 SPLUNK INC.

依頼部門

システム部門

調査依頼

依頼受領

ロクファイル


回答受領

サーバからロクファイルを収集しなきゃ！⇒ どのロクが必要かな？⇒ ロクファイルどこだっけ？⇒ サーバ沢山あるから集めるだけて時間かかるなぁ。。。


© 2018 SPLUNK INC.

依頼部門

システム部門

調査依頼

依頼受領

ロクファイル


回答受領

さて、ロクファイルから情報抽出しなきゃ⇒ どうやって検索したら必要な部分だけ抽出てきるかな？⇒ テキストファイルからの検索は時間かかるなぁ。。。


© 2018 SPLUNK INC.

依頼部門

システム部門

調査依頼

依頼受領

ロクファイル


回答受領

次はデータの集計だ。。。⇒ 各サーバのデータを１つにまとめなきゃ。。。⇒ それからCSV形式に変換してExcelに貼り付けて。。。⇒ あ、データ同士の紐付けはどうしよう。。。⇒ 量が多いと計算て時間かかるなぁ。。。


© 2018 SPLUNK INC.

依頼部門

システム部門

調査依頼

依頼受領

ロクファイル


回答受領

もっと早く回答したい


© 2018 SPLUNK INC.

依頼部門

システム部門

調査依頼

依頼受領

ロクファイル


回答受領


依頼対応だけて1日が終わってしまう


© 2018 SPLUNK INC.

依頼部門

システム部門

調査依頼

依頼受領

ロクファイル


回答受領


依頼対応だけて1日が終わってしまう

もっとクリエイティブな作業に時間を使いたい


© 2018 SPLUNK INC.

▶ Splunk Enterpriseの導入

▶ 各種ロクをSplunkへUniversal Fowarderを用いて転送

やったこと

© 2018 SPLUNK INC.

▶ ログ収集不要

▶ 強力なサーチコマンド

▶ 抽出した結果はExport可能

Splunkの利用イメージ

© 2018 SPLUNK INC.

▶ ログ収集不要• データは既にある

▶ 強力なサーチコマンド



© 2018 SPLUNK INC.


▶ 強力なサーチコマンド• 『シェル+SQL』ライクなコマンド

• 複数種類のログを纏めて検索



index=aset sourcetype="real-aset" pgmid!=GPCMR100 host="********" | table logtime mid sid merchantname cust_no bill_no

item_no amount cc_company_cd credit_result error_cderror_msg service_type svno term_no term_seq_no

© 2018 SPLUNK INC.


▶ 強力なサーチコマンド• 『シェル+SQL』ライクなコマンド

• 複数種類のログを纏めて検索


• ボタンをクリックするだけ

• あとはExcelに貼り付けて集計(Splunkて集計しても良し)


抽出したらダウンロードボタンをクリックするだけ

© 2018 SPLUNK INC.

システムリソースの可視化

Splunk ダッシュボードの導入

© 2018 SPLUNK INC.

▶ 2014年夏頃

▶ サーバのリアルタイム・モニタリングの問題

▶ Splunk Enterprise のダッシュボードを活用して可視化

▶ 可視化のポイント

Introduction

© 2018 SPLUNK INC.

困っていたことシステムモニタリングの煩雑さ

運用担当者

フロセス

ロク負荷

これまてのモニタリンク✓ CLIての情報取得

✓ 監視対象毎にウィンドウ

✓ 集計が必要なものは見れない

✓ 『今』しかわからない

© 2018 SPLUNK INC.


運用担当者

フロセス

ロク負荷


• 変化に気づきにくい

✓ 監視対象毎にウィンドウ



© 2018 SPLUNK INC.


運用担当者

フロセス

ロク負荷



✓ 監視対象毎にウィンドウ• 数が多くて見切れない

• 準備の手間



© 2018 SPLUNK INC.


運用担当者

フロセス

ロク負荷




• 準備の手間

✓ 集計が必要なものは見れない• 例えばアクセス量

(アクセスロクの出力数の集計が必要)


© 2018 SPLUNK INC.

✓ CLIての情報取得• 変化に気づきにくい


• 準備の手間

✓ 集計が必要なものは見れない• 例えばアクセス量

(アクセスロクの出力数の集計が必要)

✓ 『今』しかわからない• 直近の数分ていいから推移が見たい


運用担当者

フロセス

ロク負荷

これまてのモニタリンク

© 2018 SPLUNK INC.

やりすぎない1.

• 何のための可視化か？そのためには何を可視化するか？を考える

• 入ってくる情報が多すぎると人は混乱する

ぱっと2. 見のわかりやすさ

例えば・・・

重要• なものは大きく表示

一緒• に見たいものは隣り合わせにする

など。。。

やったことダッシュボードによるリソース可視化

可視化する上て意識したこと

© 2018 SPLUNK INC.

ダッシュボードの一例DBの場合

© 2018 SPLUNK INC.


処理中のDBセッション

© 2018 SPLUNK INC.



処理中のDBセッションの量てDBて処理滞留が発生しているかを判断

継続的✓ に増加 → NG一定✓ or瞬間増 → OK

© 2018 SPLUNK INC.



サーバリソース系

DB待機イベント

© 2018 SPLUNK INC.



サーバリソース系

DB待機イベント

隣接表示している情報から問題点に見当を付ける✓ 負荷の高い処理の有無✓ トランザクションの急増✓ 処理競合の発生 etc...

© 2018 SPLUNK INC.

ダッシュボードの一例APの場合

© 2018 SPLUNK INC.


ポート使用数

© 2018 SPLUNK INC.

ポート使用数


APが使用しているポートの数て処理滞留が発生してるかを判断

✓ 継続的に増加 → NG✓ 一定or瞬間増 → OK

© 2018 SPLUNK INC.

ポート使用数


レスポンスの遅いトランザクションの数

CPU使用率流量

© 2018 SPLUNK INC.

ポート使用数

レスポンスの遅いトランザクションの数

CPU使用率流量


隣接表示している情報から問題点に見当を付ける✓ サーバ負荷✓ リクエストの急増✓ 特定処理の遅延 etc...

© 2018 SPLUNK INC.

システムステータスの可視化

Splunk IT Service Intelligence の導入

© 2018 SPLUNK INC.

2017▶ 年初頭

システム▶ 全体の可視化

リソースではなくステータスの▶ 可視化

Splunk▶ IT Service Intelligence を導入して実現

Introduction

© 2018 SPLUNK INC.

1. 既存ダッシュボードではシステム全体が見えない

2. グラフがあらわすものが有識者じゃないとわからない

3. 相関が見えない

モニタリングにおける課題システム全体のモニタリング

© 2018 SPLUNK INC.

▶ インストールは簡単• Splunkを停止

• パッケージを所定の位置に展開（tarコマンド）

• Splunkを起動

▶ 設定もほぼGUIで完結• モニタリング項目（KPI）の設定

• システムマップ（GlassTable）の作成

• 相関分析画面（DeepDive）の作成

やったことSplunk ITService Intelligence 導入

© 2018 SPLUNK INC.

ITSIによるシステムマップ（GlassTable）

KPIを簡易的に表示

ステータスアイコン

監視項目およびシステムステータスを色て表現 ⇒ 一目て状態把握

Green ⇒ 正常Yellow ⇒ 警告Red ⇒ 異常

© 2018 SPLUNK INC.

1. 既存ダッシュボードではシステム全体が見えない• 何か起きてるっぽいけど、どのダッシュボード見ればいいんだっけ？

• パッと見で状況が知りたい

2. グラフがあらわすものが有識者じゃないとわからない• どのグラフがどうなったらまずい？どれくらい？

• それぞれのグラフの意味ってなんだっけ？

3. 相関が見えない• APが〇〇なときDBどうだっけ？

• APのこのグラフとDBのこのグラフが同時に見たい

ITSI導入効果

© 2018 SPLUNK INC.

1. 機械学習（Anormaly Detection）• 脱・しきい値

• 埋没してしまう問題の検知

• 有識者への属人性解消

2. 複合的な問題の検知（マルチKPIアラート）• 単一のKPIでは検知できない問題の検知/切り分け

• 要因の内外切り分けなど

未来の話今後、取り組みたいこと・試してみたいこと

© 2018 SPLUNK INC.

Splunk Enterpriseの導入

↓

ログ集約↓

調査効率 UP!

まとめ

2010 2014 2017 2018 ～

Splunk Enterpriseによる可視化

↓

ダッシュボード↓

問題検知率 UP!

Splunk ITSIによる可視化

↓

システムマップ↓

問題検知速度 UP!

Splunk ITSIによる脱閾値

↓

機械学習↓

属人化解消

Splunkとの出会い～ITSI導入

© 2018 SPLUNK INC.

オフションサーヒスのご紹介ソフトバンク・ペイメント・サーヒス

クレジットカード情報非保持化対応ソリューション

永久トークン非保持化サービス

▶ 専用端末を活用した非保持化サービス

▶ 受注システム改修最小限で非保持化を実現

▶ メール・テレフォンオーダーに最適

※特許出願中


#SplunkLive

ご清聴ありがとうございました

© 2018 SPLUNK INC.

6/20（水）Splunk for DevOpsで淀みない開発プロセスを実現〜オートメーションのその先へ〜

6/27（水）メトリックとログで始める新時代のサーバー監視の始め方

オンラインセミナー開催予定

※ 日程、内容は予告なく変更する場合があります。※ オンラインセミナーや、その他の今後のイベントは、弊社サイトのイベントページをご参照ください。https://www.splunk.com/ja_jp/about-us/events.html

セキュリティ調査のやり方簡単解説インシデント検知のノウハウを活用する Security Essentials

Splunk ソリューションによる AWS セキュリティの強化

Splunk て実現する IT サーヒス可視化

IT トラブルシュートのやり方簡単解説マシンデータだからてきる超シンフル、超強力なシステム運用

オンデマンドオンラインセミナー（近日公開）

https://www.splunk.com/ja_jp/about-us/events.html

© 2018 SPLUNK INC.

.conf18 登録開始！

.conf18 | October 1 – 4, 2018

Splunk University | September 29 – October 1フロリダ州オーランド |

ウォルトディズニーワールドスワン＆ドルフィンリゾート

3日間のイノベーション体験ITビジョナリーによる基調講演

Splunkのテクノロジーパートナー講演

先進的なお客様の事例講演＆最新デモ

スペシャル版トレーニング

ハンズオントレーニング

日本のお客様講演も！

300 以上のテクニカルセッションビジネスアナリティクス

Development

IoT

IT 運用

セキュリティ・コンプライアンス

Foundations

世界の最新事例や技術動向を体感できる3日間！！

オンライン取引を守る ITService Intelligence」で実現する...

Documents

Transcript of オンライン取引を守る ITService Intelligence」で実現する...