分散システムの耐災害性・耐障害性の検証・評価・反映を行うプラットフォームの設計...

分散システムの耐災害性・耐障害性の検証・評価・反映を行うプラットフォームの設計

IOT27/SPT11@岩手県立大学アイーナキャンパス

柏崎礼生 Hiroki Kashiwazaki

A design of a platform that examine, evaluate, and reflect a disaster-resistance and a disaster tolerance on a distributed system

the Internet

分散システム distributed systems

世田谷区 Setagaya city

http://ja.wikipedia.org/wiki/%E6%9D%B1%E6%80%A5%E4%B8%96%E7%94%B0%E8%B0%B7%E7%B7%9A#mediaviewer/File:Tokyu-80.jpg

負荷分散装置 load balancer

ここから震災に関する画像・情報が数多く含まれます

2011.3.11 The aftermath of the 2011

Tohoku earthquake and tsunami

https://www.flickr.com/photos/idvsolutions/7439877658/sizes/o/in/photostream/

：回線（現用系；被災）

：回線（予備系；被災）

：回線（現用系；被災なし）

：回線両系切断

：停電エリア

：回線系切り替わり

：回線（予備系；被災なし）

（数字はDCでの発電時間）：コアノード（DC設置）：エッジノード（DC設置）

仙台96h

山形28h

金沢

東京

弘前17h

札幌

郡山東日本大震災時の回線状況大震災により、仙台＝東京間と仙台＝金沢間の回線が切断されたが、仙台＝札幌間の回線が使えたため、札幌を迂回することで SINET4 の機能は維持されていた。停電したデータセンター（DC）は、非常用電源で持ちこたえた。なお、コアノード・エッジノード間の回線は全て異経路によって二重化されている。

SPEEDI System for Prediction of Environmental

Emergency Dose Information 緊急時迅速放射能影響予測ネットワークシステム

東京電力福島原子力発電所における事故調査・検証委員会最終報告書

免震重要棟

研修棟

岩手県釡石市 Kamaishi city, Iwate prefecture

釡石市

盛岡市

釡石の奇跡 The Kamaishi miracle

津波てんでんこ

山下文男 Humio Yamashita (1924～2011)

釡石市小中学校児童数3000人生存率 99.8%

鵜住居町小中校児童数600人全員生存

「てんでんこレンジャー」津波防災意識啓発DVD

釡石の“奇跡” いのちを守る特別授業 (NHK 2012)

釡石の悲劇

釡石市鵜住居(うのすまい)町

釡石

鵜住居うのすまい

釡石の悲劇～残された家族 4年目の春～ (NHK 2014)

釡石市鵜住居地区防災センター

防災センター (標高4m)

市指定津波避難場所 (標高20～30m)

市指定津波避難場所 (標高20～30m)

200m

現実と異なる防災訓練

200人以上の犠牲

増強だけではダメ

災害訓練 disaster training

菊池豊 Yutaka Kikuchi @ nine layers

B��©¬�§"Ke"

C�

U;��"

A�

jF#�"U;"

W:N�(RcdD�\K��E5o- &$%��oqZi[L2GV��/r1Hg�_as\�

<P�.C�u^=`78�

>F��?@�>F��?@k�

D�

E�

jFIX"jFPoP"

jFIX"��PoP"

jFE"'�HW"

NICT"JGN1X"

NII"SINET4"

jFIX"2"PoP"�`33"

�`32"t�"E��"

DNS"§¬��¬�"

com."�¬�" sample.com.""DNS�¬�" U;x}�Lx{��"

STEP1"

STEP2" STEP3"

�(DNS�¬�O?~"��~�a�S"

�«�¬��"�¥«��"

�«�¬��"�¥«��"

�«�¬��"�¥«��"

�N��"�P��¥��g�"

平時は低トラフィックで

低維持コスト

被災時には、コストを抑えたままバースト・トラフィックが

通過可能�

h@p://www.sample.com/�

�(§¬�DNS�¬�"�("com."�¬�"

; .�"��¦��*"

U;"

X@�&|}p"�<C�f �B="

Zc"��1"��2"��3"

…" Zcxp7S�X@u"8xv�q}q�tH["

運用計画の妥当性を

平時に確認

_>,$R"

�i�"��¦«�"

©��£�§+9"

�i6^�"�W�"

\i� 6^��0"!M�4Yxp�-�Tr"

1"GJdB�DC"""""W:\YN��qZIAe�'*��34�o-X6�np�BM��

2"GJdB�5V"��34�t,St�'*��o-X6�BM��Hg�_as\��O0D�Qj��"

3"1%w��GJ*3s��I�C)Q"��o-X6�W:;b��9m]�9Z]�!"#lI�)�hUGV�J+��

2014.05.28 高知工科大学菊池豊 19

DNSサーバ!の不調�

インターネットに接続できない�

上流回線の断線�

土砂崩れ�

ドロップ線の断線�

火災�

中ビルの浸水�

停電�

系統の不具合�

上位サイト!のトラブル�

耐災性が低い�

UPSが故障�

迅速に復旧できない�

不正確な対応�

保守業者の!技術不足�

予防できてない�

他人任せ�

縦割り�

人不足�

人員整理�

復旧人員!が来ない�

道路の寸断�

出張�

夜間�

アラートが!ならない�

携帯が不通!

実行・判断!できない!

権限がない!

責任を負いたくない!

復旧経験!がない!

外部・スタッフと!連絡できない�

電話がたくさん!かかってくる�

電話網!が不調�

連絡先を!知らない�

いつもメール!で連絡�

復旧方法!がわからない�

NT構成・設定!PWがわからない�

NTが複雑!広範囲�

機器の落下!故障�

水漏れ!水没�

揺れ�

電圧変化�

空調トラブル�

火災�

構造物の倒壊�

線が抜ける!断線�

停電�

電源回路!を間違える�

図面がなくなる!

ラック・床の破損�

事務局が3年でかわる�

建物が古い�

設定ミス�

機器更新�

障害に!気づかない�

監視漏れ�

監視サーバの不具合�

•  線の二重化�•  発電機・大型UPS �•  衛星データ通信�•  configのバックアップ�•  ラックの足の固定�•  全ポート監視ソフト�

•  常駐管理者�•  外部サーバ・ルータ�•  NT構成の可視化�•  テスト�•  手軽環境�•  大学間の接続�•  ルール作り�

•  衛星携帯電話�•  アナログ回線�•  サーバ室の移設�•  バックアップ機の用意!•  ML管理者�•  耐災性の確認�•  連絡網の整備�

26�2014.05.28 高知工科大学菊池豊

ロジックモデル手法で可視化�

logic model

Kochi IXKochi PoP

Kochi IXMatsyama PoP

高知情報ハイウェイ

Kochi IXNankoku PoP

Distcloud 広域分散仮想化環境

北海道大学 Hokkaido Univ.

金沢大学 Kanazawa Univ.

JAIST

国立情報学研究所 National Institute of Informatics

JAXAmfeedNAIST

京都大学 Kyoto Univ.

大阪大学 Osaka Univ.

高知工科大学 Kochi Institute of Technology

広島大学 Hiroshima Univ.

稼働拠点

九州工業大学

稼働予定拠点H26年度稼働予定拠点

スプリットブレインシンドローム split brain syndrome

　総務省 Ministry of Internal Affairs and Communications

SCOPE Strategic Information and communication

R&D Promotion Program 戦略的情報通信研究開発推進事業

分散システムの耐災害性・耐障害性の検証・評価・反映を行う

プラットフォームとビジネスモデルの開発 A development of a platform and business models

that examine, evaluate, and reflect a disaster-resistance and a disaster tolerance on a distributed system.

破壊的ネットワーク disruptive network application

VM�¢¬� ¡��¨¬�¤«�

��¡��¨¬�¤«�

災害シナリオ・高知DCサイトダウン・福岡DC回線障害・大阪DCサーバ負荷増

災害時挙動の定義と検証・高知DC機能を東京DCで起動・福岡DC, 大阪DCのVMを他拠点に分散 etc.

O]/b��

ネットワークエンティティ障害・高知 �サーバ等ダウン, 回線遮断・大阪 �サーバ負荷増, 通信データ増, パケットロス増

etc.

SW�

R�

f B= �«�

'��g@h�

onePK

障害発生�

UI�

syslog SNMP EEM

SW� SW�

SW�R�

R�

R�

f :��reply�

query�

A�; B=�

onePK SDN over JGN-X�

u^=`78�fTk�

ネットワーク防災訓練プラットフォーム�

2014.05.28 56

菊池豊: ネットワークをぶっ壊せ～作るためのSDNから壊すためのSDNへ～

採択 accept

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 8

onePK Application

R2 R1

RIB (Routing Table)

OSPF Process

App Process

Config

R2

RIB (Routing Table)

OSPF Process

App Process

Config

R9

RIB (Routing Table)

OSPF Process

App Process

Config

Administrative distance of Application route is higher priority than OSPF. Hayakawa Kouhei: onePK on NICT/JGN-X Testbed Experiment demonstration in Sapporo SnowFestival

router Cisco ASR1001Sapporo

router Cisco ASR1004Sendai

router Cisco ASR9006Otemachi 1


router Cisco ASR9006Doujima


router Cisco ASR1004Nagoya

router Cisco ASR1004Okayama

router Cisco ASR1004Hiroshima

router Cisco ASR1004Fuuoka

router router router

Fuuoka HiroshimaHiroshimaHiroshima OkayamaOkayamaOkayama

router Cisco ASR1001spare equipment (experimental)spare equipment (experimental)

onePK

Application

(Keihanna)

Web GUI

Inter-Process Communication

Hokkaido

Television

Broadcasting Co.,

Ltd. (HTB)

Asahi Broadcasting

Company

Sapporo Snow Festival

Baseball

Camp

Okayama ASR1k Nagoya ASR1k Sapporo ASR1k

Fukuoka ASR1k Osaka ASR1k Otemachi ASR1k

Okinawa Osaka

Tokyo

Otemachi

Hayakawa Kouhei: onePK on NICT/JGN-X Testbed Experiment demonstration in Sapporo SnowFestival

switch Cisco onePKvirtual switch

router Cisco onePKvirtual router

External Lan

(Internal) Lan

Network Application

Network Elementcontroller

session config

TLS

get_interface get_address shut_down …

① ②

③ ④

⑤

switch Cisco onePKvirtual switch

router Cisco onePKvirtual router

External Lan

(Internal) Lan

Future Works

災害の表現 expression of disaster disorders

災害の再現 reproduction of disasters

シナリオの作成 generation of disaster scenarios

発生する現象要求される対応

A システムが3つ以上のパーティションに分割される

障害の原因となる複数の回線の冗長化ほか

B 2つのパーティションに分割され、かつリンク回復後もサービス品質が低下

障害の原因となる回線の冗長化と帯域の増大あるいはTE

C 2つのパーティションに分割される障害の原因となる回線の冗長化

D パーティションの分割を生じない回線障害回線の冗長化

E 一箇所以上の輻輳の発生によるサービス品質の低下

障害の原因となる回線の冗長化と帯域の増強あるいはTE

SC14 2014/11/16～21 @Ernest N. Morial Convention Center

大事なことなので

二度言いますI say twice because it is important.

2011.3.11 The aftermath of the 2011

Tohoku earthquake and tsunami

https://www.flickr.com/photos/idvsolutions/7439877658/sizes/o/in/photostream/

go on to the next stage

分散システムの耐災害性・耐障害性の検証・評価・反映を行うプラットフォームの設計...

Engineering

Transcript of 分散システムの耐災害性・耐障害性の検証・評価・反映を行うプラットフォームの設計...