コンペに勝てる必勝アイテムソフトレイヤー

© 2015 IBM Corporation

コンペに勝てる必勝アイテム

SOFTLAYER

2015年6月8日

日本アイ・ビー・エム株式会社

クラウド事業統括高良真穂

本書に含まれる情報は、貴社内部のご検討、評価の目的のために提供されるものです。貴社内でのご使用,複製、開示はこの目的のために必要な範囲でのみお願いいたします。貴社との間で正式な契約が成立した場合には、それに従ってこれをお取り扱い願います。なお、貴社にて既に取得されている情報については、これらの制限は及びません。

© 2014 IBM Corporation2

コンペに勝てる必勝アイテムとは？

「Ａ社のクラウドは、使えてあたりまえ、他社との差別化にはならない！

ＳｏｆｔＬａｙｅｒを使いこなせる事は、他社との差別化になり、コンペより有利に戦える」

スマホアプリ開発会社の社長談


コンペに勝てる必勝アイテムとは？

なぜ「ソフトレイヤー」なのか？

これから、

その理由を見ていきましょう


SoftLayer のリアルなプライベート環境インターネットと内部ネットをケーブル色で完全分離、ユーザー間も隔離するリアル・プライベートユーザー専用のファイアウォール、ロードバランサーを保有可能

ユーザー

モバイル管理者

Virtual Servers

Public Network Private NetworkInternet

Management Network

ユーザーA専用パブリックVLAN

ユーザーA専用プライベートVLAN

Virtual Servers

ユーザーB専用パブリックVLAN

ユーザーB専用プライベートVLAN

Baremetal Servers

VPN Edge

Router

サービスVLAN

Client

Client

VPN Clientアクセス制御

アクセス制御アクセス制御

一般ユーザー

シスオペ


India

Shanghai

Singapore

Sydney

TokyoSeattle

San Jose

Los Angeles

Mexico City

Houston

DenverDallas

Miami

AtlantaWashington D.C.

MontrealToronto

Chicago

London

Frankfurt

Paris

Amsterdam

Sao Paulo

New York

Dubai

Melbourne

既存データセンター

既存PoP

新規データセンター（2014-2015年開設予定）

新規PoP （2014-2015年開設予定）

新規データセンター（2014年開設）

グローバルなネットワークをプライベートに利用可能

東京DC ロンドンDC

他のユーザーから隔離された専用の国際通信が無料で提供

プライベートVLAN同士のみ通信

Hong Kong


物理サーバーとアプライアンスの提供

Router

Client

Client

VPN Client

Local

Load Balancer

Firewall

Firewall

Baremetal Servers

Virtual Servers

Router

iSCSI /NAS

Object Storage

VPN Edge

Router

OS Update

Router

Security

API Server

SSL / PPTP / IPSEC

Public Network Private NetworkInternet

Out-of-Band Management

物理サーバー高機能アプライアンス

仮想サーバー

高機能で実績のあるアプライアンスとして、ロードバランサーのNetScaler, ファイアウォールのForigateを契約ユーザー専用に利用出来ます。注文も管理ポータルからクリックするだけで、数十分後に利用を開始できます。

物理サーバーは、仮想サーバーと同様に管理ポータルから、オーダーするだけで数十分後には、利用でます。


豊富なAPIで運用を自動化

7

Chef レシピ

Chef レシピ

パブリック / プライベート / OS

イメージ・テンプレート

SoftLayer

API Endpoint

起動Chef-Solo

Knife-Solo

仮想サーバー物理サーバー

①SLコマンドからサーバーを注文

③レシピによってサーバーを設定する

②レシピのテンプレートを利用、必要に応じ編集する

管理サーバー

物理サーバーであっても、シェル、Ruby、Pythonなどからオーダー、キャンセル、設定コマンドの実行ができる。

ソフトレイヤーは、物理サーバーも含め基盤をコードで構築することができるクラウドの世界をリードするIaaSです。

物理的なセットアップのタイムトライアル


本資料では、ゲームやスマホアプリ基盤を想定して、SoftLayerの特徴をご紹介します


ご紹介の概要（目次）• 1 インターネット環境

• 2 ロードバランサー

• 3 ファイアウォール

• 6 保守ネットワーク接続

• 7 オブジェクトストレージ＆CDN

• 4 アプリサーバー

• 5 DB&ストレージ


ゲームサーバーの想定構成

インターネット接続回線10GB x3

LocalLoad Balancer Virtual Servers

Baremetal Servers

MySQL 専用レプリカサーバー

Baremetal Servers

MySQL マスタサーバー

HA構成

アプリケーションサーバー

Virtual Servers

KVSキャッシュサーバー

Object Storage

画像・動画ダウンロードログ保管ストレージ

HA構成

Firewall

リクエストの流れ

データの流れ

ソーシャル・ゲームプレイヤー

Vyatta

シスオペ

オンプレサーバー

企業LAN

CDNAutoScale

ユーザー数規模数万人～数百万人


最強のインターネット環境1 インターネット環境

2 ロードバランサー

3 ファイアウォール






東京ＤＣ周辺のネットワーク構成概要

10G

BBIX

Hong Kong

Singapore

Sydney

San Jose

10G

10G

インターネット接続

10G 10G 10G 10G

SoftLayerグローバルネットワーク

TokyoPoP

TOK01

TokyoDatacenter

TOK02Equinix

JPNAP


• インターネットからのアクセスは、東京PoPを経由して東京DCへアクセスする。• 他地域DCへのアクセスは、東京PoPからSoftLayerの専用経路を通じて直行する。• 各IXとPoPは、BGPで経路情報を交換するPeer接続であり、ISP同等である。

出典 http://www.softlayer.com/network

http://www.softlayer.com/network


東京PoPとIX間のトラフィック

3.0G

1.4G

120M

SoftLayerカスタマ・ポータル（クラウドの管理画面）で、トラフィックを確認できます。https://control.softlayer.com/network/status/global

①PoP主要機器、各回線のステータス ②インターネット回線の帯域使用率（2015/1/20現在）

DDOS対策機器

https://control.softlayer.com/network/status/global


SoftLayerのDDOS攻撃対策

異なるIX3社とピア接続に加えて、DDOSからの保護機能を２４時間提供しています。

この保護機能は、DDOS攻撃を自動的に検知して影響を緩和します。さらに、SoftLayerの他のお客様への影響が懸念される状態になった場合、SoftLayerからお客様へ連絡させていただきます。

出典 DDoS 攻撃の軽減対策http://www.cisco.com/web/JP/product/hs/security/gdma/tech/gdda_wp.html

DDOS攻撃対策の詳細は、非公開ですから、この図は対策として採用しているCisco社のGuard DDOS説明資料の引用です。

この図のISP Backbone部分が、SoftLayerのPoPに相当します。Enterprise部分が東京DCに相当します。

ピアリングポイントに Cisco Guard XT を配置することで、コアルータ、下流側のエッジデバイス、リンク、および、サーバーを保護できます

PoPに相当

Tokyo DCに相当

IX IX

IX

http://www.cisco.com/web/JP/product/hs/security/gdma/tech/gdda_wp.html


東京PoP周辺のネットワーク構成 SOFTLAYERは、PoPと各地IXをピアリンクしてインターネットの一部をグローバルに形成

ユーザーからDCへの通信は、PoPに入り専用ネットワークを通過してDCへ、PoPがDCの入り口

アカマイの様な高速配信ネットワークとしての機能、ユーザーに近いPoPから送信

各PoPでDDOS攻撃パケットをフィルターして小さなトラフィックの内に通さない

15

Hong Kong

Tokyo

Singapore

Frankfurt

San José

Sydney

Seattle

Denver

Los Angeles

20Gx310Gx110Gx3

PoP

PoP

PoP

PoP

/DC

PoP

PoP

PoP

PoP

DC

DC

DC

DCDC

10Gx120Gx1

30Gx1

10G

10G10G

10G

10G

10G

20G

20G

20G

PoP


UDPパケットのロスが少ないSoftLayer

16

https://www.youtube.com/watch?v=otZllR538zU

Unityを使ったアクションゲームの適合性を検証するプログラムを開発しました。SoftLayer

東京データセンターで実行したビデオで性能の差をお確かめください。

パケット損失の少ない高品質なネットワークは、海外のアクションゲームで評価されています。

https://www.youtube.com/watch?v=otZllR538zU


SoftLayer上で稼働する海外のゲーム


SoftLayerのロードバランサー1 インターネット環境








LBは３つ方式から選択可能

ウェブ・サーバー共用型／専用型

NetScaler

N+1構成

ウェブ・サーバー

LVSN+1構成



NetScaler

DNS

①ローカル・ロードバランサー（共用型と専用型）及び、NetScaler ③グローバル・ロードバランサー

②Linux Virtual Server

VIP

VIP

Virtual Servers

Virtual Servers

Virtual Servers

Virtual Servers

Virtual Servers

NetScaler

出典ソフトレイヤー活用技術情報デザインパターン2.1 ロードバランサーによるサーバーの冗長化https://gg-web.jp/document/DesignPattern/02001/index.html

2.2 データセンターレベルの冗長化https://gg-web.jp/document/DesignPattern/02002/index.html

https://gg-web.jp/document/DesignPattern/02001/index.html



利用できる各LBの特徴

特徴LVS

(Linux Virtual Server)

ローカルロードバランサー（共用型）

ローカルロードバランサー（専用型）

CitrixNetScaler VPX

グローバル・サーバー

ロードバランス GSLBNetScaler VPX

適用範囲 DC内 DC内 DC内 DC内 DC間

共用/専用専用共用専用共用共用

VIP数Public アドレス1,2,4,8,16から選択

Publicアドレス1

Public アドレス1,2,4,8,16から選択



HA構成可能なし可能可能可能

SSLオフロード不可可能可能可能可能

オートスケールとの連動

不可可能可能不可不可

能力仮想サーバーに依存

同時250〜2500接続

同時15000〜150000接続

10Mbps〜1000Mbps

10Mbps〜1000Mbps

費用OSSのため

サーバー費のみ$50〜$2500

$999〜$3998

$299〜$1999

$499〜$1999

その他特徴

サーバー間の負荷分散に適用可

低価格AutoScale連動

高負荷対応AutoScale連動

WAF, GSLBなども利用可

SLB,WAFなども利用可


ローカルLBとAutoScaleの組合わせ例

ローカルロードバランサー

（共用型・専用型）

パブリック / プライベートイメージ・テンプレート

AutoScale

監視CPU,帯域

起動

仮想サーバー

負荷分散対象の自動追加

追加

出典ソフトレイヤー活用技術情報デザインパターン3.1 サーバー数の動的増減 https://gg-web.jp/document/DesignPattern/03001/index.html



SoftLayerで利用できるFW

• 1 インターネット環境

• 2 ロードバランサー

• 3 ファイアウォール






SoftLayerのFWの選択肢

BCR

トランク接続

NetworkGatewayAppliance

Webサーバー

APサーバー

DBサーバー

Publicゾーン

APゾーン

DBゾーン

FCR

Private VLAN#1

Private VLAN#2

Public VLAN

仮想リンク

OSファイアウォール

ハードウェアファイアウォール

(共用型）

PublicVLAN

PublicVLAN

ハードウェア・ファイアウォール (専用型）Fortigate Security Appliance

NetScalerPremium

WAF

Web/AP

Web/AP

PrivateVLAN

①インターネットから保護するパターン ②内部のゾーン間で保護するパターン

出典ソフトレイヤー活用技術コンフィグレーションガイド2.1 ファイアウォールでサーバーを保護するには? https://gg-web.jp/document/ConfigGuide/02001/index.html

6.7 DMZ、APサーバー、DBサーバーなどのゾーンを作るには？https://gg-web.jp/document/ConfigGuide/06007/index.html

https://gg-web.jp/document/ConfigGuide/02001/index.html



SoftLayerの各FWの特徴

特徴 OSファイアウォール


（共用型）


（専用型）

FortigateSecurity

Appliance

VyattaGatewayAppliance

WAFNetScaler

VPX Premium

適用範囲 OSサーバーの

IPアドレス１個パブリック

VLAN x1個パブリック

VLAN x1個

パブリック,プライベート

VLAN x N個

パブリック,プライベート

VLAN x 1個

共通／専用専用共用専用専用専用専用

HA構成不可不可可能可能可能可能

管理ユーザーインタフェース

CLIカスタマーポータル

カスタマーポータル

Web-GUIとCLI

主としてCLI,Web-GUIも可

Web-GUIとCLI

保護対象レイヤー

L4 (TCP) L4 (TCP) L4 (TCP) L4 (TCP) L4 (TCP) L7(アプリ）

ゾーニング適用不可不可不可不可可能不可

性能サーバー能力に

依存10Mbps〜2000Mbps

1Gbps（NICリンク速

度）

1Gbps(NICリンク速

度）

10Mbps〜10Gbps

10Mbps〜1Gbps

費用無料 $49〜$399 $999〜$1998 $999〜$1998$418〜$1856

$499〜$1999

その他OSにバンドルされるFWまたはAPF

サーバー単位 VLAN単位 VPN機能VPN,NAT,VLANトランク対応有償版Vyatta

アプリ脆弱制対応


高負荷に耐えるアプリサーバー

1 インターネット環境








Dom-0負荷集中で

俺のサーバの稼働が抑えられる

Xenの共存影響の一例

Xen Hypervisor

NIC Local Disk

Dom-0

Virtual Servers

VLAN

仮想サーバーの裏側で起こっている状況

膨大なHTTPアクセス

共存サーバーが動作開始

稼働率が抑えられる

俺のサーバー

他人のサーバー

俺の

他人の

Dom-0のCPU使用率が高く、VMの要求に十分答えられない

大量のショートパケットが発生する

テスト環境で状況を再現しました


SoftLayerの高い負荷対策

LocalLoad Balancer

膨大なユーザー数

ゲームサーバー群

DBサーバー群

遅い！

Xeon CPUの性能を生かせない

膨大な仮想サーバー数

低効率！

シングルテナントの専用仮想サーバー (Private VSI)

専用物理サーバー(ベアメタル）

Baremetal Servers

Xen Hypervisor

NIC Local Disk

Dom-0

Virtual Servers

俺だけ

俺だけPrivate VSIは最大コア数は８コアまで

Public VSIは16コアまで

仮想環境と同様の完全なコントロール

この様な課題に対するSoftLayerの対策は次の２通りです！

共有部分なし素のサーバー

注文から２時間で利用可世界のゲーム会社から支持される迅速な対応、豊富な在庫量


仮想化のオーバーヘッドの無い物理サーバー

28

サーバーの条件 Xeon E3-1270 CPU 4コア仮想化環境 Linux + Xen

性能測定ツール Unixbench

4コアの同一条件で、Xenの仮想サーバー、ハイパーバイザー無しの物理サーバーでUnixbenchを使って比較したところ、仮想サーバーの性能は６０％以上劣化している結果を得ました

注意：Unixbenchによる結果であり仮想サーバーの全ての性能を代表するわけではありません。


高負荷に耐えるDBサーバー1 インターネット環境








スケール可能なRDB構成データベースの負荷を減らしてスケールするための工夫として、更新用マスターと、参照専用のリードレプリカのMySQLを物理サーバーで構成する

キーで取得できる項目はMemcachedなどのKVSにキャッシュ

更新処理だけをマスターDBやアプリ内課金の決済DBへ書き込む

マスターDB

読み専用レプリカ

Web/AP

Web/AP

Web/AP

Web/AP

アプリサーバーキャッシュサーバー

決済サーバー

アプリ内課金決済

LocalLoad Balancer

引当iSCSI

マスターDB

DRBDレプリカ

HeartBeatによるHA構成

読み専用レプリカ


ゲームDBレプリカ読取り専用

ゲームDBマスタ

参照

参照

更新RDBの更新性能が全体のボトルネック

出典ソフトレイヤー活用技術資料デザインパターン6.2 読み込み専用レプリカによる負荷分散 https://gg-web.jp/document/DesignPattern/06002/index.html

課題はストレージ性能＆CPUの処理パワー



物理サーバー+高性能ストレージの効果

31

MySQLサーバーに１８億件のデータ生成して、サーバー上のバッファプール(48G)の10倍相当のデータを使って、SysbenchのOLTPテストを実施した比較結果

CPUコアを増やしても、ストレージの性能を高くしてもトランザクション性能は簡単に改善しない

ベアメタル（物理サーバー）＋Fusion ioMemory

ベアメタル＋SSD

ベアメタル＋SATA


物理サーバーにチケットから注文してFusion ioMemoryを実装可能

32

または

2Uサーバー

4Uサーバー

+

Fusion ioMemory SX-300

電源と冷却の関係で1Uサーバーには実装できないので注意

FIO SX-300 3.2TはSSDの10倍、SATAの300倍の性能

東京DCのベアメタルはSanDiskカタログ比105%の書込み性能


MySQLをSysbenchでFusionの性能を再確認

33

サーバー Xeon 2650 v3 x 2 (10core x 2) 、64GメモリSysbench条件対象データ18億レコード、８スレッド、バッファプール 48G

企業向け、読み出し多用負荷用途向け

ポータルのチケットから注文

iSCSI ストレージ

デフォルトのストレージ

（ポータルから注文）



ソーシャル・アプリやスマホ・ゲームなどの高負荷を想定したテストでも、他を引き離す結果を得ました。


エンデュランス・ストレージ (2015/3 提供開始）

34

容量性能比例型のiSCSIブロック・ストレージ、NFSサーバーのサービス

３種類の性能タイプと容量単価が設定され、SATA〜SSD並みの性能域までを提供

物理サーバーにホットスワップ機構がない課題や、仮想から物理に替えたい場合の対策

プライベートVLAN

仮想サーバー

物理サーバー

エンデュランスストレージ

同一DCのプライベートVLANから接続仮想、物理の両方から接続可能1G,10Gのリンク速度にも対応スナップショット、レプリカも追加可能

ブロックサイズ１６KでIOPS性能を提供


SoftLayer東京DCで使えるCPU

東京DCで物理サーバーを注文した場合、黄色網掛けが割当られるCPUです。

現在インテル社から出荷中のXeonのプロセッサーから割当られます。

Model GHz Core Thread Cache Art Memory Bandwidth

Xeon E3-1270 3.4 4 8 8M Sandy Bridge 21 GB/sXeon E3-1270 V2 3.5 4 8 8M Ivy Bridge 25.6 GB/sXeon E3-1270 V3 3.5 4 8 8M Haswell 25.6 GB/s


Xeon E5-2620 2.0 6 12 15M Sandy Bridge EP 42.6 GB/sXeon E5-2620 V2 2.1 6 12 15M Ivy Bridge EP 51.2 GB/sXeon E5-2620 V3 2.4 6 12 15M Haswell EP 59 GB/s


Xeon E5-2650 2.0 8 16 20MB Sandy Bridge EP 51.2 GB/sXeon E5-2650 V2 2.6 8 16 20MB Ivy Bridge EP 59.7 GB/sXeon E5-2650 V3 2.3 10 20 25MB Haswell EP 68 GB/s


Xeon E5-2690 2.9 8 16 20MB Sandy Bridge EP 51.2 GB/sXeon E5-2690 V2 3.0 10 20 25MB Ivy Bridge EP 59.7 GB/sXeon E5-2690 V3 2.6 12 24 30MB Haswell EP 68 GB/s


Xeon E7-4820 2 8 16 18MB Westmere EX -Xeon E7-4820 V2 2 8 16 16MB IvyBridgeEX 68 GB/s

4CPU専用

1CPU用

1〜2CPU用


安心の保守ネットワーク1 インターネット環境






• 5 DBサーバー


安心の保守経路• VPNクライアント、拠点接続インターネットVPNが利用可能• サーバーには、標準でパブリックとプライベートのIPアドレスが付与される• パブリック側のSSHのアクセスを禁止して、VPN接続して安全に保守できる• プライベート・ネットワークのリポジトリから更新や追加が可能

パブリックVLAN プライベートVLAN

パブリックプライマリ・サブネット

プライベートプライマリ・サブネット

プライベートサブネット

企業ネットワーク

共用VPNルーター

VPNルーター利用者機器

管理用PC

サーバーインターネット

VPNクライアント

サービス用プライベートネットワーク

ソフトウェアリポジトリ

アップデート、パッケージ追加

SSHSSH

SSH

出典ソフトレイヤー活用技術資料デザインパターン8.9 管理用ネットワークの配置 https://gg-web.jp/document/DesignPattern/08009/index.html



オブジェクト・ストレージ1 インターネット環境






• 5 DBサーバー


ユーザーの物理的に近い位置へデータ配置(キャッシュ・サーバーを利用)

オブジェクトストレージ

Web/AP

仮想サーバー

CDN

CDN

CDNにマッピングされたURLへアクセスして、近くのキャッシュからコンテンツを受け取る mpg

mpg

mpgオリジン・サーバー

キャッシュされたコンテンツ

キャッシュされたコンテンツ

大阪

東京

ムービー、音源、高精細画像、プログラムコードの配信など、一定期間にアクセス負荷が集中するものは、

オブジェクト・ストレージ＋CDNが利用可能

出典ソフトレイヤー活用技術資料デザインパターン

4.1 可用性の高いオブジェクト・ストレージの活用 https://gg-web.jp/document/DesignPattern/04001/index.html

ソフトレイヤー活用技術資料コンフィグレーションガイド5.1 動画や画像などの大容量ファイルを配信するには？ https://gg-web.jp/document/ConfigGuide/05001/index.html




まとめ

SoftLayer東京データセンター 2014年12月22日オープン–日本語サポート開始

– IXとピア接続ｘ３ DDOS対策

ロードバランサーは５種、ファイアウォールは６種から選択可能

高負荷に耐えるアプリサーバー対策–プライベート仮想サーバー、物理サーバー

–UDPパケットロスの少ないサーバー・ネットワーク

高負荷に耐えるＤＢサーバー構成–物理サーバー＋Fusion ioMemoryがチケットから注文可能

–高性能エンタープライズ向けSSD、RAID化利用は要注意

–SSDの性能に匹敵するIOPSのエンデュランス・ストレージ

安心の保守ネットワーク

–クライアントソフト＆拠点接続

可用性の高いオブジェクトストレージ＆ＣＤＮ


もっと、まとめ

ソフトレイヤーは、仮想化を使って安く早く始められます

ビジネスが拡大したら、物理サーバーに移行して、仮想サーバーが増えすぎない様にできます。

Fusion ioMemoryは、高負荷ＤＢ対策としてチューニングのコストを削減します。

通信費まで含めると、大きく差がでます。

つまり「オーナーの運用コストを削減できる」、という強みになります。


その他情報源


ソフトレイヤー活用ガイド

必要な事を即解決できる実践的な逆引きの構成ガイド

デザインパターン

コンフィグレーションガイド

ユースケース

Knowledge LayerManualsVyatta, Fortigate, NetScaler, Object Storage

Linux, Windows, TCP/IP, etc.

課題解決策実現（実装）の指南

詳細な技術知識

実ビジネスへの適用法

ソリューション

設計パターン

構成ガイド実践ガイド

ビジネスの発展で変化する課題を解決するシナリオ

読みやすく簡潔な文と図で解説する設計パターン

更に技術的に深く知りたい場合

https://gg-web.jp/document/index.html

基盤設計、構築、運用に関するSoftLayer活用のノウハウを提供するサイト

コンペに勝てる必勝アイテム ソフトレイヤー

Internet

Transcript of コンペに勝てる必勝アイテム ソフトレイヤー

コンペに勝てる必勝アイテムソフトレイヤー

Transcript of コンペに勝てる必勝アイテムソフトレイヤー