徳山 文晟 徳山 文晟 / Tokuyama Fumiaki/ Tokuyama FumiakiTwitter:@tokuhyTwitter:@tokuhy

2011/03/052011/03/05

XenServerXenServerととZFSZFSストレージでサーバ仮想化ストレージでサーバ仮想化～～ZFSZFS＆＆COMSTARCOMSTARで作るで作るIP-SANIP-SAN～～

OSC 2011 Tokyo/Spring OSC 2011 Tokyo/Spring 自宅自宅SANSAN友の会友の会

2

アジェンダ 自己紹介 XenServerとZFSなわけ ZFSでストレージサーバ

ZFSいろいろ COMSTAR OS紹介 XenServerとZFSストレージの活用事例

3

自己紹介

➢Japan OpenSolaris Users Group➢自宅SAN友の会

氏名氏名 徳山 文晟 / Tokuyama FumiakiTwitter:@tokuhy

Webサイト/サービス開発会社のインフラ部員サーバの保守運用/社内ネットワーク保守運用

グループ社内のなんでも屋的に色々広く浅く・・・

お仕事お仕事

コミュニティコミュニティ

興味興味 自作PC関連とかおうちのストレージも自作

4

XenServerとZFSストレージでサーバ仮想化

社内の仮想化環境

ハイパーバイザ：XenServer共有ストレージ：ZFS & iSCSIストレージ(OpenSolaris)

5

XenServerとZFSストレージでサーバ仮想化

なんでXenServer？

6

XenServer サーバ仮想化にXenServerを使用

KVMはまだ実績と情報が少なかった(と思う) 無償で使える

● とりあえず無償で実際に試してみたかった 管理ツールがある(XenCenter) 無償でライブマイグレーションができる

7

XenServerとZFSストレージでサーバ仮想化

なんでZFS & iSCSI？

8

ZFS＆iSCSI(COMSTAR)で作るIP-SAN

SANベースのスナップショットによるバックアップでもエンタープライズのストレージは

(お試しで使ってみるには)高い

なければ作れば作ればいいじゃない(￣ー￣)

9

ZFS＆iSCSI(COMSTAR)で作るIP-SAN

iSCSIなら既存のネットワークの延長で簡単に作れる

バックアップどうする？

ZFSってやつのスナップショット機能がすごいらしい

しかもファイルシステムでiSCSIの機能がある！(※当時のZFSの話。今はない。)

10

ZFS＆iSCSI(COMSTAR)で作るIP-SAN

ZFSを仮想化共有ストレージとして使う場合・・・ VMイメージまるごとバックアップ 複数世代スナップショットで増分バックアップ(後述) 別サーバへ増分転送(後述)

簡単＆らくちん＼(^o^)／

動機はこんな感じです。スイマセン・・・言う程簡単じゃなかったです・・・

11

ZFSでストレージサーバ

ZFS概要

12

ZFSでストレージサーバ ストレージサーバとして必要な機能が豊富

拡張性

堅牢性

性能 管理性

機能

単体ノードで考える場合のファイルシステムとしては最強レベル(エンタープライズレベルでの動作実績的な意味で)

Sun Storage 7000シリーズもZFS(OpenSolarisベース)

13

ZFSでストレージサーバ

1.拡張性

14

ZFSでストレージサーバ vol.1 / 拡張性 ストレージプール

ディスクを束ねてプールを作成● ディスクサイズがいくらでも関係なく一瞬で作成可能

プールから必要サイズのボリューム/ファイルシステムの切り出し

あとからディスクの追加による拡張可● ただし制限あり

128ビットファイルシステム ZFSの「Z」はZetta-bytes(10 億TB) のZの意味も 実際はもっといける(1000兆Zetta-bytes)

15

ZFSでストレージサーバ

2.堅牢性

16

ZFSでストレージサーバ vol.2 / 堅牢性 ファイルシステムでRAID機能を提供

ストライプ(RAID0)、ミラー(RAID1) RAID-Z(シングルパリティ→機能拡張されたRAID5) RAID-Z2(ダブルパリティ→機能拡張されたRAID6) RAID-Z3(トリプルパリティ)

● write-holeの排除 RAIDの組み合わせももちろん可能

● RAID10、RAID-Z+RAID0(≒RAID50)、RAID-Z2+RAID0(≒RAID60) ディスク障害時のRAID再構築

使用中の部分のみの同期● ハードウェアRAIDに比べ縮退状態の時間短縮

ファイルシステムにRAID機能があるので使用されている部分が把握されている

17

ZFSでストレージサーバ vol.2 / 堅牢性 トランザクションベースの書き込み時コピー

Copy-On-Write 古いデータか新しいデータのどちらかが保証される

エンド・ツー・エンドのツリー構造のチェックサム データのエラーを自己修復 全データに対して任意のタイミングでエラーチェッ

クをかけることが可能(scrub)● I/Oが発生しているときは優先度が下げられて実行される

18

ZFSでストレージサーバ

3.管理性

19

ZFSでストレージサーバ vol.3 / 管理性 管理コマンドは2個だけ！

zpoolコマンド、zfsコマンド1.zpoolコマンドでディスクを束ねてプール構築2.zfsコマンドでプールからファイルシステムの切り出し3.必要があればプロパティの設定(zfs set)

容量の設定や制限(quota)もプロパティ値で 作成されたプールを別マシンへそのまま移動可

export、import

20

ZFSでストレージサーバ

4.機能

21

ZFSでストレージサーバ vol.4 / 機能 NASとしての機能

ファイルシステムレベルで実装 NFS/CIFS

データ保全としての機能 複数世代のスナップショット

● リモートへの増分転送 クローン

容量節約の機能 疎ボリューム 圧縮 重複排除(dedup)

22

ZFSでストレージサーバ

5.性能

23

ZFSでストレージサーバ vol.5 / 性能 ハイブリッドストレージ

DRAM、SSDなどIOPSに優れたデバイスを利用可能● ログデバイス(ZIL)● キャシュデバイス(ARC&L2ARC)

同数のディスク構成なら15k rpmのSASのディスク並べるより、5400rpmのSATAディスクとSSDの組み合わせの方がIOPS、容量、TBコスト全てで上回る

24

ZFSでストレージサーバ vol.6 / ハードウェア 高機能だが性能を引き出すには見合った環境が必要特にCPUとメモリは重要

CPU：コアあたりの処理性能、コア数 メインメモリ：あるだけ使うので多いほどよい 同期書き込み用にNVRAMかSSDをZILに

非力なCPU、メモリ過少な環境で重いとか遅いというのはちょっと違う

25

ZFSでストレージサーバ

COMSTAR

26

COMSTARとは vol.1 iSCSIでIP-SANの構築

ZFS自体にはiSCSIの機能はない(昔はあった)

(Open)SolarisのOS/NetというON(kernel)が提供

COMSTARCOMSTAR(COmmon Multiprotocol SCSI TARget )

27

COMSTARとは vol.2 Kernel modeで動作する

以前のOpenSolarisではZFSにiSCSIの機能があった● shareiscsiプロパティでの実装はユーザーランド(廃止)

●COMSTARが使えるのは(Open)Solarisだけ！●ソフトウェア実装なので専用ハードウェア不要●FCoEも可能

カーネルモードで動作するので処理性能が高い

28

ZFSでストレージサーバ

ZFS & COMSTARなOS

29

ZFS＆COMSTARなOS達 OpenSolaris 2009.06

最後のOpenSolaris(ディストリビューション的な意味で) OpenIndiana

もうすぐ安定版リリースがある・・・はず Oracle Solaris 11 Express

現時点で最新のZFSが使える Solaris 11

リリースはまだ先 NexentaStor

Nexenta(Ubuntuユーザランド)をストレージアプライアンス用に特化させたOS

GUIでストレージの設定が可能

30

XenServerとZFSストレージでサーバ仮想化

活用事例

31

お断り

ここで紹介する構成については以下の点にご注意の上、あくまで一例としてご覧ください

●自分で責任の取れる範囲での運用が前提●動作保証が第三者から保証されているものではない●障害発生時にリカバリする手段がある(バックアップ)●動くからといってそのままエンタープライズレベルの環境にあてはめることができるものではない

32

ZFSストレージの活用事例 No.1 Windowsエクセルマクロ処理専用

OpenSolaris 2009.06 SambaによるWindows共有サーバ兼用 WindowsXP x4 /台　4ホスト

● Core-i7のPCサーバ Supermicroのカスタムストレージ

● 最初は自作パーツでAthlon使ってました● Intel SSD X25-MをZILに使用

バックアップ● ボリューム単位でスナップショット● zfs sendで別サーバへコピー

33

ZFSストレージの活用事例 No.2 メールサーバ

OpenSolaris 2009.06 Supermicroのカスタムストレージ 1ホストで6台のメールサーバ他

● X25-VをZIL、X25-MをL2ARCに バックアップは事例1と同じ

34

ZFSストレージの活用事例 No.3 社内開発環境の仮想化

NexentaStor Community Edition 3.0.3 Opteronな自作サーバとかPowerEdge1950とか 雑多なサーバをひとまとめ(12,3台ぐらい)

● 開発ソースサーバ● Wikiサーバ● テストサーバ● メールサーバ● 検証用サーバ

バックアップ● やっぱりスナップショットと増分転送

35

ZFSストレージの活用事例 No.4 Windows PCのドライブ

NexentaStor Community Edition 3.0.4 AthlonⅡ 605e 4core 2.3GHz(TDP 45W) メモリ4GB

● ACアダプタ駆動の静音＆省電力サーバ● 同期書き込み無効(syncプロパティ)

更新少ないのでパフォーマンス ＞ 安全性 このレベルのマシンでも十分な性能

Windows7のドライブとしてマウント● 動画データ、音楽データなどの倉庫

36

参考リンク等 ZFSの情報(ZFSについて知りたい人必読)

オラクルエンジニア通信のセミナー資料http://blogs.oracle.com/oracle4engineer/material/product/solaris/

自分のブログ(ZFSとかCOMSTARとか) tokuhy's fractionhttp://d.hatena.ne.jp/tokuhy/

Twitter(@tokuhy) http://d.hatena.ne.jp/tokuhy/

自宅SAN友の会 http://sites.google.com/site/jitakusan/

37

参考リンク等 OpenIndiana

http://openindiana.org/ Nexenta

http://www.nexenta.com/corp/ NexentaStor

http://www.nexentastor.org/ Oracle Solaris 11 Express

http://www.oracle.com/technetwork/jp/server-storage/solaris11/overview/index.html

38

参考リンク等 COMSTARについて

COMSTAR Administration● http://wikis.sun.com/display/OpenSolarisInfo200906/COMSTA

R+Administration OpenSolaris勉強会 2010.04 for Admin(仮) COMSTARでiSCSI(OpenSolaris 2009.06ベースなので一部情報古い)

● http://docs.google.com/present/view?id=dpdpddx_4dnvjv7c9 前回のOSCでの資料(@satokazさん)

● https://groups.google.com/group/stomo/web/osol_comstar_20100522.pdf?hl=ja&hl=ja

39

ということで

最後に

40

メンバー募集中

僕と契約して自宅SAN友の会のメンバーになってよ！

41

おわり

ご静聴ありがとうございました