導入運用手引書 -...

J2UL-2101-02Z0(01)2016年7月

Linux

FUJITSU SoftwarePRIMECLUSTER

導入運用手引書 4.4

はじめに

本書は、PRIMECLUSTERを使用する際に、起点としてご使用頂きたいマニュアルです。

PRIMECLUSTERシステムの導入から運用管理までの一連の流れ/操作について説明しております。PRIMECLUSTERシステムは複

数の機能から構成されていることから、本書以外にも機能ごとに複数のマニュアルが存在しますが、操作上必要な機能固有の情報に

ついては本書から各関連マニュアルをポイント参照しているため、まず本書を参照することで一連の操作が可能となります。

また、本書では、PRIMECLUSTERシステムに対応した製品の機能概要、および操作手順についても説明しております。

なお、本書ではPRIMECLUSTERの基本パターンについて記載しております。記載されていないパターンについては、関連マニュア

ルを参照してください。

PRIMECLUSTERシステムの導入から運用管理を始めるまでの流れと本書の参照先の関係は以下のとおりです。

PRIMECLUSTERシステム導入から運用管理までの流れ

PRIMECLUSTERシステム運用の流れ本書の参照先

1.PRIMECLUSTERシステムの構築の流れを理解し、

PRIMECLUSTERシステムの設計をする。

第1部導入準備編

2.PRIMECLUSTERシステムを新規に導入する。第2部導入編

3.PRIMECLUSTERシステムの運用状態を監視する。第3部運用編

4.PRIMECLUSTERシステムの運用開始後、システムの構成

などを変更する。

第4部システム構成変更編

5.PRIMECLUSTERシステムの保守を行う。第5部保守編

詳細な手順の説明については、各部の該当箇所に参照マニュアル名を明記しますので、そちらを参照してください。

本書の読者

本書はPRIMECLUSTER 4.4を使用して、クラスタシステムの導入・運用管理を行う、すべてのユーザと、PRIMECLUSTER上にアプリ

ケーションを作成するプログラマを対象にしています。

本書について

本書は5部と付録、用語集で構成されています。各部の内容は以下のとおりです。

第1部導入準備編

対象:PRIMECLUSTERシステムを構築するシステム管理者

内容:PRIMECLUSTERシステムの導入から運用までの全体の作業の流れを説明します。

第2部導入編


内容:ソフトウェアのインストール、クラスタの構築、アプリケーション構築までの操作について説明します。

第3部運用編

対象:システムを運用管理するシステム管理者

内容:PRIMECLUSTERシステムの監視方法、異常の原因を調査する方法などを説明します。



内容:PRIMECLUSTERシステム構成の追加、変更、削除を行う場合に必要な作業について説明します。

第5部保守編


内容:PRIMECLUSTERシステム動作環境の保守を行う場合に必要な作業について説明します。

付録A PRIMECLUSTER対応製品

対象: PRIMECLUSTERシステム上でPRIMECLUSTER対応製品を動作させるユーザ

内容: PRIMECLUSTERシステムに対応した製品の一覧を記載します。

- i -

付録B マニュアルページ

対象:PRIMECLUSTERシステムを使用する、すべてのユーザ

内容:PRIMECLUSTERシステムの各機能で使用するオンラインマニュアルページについて説明します。

付録C トラブルシューティング


内容:PRIMECLUSTERシステムでトラブルが発生した場合の対処法を説明します。

トラブル調査を依頼する際のデータの採取方法について説明します。

付録D PRIMECLUSTER対応製品用の状態遷移プロシジャリソースの登録/変更/削除

対象:PRIMECLUSTER対応製品用リソースを使用する、すべてのユーザ

内容:クラスタアプリケーションでプロシジャリソースを使用する場合のプロシジャリソースの登録/変更/削除方法について説明しま

す。

付録E シャットダウンエージェント設定更新機能


内容:シャットダウンエージェント設定更新機能について説明します。

付録F KVM環境でPRIMECLUSTERを使用する場合

対象:KVM環境でPRIMECLUSTERシステムを使用する、すべてのユーザ

内容:KVM環境でPRIMECLUSTERシステムを使用する場合の導入手順について説明します。

付録G KVM環境でマイグレーション機能を使用する場合

対象:KVM環境でマイグレーション機能を使用する、すべてのユーザ

内容:KVM環境でマイグレーション機能を使用する場合の手順について説明します。

付録H VMware環境でPRIMECLUSTERを使用する場合

対象:VMware環境でPRIMECLUSTERシステムを使用する、すべてのユーザ

内容:VMware環境でPRIMECLUSTERシステムを使用する場合の導入手順について説明します。

付録I PRIMECLUSTERの起動スクリプト/起動デーモンとポート番号


内容:PRIMECLUSTERが起動するスクリプトとデーモン、使用するポート番号について説明します。

付録J PRIMECLUSTERのsystemdサービス/起動デーモンとポート番号


内容:PRIMECLUSTERが起動するsystemdサービスとデーモン、使用するポート番号について説明します。

付録K Firewallを使用する場合


内容:PRIMECLUSTERシステムでFirewallを使用する場合について説明します。

付録L クラスタシステム環境をクローニングする場合

対象:PRIMECLUSTERシステム環境をクローニングするシステム管理者

内容:PRIMECLUSTERシステム環境でクローニングを行う場合の手順について説明します。

付録M バージョン毎の変更点

対象:PRIMECLUSTER 4.0A20、4.1A20、4.1A30、4.2A00、4.2A30、4.3A00、4.3A10、4.3A20、4.3A30、または4.3A40を使用して

いた、すべてのユーザ

内容:PRIMECLUSTER 4.4A00の仕様変更点について説明します。

付録N リリース情報


内容:本マニュアルの主な変更内容について説明します。

用語集


内容:PRIMECLUSTERシステムの用語について説明します。

- ii -

関連マニュアル

以下のマニュアルはクラスタ設定を行う際に必要に応じて参照してください。

・ PRIMECLUSTER コンセプトガイド

・ PRIMECLUSTER 導入運用手引書＜FUJITSU Cloud Service K5 環境編＞

・ PRIMECLUSTER Cluster Foundation 導入運用手引書

・ PRIMECLUSTER RMS 導入運用手引書

・ PRIMECLUSTER Global Disk Services 説明書

・ PRIMECLUSTER Global File Services 説明書

・ PRIMECLUSTER Global Link Services 説明書（伝送路二重化機能編）

・ PRIMECLUSTER Web-Based Admin View 操作手引書

・ PRIMECLUSTER 活用ガイド＜トラブルシューティング編＞

・ PRIMECLUSTER 活用ガイド＜メッセージ集＞

・ PRIMECLUSTER 活用ガイド＜コマンドリファレンス編＞

・ PRIMECLUSTER Wizard for Oracle 導入運用手引書

・ FJQSS (資料採取ツール) ユーザーズガイド

・ Interstage Application Server リファレンスマニュアル（コマンド編）

・ Interstage Application Server 運用ガイド

・ Symfoware Server スタートガイドサーバ編

・ Symfoware Server クラスタ導入運用ガイド

・ Symfoware Server RDBユーザーズガイドデータベース定義編

・ PRIMEQUEST 1000 シリーズユーザーインターフェース操作説明書

・ PRIMEQUEST 1000 シリーズメッセージリファレンス

・ PRIMEQUEST 1000 シリーズ運用管理ツールリファレンス

・ PRIMEQUEST 1000 シリーズ導入マニュアル

・ PRIMEQUEST 1000 シリーズ運用管理マニュアル

・ PRIMEQUEST 1000 シリーズ ServerView Mission Critical Option ユーザマニュアル

・ PRIMEQUEST 1000 シリーズ HBA閉塞機能説明書

・ PRIMEQUEST 2000 シリーズ運用管理ツールリファレンス

・ PRIMEQUEST 2000 シリーズ導入マニュアル

・ PRIMEQUEST 2000 シリーズ ServerView Mission Critical Option ユーザマニュアル

・ PRIMEQUEST 2000 シリーズ HBA閉塞機能説明書

注意

PRIMECLUSTERの関連ドキュメントには上記マニュアル以外に以下のドキュメントがあります。

・ PRIMECLUSTER ソフトウェア説明書/インストールガイド

PRIMECLUSTERの各製品に添付されるソフトウェア説明書およびインストールガイドです。

データは各製品の“DVD”に格納されています。また、ファイル名については、「製品のご案内」を参照ください。

- iii -

マニュアルの体系

マニュアルの印刷について

マニュアルの印刷をする場合には、PRIMECLUSTER製品用DVDの中に入っているPDFファイルを利用してください。PDFファイル名

とマニュアルとの関係については、製品に添付されているPRIMECLUSTERのソフトウェア説明書を参照してください。

PDFファイルの参照・印刷には、Adobe Readerが必要です。Adobe Readerの入手方法については、Adobe Systems Incorporated. (アド

ビシステムズ社)のホームページを参照してください。

オンラインマニュアルについて

オンラインマニュアルを参照するためには、クラスタ管理サーバでユーザ名をwvroot、clroot、cladmin、clmonのいずれかのユーザグ

ループに登録してください。

- iv -

ユーザグループの登録の方法、ユーザグループの意味については、“4.3.1 クラスタを管理するユーザの作成”を参照してください。

本書の表記について

表記

プロンプト

実行にシステム管理者（ルート）権限が必要なコマンドライン例の場合、先頭にシステム管理者プロンプトを示すハッシュ記号(#)が付いています。システム管理者権限を必要としないエントリの場合、先頭にドル($)が付いています。

マニュアルページのセクション番号

Linux(R)オペレーティングシステムコマンドの後ろにマニュアルページのセクション番号が括弧付きで示されています。―例:cp(1)

キーボード

印字されない文字のキーストロークは、＜Enter＞や＜F1＞などのキーアイコンで表示されます。たとえば、＜Enter＞はEnterというラベルの付いたキーを押すことを意味し、＜Ctrl＞+＜B＞は、CtrlまたはControlというラベルの付いたキーを押しながら＜

B＞キーを押すことを意味します。

書体／記号

以下の書体は特定要素の強調に使用されます。

書体 / 記号使用方法

均等幅コンピュータ出力、およびプログラムリスト：テキスト本文中のコマンド、ファイル

名、マニュアルページ名、他のリテラルプログラミング項目

斜体, <斜体> 具体的な数値/文字列に置き換える必要のある変数 ―入力値―

<均等幅> 具体的な数値/文字列に置き換える必要のある変数 ―表示値―

太字記述どおりに入力する必要のあるコマンドライン項目

“均等幅” 参照先のタイトル名、マニュアル名、画面名等

[均等幅] ツールバー名、メニュー名、コマンド名、アイコン名

＜均等幅＞ボタン名

例1.

以下に/etc/passwdファイルのエントリの一部を示します。

root:x:0:0:root:/root:/bin/bash

bin:x:1:1:bin:/bin:/bin/bash

daemon:x:2:2:daemon:/sbin:/bin/bash

lp:x:4:7:lp daemon:/var/spool/lpd:/bin/bash

例2.

cat(1)コマンドでファイルの内容を表示するには、以下のコマンドラインを入力します。

$ cat ファイル名

記号

特に注意すべき事項の前には以下の記号が付いています。

ポイント

ポイントとなる内容について説明します。

- v -

注意

注意する項目について説明します。

例

例題を用いて説明します。

参考

参考となる内容を説明します。

参照

参照するマニュアル名などを説明します。

略称

－ Red Hat Enterprise Linux をRHELと略しています。

－ Red Hat Enterprise Linux AS をRHEL-ASと略しています。

－ RHEL、RHEL-ASを総称してLinux(R)と表記しています。

－ VMware(R) ESXi(TM) をESXiと略しています。

－ VMware vSphere(R) をVMware vSphereと略しています。

－ VMware vSphere(R) High Availability をVMware HAと略しています。

－ VMware vSphere(R) Fault Tolerance をVMware FTと略しています。

－ VMware vSphere(R) Distributed Resource Scheduler(TM)をVMware DRSと略しています。

－ VMware vSphere(R) Distributed Power Management(TM) をVMware DPMと略しています。

－ VMware vSphere(R) vMotion(R)をVMware vMotionと略しています。

－ VMware vSphere(R) Storage vMotion(R)をVMware Storage vMotionと略しています。

－ VMware(R) vCenter(TM) Converter(TM)をVMware vCenter Converterと略しています。

－ PRIMEQUEST 2000/1000 シリーズをPRIMEQUESTと略しています。

輸出管理規制について

本ドキュメントを輸出または第三者へ提供する場合は、お客様が居住する国および米国輸出管理関連法規等の規制をご確認のうえ、

必要な手続きをおとりください。

商標について

Red Hat は米国およびそのほかの国において登録されたRed Hat, Inc. の商標です。

Linux は、Linus Torvalds 氏の登録商標です。

Oracle とJava は、Oracle Corporation およびその子会社、関連会社の米国およびその他の国における登録商標です。文中の社名、

商品名等は各社の商標または登録商標である場合があります。

Microsoft、WindowsおよびInternet Explorerは、米国Microsoft Corporationの米国およびその他の国における登録商標です。

CORBA,OMG,ORBはオブジェクト・マネージメント・グループ(OMG)の登録商標です。

- vi -

NetWorkerは、米国およびその他の国におけるEMC Corporation の商標または登録商標です。

VMware は、米国およびその他の地域における VMware,Inc の登録商標または商標です。

Symfoware は、富士通株式会社の登録商標です。

ioMemoryは、Fusion-io, Inc.の米国およびその他の国における商標または登録商標です。

PRIMECLUSTERは、富士通株式会社の登録商標です。

その他各種製品名は、各社の製品名称、商標または登録商標です。

お願い

・本書を無断で他に転載しないようお願いします。

・本書は予告なしに変更されることがあります。

出版年月および版数

2016年4月初版

2016年6月第2版

2016年7月第2.1版

著作権表示

All Rights Reserved, Copyright (C) 富士通株式会社 2016

変更履歴

追加・変更内容変更箇所版数

/etc/kdump.confのkdump_postについての注意を追加しま

した。

3.3 PRIMECLUSTERのインストール第2.1版

bondingデバイスをクラスタインタコネクトに使用する場合

の注意事項を追加しました。

5.1.1 CF、CIPの設定

シャットダウン機構起動後に、"sdtool -s"を実行した場合

および、MMB非同期監視デーモンの初回起動時の注意

事項を追加しました。

5.1.2.4.6 シャットダウン機構の起動

userApplicationの名前に関する注意事項を追加しました。 6.7.2 userApplicationの設定

userApplicationに登録できるスクリプトについて参考を追

加しました。

6.7.2.1 スタンバイ運用のクラスタアプリケーション

作成

StopCommandsにnoneを設定した場合の注意を追加しま

した。

6.7.3.1 Cmdlineリソースの設定

「Check スクリプトのタイムアウトについて」の説明を追加し

ました。

6.11.2.2.4 Check スクリプトのタイムアウトについて

注意事項に、保守モードに関するuserApplicationオブジェ

クトの状態アイコンを追加しました。

7.1.3.1 RMSツリー

障害が発生したリソースの対処に、リソースの故障形跡の

クリアの手順を追加しました。

7.4.1.2 障害が発生したリソースの対処

Dynamic Reconfigurationによる減設手順を追加しました。 8.1.2.3 Dynamic Reconfigurationによる減設

RHEL7の場合の実行例を変更しました。 9.2.1 業務LANのIPアドレスの変更

9.2.2 管理LANのIPアドレスの変更

すべてのuserApplicationを削除した場合の注意を追加し

ました。

10.2.2 userApplicationの削除

- vii -

追加・変更内容変更箇所版数

スタンバイ運用のクラスタアプリケーションの変更の場合

の変更する内容に、リソース名に使用される識別子を追

加しました。

10.3 クラスタアプリケーションの変更

状態遷移プロシジャの起動優先度の変更手順を変更しま

した。

D.2.2 状態遷移プロシジャの起動優先度の変更

プロシジャリソースの登録情報の変更手順を変更しまし

た。

D.2.3 プロシジャリソースの登録情報の変更

プロシジャリソースの登録情報を変更する場合の注意を

追加しました。


仮想マシンハードウェアに対するホット変更についての注

意事項を追加しました。

H.1 VMware環境でのクラスタシステム

VMware vSphere の導入の仮想ネットワークの設定の説

明を変更しました。

H.2.1.1 関連ソフトウェアのインストールと設定

/etc/rc3.dに以下を追加しました。

・S05poffinhibit・S07cllkcd・S27SMAWsfex

I.2 起動スクリプト一覧

S13SMAWsfの使用ポートを変更しました。 I.2 起動スクリプト一覧

smawsf.serviceの使用ポートを変更しました。 J.2 systemdサービス一覧

poffinhibit.serviceを追加しました J.2 systemdサービス一覧

共用ディスクリソースの削除手順を変更しました。 L.3.4 GDSの構成情報のリストア

hvshutコマンドの変更点の記載を変更しました。付録M バージョン毎の変更点

- viii -

目　次

第1部導入準備編..................................................................................................................................................................... 1

第1章構築の流れ..................................................................................................................................................................... 21.1 設計..................................................................................................................................................................................................... 21.2 導入..................................................................................................................................................................................................... 31.3 開発..................................................................................................................................................................................................... 51.4 テスト.................................................................................................................................................................................................... 51.5 運用と保守...........................................................................................................................................................................................91.6 クラスタシステムの運用形態の変更................................................................................................................................................... 91.7 システム構築時の注意点....................................................................................................................................................................9

1.7.1 PRIMERGY/PRIMEQUEST 共通の注意点...............................................................................................................................91.7.2 PRIMERGY の場合の注意点................................................................................................................................................... 121.7.3 PRIMEQUEST の場合の注意点...............................................................................................................................................121.7.4 仮想マシン機能を使用したクラスタシステム構築時の注意点................................................................................................. 12

第2章設計.............................................................................................................................................................................. 142.1 PRIMECLUSTER製品の選定..........................................................................................................................................................14

2.1.1 製品の選定.................................................................................................................................................................................142.1.2 機能の確認.................................................................................................................................................................................15

2.2 システム設計..................................................................................................................................................................................... 152.2.1 仮想マシン機能..........................................................................................................................................................................16

2.3 クラスタシステムの運用形態の決定................................................................................................................................................. 292.3.1 スタンバイ運用............................................................................................................................................................................302.3.2 スケーラブル運用.......................................................................................................................................................................352.3.3 シングルノードクラスタ運用........................................................................................................................................................37

2.4 Web-Based Admin View運用形態の決定....................................................................................................................................... 402.5 クラスタアプリケーションのフェイルオーバするタイミングの設定.................................................................................................... 42

第2部導入編...........................................................................................................................................................................44

第3章ソフトウェアのインストールと設定....................................................................................................................................453.1 仮想マシン機能を使用しない場合...................................................................................................................................................45

3.1.1 ネットワークの設定..................................................................................................................................................................... 463.1.2 NTPの設定................................................................................................................................................................................. 463.1.3 ディスク装置の設定....................................................................................................................................................................473.1.4 ServerViewによるハードウェア監視の設定...............................................................................................................................473.1.5 PRIMECLUSTERインストール.................................................................................................................................................. 473.1.6 クラスタ高速切替機能の設定.................................................................................................................................................... 47

3.1.6.1 PRIMERGYの場合............................................................................................................................................................. 473.1.6.2 PRIMEQUESTの場合.........................................................................................................................................................50

3.1.7 カーネルパラメタの確認/設定....................................................................................................................................................533.1.8 アプリケーションのインストールと設定....................................................................................................................................... 56

3.2 仮想マシン機能を使用する場合...................................................................................................................................................... 563.2.1 1つの管理OS上のゲストOS間でクラスタシステムを構築する場合.......................................................................................... 56

3.2.1.1 管理OSの設定（ゲストOSのOSインストール前）................................................................................................................. 573.2.1.2 管理OSの設定（ゲストOSのOSインストール後）................................................................................................................. 583.2.1.3 ゲストOSの設定................................................................................................................................................................... 613.2.1.4 NTPの設定（管理OS/ゲストOS）......................................................................................................................................... 613.2.1.5 ゲストOSへのPRIMECLUSTERのインストール................................................................................................................. 623.2.1.6 カーネルパラメタの確認/設定.............................................................................................................................................623.2.1.7 アプリケーションのインストールと設定................................................................................................................................ 62

3.2.2 管理OS異常切替機能を使用せず複数の管理OS上のゲストOS間でクラスタシステムを構築する場合................................623.2.2.1 管理OSの設定（ゲストOSのOSインストール前）................................................................................................................. 633.2.2.2 管理OSの設定（ゲストOSのOSインストール後）................................................................................................................. 633.2.2.3 ゲストOSの設定................................................................................................................................................................... 66

- ix -

3.2.2.4 NTPの設定（管理OS/ゲストOS）......................................................................................................................................... 673.2.2.5 ゲストOSへのPRIMECLUSTERのインストール................................................................................................................. 673.2.2.6 カーネルパラメタの確認/設定.............................................................................................................................................673.2.2.7 アプリケーションのインストールと設定................................................................................................................................ 67

3.2.3 管理OS異常切替機能を使用して複数の管理OS上のゲストOS間でクラスタシステムを構築する場合................................. 683.2.3.1 ソフトウェアのインストールと設定(管理OS)........................................................................................................................ 68

3.2.3.1.1 ネットワークの設定....................................................................................................................................................... 683.2.3.1.2 NTPの設定................................................................................................................................................................... 693.2.3.1.3 管理OSの設定（ゲストOSのOSインストール前）.......................................................................................................... 693.2.3.1.4 管理OSの設定（ゲストOSのOSインストール後）.......................................................................................................... 693.2.3.1.5 管理OSへのPRIMECLUSTERのインストール............................................................................................................723.2.3.1.6 クラスタ高速切替機能の設定...................................................................................................................................... 723.2.3.1.7 カーネルパラメタの確認/設定......................................................................................................................................72

3.2.3.2 クラスタ構築の準備(管理OS)............................................................................................................................................. 733.2.3.3 クラスタの構築(管理OS)..................................................................................................................................................... 733.2.3.4 ソフトウェアのインストールと設定(ゲストOS).......................................................................................................................73

3.2.3.4.1 ゲストOSの設定............................................................................................................................................................ 733.2.3.4.2 NTPの設定(ゲストOS)..................................................................................................................................................743.2.3.4.3 ゲストOSへのPRIMECLUSTERのインストール.......................................................................................................... 743.2.3.4.4 カーネルパラメタの確認/設定......................................................................................................................................753.2.3.4.5 アプリケーションのインストールと設定......................................................................................................................... 75

3.2.3.5 クラスタ構築の準備(ゲストOS)............................................................................................................................................ 753.2.3.6 クラスタの構築(ゲストOS).................................................................................................................................................... 753.2.3.7 クラスタアプリケーションの構築(ゲストOS)......................................................................................................................... 75

3.3 PRIMECLUSTERのインストール......................................................................................................................................................763.4 アプリケーションのインストールと環境設定...................................................................................................................................... 77

第4章クラスタ構築の準備........................................................................................................................................................784.1 クラスタ用デザインシートの確認.......................................................................................................................................................794.2 クラスタインタコネクトの活性化......................................................................................................................................................... 794.3 Web-Based Admin View画面の起動準備....................................................................................................................................... 79

4.3.1 クラスタを管理するユーザの作成.............................................................................................................................................. 804.3.2 クライアント環境の準備.............................................................................................................................................................. 814.3.3 Web-Based Admin Viewの初期設定........................................................................................................................................ 81

4.3.3.1 運用管理サーバの初期設定..............................................................................................................................................814.3.3.2 Web-Based Admin Viewの起動確認................................................................................................................................. 824.3.3.3 Web-Based Admin View の言語設定................................................................................................................................ 83

4.3.4 ブラウザの設定...........................................................................................................................................................................834.3.5 Java Plug-inの設定.....................................................................................................................................................................84

4.4 Web-Based Admin View画面の起動............................................................................................................................................... 844.5 Web-Based Admin View画面........................................................................................................................................................... 86

4.5.1 操作メニューの機能................................................................................................................................................................... 864.5.2 Global Cluster Servicesメニューの機能..................................................................................................................................... 894.5.3 Cluster Adminの機能................................................................................................................................................................. 89

4.6 Web-Based Admin View画面の終了............................................................................................................................................... 90

第5章クラスタの構築...............................................................................................................................................................925.1 クラスタの初期設定........................................................................................................................................................................... 92

5.1.1 CF、CIPの設定...........................................................................................................................................................................935.1.2 シャットダウン機構の設定.......................................................................................................................................................... 95

5.1.2.1 生存優先度 ........................................................................................................................................................................ 965.1.2.2 シャットダウン機構の設定の流れ......................................................................................................................................100

5.1.2.2.1 PRIMERGY RX/TXシリーズでの設定の流れ..........................................................................................................1005.1.2.2.2 PRIMERGY BXシリーズでの設定の流れ................................................................................................................ 1015.1.2.2.3 PRIMEQUESTでの設定の流れ................................................................................................................................ 1015.1.2.2.4 仮想マシン環境での設定の流れ.............................................................................................................................. 101

5.1.2.3 PRIMERGYでのシャットダウン機構の設定手順............................................................................................................. 1025.1.2.3.1 シャットダウンエージェントの情報確認......................................................................................................................102

- x -

5.1.2.3.2 シャットダウンデーモンの設定................................................................................................................................... 1035.1.2.3.3 IPMIシャットダウンエージェントの設定..................................................................................................................... 1045.1.2.3.4 Bladeシャットダウンエージェントの設定.....................................................................................................................1065.1.2.3.5 kdumpシャットダウンエージェントの設定...................................................................................................................1085.1.2.3.6 シャットダウン機構の起動.......................................................................................................................................... 1095.1.2.3.7 クラスタノード強制停止テスト..................................................................................................................................... 109

5.1.2.4 PRIMEQUESTでのシャットダウン機構の設定手順.........................................................................................................1095.1.2.4.1 シャットダウンエージェントの情報確認......................................................................................................................1105.1.2.4.2 MMBシャットダウンエージェントの設定.................................................................................................................... 1105.1.2.4.3 シャットダウンデーモンの設定................................................................................................................................... 1115.1.2.4.4 MMB非同期監視デーモンの起動............................................................................................................................1125.1.2.4.5 I/O完了待ち時間の設定............................................................................................................................................1125.1.2.4.6 シャットダウン機構の起動.......................................................................................................................................... 1125.1.2.4.7 クラスタノード強制停止テスト..................................................................................................................................... 115

5.1.2.5 仮想マシン環境でのシャットダウン機構の設定手順....................................................................................................... 1155.1.2.5.1 シャットダウンエージェントの情報確認......................................................................................................................1155.1.2.5.2 libvirtシャットダウンエージェントの設定.................................................................................................................... 1165.1.2.5.3 vmchkhostシャットダウンエージェントの設定............................................................................................................ 1175.1.2.5.4 シャットダウンデーモンの設定................................................................................................................................... 1185.1.2.5.5 シャットダウン機構の起動.......................................................................................................................................... 1195.1.2.5.6 管理OSへの管理OS異常切替機能の設定(PRIMEQUESTのみ)........................................................................... 1205.1.2.5.7 クラスタノード強制停止テスト..................................................................................................................................... 122

5.1.3 クラスタリソース管理機構の初期設定..................................................................................................................................... 1225.1.3.1 初期構成設定................................................................................................................................................................... 1235.1.3.2 ハードウェア装置の登録...................................................................................................................................................125

5.2 故障リソース特定とオペレータ介入要求の設定............................................................................................................................130

第6章クラスタアプリケーションの構築.................................................................................................................................... 1326.1 RMSの初期設定............................................................................................................................................................................. 1336.2 GLSの初期設定.............................................................................................................................................................................. 134

6.2.1 GLSの設定............................................................................................................................................................................... 1346.2.2 GLS使用時のWeb-Based Admin Viewの設定.......................................................................................................................138

6.3 GDSの構成設定..............................................................................................................................................................................1386.3.1 システムディスクのミラー設定.................................................................................................................................................. 1396.3.2 共用ディスクの設定..................................................................................................................................................................145

6.4 GFSの初期設定.............................................................................................................................................................................. 1536.4.1 ファイルシステムの作成........................................................................................................................................................... 155

6.5 アプリケーションの環境設定...........................................................................................................................................................1606.6 Online/Offlineスクリプトの設定....................................................................................................................................................... 1606.7 クラスタアプリケーションの設定...................................................................................................................................................... 165

6.7.1 RMS Wizardの起動................................................................................................................................................................. 1686.7.2 userApplicationの設定............................................................................................................................................................. 168

6.7.2.1 スタンバイ運用のクラスタアプリケーション作成................................................................................................................1696.7.2.2 スケーラブル運用のクラスタアプリケーション作成...........................................................................................................174

6.7.3 リソースの設定..........................................................................................................................................................................1806.7.3.1 Cmdlineリソースの設定..................................................................................................................................................... 1816.7.3.2 Fsystemリソースの設定......................................................................................................................................................1846.7.3.3 Gdsリソースの事前設定.................................................................................................................................................... 1876.7.3.4 Gdsリソースの設定............................................................................................................................................................ 1876.7.3.5 Glsリソースの設定............................................................................................................................................................. 1886.7.3.6 引継ぎネットワークリソースの設定.................................................................................................................................... 1906.7.3.7 プロシジャリソースの設定..................................................................................................................................................193

6.7.4 GenerateとActivate....................................................................................................................................................................1946.7.5 PRIMECLUSTER対応製品のクラスタサービス登録..............................................................................................................1956.7.6 属性の説明...............................................................................................................................................................................1956.7.7 クラスタアプリケーションの排他関係....................................................................................................................................... 196

6.8 RMSの環境設定............................................................................................................................................................................. 203

- xi -

6.9 クラスタ環境のチェック.................................................................................................................................................................... 2036.10 クラスタアプリケーションの設定内容および注意点..................................................................................................................... 203

6.10.1 クラスタアプリケーションの設定内容..................................................................................................................................... 2046.10.2 設定時の注意点.....................................................................................................................................................................213

6.11 Cmdline リソース設定時の注意点................................................................................................................................................ 2146.11.1 スクリプトと状態遷移...............................................................................................................................................................215

6.11.1.1 リソース状態ごとの実行スクリプト....................................................................................................................................2176.11.1.2 Online 時のスクリプトと状態............................................................................................................................................ 2186.11.1.3 Standby 時のスクリプトと状態..........................................................................................................................................2186.11.1.4 Offline 時のスクリプトと状態........................................................................................................................................... 2196.11.1.5 動作フロー.......................................................................................................................................................................2206.11.1.6 Check スクリプトの終了コードごとの動作........................................................................................................................224

6.11.2 スクリプト作成時の注意事項..................................................................................................................................................2266.11.2.1 start/stop スクリプト...........................................................................................................................................................226

6.11.2.1.1 start/stopスクリプトの例............................................................................................................................................. 2266.11.2.1.2 Start/Stop スクリプト内で参照できる環境変数.........................................................................................................2286.11.2.1.3 Start/Stop スクリプトの終了コードについて..............................................................................................................2296.11.2.1.4 NULLDETECTOR フラグを設定した場合の注意事項.......................................................................................... 2306.11.2.1.5 スクリプトのタイムアウトについて..............................................................................................................................230

6.11.2.2 Check スクリプト............................................................................................................................................................... 2306.11.2.2.1 Check スクリプトの例.................................................................................................................................................2306.11.2.2.2 Check スクリプト内で参照できる環境変数...............................................................................................................2326.11.2.2.3 Check スクリプトの終了コードについて................................................................................................................... 2326.11.2.2.4 Checkスクリプトのタイムアウトについて....................................................................................................................232

6.11.3 スクリプトの留意事項について...............................................................................................................................................2326.12 Fsystem リソース設定時の注意点.................................................................................................................................................234

6.12.1 Fsystem の監視...................................................................................................................................................................... 2346.12.2 Fsystem リソースの属性..........................................................................................................................................................2346.12.3 共用ディスク装置のファイルシステム.................................................................................................................................... 235

6.12.3.1 強制ファイルシステムチェックへの対処......................................................................................................................... 2356.12.3.2 遅延割り当てへの対処................................................................................................................................................... 236

6.12.4 その他の留意事項について.................................................................................................................................................. 2366.12.5 Fsystem リソースが制御するファイルシステムの保守........................................................................................................... 237

第3部運用編.........................................................................................................................................................................240

第7章運用............................................................................................................................................................................ 2417.1 PRIMECLUSTERシステム運用管理画面の参照方法..................................................................................................................241

7.1.1 CFメインウィンドウ.....................................................................................................................................................................2417.1.2 CRMメインウィンドウ.................................................................................................................................................................242

7.1.2.1 表示する資源の種類........................................................................................................................................................ 2437.1.2.1.1 リソースアイコン.......................................................................................................................................................... 2437.1.2.1.2 資源の状態.................................................................................................................................................................2447.1.2.1.3 運用操作.................................................................................................................................................................... 245

7.1.2.2 リソース詳細情報...............................................................................................................................................................2467.1.3 RMSメインウィンドウ................................................................................................................................................................. 247

7.1.3.1 RMSツリー......................................................................................................................................................................... 2477.1.3.2 構成情報またはオブジェクト属性.....................................................................................................................................2517.1.3.3 switchlogとアプリケーションログ........................................................................................................................................251

7.2 PRIMECLUSTERシステムの運用操作..........................................................................................................................................2527.2.1 RMSの運用操作...................................................................................................................................................................... 252

7.2.1.1 RMSを起動する................................................................................................................................................................ 2527.2.1.2 RMSを停止する................................................................................................................................................................ 253

7.2.2 クラスタアプリケーションの運用操作....................................................................................................................................... 2537.2.2.1 クラスタアプリケーションを起動する..................................................................................................................................2537.2.2.2 クラスタアプリケーションを停止する..................................................................................................................................2537.2.2.3 クラスタアプリケーションを切り替える............................................................................................................................... 2547.2.2.4 Faulted 状態のクラスタアプリケーションを運用可能な状態にする................................................................................. 254

- xii -

7.2.2.5 ノードのWait状態をクリアする...........................................................................................................................................2547.2.2.6 クラスタアプリケーションを保守モードにする................................................................................................................... 255

7.2.3 リソースの運用操作..................................................................................................................................................................2557.2.3.1 リソースを起動する............................................................................................................................................................ 2567.2.3.2 リソースを停止する............................................................................................................................................................ 2567.2.3.3 リソースの故障形跡をクリアする....................................................................................................................................... 256

7.3 PRIMECLUSTERシステムの監視操作..........................................................................................................................................2577.3.1 ノードの状態を監視する.......................................................................................................................................................... 2577.3.2 クラスタアプリケーションの状態を監視する.............................................................................................................................2587.3.3 ノードとクラスタアプリケーションの状態を相互参照する........................................................................................................ 2597.3.4 PRIMECLUSTERシステムで発生したログを参照する...........................................................................................................260

7.3.4.1 switchlogの表示................................................................................................................................................................ 2607.3.4.2 アプリケーションログの表示.............................................................................................................................................. 260

7.3.5 RMSオブジェクトの詳細情報を参照する................................................................................................................................2617.3.6 環境変数を表示する................................................................................................................................................................2637.3.7 クラスタ制御のメッセージを監視する.......................................................................................................................................263

7.4 資源異常時の対処方法..................................................................................................................................................................2647.4.1 資源の状態が異常となった場合の対処方法..........................................................................................................................264

7.4.1.1 異常発生時の異常検出と原因の特定............................................................................................................................. 2647.4.1.2 障害が発生したリソースの対処........................................................................................................................................ 2667.4.1.3 クラスタインタコネクトの異常の復旧................................................................................................................................. 266

7.4.2 仮想マシン機能使用時にLEFTCLUSTER状態となった場合の対処方法........................................................................... 2677.4.2.1 管理OSがパニックした場合.............................................................................................................................................. 2677.4.2.2 管理OSがハングアップした場合.......................................................................................................................................268

7.5 運用時の注意点..............................................................................................................................................................................2687.5.1 クラスタアプリケーションの強制切替えに関する注意.............................................................................................................269

7.6 CF と RMS のハートビートについて............................................................................................................................................... 2717.7 cron処理.......................................................................................................................................................................................... 272

第4部システム構成変更編.................................................................................................................................................... 274

第8章クラスタシステムの構成変更........................................................................................................................................ 2758.1 ハードウェアの追加/削除/変更.......................................................................................................................................................275

8.1.1 ハードウェアの追加..................................................................................................................................................................2758.1.1.1 共用ディスク装置の追加...................................................................................................................................................2758.1.1.2 業務LAN/管理LANで使用するネットワークインタフェースカードの追加...................................................................... 2768.1.1.3 Dynamic Reconfigurationによる増設................................................................................................................................277

8.1.2 ハードウェアの削除..................................................................................................................................................................2808.1.2.1 共用ディスク装置の削除...................................................................................................................................................2808.1.2.2 業務LAN/管理LANで使用するネットワークインタフェースカードの削除...................................................................... 2818.1.2.3 Dynamic Reconfigurationによる減設................................................................................................................................282

8.1.3 ハードウェアの変更..................................................................................................................................................................2858.1.3.1 共用ディスク装置の変更...................................................................................................................................................2858.1.3.2 業務LAN/管理LANで使用するネットワークインタフェースカードの変更...................................................................... 2888.1.3.3 CIPで使用するネットワークインタフェースカードの変更................................................................................................. 289

第9章クラスタシステム環境の変更........................................................................................................................................ 2919.1 クラスタ構成情報の変更................................................................................................................................................................. 291

9.1.1 クラスタノード名の変更.............................................................................................................................................................2919.1.2 SFのノードの重みの変更......................................................................................................................................................... 292

9.2 ネットワーク環境の変更.................................................................................................................................................................. 2929.2.1 業務LANのIPアドレスの変更.................................................................................................................................................. 2929.2.2 管理LANのIPアドレスの変更.................................................................................................................................................. 2949.2.3 CIPのIPアドレスの変更............................................................................................................................................................ 2959.2.4 CIPのサブネットマスクの変更.................................................................................................................................................. 2969.2.5 クラスタインタコネクトに使用しているネットワークインタフェースのMTU値の変更............................................................... 296

9.3 オプションハードウェアの設定変更................................................................................................................................................2969.3.1 MMBの設定変更.....................................................................................................................................................................296

- xiii -

9.3.1.1 MMBのIPアドレスの変更..................................................................................................................................................2969.3.1.2 RMCPでMMBを制御するためのユーザ名とパスワードの変更......................................................................................297

9.3.2 IPMIの設定変更...................................................................................................................................................................... 2979.3.2.1 IPMIのIPアドレスの変更...................................................................................................................................................2979.3.2.2 iRMCのユーザ名とパスワードの変更.............................................................................................................................. 298

9.3.3 Bladeの設定変更..................................................................................................................................................................... 2999.3.3.1 マネージメントブレードのIPアドレスの変更......................................................................................................................2999.3.3.2 サーバブレードのスロット番号の変更.............................................................................................................................. 300

9.4 仮想マシン環境の変更...................................................................................................................................................................3009.4.1 管理OSの設定変更（KVM環境）............................................................................................................................................ 300

9.4.1.1 管理OSのIPアドレスの変更.............................................................................................................................................. 3019.4.1.2 管理OSアカウントのパスワードの変更（シャットダウン機構用）....................................................................................... 3019.4.1.3 /etc/sysconfig/libvirt-guests の設定変更.......................................................................................................................... 301

第10章クラスタアプリケーションの構成変更........................................................................................................................... 30310.1 クラスタアプリケーションの追加.................................................................................................................................................... 30310.2 クラスタアプリケーションの削除.................................................................................................................................................... 305

10.2.1 ハードウェアのリソースの削除............................................................................................................................................... 30510.2.2 userApplicationの削除........................................................................................................................................................... 305

10.3 クラスタアプリケーションの変更.................................................................................................................................................... 30710.4 リソースの追加...............................................................................................................................................................................31610.5 リソースの削除...............................................................................................................................................................................318

10.5.1 Gdsリソース削除時の設定..................................................................................................................................................... 32110.6 リソースの変更...............................................................................................................................................................................321

10.6.1 引継ぎネットワークリソースのホスト名および IP アドレスの変更.......................................................................................... 32110.6.2 Fsystem リソースが制御するファイルシステムのデバイスの変更......................................................................................... 324

10.7 動的構成変更による共用ディスクへのファイルシステムの追加................................................................................................. 325

第11章クラスタシステムの運用属性の変更............................................................................................................................32911.1 userApplicationの運用属性の変更.............................................................................................................................................. 329

11.1.1 運用属性の変更方法（CUI）..................................................................................................................................................32911.2 RMS環境変数の変更................................................................................................................................................................... 334

11.2.1 RMS停止処理のタイムアウト時間の変更..............................................................................................................................33411.3 ハートビートのタイムアウト検出時間の変更................................................................................................................................. 335

11.3.1 CFハートビートのタイムアウト検出時間の変更..................................................................................................................... 33511.3.2 RMSハートビートのタイムアウト検出時間の変更..................................................................................................................335

第5部保守編.........................................................................................................................................................................337

第12章 PRIMECLUSTERシステムの保守............................................................................................................................. 33812.1 保守の種類....................................................................................................................................................................................33812.2 保守作業の流れ............................................................................................................................................................................338

12.2.1 運用からの切離し方法...........................................................................................................................................................33812.2.2 運用への組込み方法.............................................................................................................................................................339

12.3 ソフトウェアの保守.........................................................................................................................................................................33912.3.1 PRIMECLUSTER システムへの修正適用に関する注意事項.............................................................................................33912.3.2 修正の適用手順概要.............................................................................................................................................................339

12.3.2.1 全系停止による修正適用手順....................................................................................................................................... 33912.3.2.2 ローリングアップデートによる修正適用手順.................................................................................................................. 341

付録A PRIMECLUSTER対応製品........................................................................................................................................ 343

付録B マニュアルページ.........................................................................................................................................................344B.1 CF....................................................................................................................................................................................................344B.2 CIP...................................................................................................................................................................................................344B.3 オペレータ介入...............................................................................................................................................................................345B.4 PAS................................................................................................................................................................................................. 345B.5 クラスタリソース管理機構................................................................................................................................................................345B.6 RMS................................................................................................................................................................................................ 345

- xiv -

B.7 シャットダウン機構(SF)................................................................................................................................................................... 346B.8 故障リソース履歴............................................................................................................................................................................ 346B.9 Web-Based Admin View................................................................................................................................................................ 347B.10 プロシジャリソース.........................................................................................................................................................................347B.11 RMS ウィザード.............................................................................................................................................................................347

付録C トラブルシューティング................................................................................................................................................. 348C.1 トラブル調査情報の採取方法........................................................................................................................................................348

C.1.1 fjsnapコマンドの実行............................................................................................................................................................... 348C.1.2 FJQSS(資料採取ツール)による資料採取...............................................................................................................................349C.1.3 クラッシュダンプ....................................................................................................................................................................... 350C.1.4 PSA関連情報.......................................................................................................................................................................... 350C.1.5 SVmco関連情報......................................................................................................................................................................351

C.2 故障リソースの検出........................................................................................................................................................................ 351C.2.1 故障リソースメッセージ............................................................................................................................................................ 352C.2.2 リソースの障害履歴................................................................................................................................................................. 353C.2.3 故障リソースの一覧................................................................................................................................................................. 355

C.3 PRIMECLUSTERのログファイル...................................................................................................................................................356C.3.1 coreファイルの出力先..............................................................................................................................................................356C.3.2 coreファイルの設定..................................................................................................................................................................357

C.3.2.1 coreファイルの出力...........................................................................................................................................................357C.3.2.2 coreファイル出力先の設定...............................................................................................................................................357

C.3.3 ログレベル変更時のログ量..................................................................................................................................................... 358C.3.4 RMS ログファイルのローテーションと削除............................................................................................................................. 358

付録D PRIMECLUSTER対応製品用の状態遷移プロシジャリソースの登録／変更／削除...................................................... 359D.1 プロシジャリソースの登録...............................................................................................................................................................359D.2 プロシジャリソースの変更...............................................................................................................................................................360

D.2.1 状態遷移プロシジャの修正.................................................................................................................................................... 360D.2.2 状態遷移プロシジャの起動優先度の変更.............................................................................................................................360D.2.3 プロシジャリソースの登録情報の変更....................................................................................................................................361

D.3 プロシジャリソースの削除...............................................................................................................................................................362

付録E シャットダウンエージェント設定更新機能...................................................................................................................... 363E.1 機能説明......................................................................................................................................................................................... 363E.2 動作環境......................................................................................................................................................................................... 366E.3 設定................................................................................................................................................................................................. 367

E.3.1 IPMIサービスの起動設定....................................................................................................................................................... 367E.3.2 シャットダウンエージェント設定更新機能の有効化............................................................................................................... 368

E.3.2.1 シャットダウンエージェント設定更新サービスの起動設定..............................................................................................368E.3.2.2 設定の確認....................................................................................................................................................................... 368E.3.2.3 BMCまたはiRMCのIPアドレスとシャットダウンエージェントの設定情報の確認............................................................370

E.4 動作確認......................................................................................................................................................................................... 371E.4.1 OS再起動による動作確認方法...............................................................................................................................................371

E.5 解除................................................................................................................................................................................................. 372E.5.1 シャットダウンエージェント設定更新機能の無効化............................................................................................................... 372E.5.2 IPMIサービスの起動設定の復元........................................................................................................................................... 372

E.6 復旧................................................................................................................................................................................................. 372E.6.1 全ノードに正しい情報が配布されなかった場合の復旧方法.................................................................................................372

付録F KVM環境でPRIMECLUSTERを使用する場合.............................................................................................................375F.1 管理OSのクラスタアプリケーションでゲストOSを制御・監視する.................................................................................................. 375

付録G KVM環境でマイグレーション機能を使用する場合........................................................................................................ 376G.1 設計.................................................................................................................................................................................................376G.2 事前設定.........................................................................................................................................................................................376

G.2.1 管理OS異常切替機能を使用しない場合.............................................................................................................................. 376G.2.2 管理OS異常切替機能を使用する場合..................................................................................................................................377

- xv -

G.3 運用.................................................................................................................................................................................................380G.3.1 ライブマイグレーション操作を行う場合 ..................................................................................................................................381

G.3.1.1 管理OS異常切替機能を使用しない場合....................................................................................................................... 381G.3.1.1.1 ライブマイグレーション前の操作...............................................................................................................................381G.3.1.1.2 ライブマイグレーション後の操作...............................................................................................................................381

G.3.1.2 管理OS異常切替機能を使用する場合...........................................................................................................................382G.3.1.2.1 ライブマイグレーション前の操作...............................................................................................................................382G.3.1.2.2 ライブマイグレーション後の操作...............................................................................................................................382

G.3.2 オフラインマイグレーション操作を行う場合 ...........................................................................................................................383G.3.2.1 管理OS異常切替機能を使用しない場合....................................................................................................................... 383

G.3.2.1.1 オフラインマイグレーション前の操作 .......................................................................................................................383G.3.2.1.2 オフラインマイグレーション後の操作 .......................................................................................................................383

G.3.2.2 管理OS異常切替機能を使用する場合...........................................................................................................................384G.3.2.2.1 オフラインマイグレーション前の操作 .......................................................................................................................384G.3.2.2.2 オフラインマイグレーション後の操作 .......................................................................................................................384

G.3.3 エクスポート／インポートによるマイグレーション操作を行う場合 .........................................................................................385G.3.3.1 管理OS異常切替機能を使用しない場合....................................................................................................................... 385

G.3.3.1.1 エクスポート／インポートによるマイグレーション前の操作 .....................................................................................385G.3.3.1.2 エクスポート／インポートによるマイグレーション後の操作 .....................................................................................385

G.3.3.2 管理OS異常切替機能を使用する場合...........................................................................................................................385G.3.3.2.1 エクスポート／インポートによるマイグレーション前の操作 .....................................................................................385G.3.3.2.2 エクスポート／インポートによるマイグレーション後の操作 .....................................................................................385

G.4 設定変更.........................................................................................................................................................................................385G.4.1 事前設定の解除......................................................................................................................................................................385

付録H VMware環境でPRIMECLUSTERを使用する場合.......................................................................................................388H.1 VMware環境でのクラスタシステム................................................................................................................................................ 388H.2 導入.................................................................................................................................................................................................392

H.2.1 ソフトウェアのインストール.......................................................................................................................................................393H.2.1.1 関連ソフトウェアのインストールと設定............................................................................................................................. 393H.2.1.2 アプリケーションのインストールと環境設定..................................................................................................................... 398

H.2.2 クラスタ構築の準備................................................................................................................................................................. 398H.2.3 クラスタの構築......................................................................................................................................................................... 398

H.2.3.1 CF、CIPの初期設定......................................................................................................................................................... 398H.2.3.2 シャットダウン機構の設定（VMware vCenter Server連携機能を使用する場合）.......................................................... 398H.2.3.3 シャットダウン機構の設定（I/Oフェンシング機能を使用する場合）................................................................................401H.2.3.4 クラスタリソース機構の初期設定......................................................................................................................................404H.2.3.5 故障リソース特定とオペレータ介入要求の設定............................................................................................................. 404

H.2.4 クラスタアプリケーションの構築...............................................................................................................................................404H.2.4.1 I/Oフェンシング機能の設定.............................................................................................................................................404

H.3 運用.................................................................................................................................................................................................407H.4 構成変更.........................................................................................................................................................................................407H.5 保守.................................................................................................................................................................................................407

付録I PRIMECLUSTERの起動スクリプト/起動デーモンとポート番号...................................................................................... 408I.1 説明形式.......................................................................................................................................................................................... 408I.2 起動スクリプト一覧........................................................................................................................................................................... 408I.3 PRIMECLUSTERが動作するうえで必要なデーモン.................................................................................................................... 418

付録J PRIMECLUSTERのsystemdサービス/起動デーモンとポート番号................................................................................ 419J.1 説明形式..........................................................................................................................................................................................419J.2 systemdサービス一覧...................................................................................................................................................................... 420J.3 PRIMECLUSTERが動作するうえで必要なサービス..................................................................................................................... 437

付録K Firewallを使用する場合.............................................................................................................................................. 439

付録L クラスタシステム環境をクローニングする場合............................................................................................................... 441L.1 事前準備......................................................................................................................................................................................... 443

- xvi -

L.1.1 GFSの構成情報バックアップ...................................................................................................................................................443L.1.2 GDSの構成情報バックアップ.................................................................................................................................................. 444L.1.3 システムディスクのミラーリング解除........................................................................................................................................ 444

L.2 クローニング機能を利用したシステムイメージの複製...................................................................................................................445L.2.1 ディスクデータの複製.............................................................................................................................................................. 445L.2.2 システムディスクミラーリングの設定........................................................................................................................................ 445

L.3 クラスタシステムの設定変更...........................................................................................................................................................446L.3.1 システムディスクミラーリングの設定情報の削除.....................................................................................................................446L.3.2 シングルユーザモードでの設定..............................................................................................................................................446L.3.3 マルチユーザモードでの設定変更.........................................................................................................................................453L.3.4 GDSの構成情報のリストア.......................................................................................................................................................457L.3.5 GFSの構成情報のリストア....................................................................................................................................................... 458L.3.6 システムディスクのミラーリング設定........................................................................................................................................ 460L.3.7 クラスタアプリケーション情報の設定変更............................................................................................................................... 460

L.3.7.1 GLSを使用している場合.................................................................................................................................................. 460L.3.7.2 引継ぎネットワークを使用している場合........................................................................................................................... 462

付録M バージョン毎の変更点.................................................................................................................................................465M.1 PRIMECLUSTER 4.0A20から4.4A00への変更点...................................................................................................................... 466

M.1.1 clgettree(1)コマンド................................................................................................................................................................. 467M.1.2 hvdispコマンド......................................................................................................................................................................... 468M.1.3 ciptoolコマンド.........................................................................................................................................................................468M.1.4 sdtoolコマンド..........................................................................................................................................................................469M.1.5 hvshutコマンド......................................................................................................................................................................... 469M.1.6 hvswitchコマンド..................................................................................................................................................................... 469M.1.7 hvdumpコマンド.......................................................................................................................................................................470M.1.8 オペレータ介入要求...............................................................................................................................................................470M.1.9 シャットダウン機構...................................................................................................................................................................470M.1.10 クラスタアプリケーションの設定............................................................................................................................................471M.1.11 クラスタアプリケーションの変更............................................................................................................................................471M.1.12 メインCFテーブルの状態......................................................................................................................................................472M.1.13 shutdown時のRMSのノード状態..........................................................................................................................................472M.1.14 クラスタアプリケーションの設定と変更時の操作方法と表示内容...................................................................................... 473M.1.15 Fsystemリソースの設定......................................................................................................................................................... 478M.1.16 Web-Based Admin Viewのクライアント環境........................................................................................................................ 478M.1.17 CF起動時の動作.................................................................................................................................................................. 479M.1.18 HV_CONNECT_TIMEOUT................................................................................................................................................ 479M.1.19 RMSが使用するポートの変更..............................................................................................................................................479M.1.20 シャットダウン機構が使用するポート番号の変更................................................................................................................480M.1.21 ハートビート異常検出時の強制停止対象ノードの変更......................................................................................................480M.1.22 リソースの故障形跡の表示...................................................................................................................................................480M.1.23 /etc/cip.cf ファイルの変更.....................................................................................................................................................481M.1.24 CFウィザードのCF over IP設定画面の変更........................................................................................................................ 481M.1.25 RMSメッセージの変更..........................................................................................................................................................481M.1.26 RMSウィザードメッセージの重要度の変更......................................................................................................................... 482M.1.27 RMSコンソールメッセージの変更........................................................................................................................................ 482M.1.28 オペレータ介入要求の応答メッセージの変更.................................................................................................................... 482

M.1.28.1 メッセージ：1421.............................................................................................................................................................482M.1.28.2 メッセージ：1423.............................................................................................................................................................483

M.2 PRIMECLUSTER 4.1A20から4.4A00への変更点...................................................................................................................... 484M.2.1 clgettree(1)コマンド................................................................................................................................................................. 485M.2.2 hvdispコマンド......................................................................................................................................................................... 485M.2.3 ciptoolコマンド.........................................................................................................................................................................486M.2.4 sdtoolコマンド..........................................................................................................................................................................486M.2.5 hvshutコマンド......................................................................................................................................................................... 486M.2.6 hvswitchコマンド..................................................................................................................................................................... 487M.2.7 hvdumpコマンド.......................................................................................................................................................................487

- xvii -

M.2.8 リソースの故障/回復の通知................................................................................................................................................... 488M.2.9 オペレータ介入要求...............................................................................................................................................................488M.2.10 shutdown時のRMSのノード状態..........................................................................................................................................489M.2.11 クラスタアプリケーションの設定と変更時の操作方法と表示内容...................................................................................... 489M.2.12 Fsystemリソースの設定......................................................................................................................................................... 494M.2.13 Web-Based Admin Viewのクライアント環境........................................................................................................................ 495M.2.14 CF起動時の動作.................................................................................................................................................................. 495M.2.15 HV_CONNECT_TIMEOUT................................................................................................................................................ 495M.2.16 RMSが使用するポートの変更..............................................................................................................................................496M.2.17 シャットダウン機構が使用するポート番号の変更................................................................................................................496M.2.18 ハートビート異常検出時の強制停止対象ノードの変更......................................................................................................496M.2.19 リソースの故障形跡の表示...................................................................................................................................................497M.2.20 /etc/cip.cf ファイルの変更.....................................................................................................................................................497M.2.21 CFウィザードのCF over IP設定画面の変更........................................................................................................................ 497M.2.22 RMSメッセージの変更..........................................................................................................................................................498M.2.23 RMSウィザードメッセージの重要度の変更......................................................................................................................... 498M.2.24 RMSコンソールメッセージの変更........................................................................................................................................ 498M.2.25 オペレータ介入要求の応答メッセージの変更.................................................................................................................... 499

M.2.25.1 メッセージ：1421.............................................................................................................................................................499M.2.25.2 メッセージ：1423.............................................................................................................................................................500

M.3 PRIMECLUSTER 4.1A30から4.4A00への変更点...................................................................................................................... 500M.3.1 ciptoolコマンド.........................................................................................................................................................................501M.3.2 sdtoolコマンド..........................................................................................................................................................................502M.3.3 hvshutコマンド......................................................................................................................................................................... 502M.3.4 hvswitchコマンド..................................................................................................................................................................... 502M.3.5 hvdumpコマンド.......................................................................................................................................................................503M.3.6 リソースの故障/回復の通知................................................................................................................................................... 503M.3.7 オペレータ介入要求...............................................................................................................................................................504M.3.8 クラスタアプリケーションの設定と変更時の操作方法と表示内容........................................................................................ 504M.3.9 Fsystemリソースの設定........................................................................................................................................................... 509M.3.10 Web-Based Admin Viewのクライアント環境........................................................................................................................ 510M.3.11 CF起動時の動作.................................................................................................................................................................. 510M.3.12 HV_CONNECT_TIMEOUT................................................................................................................................................ 511M.3.13 RMSが使用するポートの変更..............................................................................................................................................511M.3.14 シャットダウン機構が使用するポート番号の変更................................................................................................................511M.3.15 ハートビート異常検出時の強制停止対象ノードの変更......................................................................................................512M.3.16 リソースの故障形跡の表示...................................................................................................................................................512M.3.17 /etc/cip.cf ファイルの変更.....................................................................................................................................................512M.3.18 CFウィザードのCF over IP設定画面の変更........................................................................................................................ 513M.3.19 RMSメッセージの変更..........................................................................................................................................................513M.3.20 RMSウィザードメッセージの重要度の変更......................................................................................................................... 513M.3.21 RMSコンソールメッセージの変更........................................................................................................................................ 514M.3.22 オペレータ介入要求の応答メッセージの変更.................................................................................................................... 514

M.3.22.1 メッセージ：1421.............................................................................................................................................................514M.3.22.2 メッセージ：1423.............................................................................................................................................................515

M.4 PRIMECLUSTER 4.1A40から4.4A00への変更点...................................................................................................................... 516M.4.1 sdtoolコマンド..........................................................................................................................................................................517M.4.2 hvshutコマンド......................................................................................................................................................................... 517M.4.3 hvswitchコマンド..................................................................................................................................................................... 517M.4.4 hvdumpコマンド.......................................................................................................................................................................518M.4.5 リソースの故障/回復の通知................................................................................................................................................... 518M.4.6 オペレータ介入要求...............................................................................................................................................................519M.4.7 Fsystemリソースの設定........................................................................................................................................................... 519M.4.8 Web-Based Admin Viewのクライアント環境.......................................................................................................................... 520M.4.9 CF起動時の動作.................................................................................................................................................................... 520M.4.10 HV_CONNECT_TIMEOUT................................................................................................................................................ 521M.4.11 RMSが使用するポートの変更..............................................................................................................................................521

- xviii -

M.4.12 シャットダウン機構が使用するポート番号の変更................................................................................................................521M.4.13 ハートビート異常検出時の強制停止対象ノードの変更......................................................................................................522M.4.14 リソースの故障形跡の表示...................................................................................................................................................522M.4.15 /etc/cip.cf ファイルの変更.....................................................................................................................................................522M.4.16 CFウィザードのCF over IP設定画面の変更........................................................................................................................ 523M.4.17 RMSメッセージの変更..........................................................................................................................................................523M.4.18 RMSウィザードメッセージの重要度の変更......................................................................................................................... 523M.4.19 RMSコンソールメッセージの変更........................................................................................................................................ 524M.4.20 オペレータ介入要求の応答メッセージの変更.................................................................................................................... 524

M.4.20.1 メッセージ：1421.............................................................................................................................................................524M.4.20.2 メッセージ：1423.............................................................................................................................................................525

M.5 PRIMECLUSTER 4.2A00から4.4A00への変更点...................................................................................................................... 526M.5.1 sdtoolコマンド..........................................................................................................................................................................527M.5.2 hvshutコマンド......................................................................................................................................................................... 527M.5.3 hvswitchコマンド..................................................................................................................................................................... 527M.5.4 hvdumpコマンド.......................................................................................................................................................................528M.5.5 リソースの故障/回復の通知................................................................................................................................................... 528M.5.6 オペレータ介入要求...............................................................................................................................................................529M.5.7 Fsystemリソースの設定........................................................................................................................................................... 529M.5.8 Web-Based Admin Viewのクライアント環境.......................................................................................................................... 530M.5.9 CF起動時の動作.................................................................................................................................................................... 530M.5.10 HV_CONNECT_TIMEOUT................................................................................................................................................ 531M.5.11 RMSが使用するポートの変更..............................................................................................................................................531M.5.12 IPMIシャットダウンエージェントの設定................................................................................................................................531M.5.13 シャットダウン機構が使用するポート番号の変更................................................................................................................532M.5.14 ハートビート異常検出時の強制停止対象ノードの変更......................................................................................................532M.5.15 リソースの故障形跡の表示...................................................................................................................................................532M.5.16 /etc/cip.cf ファイルの変更.....................................................................................................................................................533M.5.17 CFウィザードのCF over IP設定画面の変更........................................................................................................................ 533M.5.18 RMSメッセージの変更..........................................................................................................................................................533M.5.19 RMSウィザードメッセージの重要度の変更......................................................................................................................... 534M.5.20 RMSコンソールメッセージの変更........................................................................................................................................ 534M.5.21 オペレータ介入要求の応答メッセージの変更.................................................................................................................... 535

M.5.21.1 メッセージ：1421.............................................................................................................................................................535M.5.21.2 メッセージ：1423.............................................................................................................................................................535


- xix -

M.6.21.1 メッセージ：1421.............................................................................................................................................................545M.6.21.2 メッセージ：1423.............................................................................................................................................................546


M.7.21.1 メッセージ：1421.............................................................................................................................................................555M.7.21.2 メッセージ：1423.............................................................................................................................................................556

M.8 PRIMECLUSTER 4.3A10から4.4A00への変更点...................................................................................................................... 557M.8.1 sdtoolコマンド..........................................................................................................................................................................557M.8.2 hvshutコマンド......................................................................................................................................................................... 558M.8.3 hvswitchコマンド..................................................................................................................................................................... 558M.8.4 hvdumpコマンド.......................................................................................................................................................................559M.8.5 リソースの故障/回復の通知................................................................................................................................................... 559M.8.6 オペレータ介入要求...............................................................................................................................................................560M.8.7 Fsystemリソースの設定........................................................................................................................................................... 560M.8.8 RMSが使用するポートの変更................................................................................................................................................561M.8.9 IPMIシャットダウンエージェントの設定..................................................................................................................................561M.8.10 シャットダウン機構が使用するポート番号の変更................................................................................................................561M.8.11 PRIMEQUESTのKVM環境で管理OS異常切替機能を使用する場合の設定................................................................. 562M.8.12 ハートビート異常検出時の強制停止対象ノードの変更......................................................................................................562M.8.13 リソースの故障形跡の表示...................................................................................................................................................562M.8.14 /etc/cip.cf ファイルの変更.....................................................................................................................................................563M.8.15 CFウィザードのCF over IP設定画面の変更........................................................................................................................ 563M.8.16 RMSコンソールメッセージの変更........................................................................................................................................ 563M.8.17 オペレータ介入要求の応答メッセージの変更.................................................................................................................... 564

M.8.17.1 メッセージ：1421.............................................................................................................................................................564M.8.17.2 メッセージ：1423.............................................................................................................................................................565

M.9 PRIMECLUSTER 4.3A20から4.4A00への変更点...................................................................................................................... 566M.9.1 hvshutコマンド......................................................................................................................................................................... 566M.9.2 hvswitchコマンド..................................................................................................................................................................... 567M.9.3 hvdumpコマンド.......................................................................................................................................................................567M.9.4 リソースの故障/回復の通知................................................................................................................................................... 567M.9.5 オペレータ介入要求...............................................................................................................................................................568M.9.6 Fsystemリソースの設定........................................................................................................................................................... 569M.9.7 IPMIシャットダウンエージェントの設定..................................................................................................................................569M.9.8 シャットダウン機構が使用するポート番号の変更..................................................................................................................569M.9.9 PRIMEQUESTのKVM環境で管理OS異常切替機能を使用する場合の設定................................................................... 570M.9.10 ハートビート異常検出時の強制停止対象ノードの変更......................................................................................................570

- xx -

M.9.11 リソースの故障形跡の表示...................................................................................................................................................571M.9.12 /etc/cip.cf ファイルの変更.....................................................................................................................................................571M.9.13 CFウィザードのCF over IP設定画面の変更........................................................................................................................ 571M.9.14 RMSコンソールメッセージの変更........................................................................................................................................ 572M.9.15 オペレータ介入要求の応答メッセージの変更.................................................................................................................... 572

M.9.15.1 メッセージ：1421.............................................................................................................................................................572M.9.15.2 メッセージ：1423.............................................................................................................................................................573

M.10 PRIMECLUSTER 4.3A30から4.4A00への変更点.................................................................................................................... 574M.10.1 hvdumpコマンド.....................................................................................................................................................................574M.10.2 リソースの故障/回復の通知................................................................................................................................................. 574M.10.3 オペレータ介入要求.............................................................................................................................................................575M.10.4 Fsystemリソースの設定......................................................................................................................................................... 575M.10.5 PRIMEQUESTのKVM環境で管理OS異常切替機能を使用する場合の設定................................................................. 576M.10.6 リソースの故障形跡の表示...................................................................................................................................................576M.10.7 /etc/cip.cf ファイルの変更.....................................................................................................................................................576M.10.8 CFウィザードのCF over IP設定画面の変更........................................................................................................................ 577

M.11 PRIMECLUSTER 4.3A40から4.4A00への変更点.................................................................................................................... 577M.11.1 PRIMEQUESTのKVM環境で管理OS異常切替機能を使用する場合の設定................................................................. 577M.11.2 CFウィザードのCF over IP設定画面の変更........................................................................................................................ 577M.11.3 KVM環境でマイグレーション機能を使用する場合の設定................................................................................................ 578

付録N リリース情報............................................................................................................................................................... 579

用語集...................................................................................................................................................................................580

索引...................................................................................................................................................................................... 596

- xxi -

第1部導入準備編本部ではPRIMECLUSTERの設計から導入、運用までの全体の作業の流れを説明します。

はじめてPRIMECLUSTERシステムを導入するユーザは、必ずご一読ください。

第1章構築の流れ............................................................................................................................................. 2

第2章設計...................................................................................................................................................... 14

- 1 -

第1章構築の流れ

ここでは、PRIMECLUSTERシステムの構築の流れについて説明します。

PRIMECLUSTERシステムの構築は以下の手順で行います。

図1.1 PRIMECLUSTERシステムの構築の流れ

1.1 設計

PRIMECLUSTERの構築を行う前に、システム設計を行う必要があります。

◆PRIMECLUSTERシステムの設計手順

1. PRIMECLUSTER製品の選定

構築したいシステムを実現するために必要なPRIMECLUSTER製品を選定します。

詳細については、“2.1 PRIMECLUSTER製品の選定”を参照してください。

2. システム設計

使用するアプリケーションの選定と、業務に必要なホスト数、ネットワーク、クラスタインタコネクトのパス数、ディスク容量、メモリ等

のハードウェア資源など、PRIMECLUSTERシステムを構築するうえで必要な動作環境、仮想マシン機能の使用可否を決定しま

す。

ひとつのクラスタシステムに参入できるノード数は16ノードまでサポートしています。

クラスタインタコネクトは2本以上使用することを推奨します。

詳細については、“2.2 システム設計”を参照してください。

3. クラスタシステムの運用形態の決定

どの単位で業務の切替えを行うかを決め、クラスタシステムの運用形態を決めます。

詳細については、“2.3 クラスタシステムの運用形態の決定”を参照してください。

4. Web-Based Admin Viewを使用するための運用形態の決定

Web-Based Admin Viewを使用するための運用形態を決めます。Web-Based Admin Viewで管理できるノード数は16ノードまで

です。

詳細については“2.4 Web-Based Admin View運用形態の決定”を参照してください。

- 2 -

5. クラスタアプリケーションの決定

業務のどの単位で切替えを行うかどうかを決め、アプリケーションの単位を決めます。

さらにそのアプリケーションにどのノードを使うのかを決めます。

6. クラスタアプリケーションに必要なリソースの決定

クラスタアプリケーションに必要なリソースを決定します。

－切替えネットワークの種類（IPアドレス引継ぎ）、引継ぎのアドレスを決定する。

－ユーザ定義のRMS構成スクリプトは使用するか？他にリソースとして使用するものは何か？などを決定する。

－ディスクデバイスの場合、どのノードで共用するか、RAWデバイスとして使うのか（データベース系）、ファイルシステムとして

使うのか（一般ファイル系）、グループ化するかを決定する。

7. クラスタアプリケーションのフェイルオーバするタイミングの決定

どういうタイミングでクラスタアプリケーションをフェイルオーバさせるのか決定します。

詳細については、“2.5 クラスタアプリケーションのフェイルオーバするタイミングの設定”を参照してください。

参照

設計の詳細については、“第2章設計”を参照してください。

1.2 導入

PRIMECLUSTERシステムの設計が完了し、構築するPRIMECLUSTERシステムの構成が確定したら、PRIMECLUSTERシステムの

導入を行います。

作成したPRIMECLUSTER デザインシートをもとに作業を行いますので、PRIMECLUSTER デザインシートの必須項目が、すべて記

載されていることを確認してください。

参考

PRIMECLUSTER デザインシートは、PRIMECLUSTER製品DVDの documents/designsheet 配下に格納されています。

以下の操作手順を(1)から順番に行ってPRIMECLUSTERシステムを導入していきます。

点線の部分は、書かれている条件にあっていれば行ってください。

アプリケーションのインストールを続けて行う場合には、［アプリケーションの環境設定］から[アプリケーションのインストール]に戻りま

す。

操作に応じて使用する画面が異なります。Web-Based Admin ViewからGUIで行う作業とコンソール画面からCLI、CUIで行う作業を枠

線で区別して表しています。

- 3 -

図1.2 PRIMECLUSTERシステム導入の流れ

PRIMECLUSTERシステム導入の流れの中で使用している略称の正式名称は以下のとおりです。

CF: Cluster Foundation

RMS: Reliant Monitor Services

WT: Wizard Tools

GDS: Global Disk Services

GFS: Global File Services

GLS: Global Link Services

各項目の詳細な内容については、以下の表に記載されているマニュアル参照箇所を必要に応じて参照してください。

表1.1 導入手順とマニュアル参照箇所

作業項目本マニュアル参照箇所必須/選択

システム設計第2章設計必須

ソフトウェアのインストール

(1) 関連ソフトウェアのインストールと設定 3.1 仮想マシン機能を使用しない場

合

選択

- 4 -

作業項目本マニュアル参照箇所必須/選択

3.2 仮想マシン機能を使用する場合

(2) PRIMECLUSTERのインストール 3.3 PRIMECLUSTERのインストー

ル

必須

(3) アプリケーションのインストールと環境設定 3.4 アプリケーションのインストールと

環境設定

選択

クラスタの構築

(4) ユーザ登録/ブラウザ設定第4章クラスタ構築の準備必須

(5) クラスタ初期設定 5.1 クラスタの初期設定必須

クラスタアプリケーションの構築

(6) GLS設定 6.2 GLSの初期設定選択（引継ぎIP、お

よび伝送路二重化

機能使用時必須）(7) GLS使用時のWeb-Based Admin Viewの設定

(8) GDSの設定 6.3 GDSの構成設定選択（GDS使用時

必須）

(9) GFSの設定

（ファイルシステム作成）

6.4 GFSの初期設定選択（GFS使用時

必須）

(10) クラスタアプリケーションの作成 6.7 クラスタアプリケーションの設定必須

(11) リソースの設定 6.7.3 リソースの設定選択

1.3 開発

ユーザが独自のアプリケーションをPRIMECLUSTERの監視対象とするためには、RMS構成スクリプトを開発する必要があります。

・ Onlineスクリプト

リソースをOnlineまたはStandbyの状態にする処理を実行します。

・ Offlineスクリプト

リソースをOfflineの状態にする処理を実行します。

また、ユーザアプリケーションの状態をチェックするために、以下のRMS構成スクリプトを開発する必要があります。

・ Checkスクリプト

リソースの状態をチェックします。

参照

Online/Offline、Checkスクリプトの設定の詳細については“6.6 Online/Offlineスクリプトの設定”を参照してください。

1.4 テスト

■テストの目的

PRIMECLUSTERを用いてクラスタシステムを構築するにあたって、さまざまな事象が発生した場合にもシステム全体が正常に動作し、

クラスタアプリケーションとして構築した業務が継続することを、運用前に確認しておく必要があります。

PRIMECLUSTERシステム（1:1運用待機の場合）は、以下の図のような運用状態をとります。

PRIMECLUSTERシステムは下図の状態遷移に従い、各々の運用状態へと遷移します。システムが正常に動作することを確認するに

は、すべての運用状態と、運用状態へ遷移する各状態遷移についてテストする必要があります。

- 5 -

図1.3 PRIMECLUSTERシステムの状態遷移図

◆PRIMECLUSTERシステムの状態

状態意味

二重化運用状態

(Dual instanceoperation)

ユーザ業務が運用中であり、かつフェイルオーバできる状態。

この状態では、クラスタアプリケーションは「運用」状態と「待機」状態の2種類の状態

から構成されています。

「運用」状態で異常が発生した場合においても、常に「待機」状態を新しく「運用」状

態として切替えるためユーザ業務の継続運用が可能です。

片側運用状態

(Single instanceoperation)

ユーザ業務が運用中であるが、フェイルオーバできない状態。

この状態では、クラスタアプリケーションは「運用」状態と「停止」状態の2種類の状態

から構成されます。

ユーザ業務は動作しているが、「待機」状態が存在しないため、「運用」状態で異常が

発生した場合、フェイルオーバが行えず、ユーザ業務の継続運用が不可能となりま

す。

停止状態

(Stopped state)

ユーザ業務が停止している状態。

上記「運用」「待機」「停止」の状態については、以下のように「RMSの稼動状態」と「クラスタアプリケーションの状態」で判断できます。

状態 RMSの稼動状態クラスタアプリケーションの状態備考

運用（OPERATING）稼動 Online

待機（STANDBY）稼動 Offline または Standby

停止（STOP）停止 ――

※“Unknown”

SysnodeがOffline状態

※GUI(Cluster Admin)のrmsタブの状態表示アイコンで停止(STOP)状態のクラスタアプリケーションを参照した場合の見え方。

- 6 -

■PRIMECLUSTERシステム運用のための主なテスト項目

●起動テスト

業務の起動に関するテストを以下の観点で行ってください。

－起動操作により、Web-Based Admin ViewのCluster Admin画面を参照して、設計したとおりにクラスタシステムが起動している

ことを確認する。

－ RMS構成スクリプトを作成した場合は、RMS構成スクリプトに記載したコマンドが正しく実行されていることを、以下のような方法

で確認する。

- 実行時にメッセージを出力するようなコマンドの場合は、コマンドが正しく実行された旨のメッセージがコンソールに出力さ

れることを確認する。

- コマンドが正しく実行されたことをps(1)コマンド等で確認する。

－新規に作成したクラスタアプリケーションは、デフォルトではPRIMECLUSTERシステムの起動時に自動的には起動しません。

クラスタアプリケーションを「自動起動する」場合は、作成時にuserApplication属性として、AutoStartUpを設定してください。設

定の詳細については、6.7.2 userApplicationの設定を参照してください。

●Faultのクリアテスト

異常が発生したクラスタアプリケーションはFaultedという状態となります。

このクラスタアプリケーションを再び業務に組み込む場合は、「Faultのクリア」という操作を行いFaulted状態を解除する必要があります。

「Faultのクリア」に関するテストを以下の観点で行ってください。

－運用中の業務に影響することなく、Faultのクリア操作により停止中のクラスタアプリケーションのFaulted状態をクリアできることを

確認する。

－ RMS構成スクリプトを作成した場合は、RMS構成スクリプトに記載したコマンドが正しく実行されていることを、以下のような方法

で確認する。

- 実行時にメッセージを出力するようなコマンドの場合は、コマンドが正しく実行された旨のメッセージがコンソールに出力さ

れることを確認する。

- コマンドが正しく実行されたことをps(1)コマンド等で確認する。

●切替えテスト

「フェイルオーバ」および「スイッチオーバ」に関するテストを以下の観点で行ってください。

－「フェイルオーバ」は、以下の事象により「切替え」が発生することを確認する。

- クラスタアプリケーション異常

－「スイッチオーバ」は、以下の事象により「切替え」が発生することを確認する。

- 運用ノードのシャットダウン

- クラスタアプリケーションの停止操作

－フェイルオーバまたはスイッチオーバが正常に行われたことを以下の項目について確認する。

- ディスク切替え

運用ノードから、ディスクにアクセスできることを確認する。

切替ディスクであれば、ファイルシステムがマウントされているか、df(1)コマンドで確認することも可能。

- Cmdlineリソースを使用する場合は、CmdlineリソースのStartスクリプト、Stopスクリプトに記載したコマンドが正しく実行され

ていることを、以下のような方法で確認する。

- コマンドの実行時にメッセージを出力するようなコマンドの場合は、コマンドが正しく実行された旨のメッセージがコンソー

ルに出力されることを確認する。

- コマンドが正しく実行され、プロセスが起動したことをps(1)コマンドで確認する。

－ IPアドレス引継ぎを設定している場合は、IPアドレス引継ぎが正常に行われていることをip(8)コマンド、または、ifconfig(8)コマ

ンドで確認する。

－アプリケーションの運用が、旧運用ノードから引継ぎが行われていることを確認する。

- 7 -

また、フェイルオーバテストの際には、切替え時間の測定も行ってください。クラスタシステムに障害が発生した場合の業務への影

響度(業務の停止時間)を把握するために、障害検出要因ごとの切替え時間を測定し、障害発生時の業務復旧時間を確認してく

ださい。

●交換テスト

「交換」に関するテストを以下の観点で行ってください。

－運用中の業務がクラスタアプリケーションの交換操作によって正常に「運用」と「待機」が入れ替わったことを以下の項目につい

て確認する。

- ディスク切替えを使用する場合

運用ノードから、ディスクをアクセスできること、待機ノードからディスクにアクセスできないことを確認する。

切替ディスクであれば、ファイルシステムがマウントまたはアンマウントされているか、df(1)コマンドで確認することも可能。

- Cmdlineリソースを使用する場合

CmdlineリソースのStartスクリプト、Stopスクリプトに記載したコマンドが正しく実行されていることを、以下のような方法で確

認する。

- コマンドの実行時にメッセージを出力するようなコマンドの場合は、コマンドが正しく実行された旨のメッセージがコンソー

ルに出力されることを確認する。


- IPアドレス引継ぎを使用する場合

IPアドレス引継ぎが正常に行われていることを確認する。

- アプリケーションを使用する場合

アプリケーションの運用が旧運用ノードから引継ぎが行われていることを確認する。

●停止テスト

「停止」に関するテストを以下の観点で行ってください。

－運用中の業務が停止操作によって正常に「停止」することを確認する。

－全ノードを同時に立上げ直すことにより業務を起動できることを確認する。

－ Cmdlineリソースを使用する場合は、CmdlineリソースのStartスクリプト、Stopスクリプトに記載したコマンドが正しく実行されてい

ることを、以下のような方法で確認する。

- コマンドの実行時にメッセージを出力するようなコマンドの場合は、コマンドが正しく実行された旨のメッセージがコンソール

に出力されることを確認する。


●業務継続性テスト

障害発生時に業務が継続して動作することを確認してください。

－クラスタシステムでさまざまな状態遷移を繰り返し発生させたとき、アプリケーションが持つデータなどに不整合を生じることな

く、アプリケーションが正常に動作することを確認する。

－サーバ/クライアントシステムとして業務を構築しているシステムでは、クラスタシステムで状態遷移を発生させたとき、クライアン

ト側で仕様どおりにクラスタシステムで動作する業務のサービスを継続して利用できることを確認する。

●クラスタノード強制停止テスト

シャットダウン機構の設定が正しく動作することを確認してください。

クラスタを構成するそれぞれのクラスタノードについて一度は停止されるかのテストを、以下の観点で行ってください。

－ OS 異常を発生させ、異常が発生したクラスタノードが強制停止されることを確認する。

－クラスタインタコネクトを切断し、優先度の低いクラスタノードが強制停止されることを確認する。

- 8 -

注意

両方のパスでNICのリンクダウンイベントを検出するように、クラスタインタコネクトを切断してください。

例えば、2ノードクラスタでインタコネクトがスイッチをはさんで接続されている場合、2本のクラスタインタコネクトを同じノード側で

切断してください。両方のパスでNICのリンクダウンイベントを検出できないような切断をした場合、経路異常の検出に時間差が

発生し、先に異常を検出したノードが優先的に強制停止を実行することがあります。

また、強制停止されたクラスタノードのクラッシュダンプが採取されることも確認してください。

参照

・「起動」「Faultのクリア」「フェイルオーバ」「切替え」「停止」の操作方法については“7.2 PRIMECLUSTERシステムの運用操作”を

参照してください。

・ IPアドレス引継ぎの内容については、“6.7.3.5 Glsリソースの設定”を参照してください。

1.5 運用と保守

クラスタシステムがどのような状態に陥っている場合でも、業務が継続できることを確認できたら、運用に入ることができます。

注意

クラスタシステムは異常発生時も業務の継続が可能ですが、異常が発生したままの状態は片側運用状態であり、再度異常が発生した

場合には業務の継続が不可能となります。高信頼性のためには、早急に二重化運用状態にして、異常処理の原因を取り除く保守作

業が必要となります。

参照

PRIMECLUSTERシステムに障害が発生した場合の、調査に必要な情報の採取方法については、“付録C トラブルシューティング”を


1.6 クラスタシステムの運用形態の変更

PRIMECLUSTERシステム運用中に、クラスタアプリケーションを追加するなどシステムの構成を変更する必要が生じた場合には、

PRIMECLUSTERシステムの運用変更を行います。

参照

運用変更の詳細については、“第8章クラスタシステムの構成変更”を参照してください。

1.7 システム構築時の注意点

1.7.1 PRIMERGY/PRIMEQUEST 共通の注意点

PRIMECLUSTER システム構築時に陥りやすい注意点について説明します。システムの構築を行う前に一読ください。

クラスタシステムを構成する全ノードの時刻は一致させてください

NTP サーバと接続し全ノードで時刻同期を取ってください。

全ノードの時刻が一致していない場合、クラスタが正しく動作しないことがあります。

- 9 -

例えば、下記のメッセージが出力されたり、クラスタアプリケーションのOnlinePriority属性を設定している場合は、RMS起動時に後

に運用系であったノードを正しく判断できず、意図したノードでクラスタアプリケーションがOnlineにならない場合があります。

(WRP, 34) Cluster host host is no longer in time sync with local node. Sane operation of RMS can no longer be guaranteed. Further out-of-sync messages will appear in the syslog.

(WRP, 35) Cluster host host is no longer in time sync with local node. Sane operation of RMS can no longer be guaranteed.

クラスタインタコネクトにスパニングツリープロトコルを設定しないでください

スパニングツリープロトコルを設定するとクラスタインタコネクト間のアクセスが中断し、ハートビート通信に失敗することがあります。

スイッチングハブで、STP(Spanning-Tree Protocol) の Parameter Setting - Status を Disable に設定してください。

クラスタインタコネクトの経路ではフィルタリング設定を行わないようにしてください

RIMECLUSTER のクラスタインタコネクトでは、複数の回線を束ねた上でPRIMECLUSTER独自のプロトコル(ICFプロトコル)で通信を

行っています。そのため、クラスタインタコネクトに接続されたクラスタノード以外の機器と通信を行うことができません。よって、クラスタ

インタコネクトの経路ではフィルタリング設定を行わないようにしてください。

クラスタで必要なカーネルパラメタは必ず設定してください

PRIMECLUSTER はシステムの資源を使用して動作します。このシステム資源が不足すると、PRIMECLUSTER が正常に動作しなく

なる場合があります。

システムの使用資源量は、カーネルパラメタとして設定します。

システム資源量は動作する環境によって異なりますので動作環境より適切なシステム資源量を見積り設定してください。

なお、カーネルパラメタの変更は PRIMECLUSTER の構築前に行ってください。

また、カーネルパラメタを変更した場合は、必ずOSを再起動してください。

参照

パラメタ値の詳細については、PRIMECLUSTER デザインシートの“セットアップ(初期構成）”を参照してください。

システムダンプあるいはクラッシュダンプは採取できるように設定してください

システムダンプあるいはクラッシュダンプが採取できないと、トラブル発生時の調査に時間を要したり、根本原因の追求ができない場合

があります。

PRIMECLUSTER を構築する前に、システムダンプあるいはクラッシュダンプが採取できることを確認してください。

時刻同期はゆっくりと調整してください

NTPを使用して各ノードの時刻を合わせる場合は、設定により、急激な時刻合わせ（stepモード）となりますが、急激な時刻合わせを使

用せずに、常時ゆっくりとした時刻合わせ(slewモード)で行ってください。設定方法の詳細についてはOS等のマニュアルを参照してく

ださい。

NTPを使用した急激な時刻合わせや、運用中のdateコマンドによる時刻合わせを行うと、ノード間で時刻不正が発生しクラスタシステム

が正しく動作しません。

例えば、下記のメッセージを出力して切替えが発生したり、ハートビート異常による切替えが発生します。

(WRP, 34) Cluster host host is no longer in time sync with local node. Sane operation of RMS can no longer be guaranteed. Further out-of-sync messages will appear in the syslog.

(WRP, 35) Cluster host host is no longer in time sync with local node. Sane operation of RMS can no longer be guaranteed.

使用するサーバ機種によって必要なシャットダウン機構を設定してください

使用するサーバ機種によって必要なシャットダウン機構が異なります。“5.1.2 シャットダウン機構の設定”を参照して使用するサーバ機

種に必要となるシャットダウン機構を確認し、設定してください。

- 10 -

CF ハートビートのタイムアウト検出時間を必要に応じて設定してください

CF ハートビートのタイムアウト検出時間については、ピーク時の業務処理量を考慮し、お客様環境にあわせて設定してください。設定

する値の目安は、10秒から1分程度です。デフォルト値は10秒です。

参照

CF ハートビートのタイムアウト検出時間の設定方法については、“PRIMECLUSTER Cluster Foundation 導入運用手引書”の“1.1.2cfset”を参照してください。

RMS停止待ち時間を指定する環境変数RELIANT_SHUT_MIN_WAITは必ず設定してください

RMSとクラスタアプリケーションの停止に必要な時間は、環境によって異なるため、必ず、構成設定に応じた値を見積り、設定してくだ

さい。

参照

RELIANT_SHUT_MIN_WAIT の詳細については、“PRIMECLUSTER RMS 導入運用手引書”の“13.2 グローバル環境変数”を参

照してください。

RMS環境変数の参照/変更方法については、“PRIMECLUSTER RMS 導入運用手引書”の“13.1 RMS 環境変数の設定”を参照して

ください。

CF 設定時にネットワークインタフェースで DHCP を使用しないでください

ネットワークインタフェースに DHCP を設定している状態で CF の設定を行うと、ノードがパニックする場合があります。

CF 設定前に、ノードのすべてのネットワークインタフェースの DHCP の設定を解除してください。

例

DHCP の設定が行われている場合

</etc/sysconfig/network-scripts/ifcfg-ethX 設定内容>

DEVICE=ethX

BOOTPROTO=dhcp

HWADDR=xx:xx:xx:xx:xx:xx

ONBOOT=yes

TYPE=Ethernet

DHCP_HOSTNAME=Node1

DHCP の設定を解除した場合

</etc/sysconfig/network-scripts/ifcfg-ethX 設定内容>

DEVICE=ethX

BOOTPROTO=static

HWADDR=xx:xx:xx:xx:xx:xx

ONBOOT=yes

IPADDR=xxx.xxx.xxx.xxx

NETMASK=xxx.xxx.xxx.x

TYPE=Ethernet

クラスタノードで、Firewallとしてiptablesまたはip6tablesを使用する場合、“付録K Firewallを使用する場合”を参照して設定してください

Firewallが正しく設定されていない場合、PRIMECLUSTERが正常に動作しないことがあります。

- 11 -

OSのIPv6機能を無効にしないでください。

IPv6アドレスを使用しない場合においても、OSのIPv6モジュールはロードされるように設定してください。

1.7.2 PRIMERGY の場合の注意点

BMC、iRMC とクラスタノードは同じネットワークセグメントにしてください

同じネットワークセグメントに属していない場合、IPMI シャットダウンエージェントが正しく動作しません。

IPMIシャットダウンエージェントあるいはBladeシャットダウンエージェントを使用する場合、kdumpシャットダウンエージェントも設定してください

kdumpシャットダウンエージェントを設定していない場合、パニックダンプの採取が行われずにノードが強制停止されます。

kdumpシャットダウンエージェントは、panicinfo_setupコマンドにより設定されます。

BMC, iRMCのLANインタフェースは専用LANとしてください

シャットダウン機構で使用するBMC, iRMCのLANインタフェースは専用LANとして占有します。業務LANやクラスタインタコネクトと兼

用することはできません。

IPMIシャットダウンエージェントを使用する場合、設定に指定するiRMCのユーザには管理者権限を付加してください

管理者権限がない場合、IPMIシャットダウンエージェントは正しく動作しません。

1.7.3 PRIMEQUEST の場合の注意点

PSA/SVmcoは各パーティションにインストールしてください

PSA(PRIMEQUEST Server Agent)/SVmco(ServerView Mission Critical Option) は各パーティションにインストールされている必要が

あります。

PSA/SVmco がインストールされていない場合、障害発生時に他ノード（パーティション）への切替えが正しく行われません。

1.7.4 仮想マシン機能を使用したクラスタシステム構築時の注意点

複数のクラスタシステムを構築する場合、クラスタインタコネクト用の仮想ブリッジはクラスタシステムごとに用意してください

仮想マシン機能上では、以下の図のように複数のクラスタシステムを構築することができます。

- 12 -

複数のクラスタシステムを構築する場合、以下の点に注意してください。

・クラスタインタコネクトにはクラスタシステムごとに用意した仮想ブリッジを使用してください。

・管理LANには共通の仮想ブリッジを使用してください。

業務LANに使用する仮想ブリッジは業務で使用する通信量に応じてクラスタシステムごとに分けるか判断してください。業務での通信

量に応じて仮想ブリッジを別々に用意することが可能です。

- 13 -

第2章設計

PRIMECLUSTERシステムを構築するにあたり、事前に以下のことを設計しておく必要があります。

設計内容

・ PRIMECLUSTER製品の選定

・システム設計

・クラスタシステムの運用形態

・ Web-Based Admin Viewを使用するための運用形態

・クラスタアプリケーション、およびクラスタアプリケーションで使用するリソース

ポイント

PRIMECLUSTERの各種製品の概要については、“PRIMECLUSTER コンセプトガイド”で説明を行っています。PRIMECLUSTERシ

ステムの設計を行う場合には、事前に参照してから設計を行ってください。

2.1 PRIMECLUSTER製品の選定

PRIMECLUSTER製品を選定する場合には、以下の順序で行います。

1. 製品の選定

PRIMECLUSTERのセット商品の中から、用途に合わせて必要な製品を選定します。

詳細については、“2.1.1 製品の選定”を参照してください。

2. 機能実現性の確認

1.で選定した製品に、必要とする機能が含まれているか確認します。

詳細については、“2.1.2 機能の確認”を参照してください。

2.1.1 製品の選定

PRIMECLUSTERには、以下のようなセット商品が用意されています。用途に合わせて必要な製品を選択してください。

・ PRIMECLUSTER Enterprise Edition (EE)

切替(HA)型クラスタ機能、並列データベース機能を包括したオールインワンクラスタです。

Oracle RAC、Symfowareなどスケーラブル運用を行う場合に使用します。

・ PRIMECLUSTER HA Server (HA)

切替(HA)型クラスタ機能、ボリューム管理機能、共用ファイルシステム機能、システム機能、ネットワーク多重化機能をもつ切替

(HA)型クラスタシステムです。

・ PRIMECLUSTER Clustering Base (CB)

切替(HA)型クラスタシステムを実現するクラスタ基盤ソフトウェアです。

本商品はPRIMERGYのみ選択可能です。

・ PRIMECLUSTER Lite Pack(LP)

2ノード構成限定、機種限定のコストパフォーマンスに優れたクラスタ基盤ソフトウェアです。

特定の運用形態（1:1運用待機、相互待機）に特化した切替(HA)型クラスタ機能とボリューム管理機能を合わせもっています。

本商品はPRIMERGYのみ選択可能です。

以下に、各製品にどのコンポーネント（モジュール）が含まれているかを示します。

- 14 -

コンポーネント製品

名前機能 EE HA CB LP

PCLsnap 障害調査に必要なシステムおよび

クラスタの情報を採取する機能

○ ○ ○ ○

Web-Based Admin View PRIMECLUSTERの各種操作や監

視をGUI(運用管理ビュー)で実現す

る機能

○ ○ ○ ○

Cluster Foundation (CF) ユーザアプリケーションやその他の

PRIMECLUSTERサービスがクラス

タ内の管理および通信に必要な基

本機能

○ ○ ○ ○

Reliant Monitor Services(RMS)

クラスタ内で実行するアプリケーショ

ンの高可用性(HA)を実現するソフ

トウェアモニタ機能

○ ○ ○ ○

Wizard Tools RMSによって制御されるクラスタア

プリケーションを作成する機能

○ ○ ○ ○

RAO PRIMECLUSTER上で動作する各

種のリソースを管理する機能

○ ○ ○ ○

SA BMC, iRMC, Blade, MMBを使用す

るシャットダウンエージェント機能

○ ○ ○ ○

Global Link Services (GLS) ネットワーク伝送路を冗長化し、通

信の高信頼化を実現する機能

○ ○ ― ―

Global File Services (GFS) 共用ディスク装置を接続している複

数のノードから共用ファイルシステ

ムの同時アクセスを実現する機能

○ ○ ― ―

Global Disk Services (GDS) 共用ディスク装置に格納されている

データの可用性と運用管理性を向

上させるボリューム管理機能

○ ○ ― ○

Parallel Application Services(PAS)

並列データベースソフトウェアに対

して高性能かつ高速な通信を実現

する機能

○ ― ― ―

2.1.2 機能の確認

選定した製品に必要とする機能が含まれていることを、以下のマニュアルを参照して確認してください。

・ PRIMECLUSTERの基本機能

基本機能については、“PRIMECLUSTER コンセプトガイド”の“2.3 PRIMECLUSTER のモジュール”を参照してください。

2.2 システム設計

クラスタシステムの構成として以下があります。いずれもPRIMECLUSTER デザインシートを使用してシステムの設計を行ってください。

・仮想マシン機能を使用しない場合

・仮想マシン機能を使用する場合

PRIMECLUSTERシステムの導入作業は、作成したPRIMECLUSTER デザインシートをもとに行います。デザインシートは必ず作成し

てください。

- 15 -

参照

・動作環境の詳細については、PRIMECLUSTERのインストールガイドの“第2章動作環境”を参照してください。

参考

・仮想マシン機能を使用しない場合のシステム設計を行うときは、PRIMECLUSTER デザインシートを参考にしてください。

・ VMware環境で仮想マシン機能を使用する場合は、“付録H VMware環境でPRIMECLUSTERを使用する場合”を参考にしてくだ

さい。

・ FUJITSU Cloud Service K5 環境で使用する場合は、“PRIMECLUSTER 導入運用手引書 4.4 <FUJITSU Cloud Service K5環境

編>”を参考にしてください。

注意

・システムに存在するネットワークデバイスのデバイス名に、cipX (Xは0から7までの数字)という名前を設定しないでください。

PRIMECLUSTERは cipX という名前の仮想ネットワークデバイスを作成・使用するため、cipX という名前のネットワークデバイスが

既に存在する場合、PRIMECLUSTERの設定操作、運用操作が一切できなくなります。

・ PRIMECLUSTERはNetworkManagerサービスが有効な場合、設定操作、運用操作が一切できなくなります。NetworkManagerサー

ビスが無効であることを確認してください。NetworkManagerサービスの設定変更方法については、OSのマニュアルを参照してくだ

さい。

2.2.1 仮想マシン機能

仮想マシン機能とは、ソフトウェアにより仮想マシン環境を実現するための機能のことです。

物理マシンに装着されたCPU、メモリ、ネットワークおよびディスクの各資源を仮想化することで、1つの物理マシン上に独立した複数

の仮想マシンを構築することができます。

PRIMECLUSTERは、複数のゲストOS間でクラスタシステムを構築することができます。

注意

・ KVM環境では、管理OSをハイパーバイザーと、VMware環境では、管理OSをESXiホストと読み替えてください。

・ PRIMECLUSTERを導入する仮想マシン環境では、以下の操作を行わないでください。

- ゲストOSの一時停止

- ゲストOSの一時停止状態から再開

- ゲストOSを停止していない状態での、管理OSの停止、または、再起動

参照

・ KVM環境での仮想マシン機能の詳細については、“Red Hat Enterprise Linux 6 Virtualization Guide”または“Red Hat EnterpriseLinux 7 Virtualization Deployment and Administration Guide”を参照してください。

・ VMware環境での仮想マシン機能の詳細については、VMware vSphereのソフトウェア説明書を参照してください。

- 16 -

■仮想マシン機能の構成

■仮想マシン機能上でのクラスタシステム

仮想マシン機能上では、クラスタシステムとして以下の方式があります。

・ 1つの管理OS上のゲストOS間でクラスタシステムを構築する場合

・管理OS異常切替機能を使用せず、複数の管理OS上のゲストOS間でクラスタシステムを構築する場合

・管理OS異常切替機能を使用して、複数の管理OS上のゲストOS間でクラスタシステムを構築する場合(KVM環境のみ)

各クラスタシステムの用途と注意事項は以下のとおりです。

クラスタの方式用途例注意事項

1つの管理OS上のゲス

トOS間でクラスタシステ

ムを構築する場合

・物理サーバ1台の中で、物理環境と

同じクラスタアプリケーション構成にし

たゲストOS間にクラスタ環境を構築す

る

・物理サーバ1台の構成のため、物理サーバ故

障時はすべてのクラスタノードが停止し、業務

停止となります。そのため、業務の運用には適

しません

・以下の操作を行わないでください

－ゲストOSの一時停止

－ゲストOSの一時停止状態から再開

－ゲストOSを停止しない管理OSの停止、ま

たは、再起動

管理OS異常切替機能

を使用せず、複数の管

理OS上のゲストOS間

でクラスタシステムを構

築する場合

・物理環境と同じクラスタアプリケーショ

ン構成でゲストOS間にクラスタ環境を

構築し、クラスタアプリケーションの開

発・テスト環境として使用、もしくは業

務を運用する

・管理OSにPRIMECLUSTERをインストールし

ないでください

・ KVM環境で、管理OSに異常が発生した場合

は、ゲストOSの強制停止ができないため

LEFTCLUSTERとなります





たは、再起動


を使用して、複数の管

理OS上のゲストOS間

でクラスタシステムを構

・物理環境と同じクラスタアプリケーショ

ン構成でゲストOS間にクラスタ環境を

構築し、業務を運用する

・ゲストOSでRMSの優先度(ShutdownPriority)属性が設定できません

・生存優先度の設定によっては、運用ノードが

停止させられる場合があります

- 17 -

クラスタの方式用途例注意事項

築する場合(KVM環境

のみ)・管理OS異常時にも自動でクラスタア

プリケーションを切り替える

・管理OS異常を検出するとその管理OSを強制

停止するため、異常が発生した管理OS上のゲ

ストOSはすべて停止します





たは、再起動

・1つの管理OS上のゲストOS間でクラスタシステムを構築する場合

本構成では、1つの物理マシンでクラスタシステムを動作させることができます。PRIMECLUSTER上で動作するuserApplicationの

動作検証を行う場合に有効です。

注意

VMware環境で、ゲストOSに異常が発生した場合、ノード状態がLEFTCLUSTERとなります。LEFTCLUSTERからの回復について

は、“PRIMECLUSTER Cluster Foundation 導入運用手引書”の“5.2LEFTCLUSTER からの回復” を参照してください。その後の

操作については、“7.2 PRIMECLUSTERシステムの運用操作”を参照してください。

・複数の管理OS上のゲストOS間でクラスタシステムを構築する場合

本構成では、ハードウェア（ネットワークやディスク）が故障しても、フェイルオーバにより業務を継続動作させることができます。

- 18 -

注意

KVM環境で、管理OSが動作できない場合、ノード状態がLEFTCLUSTERとなる場合があります。詳細については、“7.4.2 仮想マ

シン機能使用時にLEFTCLUSTER状態となった場合の対処方法”および“7.2 PRIMECLUSTERシステムの運用操作”を参照して

ください。

KVM環境で複数の管理OS上のゲスト間でクラスタシステムを構築する場合には、管理OS異常時に自動的に切替えを行える機能

(管理OS異常切替機能)を使用することができます。


仮想マシン機能に他筐体ゲスト間クラスタを構築時、管理OSに異常が発生すると、クラスタを構成するノードが、LEFTCLUSTER状態になる場合があります。管理OS異常切替機能とは、KVM環境の他筐体ゲスト間クラスタにおいて、管理OSに

PRIMECLUSTERを導入することで、下記の管理OSの動作異常時にゲストOSと連携し、ゲストOS上のクラスタアプリケーション

を自動で切替えることを可能とする機能です。

- 管理OSのパニック

- 管理OSのOSハング（スローダウン）

ただし、本機能の利用によりRMSの優先度設定が使用できなくなる等、運用上の注意がありますので、設計時に考慮の上、使

用してください。

注意

- ゲストOSのクラスタアプリケーションの作成で、RMSの優先度(ShutdownPriority)属性は設定しないでください。

- 管理OS異常を検出するとその管理OSを強制停止するため、異常が発生した管理OS上のゲストOSはクラスタの有無にかか

わらず、すべて停止します。

- 19 -

- 管理OSでは、ゲストOSで必要となる以下のリソースを除き、クラスタアプリケーションにリソースを登録しないでください。

・ゲストOSで利用するネットワークを制御するGlsリソース

・ゲストOSを制御するためのCmdlineリソース(「付録F KVM環境でPRIMECLUSTERを使用する場合」を参照)

管理OSで業務を稼働させ、その業務の高負荷が原因で管理OSが強制停止された場合、強制停止された管理OSで動作

するゲストOSの業務にも影響が出ます。

図2.1 仮想マシン機能上で管理OS異常切替機能を使用したクラスタシステム

- 20 -

図2.2 管理OS異常時の切替えイメージ

また、PRIMECLUSTERを導入したゲストOSのライブマイグレーションや仮想マシンイメージのコピーによるクラスタシステムの複製

が可能です。

■クラスタシステムにおけるKVM環境でのマイグレーション

クラスタシステムで利用できるKVMのマイグレーション機能には、以下の3種類の方式があります。

・ライブマイグレーション

稼働中のゲストOSを移動させます。

・オフラインマイグレーション

一時停止状態のゲストOSを移動させます。

・エクスポート／インポートによるマイグレーション

停止状態のゲストOSのXML設定ファイルを、エクスポート／インポートします。

KVM環境でのマイグレーション機能は、以下のクラスタシステムの方式で利用できます。

・管理OS異常切替機能を使用せず、複数の管理OS上のゲストOS間でクラスタシステムを構築する場合

・管理OS異常切替機能を使用して、複数の管理OS上のゲストOS間でクラスタシステムを構築する場合

ライブマイグレーション

ゲストOSを稼動状態でマイグレーション（ライブマイグレーション）することで、運用・待機の冗長構成を維持したまま、サーバの保守

を実施できます。

- 21 -

図2.3 クラスタシステムにおけるライブマイグレーション

- 22 -

図2.4 予備サーバへのライブマイグレーション

オフラインマイグレーション

ゲストOSを一時停止状態にしてマイグレーション（オフラインマイグレーション）することで、運用・待機の冗長構成を維持したまま、

待機サーバの保守を実施できます。

- 23 -

図2.5 予備サーバへのオフラインマイグレーション(実行前)

- 24 -

図2.6 予備サーバへのオフラインマイグレーション(実行中)

- 25 -

図2.7 予備サーバへのオフラインマイグレーション(実行後)

エクスポート／インポートによるマイグレーション

停止状態のゲストOSをエクスポート／インポートによるマイグレーションをすることで、予備サーバでゲストOSを起動し、運用・待機

の冗長構成を維持したまま、待機サーバの保守を実施できます。

- 26 -

図2.8 予備サーバへのエクスポート／インポートによるマイグレーション(実行前)

- 27 -

図2.9 予備サーバへのエクスポート／インポートによるマイグレーション(実行中)

- 28 -

図2.10 予備サーバへのエクスポート／インポートによるマイグレーション(実行後)

クラスタシステムでKVMのマイグレーション機能を利用する場合、事前設定が必要です。詳細は“付録G KVM環境でマイグレーショ

ン機能を使用する場合”を参照してください。

注意

・マイグレーション実施中は、クラスタシステムの切替えは行われません。

・クラスタシステムの切替え中には、マイグレーション操作を行わないでください。

2.3 クラスタシステムの運用形態の決定

PRIMECLUSTERでは、複数のクラスタアプリケーションの配置方法によって、さまざまな運用形態を構築することができます。

ここでは、代表的な運用形態を示します。

分類運用形態クラスタアプリケーション数ノード数

スタンバイ運用 1:1運用待機 1 2

相互待機 2～(ノード数) 2～(サポートノード数)

N:1運用待機 2～(ノード数-1) 3～(サポートノード数)

カスケード 1～(ノード数) 3～(サポートノード数)

移動待機 2～(ノード数-1) 3～(サポートノード数)

スケーラブル運用スケーラブル 1～(ノード数) 1～(サポートノード数)

- 29 -

分類運用形態クラスタアプリケーション数ノード数

高可用スケーラブル 1～(ノード数) 2～(サポートノード数)

シングルノードクラス

タ運用

- 1 1

注意

停電や電源異常により、片側のノードの電源が突然切断された場合、フェイルオーバが動作しないことがあります。以下を考慮してく

ださい。

・ UPSを接続する

2.3.1 スタンバイ運用

スタンバイ運用の運用形態を以下に示します。

参考

スタンバイ運用には、ホットスタンバイ運用とコールドスタンバイ運用があります。

ホットスタンバイ運用は、待機状態にあるノードで、すぐに運用状態となるための事前準備を行います。ホットスタンバイ運用の場合、

運用状態にあるノードのクラスタアプリケーションの状態はOnline、待機状態にあるノードのクラスタアプリケーションの状態はStandbyと

なります。ホットスタンバイ運用を行うためには、使用するPRIMECLUSTER対応製品や ISVアプリケーション、利用者アプリケーション

がホットスタンバイをサポートしている必要があります。

コールドスタンバイ運用は、待機状態にあるノードで、すぐに運用状態となるための事前準備を行いません。コールドスタンバイ運用の

場合、運用状態にあるノードのクラスタアプリケーションの状態はOnline、待機状態にあるノードのクラスタアプリケーションの状態は

Offlineとなります。

■1:1運用待機

◆特徴

・ 2ノードから構成されるクラスタシステム上で動作する運用形態。一方が「運用」、もう一方が「待機」の状態になります。運用ノード

で異常が発生すると、クラスタアプリケーションは待機ノードに切替わります。こうして中断することなく運用が続けられます。

［利点］

・フェイルオーバ後もクラスタアプリケーションの処理能力は保証されます。

［留意事項］

・冗長構成になっているため、システム全体のノードを効率よく使うことができません。

- 30 -

◆フェイルオーバイメージ

■相互待機

◆特徴

・ 2つ以上のノードから構成されるクラスタシステム上で動作する運用形態。一般的には2ノードが「運用」として使用されます。各ノー

ドには「運用」状態と「待機」状態のクラスタアプリケーションが存在します。各「運用」クラスタアプリケーションの「待機」を各他ノー

ド上に持ちます。

［利点］

・すべてのノードがクラスタアプリケーションの運用となるため、システム全体のノードを効率良く使うことができます。

［留意事項］

・いずれかのクラスタアプリケーションがフェイルオーバすると、フェイルオーバしたノードでは2つのクラスタアプリケーションが運用

となるため、クラスタアプリケーションの処理能力が低下することがあります。

- 31 -


■N:1運用待機

◆特徴

・ 3つ以上のノードから構成されるクラスタシステム上で動作する運用形態。一方が「運用」、他方が「待機」の状態になります。運用

ノードで異常が発生すると、クラスタアプリケーションは待機ノードに切替わります。同時に複数の運用ノードで異常が発生した場

合でもクラスタアプリケーションは待機ノードに切替わります。

［利点］

・ 1つのクラスタアプリケーションがフェイルオーバした場合は、フェイルオーバ後もクラスタアプリケーションの処理能力は保証されま

す。

・ 1つのノードが複数のクラスタアプリケーションの待機となるため、クラスタアプリケーション数が多い場合は待機コストを軽減できま

す。

［留意事項］

・複数のクラスタアプリケーションがフェイルオーバした場合は、1つのノードで複数のクラスタアプリケーションが運用となるため、ク

ラスタアプリケーションの処理能力が低下します。

- 32 -


■カスケード（1:1運用待機の応用系）

◆特徴

・ 3つ以上のノードから構成されるクラスタシステム上で動作する運用形態。一方が「運用」、他方が「待機」の状態になります。運用

ノードで異常が発生すると、クラスタアプリケーションは待機ノードに切替わります。切替えが失敗した場合でも、クラスタアプリケー

ションはもう一方の待機ノードへ切替わります。

［利点］

・ 1ノードを停止した後も、残りのノードでクラスタアプリケーションの冗長構成がとれるため、保守作業時にも可用性を保てます。

・フェイルオーバ後もクラスタアプリケーションの処理能力は保証されます。

［留意事項］



クラスタアプリケーションの設定時に、各ノードの「クラスタアプリケーションの優先順位」が高い方からノード1、ノード2、ノード3の順に

定義された例について説明します。

- 33 -

参照

クラスタアプリケーションの優先順位の設定方法については、“6.7.2.1 スタンバイ運用のクラスタアプリケーション作成”の手順4を参照

してください。

■移動待機（N:1運用待機の応用系）

◆特徴

・ 1つのノードが複数のクラスタアプリケーションの待機となります。その他のノードは1つのノードにつき1つのクラスタアプリケーショ

ンの運用と、複数のクラスタアプリケーションの停止となります。

・本運用形態は、カスケードとクラスタアプリケーション間の排他機能を使用します。

［利点］

・ 1つのクラスタアプリケーションが運用となっているノードでは、他のクラスタアプリケーションが運用または待機にならないため、フェ

イルオーバ後もクラスタアプリケーションの処理能力は保証されます。

・クラスタアプリケーションの復旧時にクラスタアプリケーションを切り戻す必要がないため、復旧時にも業務が継続できます。

・ 1つのノードが複数のクラスタアプリケーションの待機専用となるため、クラスタアプリケーション数が多い場合は待機コストを軽減で

きます。

［留意事項］

・ 1つのノードが複数のクラスタアプリケーションの待機となるため、クラスタアプリケーション数が多い場合の可用性は低下します。

・ 1つのノードに異常が発生し、フェイルオーバした場合、保守作業が完了するまでの間一時的に待機が存在しないため可用性が

低下します。

- 34 -


2.3.2 スケーラブル運用

スケーラブル運用の運用形態を以下に示します。

■スケーラブル

◆特徴

・複数のノードで連携して、クラスタアプリケーションの運用を行う運用形態です。並列データベースやロードシェア/ロードバランスを

利用した並列実行業務に適しています。

［利点］

- 35 -

・一部のクラスタアプリケーションが停止しても縮退運用できます。

［留意事項］

・一部のクラスタアプリケーションが停止した場合は縮退運用となるため、クラスタアプリケーションの処理能力は保証されません。


注意

スケーラブルは、一部のPRIMECLUSTER関連製品との組合せで利用可能です。対象製品については、各関連製品のマニュアルを


■高可用スケーラブル

◆特徴

・スケーラブルを構成する各クラスタアプリケーションをスタンバイ運用にした運用形態です。スケーラブルを構成するスタンバイ運

用は、1:1運用待機、N:1運用待機、移動待機などと組み合わせることができます。拡張性と可用性を必要とする並列データベース

やロードシェア/ロードバランスを利用した並列実行業務に適しています。

［利点］

・スケーラブルを構成する1つのクラスタアプリケーションがフェイルオーバしても、冗長構成によりクラスタアプリケーション全体の処

理能力が維持できます。

・一部のクラスタアプリケーションが停止しても縮退運用できます。

［留意事項］



以下にスケーラブル運用の構成として1:1運用待機を2つ組み合せた場合のフェイルオーバイメージを示します。

- 36 -

注意

高可用スケーラブルは、一部のPRIMECLUSTER関連製品との組合せで利用可能です。対象製品については、各関連製品のマニュ

アルを参照してください。

2.3.3 シングルノードクラスタ運用

シングルノードクラスタ運用の運用形態を以下に示します。

◆特徴

・ 1ノードから構成されるクラスタシステムにおける運用形態です。

［利点］

・ 1ノード構成で、そのノード上の業務の監視・制御を行うことができます。

・ AUTORECOVER属性を設定したリソースに故障が発生した場合、自動的に再起動して復旧を試みることで、可用性を向上させる

ことができます。

・クラスタアプリケーションの作成、テストを行うための開発環境としても利用できます。

[留意事項]

・ハードウェア故障が発生した場合、切替え先のハードウェアがないため、業務停止となります。ハードウェア故障が発生した際に

切替えが必要な場合は、2ノード以上の構成にしてください。

- 37 -

・複数のクラスタシステムが混在している仮想マシン機能を使用した環境では、以下の図のように、生存優先度の高いノードにシン

グルノードクラスタを構築してください。

図2.11 シングルノードクラスタの構築例

・仮想マシン機能を使用した環境で、以下の条件に該当すると、シングルノードクラスタのゲストOSは運用停止となります。(下図参

照)

－複数のクラスタシステムが混在している、かつ、

－シングルノードクラスタのノードの生存優先度が低い、かつ、

- 38 -

－ (ノード間通信ができなくなった等の理由によって)ノードが強制停止された場合

図2.12 クラスタインタコネクト異常時の構築例


シングルノードクラスタ運用ではフェイルオーバすることはありません。

- 39 -

注意

PRIMECLUSTERで使用する、クラスタインタコネクト用のネットワークインタフェースカードは、シングルノードクラスタ運用時も1枚は必

要です。

2.4 Web-Based Admin View運用形態の決定

構築するPRIMECLUSTERシステムに合わせ、Web-Based Admin Viewの運用形態を決めます。

システムの性能等を考慮して、適切な運用形態を選定してください。

ここでは、Web-Based Admin Viewを使用したPRIMECLUSTERシステムの運用形態と代表的なモデルの説明と、どのモデルを採用

するかの指針について説明します。

参照

・ Web-Based Admin Viewの運用形態については、“PRIMECLUSTER Web-Based Admin View 操作手引書”の“1.2 Web-BasedAdmin Viewの運用形態”を参照してください。

■各ノードの役割

Web-Based Admin Viewでは、クライアント、クラスタ管理サーバ、およびクラスタノードからなる論理的な3層構造アーキテクチャを採用

しており、クラスタ構成に含まれる各ノード、またはクラスタ構成に含まれない各ノードにおいて以下の役割を持ちます。

◆クライアント

運用を管理するユーザが実際の画面操作等を行う計算機で、Webブラウザの動作するパーソナルコンピュータを基本とします。

◆クラスタ管理サーバ

WWWサーバ機能を持つ運用管理のためのサーバです。物理的にクラスタノードに配置することも可能です。クラスタ管理サーバは二

重化することが可能で、その場合にはプライマリクラスタ管理サーバとセカンダリクラスタ管理サーバの2つのサーバ構成になります。

運用中はクラスタ管理サーバを二重化してください。

なお、運用に応じて動的にセカンダリクラスタ管理サーバを移動させることも可能です。

Linux(R)が動作するサーバ機を使用します。

◆クラスタノード

PRIMECLUSTERシステムを構成し、業務を動作させるノードです。

Linux(R)が動作するサーバ機を使用します。

■論理的3層アーキテクチャと運用モデル

Web-Based Admin Viewはクライアント、管理サーバ、および監視ノードの論理的な3層アーキテクチャを採用していますが、物理的に

は、2層構造をとることも可能です。

以下にWeb-Based Admin Viewを使った代表的な運用モデルを紹介します。

◆2層モデル

クラスタ管理サーバとクラスタノードを兼用し、クライアントが独立するモデルです。

このモデルは、比較的小規模で、特別にクラスタ管理サーバを設定しない場合に採用され、主に1:1運用待機/2ノード相互待機などの

運用形態で使用される代表的なモデルです。

このモデルには以下の形態があります。

●ネットワークを兼用する形態

- 40 -

業務LANと運用管理クライアントのWebブラウザで使用するLANを兼用する形態です。そのネットワークを使用できる範囲や人を限定

できる場合に採用します。PRIMECLUSTERインストール後は、Web-Based Admin View の設定はこの形態のようになっています。

●ネットワークを分離する形態

業務LANと運用管理クライアントのWebブラウザで使用するLANを分離する形態です。運用管理クライアントを公開ネットワーク等から

利用する場合にはセキュリティを考慮し、この運用形態を採用します。この形態は、PRIMECLUSTERインストール後に、Web-BasedAdmin View の設定を変更する必要があります。

設定はクラスタ管理サーバ上で、クラスタノード向けに使用するIPアドレスとクライアント向けに使用するIPアドレスをそれぞれ指定しま

す。詳細は“5.1.1 CF、CIPの設定”を参照してください。

◆3層モデル（PRIMERGYの場合）

クライアント、クラスタ管理サーバ、クラスタノードが別々に設置されるモデルです。

このモデルは、大規模システムでPRIMECLUSTERシステムを集中管理する場合や、クラスタノードにクラスタ管理サーバとしての負荷

をかけたくない場合に使用するモデルです。

業務の継続性、可用性を保証するために3ノード以上の構成ではクラスタ管理サーバを分離した3層モデルにすることを推奨します。

このモデルには以下の形態があります。

●ネットワークを兼用する形態

業務LANと運用管理クライアントのWebブラウザで使用するLANを兼用する形態です。そのネットワークを使用できる範囲や人を限定

できる場合に採用します。PRIMECLUSTERインストール後は、Web-Based Admin View の設定はこの形態のようになっています。

- 41 -

●ネットワークを分離する形態

業務LANと運用管理クライアントのWebブラウザで使用するLANを分離する形態です。運用管理クライアントを公開ネットワーク等から

利用する場合にはセキュリティを考慮し、この運用形態を採用します。この形態は、PRIMECLUSTERインストール後に、Web-BasedAdmin View の設定を変更する必要があります。

設定はクラスタ管理サーバ上で、クラスタノード向けに使用するIPアドレスとクライアント向けに使用するIPアドレスをそれぞれ指定しま

す。詳細は“5.1.1 CF、CIPの設定”を参照してください。

2.5 クラスタアプリケーションのフェイルオーバするタイミングの設定

構築するクラスタアプリケーションがフェイルオーバするタイミングを決定します。

以下からフェイルオーバするタイミングを選択してください。

2～4は、複数選択可能です。

- 42 -

1. 自動フェイルオーバしない。

2. ノード故障時フェイルオーバする。

3. リソース故障時フェイルオーバする。

4. RMS停止時フェイルオーバする。

参照

ここで決めたフェイルオーバのタイミングは、“6.7.2 userApplicationの設定”で設定します。

- 43 -

第2部導入編ここでは、PRIMECLUSTERシステムの導入の手順とWeb-Based Admin Viewの起動方法について説明します。

本部で説明する作業はPRIMECLUSTERシステムを新規に導入するまでの手順です。

すでにPRIMECLUSTERシステムを導入した後のシステム構成の変更の手順については、“第8章クラスタシステムの構成変更”を参


第3章ソフトウェアのインストールと設定............................................................................................................45

第4章クラスタ構築の準備................................................................................................................................78

第5章クラスタの構築.......................................................................................................................................92

第6章クラスタアプリケーションの構築............................................................................................................ 132

- 44 -

第3章ソフトウェアのインストールと設定

ここでは、PRIMECLUSTERに必要なソフトウェアのインストールと設定の手順を、以下の場合に分けて説明します。

・仮想マシン機能を使用しない場合

・仮想マシン機能を使用する場合

注意

・ RedHat Enterprise Linuxのインストール時あるいはsetupコマンド実行時のセキュリティ設定では「Firewallなし」に設定してください。

もし、セットアップ時にFirewallを設定した場合には、「Firewallなし」に設定し直してください。Firewallの設定を行うとclsetup(リソー

スデータベースの設定）コマンドが正常に動作しません。

・ PRIMECLUSTERで動作保証しているumaskの値は、022です。umask値は変更しないでください。

・システムボリュームを配置したI/O装置が故障したときの即時クラスタ切替えについて

システムボリュームを配置したI/O装置が故障した場合、クラスタ切替えが発生せず、メモリ上に保持している情報を基にシステム

の動作が継続してしまうことがあります。

システムボリュームを配置したI/O装置の故障時に、ノードをパニックさせて、PRIMECLUSTERによるクラスタ切替え運用を行いた

い場合は、システムボリュームをext3、またはext4ファイルシステムにして、以下の設定を行ってください。

設定

システムボリュームに含まれる各パーティション（ext3、またはext4ファイルシステム）のmountオプションに「errors=panic」を指定

します。

例) /etc/fstab に設定する場合 ( /、/var、/home が 1つのシステムボリュームに存在するとき)

LABEL=/ / ext3 errors=panic 1 1

LABEL=/boot /boot ext3 errors=panic 1 2

LABEL=/var /var ext3 errors=panic 1 3

LABEL=/home /home ext3 errors=panic 1 4

ただし、I/Oエラーがファイルシステムに伝わるまでに時間がかかり、即時切替えにならない場合があります。定期的にシステムボ

リュームに書込みを行うことで、I/Oエラーの検出頻度を上げることができます。

3.1 仮想マシン機能を使用しない場合

PRIMECLUSTERに関連したソフトウェアのインストール後、実際に導入/運用を行ううえでOS、およびハードウェア等に関して設定を

行う必要があります。

必要に応じて、以下の図に示した作業を行ってください。

- 45 -

3.1.1 ネットワークの設定

業務LAN用のネットワークアダプタを設置した場合、IPアドレスなどネットワークの設定が必要です。

参照

PRIMECLUSTERシステムが使用する業務LAN、管理LANを変更する場合には“9.2 ネットワーク環境の変更”を参照してください。

参考

Web-Based Admin View では、PRIMECLUSTERシステムが導入された時のノード名に相当するホスト名のIPアドレスが割り当てられ

ているインタフェースを、クラスタノード・クラスタ管理サーバ間やクラスタ管理サーバ・クライアント間の通信経路として使用するように自

動設定します。

3.1.2 NTPの設定

クラスタシステムを構築する各ノードの時刻を同期させるための設定です。クラスタを構築する際には必ず行う必要があります。

- 46 -

3.1.3 ディスク装置の設定

共用ディスク装置を使用する場合、関連ソフトウェア製品のインストールと設定が必要となります。

■関連ソフトウェアのインストールと設定

共用ディスク装置を使用するために必要なソフトウェア製品(ETERNUSマルチパスドライバ)のインストールと設定を行います。インス

トールおよび設定の手順については、ETERNUSマルチパスドライバのソフトウェア説明書を参照してください。

3.1.4 ServerViewによるハードウェア監視の設定

ハードウェア監視に関連するソフトウェアの設定を行います。

ServerViewを使用して、ファン、温度センサ、電源のハードウェア監視およびウォッチドッグによるOSの監視ができます。

ServerViewでは、それぞれの監視対象に対して、異常時に実行されるアクションを設定できます。異常時に実行されるアクションとして

「ただちにサーバをシャットダウンする」等を設定することで、監視対象に対して異常を検出した場合に、異常ノードであるサーバがシャッ

トダウンされます。この時、PRIMECLUSTERはノード異常が発生したと認識し、異常ノードの業務は待機ノードにフェイルオーバされ

ます。

注意

PRIMECLUSTERでは、OSがハング状態であってもクラスタインタコネクトの通信が正常に行われている場合、フェイルオーバは発生

しません。

このような状態は、ウォッチドッグタイマ監視を有効にすることで回避することができます。

ServerViewの設定方法の詳細については、ServerView Operations Manager のマニュアルを参照してください。

3.1.5 PRIMECLUSTERインストール

PRIMECLUSTERをインストールします。

詳細は、“3.3 PRIMECLUSTERのインストール”を参照してください。

3.1.6 クラスタ高速切替機能の設定

クラスタ高速切替機能に関連するソフトウェアとハードウェアの設定を行う必要があります。

本設定はOSおよびPRIMECLUSTERインストール後に行ってください。

3.1.6.1 PRIMERGYの場合

■概要

クラスタシステムを構成するノードの1つに異常が発生しクラスタシステム間のハートビートが失敗した場合、PRIMECLUSTERシャット

ダウン機構は異常が発生したノードの電源を強制的に切断します。

ハートビートの失敗要因がパニックであった場合、クラッシュダンプ採取中に強制電源切断すると、クラッシュダンプ採取が途中で終了

してしまうため、異常原因を調査するうえで必要な資料が採取できなくなる場合があります。

クラスタ高速切替機能は、上記の問題を防止するためにクラッシュダンプ採取中の強制電源切断を抑止し、同時に異常発生ノードの

クラッシュダンプ採取中のフェイルオーバを実現する機能です。

- 47 -

■kdump

上図に示すように、ハートビート失敗時にクラスタ高速切替機能は BMC（Baseboard Management Controller）または iRMCを利用して

パニックステータスを設定／参照します。これにより、ハートビート異常を検出したノードは、クラッシュダンプ中のノードの強制電源切

断をすることなくこれを停止状態とみなし、業務を引き継ぐことが可能となります。

注意

・クラッシュダンプ採取中にパニックしたノードをリセットすると、クラッシュダンプ採取が正しく行われません。クラッシュダンプ採取中

はリセット操作をしないでください。

・パニックしたノードのクラッシュダンプ採取後の動作はkdumpの設定に従います。

◆kdumpシャットダウンエージェントに必要な設定

1. kdumpの設定

kdumpを使用する場合は、事前にkdumpの設定を行う必要があります。

kdumpの設定手順の詳細は、OSのマニュアルを参照してください。

注意

Red Hat Enterprise Linuxのインストール時にkdumpの設定を行った場合も、再設定してください。

2. kdumpの確認

[RHEL6の場合]

kdumpサーバ機能が利用可能となっていることを確認してください。利用可能となっていない場合は、利用可能にしてください。

確認操作はrunlevel(8)コマンドとchkconfig(8)コマンドで行います。

- 48 -

－ runlevel(8)コマンドで、現在のランレベルを確認します。

例) 以下の場合、現在のランレベルは3です。

# /sbin/runlevel

N 3

－ chkconfig(8)コマンドで、kdumpの利用可能状態を確認します。

例) 以下の場合、現在のランレベル3のkdumpはオフです。

# /sbin/chkconfig --list kdump

kdump 0:オフ 1:オフ 2:オフ 3:オフ 4:オフ 5:オフ 6:オフ

－現在のランレベルでkdumpがオフになっている場合、chkconfig(8)コマンドでオンにし、service コマンドで kdumpを起動して

ください。

# /sbin/chkconfig kdump on

# /sbin/service kdump start

[RHEL7の場合]

kdumpサーバ機能が利用可能となっていることを確認してください。利用可能となっていない場合は、利用可能にしてください。

確認操作はrunlevel(8)コマンドとsystemctl(1)コマンドで行います。

－ runlevel(8)コマンドで、現在のランレベルを確認します。

例) 以下の場合、現在のランレベルは3です。

# /sbin/runlevel

N 3

－ systemctl(1)コマンドで、kdumpの利用可能状態を確認します。

例) 以下の場合、現在のランレベル3のkdumpはdisabledです。

# /usr/bin/systemctl list-unit-files --type=service | grep kdump.service

kdump.service disabled

－現在のランレベルでkdumpがdisabledになっている場合、systemctl(1)コマンドでenableにした後、kdumpを起動してください。

# /usr/bin/systemctl enable kdump.service

ln -s '/usr/lib/systemd/system/kdump.service' '/etc/systemd/system/multi-user.target.wants/kdump.service'

# /usr/bin/systemctl start kdump.service

■その他シャットダウンエージェントに必要な設定

kdumpシャットダウンエージェントの設定が完了したら、IPMI(Intelligent Platform Management Interface)、あるいはブレードサーバの

設定を行ってください。

参考

IPMIシャットダウンエージェントは、BMCあるいはiRMCが搭載されているハードウェア装置で使用するシャットダウンエージェントで

す。

◆IPMIシャットダウンエージェントに必要な設定

BMCあるいはiRMCの設定を行ってください。

・ IPアドレス

・ IPMIシャットダウンエージェント用のユーザ作成(*1)

詳細は、各機種の“ユーザーズガイド”、およびServerView Operations Manager のマニュアルを参照してください。

- 49 -

*1) 作成するユーザには管理者権限を付与してください。また、作成するユーザのパスワードは以下の文字以外の7ビットASCII文字で設

定してください。

> < " / \ = ! ? ; , &

◆Bladeシャットダウンエージェントに必要な設定

ブレードサーバの設定を行ってください。

・ ServerViewのインストール

・マネージメントブレードのSNMPコミュニティ(*2)

・マネージメントブレードのIPアドレス

詳細は、ServerView Operations Manager のマニュアル、および装置添付の各種ハードウェアガイドを参照してください。

*2) 複数のシャーシ間でクラスタを構築する場合は、全てのシャーシのマネージメントブレードでSNMPコミュニティ名を同一にしてくだ

さい

3.1.6.2 PRIMEQUESTの場合

PRIMEQUESTでクラスタシステムを構成するノードの1つに異常が発生した場合、PRIMECLUSTERシャットダウン機構は以下の2つ

の方法によってその異常を検出します。詳細については“PRIMECLUSTER コンセプトガイド”の“2.3.1.7 PRIMECLUSTER SF”を参


(1) MMBを通じてのノードの状態変化(非同期監視)

(2) クラスタノード間のハートビート(NSM：ノード状態モニタ)の失敗 (定周期監視)

(1)の非同期監視はノードの異常を即時に検出することができ、(2)の定周期監視で検出するよりもフェイルオーバが高速となります。

上図に示すように、パニック発生時にクラスタ制御はMMBによりパニック通知を受けます。これにより、ハートビート異常よりも早くノード

のパニックを検出します。

- 50 -

参照

PRIMEQUESTでは、ダンプ環境を設定することにより、パニック時にクラッシュダンプを採取することができます。

PRIMEQUESTのダンプ機能、設定方法、および、確認方法については、以下のマニュアルを参照してください。

・ PRIMEQUEST 1000 シリーズの場合

－ PRIMEQUEST 1000 シリーズ導入マニュアル

－ PRIMEQUEST 1000 シリーズ ServerView Mission Critical Option ユーザマニュアル


－ PRIMEQUEST 2000 シリーズ導入マニュアル

－ PRIMEQUEST 2000 シリーズ ServerView Mission Critical Option ユーザマニュアル

(1)の非同期監視を利用するためには、MMBを制御するソフトウェアのインストールやドライバの適切な設定が必要です。本節では高

速切替を実現するために必要なMMBを制御するソフトウェアのインストールやドライバの設定を説明します。

1. HBA閉塞機能とPSA/SVmcoのインストール

MMBを通じてのノードの状態変化はHBA閉塞機能とPSA/SVmcoによりシャットダウン機構に通知されます。シャットダウン機構

の設定を行う前にHBA閉塞機能とPSA/SVmcoのインストールを行ってください。インストール方法については、以下のマニュア

ルを参照してください。

－ PRIMEQUEST 1000 シリーズの場合

- PRIMEQUEST 1000 シリーズ HBA閉塞機能説明書

- PRIMEQUEST 1000 シリーズ導入マニュアル

- PRIMEQUEST 1000 シリーズ ServerView Mission Critical Option ユーザマニュアル


- PRIMEQUEST 2000 シリーズ HBA閉塞機能説明書



2. PSA/SVmcoおよびMMBの設定

MMBを通じてのノードの状態変化を正しくシャットダウン機構に通知させるためには、PSA/SVmcoおよびMMBの設定が必要で

す。シャットダウン機構の設定を行う前にPSA/SVmcoの設定を行ってください。設定方法については、以下のマニュアルを参照








また、PRIMECLUSTERがMMBと連携するために、RMCPのユーザを作成する必要があります。PRIMECLUSTERを構成する

すべてのPRIMEQUEST上にRMCPでMMBを制御するためのユーザを必ず作成してください。RMCPでMMBを制御するため

のユーザを作成するには、MMB Web-UIにログインし、“Network Configuration”メニューの“Remote Server Management”画面

から作成します。その際、以下のようなユーザを作成してください。

－ [Privilege]は「Admin」とする

－ [Status]は「Enabled」とする

作成するユーザのパスワードは以下の文字以外の7ビットASCII文字で設定してください。

- 51 -

> < " / \ = ! ? ; , &

RMCPでMMBを制御するためのユーザの作成方法については、本体装置添付の以下のマニュアルを参照してください。


PRIMEQUEST 1000 シリーズ運用管理ツールリファレンス



ここで作成したユーザ名と設定したパスワードはシャットダウン機構の設定の際に使用します。メモしてください。

注意

MMBには以下の2種類のユーザが存在します。

－ MMB全体を制御するためのユーザ

－ RMCPでMMBを制御するためのユーザ

ここで作成するユーザはRMCPでMMBを制御するためのユーザです。誤らないようにしてください。

3. HBA閉塞機能の設定

注意

共用ディスクを使用する場合は、本設定を必ず行ってください。

パニックが発生した場合に共用ディスクに接続しているHBAを閉塞させ、共用ディスクへのI/O処理を打ち切ります。こうすること

で、共用ディスク内のデータの整合性を保ちつつ、高速に切り替えることができます。

全ノードで、共用ディスクのデバイスパス(GDSを使用している場合はGDSのデバイスパス)をHBA閉塞機能用コマンドに指定し、

HBAの機能停止を行う対象として共用ディスクを追加してください。本設定は、GDSを使用している場合はGDSの設定完了後

に行ってください。設定方法については、以下のマニュアルを参照してください。


PRIMEQUEST 1000 シリーズ HBA閉塞機能説明書


PRIMEQUEST 2000 シリーズ HBA閉塞機能説明書

4. I/O完了待ち時間の設定

パニックなどのノードダウンが発生しフェイルオーバする場合、共用ディスクへのI/Oの整合性を保つため、ノードダウンが発生し

てから新運用ノードが運用を開始するまでに、一定のI/O完了待ち時間が必要な共用ディスク装置があります。

I/O完了待ち時間の初期値として0秒を設定していますが、I/O完了待ち時間が必要な共用ディスク装置を使用している場合、こ

の値を適切な値に設定してください。

参考

ETERNUS ディスクアレイの場合、I/O完了待ち時間が不要ですので、本設定を行う必要はありません。

本設定はCFの設定完了後に行ってください。設定方法については、“5.1.2.4.5 I/O完了待ち時間の設定”を参照してください。

注意

I/O完了待ち時間を設定した場合、パニックなどのノードダウン時の切替え時間がその時間分増加します。

- 52 -

3.1.7 カーネルパラメタの確認/設定

PRIMECLUSTERに関連するソフトウェアを運用する際には、環境に応じて、OSのカーネルパラメタを調整する必要があります。

本設定はPRIMECLUSTERインストール後の再起動を行う前に行ってください。

対象ノード：

PRIMECLUSTERをインストールするすべてのノード

使用する製品/コンポーネントによって、必要とするカーネルパラメタが異なります。

PRIMECLUSTERデザインシートを確認し、カーネルパラメタの変更が必要な場合は設定し直してください。

注意

変更したカーネルパラメタを有効にするには、OSを再起動する必要があります。

下記の表の特性に従って以下のようにカーネルパラメタを設定してください。

・加算

システムのデフォルト値と各ソフトウェアごとの推奨値や指定値を合計した値を指定します。

・大値

各ソフトウェアの推奨値や指定値の中の大値を指定します。

ただし、システムのデフォルト値よりも小さい場合は、デフォルト値を使用してください。

なお、カーネルパラメタ値は以下の場合により異なります。

・ CF 構成の場合

カーネルパラメタ特性値備考（パラメタの意味）

SEMMNI値加算 20 システム全体で利用可能なセマフォ識

別子の大値

SEMMNS値加算 30 システム全体で利用可能なセマフォ

大個数

kernel.shmmax 大値 1048576 + リソースデータ

ベースに必要な値

(注1)

共有メモリセグメントの大サイズ

kernel.shmmni 加算 30 共有メモリセグメントの大数

(注1)

リソースデータベースに必要な値は、以下の方法に従って見積ります。

リソースデータベースで必要な値 = 2776 x リソース数

リソース数は、以下の方法に従って見積もります。

リソース数 = 共用ディスクデバイスのディスク数 x (共用ノード数+1) x 2

“共用ディスクデバイスのディスク数”には、以下を指定します。

- ディスクアレイユニットの場合は論理ユニット数 (LUN)。

- ディスクアレイユニット以外の場合は、物理ディスク数。

“共用ノード数”は、共用ディスクに接続されているノード数を指定します。

- 53 -

注意

設備増設のために論理ディスク数を増やす場合は、リソースの再見積りを行い、クラスタを構成する各ノードを再起動する必要が

あります。このために、導入後のクラスタシステムにディスクを増設する場合は、増設後の論理ディスク数を考慮してリソースを計算

する必要があります。

・ RMS 構成の場合

RMSが確実に動作するにはカーネルパラメタの設定が必要です。そのため、RMS のインストール時に、これらのカーネルパラメタ

が /etc/sysctl.conf に定義されていない場合、または、定義されている場合でも、設定値が以下に示す値を満たしていない場合は、

以下に示す値を設定するよう /etc/sysctl.conf の定義が自動で更新されます。


kernel.msgmnb 大値 4194304 メッセージキューのバイトサイズ

kernel.msgmax 大値 16384 メッセージのテキストの大サイズ

kernel.msgmni 加算 8192 システム全体のメッセージキューの大数

注意

－ PRIMECLUSTERでは、プロセス間通信でメッセージキューを使用します。

RMS起動時、0x4d2から2076個を予約します。

アプリケーションでメッセージキューを使用する場合は、上記の範囲(0x4d2～0xcee)以外を使用してください。

－ RMS のインストール時に/etc/sysctl.conf のパラメタ定義が自動で追加/更新された場合であっても、他のソフトウェア製品や利

用者アプリケーションで使用する値について確認し、必要に応じて定義値を修正してください。

・ GFS を使用する場合


SEMMNI値加算値 2 システム全体で利用可能なセマフォ識別子の

大値。2を現在の値に加算します。

SEMMNS値加算値 11 システム全体で利用可能なセマフォ大個数。

11を現在の値に加算します。

注意

PRIMECLUSTERシステム上で動作させる製品や利用者アプリケーションで使用する値についても、カーネルパラメタの値に反映させ

る必要があります。

以下にカーネルパラメタの変更および新規設定の方法を説明します。

1. カーネルパラメタの現在値の確認

現在の有効なカーネルパラメタの値を確認するため、以下のコマンドを実行します。

# sysctl -a | grep sem

kernel.sem = 20 90 10 20

表示された各値は、以下のカーネルパラメタを表しています。

kernel.sem = SEMMSL値 SEMMNS値 SEMOPM値 SEMMNI値

# sysctl -a | grep shm

kernel.shmmni = 4315

kernel.shmmax = 4000000000

# sysctl -a | grep msg

- 54 -

kernel.msgmnb = 4194304

kernel.msgmni = 8199

kernel.msgmax = 32768

2. カーネルパラメタ値の決定

カーネルパラメタ値は、手順1. で確認した現在有効な値と上記の表の値を元に決定します。

手順1. の表示例がカーネルパラメタの現在有効な値である場合は、設定する値は以下となります。

SEMMSL値： 20

SEMMNS値：131

SEMOPM値： 10

SEMMNI値： 42

kernel.shmmni : 4345

kernel.shmmax : 4000000000

kernel.msgmnb : 4194304

kernel.msgmni : 16391

kernel.msgmax : 32768

3. カーネルパラメタの変更

1. 設定ファイルの編集

カーネルパラメタを設定するため、ファイル /etc/sysctl.conf をエディタで編集します。

以下の行の各値を手順2. で決定した値に変更します。

手順1. の表示例がカーネルパラメタの現在有効な値である場合は、編集後の行は以下となります。

kernel.sem = 20 131 10 42






2. 設定の反映

各カーネルパラメタの値を設定ファイルの値に変更するため、以下のコマンドを実行します。

# sysctl -p

4. カーネルパラメタの設定変更の確認

カーネルパラメタの値が正しく変更されたか確認するため、以下のコマンドを実行し現在値を表示させます。

# sysctl -a | egrep sem

kernel.sem = 20 131 10 42

# sysctl -a | grep shm



# sysctl -a | grep msg




表示された各値が、手順2.で決めた値であることを確認します。

- 55 -

3.1.8 アプリケーションのインストールと設定

PRIMECLUSTERシステム上で動作させるソフトウェアのインストール、および環境設定を必要に応じて行います。

詳細は、“3.4 アプリケーションのインストールと環境設定”を参照してください。

3.2 仮想マシン機能を使用する場合



仮想マシン機能(KVM環境)上でPRIMECLUSTERを使用する場合、以下のクラスタ方式により、設定の手順と内容が異なります。

・ 1つの管理OS上のゲストOS間でクラスタシステムを構築する場合

“3.2.1 1つの管理OS上のゲストOS間でクラスタシステムを構築する場合”を参照

・複数の管理OS上のゲストOS間でクラスタシステムを構築する場合

－管理OS異常切替機能を使用しない場合

“3.2.2 管理OS異常切替機能を使用せず複数の管理OS上のゲストOS間でクラスタシステムを構築する場合”を参照

－管理OS異常切替機能を使用する場合

“3.2.3 管理OS異常切替機能を使用して複数の管理OS上のゲストOS間でクラスタシステムを構築する場合”を参照

参照

VMware環境で仮想マシン機能を使用する場合は、“付録H VMware環境でPRIMECLUSTERを使用する場合”を参照してください。

3.2.1 1つの管理OS上のゲストOS間でクラスタシステムを構築する場合

1つの管理OS上のゲストOS間でクラスタシステムを構築する場合の関連ソフトウェアのインストールと設定について説明します。


- 56 -

3.2.1.1 管理OSの設定（ゲストOSのOSインストール前）

仮想マシン機能のゲストOSをクラスタとして動作させる場合、ディスク装置、仮想ブリッジ、仮想ディスク、ユーザIDの作成、ゲストOSの

初期設定が、管理OS上で必要です。

管理OSへのOSインストール後、かつ、ゲストOSへのOSインストール前に、以下の設定を管理OS上で実施してください。

1. 仮想ディスクの作成

ゲストOSで共用ディスクを使用する場合、仮想ディスクを作成し、共有可能となるように設定します。

virtio-SCSIデバイスまたはvirtioブロックデバイスを作成します。作成手順については、“Red Hat Enterprise Linux 6 VirtualizationAdministration Guide”または“Red Hat Enterprise Linux 7 Virtualization Deployment and Administration Guide”を参照してくだ

さい。

注意

－ゲストに追加するディスクは、by-id名で指定してください。

－ゲストに仮想ディスクを追加する場合、ディスクを分割せずに追加してください。

2. 関連ソフトウェアのインストールと設定

管理OSに、ゲストOSのシステムディスクを使用するために必要なソフトウェア製品(ETERNUSマルチパスドライバ)のインストール

と設定を行います。インストールおよび設定の手順については、ETERNUSマルチパスドライバのソフトウェア説明書を参照して

ください。

3. ゲストOSのシステムディスクのミラー設定

ゲストOSのシステムディスクのミラーの設定を行う場合には、管理OSで作成したローカルクラスまたは共用クラスのミラーボリュー

ムをゲストOSに設定してください。

- 57 -

参照

設定の詳細は“Red Hat Enterprise Linux 6 Virtualization Administration Guide”または“Red Hat Enterprise Linux 7 VirtualizationDeployment and Administration Guide”を参照してください。

3.2.1.2 管理OSの設定（ゲストOSのOSインストール後）

ゲストOSへのOSインストール後に以下の設定を実施してください。

1. 仮想ディスクの設定

ゲストOSで共用ディスクを使用するためには、仮想ディスクの設定が必要です。

KVM環境での仮想ディスクの設定手順は、以下のとおりです。

virtio-SCSIデバイスの場合

1. ゲストOSを停止します。

2. 管理OS上のゲスト設定ファイル(/etc/libvirt/qemu/ゲスト名.xml)に記述されているvirtio-SCSIデバイスの設定に、shareableと cache='none' を記述します。また、device属性に 'lun' 以外が設定されている場合は、'lun' に修正します。

# virsh edit ゲスト名

記載例

<disk type='block' device='lun'>

<driver name='qemu' type='raw' cache='none'/>

<source dev='/dev/disk/by-id/scsi-36000b5d0006a0000006a1296001f0000'/>

<target dev='sdh' bus='scsi'/>

<shareable/>

<address type='drive' controller='0' bus='0' target='0' unit='7'/>

</disk>

3. ゲストOSを起動します。

virtioブロックデバイスの場合


2. 仮想マシンマネージャから停止したゲストOSを選択し、ツールバーの[Open]ボタンをクリックします。

3. 表示されたウィンドウのツールバーのをクリックし、ハードウェアの詳細情報を表示します。

4. 左のハードウェア一覧で仮想ディスク（VirtIO Disk）を選択します。

5. [仮想ディスク]画面で、以下の設定を行い、[適用]をクリックします。

- 共有可能のチェックボックスにチェックします。

- キャッシュモデルに 'none' を選択します。

6. 管理OSで、rpm(8)コマンドを使用してlibvirtパッケージのバージョンを確認します。

# rpm -qi libvirt

7. libvirtパッケージのバージョンが libvirt-0.9.4-23.el6_2.4 以降の場合、管理OS上のゲスト設定ファイル(/etc/libvirt/qemu/ゲスト名.xml)に設定されている仮想ディスクの device属性を、diskから lun に変更します。


変更前の例

:

<disk type='block' device='disk'>

<driver name='qemu' type='raw'/>

<source dev='/dev/disk/by-id/scsi-1FUJITSU_30000085002B'/>

- 58 -

<target dev='vdb' bus='virtio'/>

<shareable/>

<address type='pci' domain='0x0000' bus='0x00' slot='0x06' function='0x0'/>

</disk>

:

変更後の例

:





<shareable/>


</disk>


2. 仮想ブリッジ（管理LAN/業務LAN/クラスタインタコネクト）の設定

管理LAN、業務LAN、クラスタインタコネクトなど、仮想ドメインが使用するネットワークインタフェースについては、事前に仮想

ネットワークとして仮想ブリッジの設定を行う必要があります。

(1) 管理LAN用の仮想ブリッジの設定

/etc/sysconfig/network-scripts/ifcfg-ethXファイルを以下のように編集します。

DEVICE=ethX

HWADDR=XX:XX:XX:XX:XX:XX

BOOTPROTO=none

ONBOOT=yes

BRIDGE=brX

注意

HWADDRについては、お使いのネットワークインタフェースのMACアドレスを設定してください。

仮想ブリッジのインタフェース設定ファイル /etc/sysconfig/network-scripts/ifcfg-brXを新規に作成します。

DEVICE=brX

TYPE=Bridge

BOOTPROTO=static


NETMASK=xxx.xxx.xxx.xxx

ONBOOT=yes

注意

IPADDRとNETMASKについては、外部と接続するためのIPアドレスとネットマスクを設定してください。IPv6アドレスが必要な場

合は、IPv6アドレスが割り当てられるように設定してください。

(2) 業務LAN用の仮想ブリッジの設定


DEVICE=ethX


BOOTPROTO=none

ONBOOT=yes

BRIDGE=brX

- 59 -

注意



DEVICE=brX

TYPE=Bridge

ONBOOT=yes

(3) クラスタインタコネクト用の仮想ブリッジの設定


DEVICE=brX

TYPE=Bridge

BOOTPROTO=static

ONBOOT=yes

3. 管理OSにおけるゲストOSの設定(KVM環境の場合)

KVM環境では、ゲストOSの動作中に管理OSを誤ってシャットダウンした場合でも、ゲストOSを正常に停止させるために、以下の

設定を実施します。

/etc/sysconfig/libvirt-guestsに、以下の2つの値を定義します。すでに値が定義されている場合、その値を変更してください。

－ ON_SHUTDOWN=shutdown

－ SHUTDOWN_TIMEOUT=300

SHUTDOWN_TIMEOUTには、ゲストOSのシャットダウンのタイムアウト時間(秒)を指定します。ゲストOSのシャットダウンにかか

る時間を見積もり、設定してください。複数のゲストOSが設定されている場合は、シャットダウンにかかる時間の大きい方を設定

してください。上記は300秒(5分)とした場合の設定例です。

注意

－ /etc/sysconfig/libvirt-guests を設定するときは、設定値とコメントを同一行に記載しないでください。

－運用中に /etc/sysconfig/libvirt-guests の設定を変更する場合は、“9.4.1.3 /etc/sysconfig/libvirt-guests の設定変更”の手順

で必ず実施してください。

4. ユーザIDの作成

ポイント

作成するユーザは、シャットダウン機構によってノード強制停止を実行するため、管理OSにログインするユーザとなります。シャッ

トダウン機構の設定時に、このユーザIDとパスワードを使用します。

KVM環境では、PRIMECLUSTERによるゲストOS制御のため、シャットダウン機構用のユーザを設定する必要があります。

(1) 一般権限ユーザID（任意）の作成

シャットダウン機構用の一般権限ユーザID（任意）を管理OSに作成してください。

# useradd <ユーザID>

(2) sudoコマンドの設定

シャットダウン機構用の一般権限ユーザID（任意）は、rootユーザとしてコマンドを実行できるように、sudoコマンドの設定が必要

です。

visudoコマンドで、手順(1)で作成した一般権限ユーザIDに、パスワード入力なしでのコマンド実行を許可するよう、以下の設定

を追加してください。

- 60 -

<ユーザID> ALL=(root) NOPASSWD: ALL

また、ttyなしでの sudo実行を許可するため、以下の行の先頭に #を付加し、コメントアウトしてください。

Defaults requiretty

設定の詳細は“Red Hat Enterprise Linux 6 Virtualization Guide”または“Red Hat Enterprise Linux 7 Virtualization Deployment andAdministration Guide”を参照してください。

3.2.1.3 ゲストOSの設定

本設定は、クラスタシステムを構成するすべてのゲストOSに対し、以下の手順で実施してください。

1. ネットワーク設定

ゲストOSで、業務LAN、管理LANのIPアドレスなどネットワークの設定をしてください。

本設定はOSインストール後に行ってください。

参照

PRIMECLUSTERシステムが使用する業務LAN、管理LANを変更する場合には“9.2 ネットワーク環境の変更”を参照してくださ

い。

参考

Web-Based Admin View では、PRIMECLUSTERシステムが導入された時のノード名に相当するホスト名のIPアドレスが割り当

てられているインタフェースを、クラスタノード・クラスタ管理サーバ間やクラスタ管理サーバ・クライアント間の通信経路として使用

するように自動設定します。

2. ゲストOSへの添付ソフトウェアのインストール

“Linuxユーザーズマニュアル”を参照し、ゲストOSに添付ソフトウェアをインストールしてください。

3. .初期設定

ゲストOSの初期設定をしてください。

参照

設定の詳細は“Red Hat Enterprise Linux 6 Virtualization Guide”または“Red Hat Enterprise Linux 7 Virtualization Deploymentand Administration Guide”を参照してください。

4. ゲストドメイン名の確認

シャットダウン機構の設定時に使用するため、ゲストOSのインストール時に設定したゲストドメイン名を確認してください。確認方

法は、“Red Hat Enterprise Linux 6 Virtualization Guide”または“Red Hat Enterprise Linux 7 Virtualization Deployment andAdministration Guide”を参照してください。

3.2.1.4 NTPの設定（管理OS/ゲストOS）クラスタシステムを構築する各ノードの時刻を同期させるための設定です。クラスタを構築する際には必ず行う必要があります。

本設定はPRIMECLUSTERをインストールする前に、管理OSとゲストOS上で行ってください。

参照


- 61 -

3.2.1.5 ゲストOSへのPRIMECLUSTERのインストール

ゲストOSにPRIMECLUSTERをインストールします。


3.2.1.6 カーネルパラメタの確認/設定

PRIMECLUSTERに関連するソフトウェアを運用する際には、環境に応じてOSのカーネルパラメタを調整する必要があります。


対象ノード：



PRIMECLUSTERデザインシートの“セットアップ(初期構成）”を確認し、カーネルパラメタの変更が必要な場合は設定し直してくださ

い。

参照

カーネルパラメタについては、“3.1.7 カーネルパラメタの確認/設定”を参照してください。

注意


3.2.1.7 アプリケーションのインストールと設定



3.2.2 管理OS異常切替機能を使用せず複数の管理OS上のゲストOS間でクラスタシステムを構築する場合

管理OS異常切替機能を使用せず、複数の管理OS上のゲストOS間でクラスタシステムを構築する場合の関連ソフトウェアのインストー

ルと設定について説明します。


- 62 -

3.2.2.1 管理OSの設定（ゲストOSのOSインストール前）

仮想マシン機能のゲストOSをクラスタとして動作させる場合、ディスク装置、仮想ブリッジ、仮想SCSIデバイス、ユーザIDの作成、ゲス

トOSの初期設定が、管理OS上で必要です。

管理OSへのOSインストール後、かつ、ゲストOSへのOSインストール前に、以下の設定を管理OS上で実施してください。

1. 仮想SCSIデバイスの作成

ゲストOSで共用ディスクを使用する場合、仮想SCSIデバイスを作成し、共有可能となるように設定します。

仮想SCSIデバイスの作成手順については、“Red Hat Enterprise Linux 6 Virtualization Guide”または“Red Hat Enterprise Linux7 Virtualization Deployment and Administration Guide”を参照してください。




ください。


ゲストOSのシステムディスクのミラーの設定を行う場合には、管理OSで作成したローカルクラスのミラーボリュームをゲストOSに

設定してください。

参照


3.2.2.2 管理OSの設定（ゲストOSのOSインストール後）

ゲストOSへのOSインストール後に以下の設定を実施してください。

- 63 -

1. 仮想SCSIデバイスの設定

ゲストOSで共用ディスクを使用するためには、仮想SCSIデバイスの設定が必要です。

KVM環境での仮想SCSIデバイスの設定手順は、以下のとおりです。









# rpm -qi libvirt



変更前の例

:





<shareable/>


</disk>

:

変更後の例

:





<shareable/>


</disk>


注意

- ゲストに追加するディスクは、by-id名で指定してください。

- ゲストにVirtioブロックデバイスを追加する場合、ディスクを分割せずに追加してください。

2. 仮想ブリッジ（管理LAN/業務LAN/クラスタインタコネクト）の設定




- 64 -


DEVICE=ethX


BOOTPROTO=none

ONBOOT=yes

BRIDGE=brX

注意



DEVICE=brX

TYPE=Bridge

BOOTPROTO=static



ONBOOT=yes

注意



(2) 業務LAN用/クラスタインタコネクト用の仮想ブリッジの設定


DEVICE=ethX


BOOTPROTO=none

ONBOOT=yes

BRIDGE=brX

注意



DEVICE=brX

TYPE=Bridge

ONBOOT=yes










- 65 -

注意





ポイント

作成するユーザは、シャットダウン機構によってノード強制停止実行するため、管理OSにログインするユーザとなります。シャット

ダウン機構の設定時にこのユーザIDとパスワードを使用します。


(1) 一般権限ユーザID（任意）の作成

シャットダウン機構用の一般権限ユーザID（任意）を管理OSに作成してください。



シャットダウン機構用の一般権限ユーザID（任意）は、rootユーザとしてコマンドを実行できるように、sudoコマンドの設定が必要

です。





Defaults requiretty

3.2.2.3 ゲストOSの設定





参照


い。

参考






- 66 -

3. .初期設定


参照





3.2.2.4 NTPの設定（管理OS/ゲストOS）クラスタシステムを構築する各ノードの時刻を同期させるための設定です。クラスタを構築する際には必ず行う必要があります。

本設定はPRIMECLUSTERをインストールする前に、管理OSとゲストOS上で行ってください。

参照


3.2.2.5 ゲストOSへのPRIMECLUSTERのインストール



3.2.2.6 カーネルパラメタの確認/設定



対象ノード：




い。

参照


注意


3.2.2.7 アプリケーションのインストールと設定



- 67 -

3.2.3 管理OS異常切替機能を使用して複数の管理OS上のゲストOS間でクラスタシステムを構築する場合

管理OS異常切替機能を使用して、複数の管理OS上のゲスト間で、クラスタシステムを構築する場合の関連ソフトウェアのインストール

と設定について説明します。

図3.1 管理OS異常時の切替機能を使用する場合のクラスタシステム構築の流れ

3.2.3.1 ソフトウェアのインストールと設定(管理OS)PRIMECLUSTERに関連したソフトウェアのインストール後、実際に導入/運用を行ううえでOS、およびハードウェア等に関して設定を


必要に応じて、以下の作業を行ってください。

3.2.3.1.1 ネットワークの設定

管理OSをクラスタとして動作させるために、ネットワークの設定が必要です。

- 68 -

3.2.3.1.2 NTPの設定


本設定はPRIMECLUSTERをインストールする前に行ってください。

3.2.3.1.3 管理OSの設定（ゲストOSのOSインストール前）

仮想マシン機能のゲストOSをクラスタとして動作させる場合、ディスク装置、仮想ブリッジ、仮想ディスク、ユーザIDの作成、ゲストOSの

初期設定が、管理OS上で必要です。

本設定は、管理OSへのOSインストール後、かつ、ゲストOSへのOSインストール前に、管理OS上で実施してください。

1. 仮想ディスクの作成

ゲストOSで共用ディスクを使用する場合、仮想ディスクを作成し、共有可能となるように設定します。

virtio-SCSIデバイスまたはvirtioブロックデバイスを作成します。作成手順については、“Red Hat Enterprise Linux 6 VirtualizationAdministration Guide”または“Red Hat Enterprise Linux 7 Virtualization Deployment and Administration Guide”を参照してくだ

さい。

注意

－ゲストに追加するディスクは、by-id名で指定してください。

－ゲストに仮想ディスクを追加する場合、ディスクを分割せずに追加してください。




ください。


ゲストOSのシステムディスクのミラーの設定を行う場合には、管理OSで作成したローカルクラスまたは共用クラスのミラーボリュー

ムをゲストOSに設定してください。

参照

設定の詳細は“Red Hat Enterprise Linux 6 Virtualization Administration Guide”または“Red Hat Enterprise Linux 7 VirtualizationDeployment and Administration Guide”を参照してください。

3.2.3.1.4 管理OSの設定（ゲストOSのOSインストール後）

本設定は、管理OS、ゲストOSへのOSインストール後に以下の手順で実施してください。

1. 仮想ディスクの設定

ゲストOSで共用ディスクを使用するためには、仮想ディスクの設定が必要です。

KVM環境での仮想ディスクの設定手順は、以下のとおりです。

virtio-SCSIデバイスの場合


2. 管理OS上のゲスト設定ファイル(/etc/libvirt/qemu/ゲスト名.xml)に記述されているvirtio-SCSIデバイスの設定に、shareableと cache='none' を記述します。また、device属性に 'lun' 以外が設定されている場合は、'lun' に修正します。


記載例


<driver name='qemu' type='raw' cache='none'/>

- 69 -

<source dev='/dev/disk/by-id/scsi-36000b5d0006a0000006a1296001f0000'/>

<target dev='sdh' bus='scsi'/>

<shareable/>

<address type='drive' controller='0' bus='0' target='0' unit='7'/>

</disk>


virtioブロックデバイスの場合









# rpm -qi libvirt



変更前の例

:





<shareable/>


</disk>

:

変更後の例

:





<shareable/>


</disk>


2. 仮想ブリッジ(管理LAN/業務LAN/クラスタインタコネクト)の設定





- 70 -

DEVICE=ethX


BOOTPROTO=none

ONBOOT=yes

BRIDGE=brX

注意



DEVICE=brX

TYPE=Bridge

BOOTPROTO=static



ONBOOT=yes

注意



(2) 業務LAN用/クラスタインタコネクト用の仮想ブリッジの設定


DEVICE=ethX


BOOTPROTO=none

ONBOOT=yes

BRIDGE=brX

注意



DEVICE=brX

TYPE=Bridge

ONBOOT=yes










- 71 -

注意





ポイント

作成するユーザは、シャットダウン機構によってノード強制停止実行するため、管理OSにログインするユーザとなります。シャット

ダウン機構の設定時にこのユーザIDとパスワードを使用します。


(1) 一般権限ユーザID(任意)の作成

シャットダウン機構用の一般権限ユーザID(任意)を管理OSに作成してください。



シャットダウン機構用の一般権限ユーザID(任意)は、rootユーザとしてコマンドを実行できるように、sudoコマンドの設定が必要

です。





Defaults requiretty

3.2.3.1.5 管理OSへのPRIMECLUSTERのインストール

管理OSにPRIMECLUSTERをインストールします。


3.2.3.1.6 クラスタ高速切替機能の設定

クラスタ高速切替機能に関連するソフトウェアとハードウェアの設定を行う必要があります。

本設定はOSおよびPRIMECLUSTERインストール後に行ってください。

詳しくは、“3.1.6 クラスタ高速切替機能の設定”を参照してください。

3.2.3.1.7 カーネルパラメタの確認/設定

PRIMECLUSTERに関連するソフトウェアを運用する際には、環境に応じて、OSのカーネルパラメタを調整する必要があります。


対象ノード：




い。

- 72 -

参照


注意


3.2.3.2 クラスタ構築の準備(管理OS)Web-Based Admin View画面の起動など、クラスタ構築時の事前準備を管理OS上で行います。詳細は“第4章クラスタ構築の準備”を


3.2.3.3 クラスタの構築(管理OS)管理OS上のPRIMECLUSTERのクラスタ構築を行います。詳細は、“第5章クラスタの構築”を参照してください。構築は、"5.1.1 CF、

CIPの設定"、“5.1.2 シャットダウン機構の設定”まで実行してください。なお、シャットダウン機構は、ネイティブ間の設定と同様に設定

します。“5.1.2 シャットダウン機構の設定”を参照し、ハードウェアの機種/構成を確認して適切なシャットダウンエージェントを設定して

ください。

注意

・ CFの設定で、管理OS上のクラスタシステムのタイムアウト値を以下のように設定してください。

タイムアウト値:20秒(cfsetコマンドを使用してタイムアウト値を変更してください)

・管理OSのクラスタインタコネクトのLANは、ゲストOSと共用し、クラスタシステム毎にVirtual LANでネットワークを分離します。

3.2.3.4 ソフトウェアのインストールと設定(ゲストOS)管理OSのクラスタの構築完了後、ゲストOSでPRIMECLUSTERに関連したソフトウェアのインストール、実際に導入/運用を行ううえで

OS、およびハードウェア等に関して設定を行う必要があります。


3.2.3.4.1 ゲストOSの設定





参照


い。

参考




- 73 -



3. 初期設定


参照


4. ユーザIDの作成(PRIMEQUESTのみ)

PRIMEQUESTの管理OS異常切替機能で使用するユーザIDを作成してください。

ポイント

作成するユーザは、管理OS異常切替機能がゲストOSにログインするユーザとなります。管理OS異常切替機能の設定時にこの

ユーザIDとパスワードを使用します。

1. 一般権限ユーザID(任意)の作成

管理OS異常切替機能用の一般権限ユーザID(任意)をゲストOSに作成してください。


2. sudoコマンドの設定

管理OS異常切替機能用の一般権限ユーザID(任意)は、rootユーザとしてコマンドを実行できるように、sudoコマンドの設

定が必要です。

visudoコマンドで、手順(1)で作成した一般権限ユーザIDに、パスワード入力なしでのコマンド実行を許可するよう、以下の

設定を追加してください。



Defaults requiretty




3.2.3.4.2 NTPの設定(ゲストOS)


本設定はPRIMECLUSTERをインストールする前に、ゲストOS上で行ってください。

参照


3.2.3.4.3 ゲストOSへのPRIMECLUSTERのインストール


- 74 -


3.2.3.4.4 カーネルパラメタの確認/設定



対象ノード：




い。

参照


注意


3.2.3.4.5 アプリケーションのインストールと設定



3.2.3.5 クラスタ構築の準備(ゲストOS)Web-Based Admin View画面の起動など、クラスタ構築時の事前準備をゲストOS上で行います。詳細は“第4章クラスタ構築の準備”

を参照してください。

3.2.3.6 クラスタの構築(ゲストOS)ゲストOS上にクラスタの構築を行います。各項目の詳細は“第5章クラスタの構築”を参照してください。

注意

・ゲストOSのクラスタインタコネクトのLANは、他のゲストOS、管理OSと共用し、クラスタシステム毎にVirtual LANでネットワークを分

離します。

・ CFの設定で、ゲストOS上のタイムアウト値を10秒から変更しないでください。

・生存優先度の設定指針については、“5.1.2 シャットダウン機構の設定”の“◆生存優先度の設計指針”を参照してください。

3.2.3.7 クラスタアプリケーションの構築(ゲストOS)ゲストOSでクラスタアプリケーションの作成を行います。詳細は“第6章クラスタアプリケーションの構築”を参照してください。

注意

ゲストOSのクラスタアプリケーションの作成で、RMSの優先度(ShutdownPriority)属性は設定しないでください。

- 75 -

3.3 PRIMECLUSTERのインストール

PRIMECLUSTERのインストールには、インストールスクリプトを使用した方法があります。

インストールスクリプトは、CLI Installerとも呼ばれます。

Linux(R)ソフトウェアと関連ソフトウェアが、すでにインストールされているシステムに対し、インストールスクリプトを使用してノード単位

にPRIMECLUSTERのインストールを行います。また、クラスタ管理サーバへのインストールを行う場合もインストールスクリプトを使用し

ます。

参照

インストール方法の詳細については、PRIMECLUSTERのインストールガイドを参照してください。

PRIMECLUSTERをインストールした後、kdump用の初期RAMディスク(initramfs)にCFおよびGDSのモジュールが組み込まれないよう

にするため、以下の設定を行ってください。

・ RHEL6環境の場合

1. /etc/kdump.confのblacklistの設定に、CFのモジュール(cf, symsrv)およびGDSのモジュール(sfdsk, sfdsk_lib, sfdsklog,sfdsksys)を追加します。

例

- /etc/kdump.confにblacklistの設定が記載されている場合

修正前：

blacklist kvm-intel

修正後(GDSがインストールされていない場合)：

blacklist kvm-intel cf symsrv

修正後(GDSがインストールされている場合)：

blacklist kvm-intel cf symsrv sfdsk sfdsk_lib sfdsklog sfdsksys

- /etc/kdump.confにblacklistの設定が記載されていない場合

以下の行を追加します。

GDSがインストールされていない場合：

blacklist cf symsrv

GDSがインストールされている場合：

blacklist cf symsrv sfdsk sfdsk_lib sfdsklog sfdsksys

2. システムまたはkdumpのサービスを再起動します。

注意

PRIMERGY の物理環境において、 PRIMECLUSTER は /etc/kdump.conf の kdump_post を設定します。 kdump_post は /etc/kdump.conf内でひとつしか有効にならないため、PRIMECLUSTER以外では設定しないでください。

PRIMECLUSTERは、OS起動時に/etc/kdump.confに以下のような設定を追加します。

### poffinhibit configuration(automatically inserted) ###

kdump_post /etc/poffinhibit/unlock.sh

extra_modules poffinhibit_ipdv poffinhibit

- 76 -

options poffinhibit_ipdv SmBiosAddrParam=0x0

### poffinhibit configuration end ###

・ RHEL7環境の場合

1. /etc/sysconfig/kdumpのKDUMP_COMMANDLINE_APPENDの行に以下の記述を1行で追加します。

GDSがインストールされていない場合：

rd.driver.blacklist=cf,symsrv

GDSがインストールされている場合：

rd.driver.blacklist=cf,symsrv,sfdsk,sfdsksys,sfdsklog,sfdsk_lib

例

修正前：

KDUMP_COMMANDLINE_APPEND="irqpoll ... acpi_no_memhotplug"

修正後(GDSがインストールされていない場合)：

KDUMP_COMMANDLINE_APPEND="irqpoll ... acpi_no_memhotplug rd.driver.blacklist=cf,symsrv"

修正後(GDSがインストールされている場合)：

KDUMP_COMMANDLINE_APPEND="irqpoll ... acpi_no_memhotplug

rd.driver.blacklist=cf,symsrv,sfdsk,sfdsksys,sfdsklog,sfdsk_lib"

2. システムまたはkdumpのサービスを再起動します。

参照

kdumpの詳細については、OSのマニュアルを参照してください。

3.4 アプリケーションのインストールと環境設定

PRIMECLUSTERシステム上で動作させるソフトウェアのインストール、および環境設定を必要に応じて行ってください。

その後、異常発生時に切替えを行うなど、そのソフトウェアをRMSの監視対象とするためにはリソースとしてRMSに登録する必要があ

ります。

詳しくは、“第6章クラスタアプリケーションの構築”に従って操作を行ってください。

参照

・ PRIMECLUSTERシステムの対応製品については、“付録A PRIMECLUSTER対応製品”を参照してください。

・アプリケーションのインストールの詳細については、各アプリケーションのマニュアル、ソフトウェア説明書またはインストールガイド


- 77 -

第4章クラスタ構築の準備

本章では、Web-Based Admin View画面の起動など、クラスタ構築時の事前準備として行う作業について説明します。

参照

クラスタの構築時の事前準備として、動作環境を確認してください。動作環境については、PRIMECLUSTERのインストールガイドの

“第2章動作環境”を参照してください。

表4.1 Web-Based Admin View画面起動のための操作手順とマニュアル参照箇所

作業項目実行ノード必須/選

択

マニュアル

参照箇所 ※

(1) 4.1 クラスタ用デザインシートの確認－必須

(2) 4.2 クラスタインタコネクトの活性化全ノード必須

(3) 4.3 Web-Based Admin View画面の起動

準備

4.3.1 クラスタを管理するユーザの作成クラスタノード必須

4.3.2 クライアント環境の準備クライアント必須 WEB 3.1.2 クライアント環

境を準備する

4.3.3 Web-Based Admin Viewの初期設

定

クラスタノード必須

4.3.4 ブラウザの設定クライアント必須 WEB 3.1.3.1 Webブラウ

ザを準備する

4.3.5 Java Plug-inの設定クライアント必須 WEB 3.1.3.2 Webブラウ

ザの使用環境に応じた設

定を行う

(4) 4.4 Web-Based Admin View画面の起動クライアント必須 WEB 3.2 画面の起動

※ PRIMECLUSTERのマニュアル名は、以下のように略しています。

WEB：PRIMECLUSTER Web-Based Admin View 操作手引書

- 78 -

4.1 クラスタ用デザインシートの確認

事前に作成したPRIMECLUSTER デザインシートに記入漏れがないことを確認してください。

記入漏れがあった場合には、適切な値を記述し、PRIMECLUSTER デザインシートを完成させてください。

4.2 クラスタインタコネクトの活性化

CF設定時の事前準備として以下の操作を実施してください。

◆操作手順

1. /etc/sysconfig/network-scripts/ifcfg-ethXファイルの編集

全ノードで /etc/sysconfig/network-scripts/ifcfg-ethXファイルの“ONBOOT”を以下のように編集します。

ONBOOT=yes

注意

ethX は、クラスタインタコネクトで使用するネットワークインタフェースです。

Xは数字を指定します。

2. クラスタインタコネクトの確認

以下のコマンドにてインタコネクト用インタフェースの状態を確認します。

<RHEL6の場合>

# ifconfig <当該インタフェース>

“UP”フラグが立っていなければ以下のコマンドを実行して、“UP”となることを確認します。

# ifconfig <当該インタフェース> up

<RHEL7の場合>

# ip addr show <当該インタフェース>

“UP”フラグが立っていなければ以下のコマンドを実行して、“UP”となることを確認します。

# ip link set <当該インタフェース> up

4.3 Web-Based Admin View画面の起動準備

Web-Based Admin ViewのGUI画面を起動するための準備を、以下の手順で行います。

1. 環境の設定

Web-Based Admin ViewのGUI画面を起動するための環境を設定します。

以下の操作は順不同です。

－ 4.3.1 クラスタを管理するユーザの作成

－ 4.3.2 クライアント環境の準備

－ 4.3.3 Web-Based Admin Viewの初期設定

2. Web環境の準備

Web-Based Admin ViewのGUI画面を使用するための環境を設定します。

－ 4.3.4 ブラウザの設定

- 79 -

－ 4.3.5 Java Plug-inの設定

4.3.1 クラスタを管理するユーザの作成

Web-Based Admin View は管理サーバ上でユーザグループを使用して、特定の操作管理GUI を実行するユーザに付与する権限を

制御します。

PRIMECLUSTER の一部であるさまざまな操作管理GUI が使用するグループを以下に示します。

表4.2 Web-Based Admin View の操作管理GUI と関連付けられたユーザグループ

GUI名ユーザグループ名権限

すべての GUI wvroot ルート権限。すべての操作を実行できます。

Cluster Admin clroot ルート権限。設定、管理コマンドの実行、情報の表示

ができます。

cladmin 管理者権限。設定は行えません。管理コマンドを実

行し、情報を表示できます。

clmon 使用者権限。設定は行えません。管理コマンドを実

行できません。情報表示だけが可能です。

GDS (Global Disk Services) sdxroot ルート権限。GDS運用管理ビューの操作ができます。

wvroot は特別なグループです。このグループは、Web-Based Admin View フレームワーク自体が使用します。このグループのユーザ

には、Web-Based Admin View および、すべての操作管理GUI で高レベルの権限が付与されます。

操作管理GUI 自体のグループは、上記の表に示すように定義されます。さまざまなグループを使用することにより、システム管理者

は、ユーザがアクセスする必要がある製品に応じて異なる権限レベルをユーザに付与できます。たとえば、グループ“clroot”に属して

いて“sdxroot”に属していないユーザには、Cluster Admin の実行時に、すべての権限が付与されますが、GDS (Global Disk Services)GUI の実行時には権限が付与されません。

wvroot, clroot, cladmin, clmon ユーザグループについては、PRIMECLUSTERインストール時に自動的に作成されます。sdxroot ユー

ザグループについては、自動で作成されないため、GDS運用管理ビューの操作権限をユーザに付与したい場合にそれぞれのプライ

マリ管理サーバとセカンダリ管理サーバ上で作成してください。また、ユーザをこれらのグループに割り当てる必要があります。Web-Based Admin View に関連するグループのグループメンバシップは、特定のクラスタと関連付けられた、すべての管理サーバで一貫性

がなければなりません。ユーザへ上記のグループを登録する場合、Supplemental Groupとして登録することを推奨します。SupplementalGroupとして登録するには、usermod(8)コマンド、あるいはuseradd(8)コマンドを使用します。

・すでに登録されているユーザに対して、ユーザグループを追加する場合

# usermod -G wvroot username

・新規にユーザを登録する場合

# useradd -G wvroot username

注意

新規にユーザを登録した場合、passwd(8) コマンドでパスワードを設定してください。

# passwd username

rootユーザは特別に扱われます。管理サーバ上のrootユーザには、所属しているグループに関係なく、大の権限が付与されます。

ユーザグループの決定、および登録方法については、“PRIMECLUSTER Web-Based Admin View 操作手引書”の“3.1.1 ユーザグ

ループを決定する”を参照してください。

PRIMECLUSTERインストール時にwvrootユーザグループを自動で作成する際にGID(グループのID番号)の指定は行っていません。

GIDを変更しなくても動作に影響はありませんが、プライマリ管理サーバとセカンダリ管理サーバ間で統一したい場合は、groupadd(8)、あるいはgroupmod(8)コマンドを使用してください。

- 80 -

・ PRIMECLUSTERのインストール前に事前にGID指定で wvrootユーザグループを作成する場合

# groupadd -g <GID> wvroot

・ PRIMECLUSTERのインストール後にwvrootユーザグループのGIDを変更する場合

# groupmod -g <GID> wvroot

4.3.2 クライアント環境の準備

Web-Based Admin Viewでサポートされるクライアントのハードウェア、OSおよびWebブラウザなどの動作環境を準備します。

参照

詳細については、“PRIMECLUSTER Web-Based Admin View 操作手引書”の“3.1.2 クライアント環境を準備する”を参照してくださ

い。

4.3.3 Web-Based Admin Viewの初期設定

4.3.3.1 運用管理サーバの初期設定

Web-Based Admin Viewを初めて利用する場合には、各クラスタノードで運用管理サーバの初期設定が必要です。以下の手順で設定


◆操作手順

1. Web-Based Admin Viewを停止します。

すべての管理サーバおよび監視ノードで、以下のコマンドを実行してWeb-Based Admin Viewを停止してください。

# /etc/init.d/fjsvwvcnf stop

# /etc/init.d/fjsvwvbs stop

2. プライマリ管理サーバおよびセカンダリ管理サーバの、IPアドレスを設定します。

# /etc/opt/FJSVwvbs/etc/bin/wvSetparam primary-server <プライマリ管理サーバのIPアドレス>

# /etc/opt/FJSVwvbs/etc/bin/wvSetparam secondary-server <セカンダリ管理サーバのIPアドレス>

－複数ノードでクラスタ運用する場合

例を参考にして、上記のコマンドをすべての管理サーバおよび監視ノードで実行してください。

例：PRIMECLUSTERデザインシートの“セットアップ(初期構成）”の「プライマリ」-「IPアドレス」と「セカンダリ」-「IPアドレス」を

設定

# /etc/opt/FJSVwvbs/etc/bin/wvSetparam primary-server 10.20.30.40

# /etc/opt/FJSVwvbs/etc/bin/wvSetparam secondary-server 10.20.30.41

－シングルノードクラスタ運用の場合

プライマリ管理サーバとセカンダリ管理サーバのIPアドレスはいずれも自ノードのIPアドレスを指定してください。

例：

# /etc/opt/FJSVwvbs/etc/bin/wvSetparam primary-server 10.20.30.40

# /etc/opt/FJSVwvbs/etc/bin/wvSetparam secondary-server 10.20.30.40

また、Web-Based Admin View画面のセカンダリ管理サーバの欄には値が表示されません。

- 81 -

3. Web-Based Admin Viewを起動します。

すべての管理サーバおよび監視ノードでWeb-Based Admin Viewを起動してください。

－ RHEL6の場合

# /etc/opt/FJSVwvbs/etc/bin/wvCntl start

# /etc/init.d/fjsvwvcnf start

－ RHEL7の場合

# /etc/init.d/fjsvwvbs start


参照

Web-Based Admin View には、さまざまな運用管理形態が存在します。運用形態、および運用形態に対応したWeb-Based Admin Viewの設定に関しては、“PRIMECLUSTER Web-Based Admin View 操作手引書”の“1.2.2 運用形態”、“第7章 Web-Based Admin Viewの設定の変更”を参照してください。

注意

/etc/hostsに日本語を記載する場合は、EUCコードを使用し、Web-Based Admin View の動作環境変数 lang を ja に設定してください。

Web-Based Admin View の言語設定については、“4.3.3.3 Web-Based Admin View の言語設定”を参照してください。

4.3.3.2 Web-Based Admin Viewの起動確認

Web-Based Admin Viewが起動しているかの確認方法について説明します。

◆確認方法

接続先管理サーバでwvstatコマンドを実行し、すべてのノードの情報が出力されることを確認してください。

＜例＞

node1(10.20.30.40)、node2(10.20.30.41)の2ノード構成で、node1がプライマリ管理サーバ、node2がセカンダリ管理サーバの場合

# /etc/opt/FJSVwvbs/etc/bin/wvstat

primaryServer 10.20.30.40 node1 http=10.20.30.40 Run 3m41s

primaryServer Sessions: 0

primaryServer Nodes: 2

10.20.30.40 node1 Linux-2.4.9-e.8enterprise 3m36s


secondaryServer 10.20.30.41 node2 http=10.20.30.41 Run 2m46s

secondaryServer Sessions: 0

secondaryServer Nodes: 2



上記のように、各管理サーバに接続しているノードの情報が表示されていることを確認してください。正しく表示されない場合、以下の

点を確認してください。

・ Web-Based Admin View が起動していない、もしくはWeb-Based Admin View の設定に誤りがある可能性があります。Web-BasedAdmin View を再起動して、再度操作を行ってください。それでもノードの情報が表示されない場合は、“PRIMECLUSTER Web-Based Admin View 操作手引書”を参照して、設定を確認してください。

・ Firewallにより管理サーバとの通信が遮断されている可能性があります。管理サーバで、Firewallとしてfirewalld、iptablesまたは

ip6tablesを使用する場合、Web-Based Admin Viewが使用するポート番号の通信を許可してください。詳細は、“付録K Firewallを使用する場合”を参照してください。

wvstatコマンドの詳細はマニュアルページを参照してください。

- 82 -

4.3.3.3 Web-Based Admin View の言語設定

Web-Based Admin View が動作する言語環境は、インストール時の初期値として英語に設定されています。そのため、クライアントが

日本語環境であってもクラスタノードから通知されるクラスタリソース管理機構のメッセージ本文は、英語の内容で表示されます。

クライアントでクラスタリソース管理機構のメッセージを日本語で表示したい場合は、以下の手順によりWeb-Based Admin Viewの動作

環境変数を設定してください。動作環境変数に関しては以下の表を参照してください。

なお、操作はクラスタシステムを構築する全クラスタノードとクラスタ管理サーバに対して、システム管理者権限で行ってください。

表4.3 Web-Based Admin View の動作言語に関する動作環境変数

属性動作環境変数設定値意味

sys lang C, ja Web-Based Admin View が動作する言語環境。C：英語、ja：

日本語で動作します。この変数が設定されていない場合、英

語環境で動作します。

◆操作手順

1. Web-Based Admin View を停止します。

すべての管理サーバおよび監視ノードで、Web-Based Admin Viewを停止してください。

# /etc/init.d/fjsvwvcnf stop

# /etc/init.d/fjsvwvbs stop

2. Web-Based Admin View の動作環境定義ファイル(/etc/opt/FJSVwvbs/etc/webview.cnf)に動作環境変数を追加し、言語の設定

を行います。例を参考にして、以下のコマンドをすべての管理サーバおよび監視ノードで実行してください。

# /etc/opt/FJSVwvbs/etc/bin/wvSetparam -add <属性> <動作環境変数> <設定値>

例：動作環境変数を追加し、動作言語を日本語にする場合。

# /etc/opt/FJSVwvbs/etc/bin/wvSetparam -add sys lang ja

3. Web-Based Admin View を再起動します。

すべての管理サーバおよび監視ノードでWeb-Based Admin Viewを再起動してください。

－ RHEL6の場合

# /etc/opt/FJSVwvbs/etc/bin/wvCntl start


－ RHEL7の場合

# /etc/init.d/fjsvwvbs start


注意

・メッセージを日本語で表示するためには、クライアントとして使用しているPCの言語環境を日本語に設定する必要があります。クラ

イアントが英語環境の場合、上記の設定を変更するとメッセージの内容に文字化けが発生することがあります。

・上記の手順で動作環境変数を追加した後、再度値を変更する場合は以下のコマンドを実行してください。

# /etc/opt/FJSVwvbs/etc/bin/wvSetparam lang <設定値>

コマンドの詳細は、“PRIMECLUSTER Web-Based Admin View 操作手引書”の“4.5.3 動作環境変数の変更”を参照してくださ

い。

4.3.4 ブラウザの設定

Web-Based Admin Viewを使用するため、クライアントにWebブラウザのインストール、および設定を行う必要があります。

- 83 -

参照

Webブラウザの設定方法については、“PRIMECLUSTER Web-Based Admin View 操作手引書”の“3.1.3.1 Webブラウザを準備する”


4.3.5 Java Plug-inの設定

Web-Based Admin Viewを使用するため、クライアントにJava Plug-inをインストールする必要があります。

注意

クライアント上に複数のIPアドレスが割り当てられている場合、Cluster Adminの以下のログ表示機能が使用できない場合があります。

・ CFメッセージ(cfタブ)

・ switchlog(rmsタブ)

・アプリケーションログ(rmsタブ)

Cluster Adminのログ表示機能を使用する場合、以下の手順でJavaランタイムパラメータを設定してください。

1. [スタート]-[コントロールパネル]-[Java]-[Javaタブ]-[表示]を選択します。

Java Runtime Environment設定画面が表示されます。

2. Java Runtime Environment設定画面の[ユーザタブ]を選択して、ランタイム・パラメータに以下を追加します。

-Djava.rmi.server.hostname=<IPアドレス>

<IPアドレス>

プライマリおよびセカンダリ管理サーバと通信可能なIPアドレスを指定してください。

例：10.10.10.10 を指定する場合

-Djava.rmi.server.hostname=10.10.10.10

参照

サポートするJava Plug-inのバージョンについては、“PRIMECLUSTER Web-Based Admin View 操作手引書”の“3.1.2 クライアント環

境を準備する”を参照してください。

Java Plug-in の設定方法については、“PRIMECLUSTER Web-Based Admin View 操作手引書”の“3.1.3.2 Webブラウザの使用環境

に応じた設定を行う”を参照してください。

4.4 Web-Based Admin View画面の起動

すべての準備が整ったら、Web-Based Admin ViewのGUI画面を起動します。

◆操作手順

1. クライアントでWebブラウザを起動します。

2. 以下の形式でURLを指定して、クラスタ管理サーバにアクセスしてください。

http://<ホスト名>:<ポート番号>/Plugin.cgi

<ホスト名>

プライマリまたはセカンダリ管理サーバの“クライアント向けに使用するIPアドレス、またはホスト名(httpip)”。

httpipのデフォルト値は、“uname -n”実行時出力されるノード名に割り当てられているIPアドレスです。

- 84 -

<ポート番号>

“8081”を指定してください。

なお、ポート番号を変更した場合には、そのポート番号を指定してください。

httpポート番号を変更する操作については、“PRIMECLUSTER Web-Based Admin View 操作手引書”の“7.2.1 httpポート

番号を変更する”を参照してください。

注意

－ <ホスト名>にホスト名を指定したときにWeb-Based Admin View画面が起動できない場合は、ホスト名に対応するIPアドレス

を直接指定してください。

－ <ホスト名>にIPv6アドレスを指定する場合は、角括弧[ ]で囲んでください。

(例 http://[1080:2090:30a0:40b0:50c0:60d0:70e0:80f0]:8081/Plugin.cgi)

－運用管理製品によってアクセス方法が異なる場合があるので十分に注意してください。アクセス方法が異なる運用管理製品

を同時に使用する場合には、“PRIMECLUSTER Web-Based Admin View 操作手引書”の“3.3.4 アクセス方法が異なる運

用管理製品の同時使用について”を参照してください。

－クライアント向けに使用するIPアドレス、またはホスト名(httpip)については、“PRIMECLUSTER Web-Based Admin View 操作手引書”を参照してください。

－ URLをブラウザのブックマークに登録する場合、“Plugin.cgi”を登録するように設定してください。

3. Web-Based Admin Viewを起動すると以下のようなユーザ名入力の画面が表示されます。

管理サーバに登録されているユーザ名、パスワードを入力し、＜確認＞を選択してください。

注意

この画面は、右上端の＜×＞を選択しても画面を終了することはできません。

4. 認証が終了すると、Web-Based Admin Viewを使用することができます。

注意

・ Web-Based Admin View画面を起動した後に、ブラウザの<進む>/<次>、<戻る>、<再読み込み>/<更新>ボタンを押してベージを

変更しないでください。

・ブラウザによっては動作中に画面がとまってしまう場合があります。

－ブラウザが消滅した場合、再度ブラウザを起動して、Web-Based Admin View を表示してください。

－ブラウザが動作しなくなった場合（何の反応もしなくなった場合）、URLを再読込みするか、ブラウザを再起動してください。

- 85 -

－ Web-Based Admin View起動直後に、ページが黒くなってハングしたように見える場合、ブラウザ上でマウスを動かせば処理

が続行する場合があります。

・ Internet Explorerを使用して、Java Plug-inのURLを読み込んだ後、「Welcome to Web-Based Admin View」の文字が表示されない

場合は、適切なJava Plug-inがインストールされていない可能性があります。コントロールパネルの“アプリケーションの追加と削除”

で、適切なJava Plug-inがインストールされているか確認してください。インストールされていない場合、またはサポートするバージョ

ンより古いJava Plug-inがインストールされている可能性がありますので、“PRIMECLUSTER Web-Based Admin View 操作手引

書”を参照してJava Plug-inをインストールしてください。また、“セキュリティ警告”のダイアログが表示されて“Java Plug-in”をインス

トールして実行するかどうか等の問合せ画面が表示された場合は、＜いいえ＞を選択してください。

・セカンダリクラスタ管理サーバを動的に運用する設定を行っている場合、特定の監視ノードのURLを指定しても、その時点で動作

しているプライマリクラスタ管理サーバ、もしくはセカンダリクラスタ管理サーバに自動的に接続される機能があります。詳細は、

“PRIMECLUSTER Web-Based Admin View 操作手引書”の“7.4 セカンダリ管理サーバの運用変更”を参照してください。

・手順3.の認証時に何度もミスを行うと0016のメッセージが表示されログインできなく場合があります。この場合の対処方法について

は、“PRIMECLUSTER Web-Based Admin View 操作手引書”の“付録B トラブルシューティング”の“現象17”の対処方法3を参照


・ Web-Based Admin View の使用中に何らかのトラブルが発生した場合は、“PRIMECLUSTER Web-Based Admin View 操作手引

書”の“付録A メッセージ一覧”、および“付録B トラブルシューティング”を参照してください。

4.5 Web-Based Admin View画面

Web-Based Admin Viewを起動すると、Web-Based Admin View画面が表示されます。

Web-Based Admin View画面の左領域には、現在サポートされている機能が操作メニューとして表示されます。

4.5.1 操作メニューの機能

Web-Based Admin View画面では以下の機能をサポートしています。

“操作メニュー概要”を参照してください。

図4.1 Web-Based Admin View画面

■操作メニュー概要

操作メニューは、以下の2種類に分類されます。

a. PRIMECLUSTERで提供される運用管理製品の管理画面やマニュアル

- 86 -

b. PRIMECLUSTER以外で提供される運用管理製品の管理画面やマニュアル(Symfoware等)

a.の操作メニューでは、以下の操作ができます。

・運用管理製品名(PRIMECLUSTER)

PRIMECLUSTER製品として導入されている運用管理製品の運用管理画面を操作することができます。

－ Global Cluster Services (CF, CRM, RMS, SIS)

－ Global Disk Services (PRIMECLUSTER GDS)

－ Global File Services (PRIMECLUSTER GFS)

詳細は、各運用管理製品のマニュアルを参照してください。

・ Web-Based Admin Viewツール

Web-Based Admin Viewのログ表示、動作環境設定を行います。

詳細は、“PRIMECLUSTER Web-Based Admin View 操作手引書”の“第3部 Web-Based Admin Viewツール”を参照してくださ

い。

・マニュアル

PRIMECLUSTERのオンラインマニュアルを表示します。

b.の操作メニューでは、以下の操作ができます。

・運用管理製品名(PRIMECLUSTER以外)

PRIMECLUSTER製品以外に導入されている運用管理製品の管理画面を操作することができます。

例えば、Symfowareがインストールされている環境では、以下のメニューカテゴリが表示されます。

－ Symfoware


・ Common

オンラインマニュアルとして公開しているマニュアルを参照することができます。

詳細は、“PRIMECLUSTER Web-Based Admin View 操作手引書”を参照してください。

■操作メニュー遷移図

Web-Based Admin Viewのトップ画面から各画面への遷移は以下のようになります。

- 87 -

Cluster Admin画面では画面下のタブによってウィンドウを切り替えます。

・ cf ：Cluster Foundation

・ crm：Cluster Resource Management

・ rms：Reliant Monitor Services

・ sis：Scalable Internet Services

・ msg：Message

次項からは、Global Cluster Servicesメニュー以降の画面について説明します。

- 88 -

注意

PRIMECLUSTER 4.4では、SISは使用できません。

4.5.2 Global Cluster Servicesメニューの機能

表示方法

Web-Based Admin View画面 → ＜Global Cluster Services＞

終了方法

Web-Based Admin View画面に戻るには、＜Global Cluster Services＞の隣にある矢印を選択

図4.2 Web-Based Admin View画面(Global Cluster Servicesメニュー)

Global Cluster Servicesメニュー概要

・ Cluster Admin

PRIMECLUSTERシステムの状態監視、運用操作などを行うことができます。

・ Resource Fault History

リソースの障害履歴を表示することができます。リソースの障害履歴の詳細については、“C.2.2 リソースの障害履歴”を参照してく

ださい。

4.5.3 Cluster Adminの機能

表示方法

Web-Based Admin View画面 → ＜Global Cluster Services＞を選択 → ＜Cluster Admin＞を選択 → ノード選択画面 → ノードを

選択

終了方法

[ファイル]メニューの[終了]を選択 →確認画面 → ＜はい＞を選択 → ＜Global Cluster Services＞メニュー

- 89 -

図4.3 Web-Based Admin View画面(Cluster Admin)

Cluster Adminでは以下の機能をサポートしています。

マニュアルの参照箇所を“Cluster Admin概要”に示します。

Cluster Admin概要

・ cf(CF: Cluster Foundation)

クラスタの管理、構築、監視、診断などを行うことができます。

参照箇所: “5.1 クラスタの初期設定”、“第7章運用”

・ crm(CRM: Cluster resource management facility)

ハードウェア装置（共用ディスク、ネットワークインタフェースカード）の情報であるリソースデータベースの管理を行います。

参照箇所: “5.1.3 クラスタリソース管理機構の初期設定”、“第7章運用”

・ rms(RMS: Reliant Monitor Services)

クラスタシステムの状態監視、アプリケーションおよびリソースの管理を行います。

参照箇所: “第7章運用”

・ sis (SIS: Scalable Internet Services)

PRIMECLUSTER 4.4では、本機能は使用できません。

・ msg(Message)

クラスタ制御のメッセージが表示されます。

参照箇所: “第7章運用”

4.6 Web-Based Admin View画面の終了

Web-Based Admin View画面を終了するには、以下の方法で行います。

◆画面のログアウト方法

Web-Based Admin View画面からログアウトを行うには、以下の手順で行います。

1. 運用管理製品の管理画面が表示されている場合には、すべての画面を終了します。

- 90 -

2. Web-Based Admin View画面だけが表示されている状態で、＜ログアウト＞を選択します。

◆画面の終了方法

Web-Based Admin View画面を終了させるには、以下の方法で行います。

1. 上記の“画面のログアウト方法”に従って、Web-Based Admin View画面からログアウトを行います。

2. ログイン画面が表示された状態となります。Web-Based Admin View画面を終了する場合には、ログイン画面は表示したまま、以

下のいずれかの操作を行ってください。

－ Webブラウザを終了する。

－ Webブラウザに別のURLを指定し画面の切替えを行う（新たなURLを入力、またはブックマーク指定）。

－ブラウザの＜戻る＞を選択する。

注意

・ Webブラウザを終了する場合は、[ファイル]-[閉じる]メニューを指定するか、または画面右上端の＜X＞を使用してください。

・ログイン画面は、右上端の＜X＞を選択しても画面を終了することはできません。

・ Webブラウザを終了した後にしばらくログイン画面が残る場合がありますが、しばらくすればログイン画面は消えますのでそのまま

でお待ちください。

- 91 -

第5章クラスタの構築

PRIMECLUSTERのクラスタ構築の手順は以下のようになります。

表5.1 クラスタの構築手順とマニュアル参照箇所

作業項目実行ノード必須/選択マニュアル

参照箇所 ※1

(1) 5.1.1 CF、CIPの設定全ノード必須 CF 1.1 CF、CIP、および

CIMの構成設定

5.1.2 シャットダウン機構の設定全ノード必須 ※2 CF 7 シャットダウン機構

(SF)

5.1.3 クラスタリソース管理機構の初期設定全ノード必須 CF 3.1 リソースデータ

ベースの設定

(2) 5.2 故障リソース特定とオペレータ介入要求

の設定

1ノード必須

※1 PRIMECLUSTERのマニュアル名は、以下のように略しています。

・ CF ：PRIMECLUSTER Cluster Foundation 導入運用手引書

※2 シングルノードクラスタの構築時は、シャットダウン機構の設定は不要です。

注意

・ GDSの構成設定は、クラスタの初期設定後に実施してください。

・ CF、CIPの設定をする前に、GLS、タグVLAN、仮想ブリッジ等の仮想インタフェースの非活性化や、ネットワークサービスの再起

動を行った場合は、CFの再起動を行ってから、CF、CIPの設定を開始してください。

CFの停止方法、起動方法については、“PRIMECLUSTER Cluster Foundation 導入運用手引書”の“4.6 CFの起動と停止”を参照


5.1 クラスタの初期設定

ここでは、PRIMECLUSTERのクラスタ初期設定について説明します。

仮想マシン機能を使用している場合には、事前に仮想ネットワークの設定を行う必要があります。詳細は、“PRIMECLUSTER GlobalLink Services 説明書（伝送路二重化機能編）”、およびOSのマニュアルを参照してください。

各設定方法の詳細は以下を参照してください。

- 92 -

内容マニュアル参照箇所 ※

15.1.1 CF、CIPの設定（クラスタ構成情報とIPア

ドレスの設定）

CF 1.1 CF、CIP、およびCIMの構成設定

25.1.2 シャットダウン機構の設定 CF 7 シャットダウン機構 (SF)

35.1.3 クラスタリソース管理機構の初期設定 CF 3.1 リソースデータベースの設定


・ CF ：PRIMECLUSTER Cluster Foundation 導入運用手引書

注意

Firewallが有効な場合には、クラスタの初期設定を行う前にFirewallを無効にしてください。

クラスタの導入が完了した後、Firewallを有効にする場合は“付録K Firewallを使用する場合”を参照してください。

5.1.1 CF、CIPの設定

Cluster Foundation (CF)とCIPは、Cluster AdminのCFウィザードを使用して以下の情報を設定します。CF、CIPの設定に対応するデザ

インシートは、PRIMECLUSTER デザインシートの“セットアップ(初期構成）”です。

設定方法の詳細については、“PRIMECLUSTER Cluster Foundation 導入運用手引書”の“1.1.5 クラスタの作成例”を参照してくださ

い。

設定項目設定内容対応デザインシート項目

クラスタ名クラスタシステムの名称を設定します。

31文字以下の印刷可能なASCII 文字 (空白、改行、タブ文字を除く) で設定します。

クラスタ名は常に大文字として処理されま

す。

「クラスタ名」

クラスタノードクラスタに参入するノードを選択します。「ノード1」、「ノード2」、「ノード

3」、「ノード4」の「ノード名

（uname -n)」

CFノード名クラスタを構成するノードの名前を設定しま

す。

11文字以下の英小文字・数字・記号(-, _)で設定します。CFノード名の先頭文字には、

英小文字を設定してください。

「ノード1」、「ノード2」、「ノード

3」、「ノード4」の「CFノード名」

クラスタインタコネクトクラスタを構成する各ノードで、CFのノード

間通信に使用するネットワークインタフェー

スを決めます。代表的なネットワークインタ

フェースとして、イーサネットデバイスがあり

ます。

CFのノード間通信に使用するネットワークイ

ンタフェースは、システム起動時に活性化

するよう設定してください。ただし、IPアドレ

スを割当ててはいけません。

「ノード1」、「ノード2」、「ノード

3」、「ノード4」の「パス0 NIC名」、

「パス1 NIC名」

IPインタコネクト CFがIPを使って動作できるようにする場合

設定します。この設定はオプションです。

「IPインタコネクト設定」

CIPサブネット以下を設定し、CFで使用するIPを設定しま

す。

「CIP」の「サブネット数」、「サブ

ネットIP」、「ネットマスク」

- 93 -

設定項目設定内容対応デザインシート項目

・ CIPサブネットの数

・ホストサフィックス

・サブネット番号

・サブネットマスク

CFリモートサービスの使用の

確認

以下の機能を有効にするかどうかチェック

します。

・リモートファイルコピー(cfcp)

・リモートコマンドの実行(cfsh)

デフォルトは「選択されていない」状態で

す。RMSを使用する場合には、必ず選択を

行ってください。

「CFリモートサービス使用の有

無」

CIM（クラスタ整合性モニタ）

構成の設定

CIMで監視するノードを設定します。「ノード1」、「ノード2」、「ノード

3」、「ノード4」の「CFクォーラム

セットのノードである」

注意

・ CFノード名にはクラスタノードのノード名が自動的に入力されます。CFノード名が11文字を超える場合は、11文字に収まるよう名前

を変更してください。

・ CFリモートサービスのいずれかの機能を有効にする場合には、以下のシステムを同じクラスタインタコネクト上に接続しないでくだ

さい。

－セキュリティ上問題のあるシステム

－クラスタインタコネクトをセキュリティで保護していないシステム

・以降ではCFリモートサービス（CFCPおよびCFSH）が有効であることが前提となります。本機能を有効とするためには、CFの構成設

定を開始する前に、/etc/default/cluster.configファイルに次の内容を追加してください。

CFCP "cfcp"

CFSH "cfsh"

・ CF、CIPの設定に失敗する場合、以下の原因が考えられます。各項目を確認してください。

－クラスタインタコネクトの接続に誤りがある。

－クラスタインタコネクトで使用するネットワークインタフェースが活性化されていない。

－クラスタインタコネクトで使用するネットワークインタフェースにIPアドレスが割当てられている。

・ CFの設定が完了すると、“SFウィザード起動確認ポップアップ”が表示されますが、＜いいえ＞をクリックしてください。PRIMECLUSTER4.4では、SFウィザードは使用できません。 SFの設定は、“5.1.2 シャットダウン機構の設定”で説明する手順で行います。

・管理LANとクラスタインタコネクトを同じNICで共有する場合は、“PRIMECLUSTER Cluster Foundation 導入運用手引書”の“1.1CF、CIP、および CIM の構成設定”を参照してください。

・ bondingデバイスをクラスタインタコネクトに使用する場合は、mode=1(active-backup)のみ使用できます。

注意

シングルノードクラスタ運用の場合

・複数のシングルノードクラスタを構築する場合は、クラスタ名にノード名を含めるなど、シングルノードクラスタごとに異なる名前を指


- 94 -

・クラスタインタコネクトに指定するネットワークインタフェースは、上記の表に記載されている専用のネットワークインタフェースデバ

イスを指定してください。

・シャットダウン機構の設定は不要なため、ClusterAdminでCF構築後に出力される"SFウィザードを起動してクラスタ設定を続けます

か？"には"いいえ"を選択してください。

・シャットダウン機構の設定を行いませんので、システム起動時に以下に示すシャットダウン機構および、RMSのメッセージが出力さ

れますが問題ありません。

－シャットダウン機構のメッセージ：

fopen of /etc/opt/SMAW/SMAWsf/rcsd.cfg failed, errno 2

Could not correctly read the rcsd.cfg file

－ RMSのメッセージ：

(SCR,26): ERROR The sdtool notification script has failed with status 1

after dynamic modification.

参照

クラスタインタコネクトの設定に失敗した場合の対処については、“PRIMECLUSTER Cluster Foundation 導入運用手引書”の“8 診断

とトラブルシューティング”を参照してください。

5.1.2 シャットダウン機構の設定

ここでは、PRIMERGY/PRIMEQUEST/仮想マシン環境(KVM)のシャットダウン機構の設定手順について説明します。

シャットダウン機構の設定手順は、機種/構成により異なります。

以下に機種/構成により必要なシャットダウンエージェントを示します。

表5.2 PRIMERGYで必要なシャットダウンエージェント

サーバ機種 IPMI(SA_ipmi)

Blade(SA_blade)

kdump(SA_lkcd)

RX シリーズ

TX シリーズ

○ × ○

BXシリーズ

(ServerView Resource OrchestratorVirtual Editionと組み合わせる場合)

○(*1) × ○

BXシリーズ

(ServerView Resource OrchestratorVirtual Editionと組み合わせない場

合)

× ○ ○

(*1) シャットダウン機構で使用するBMCまたはiRMCのユーザとパスワードの組み合わせは、全ブレードにおいて同一にしてくださ

い。

表5.3 PRIMEQUESTで必要なシャットダウンエージェント

サーバ機種 MMB

Panic(SA_mmbp)

Reset(SA_mmbr)

PRIMEQUEST 1000/2000 シリーズ ○ ○

- 95 -

表5.4 仮想マシン環境(KVM)で必要なシャットダウンエージェント

サーバ機種クラスタ

構成

libvirt

Panic(SA_libvirtgp)

Reset(SA_libvirtgr)

PRIMERGY 筐体内ゲスト間 ○ ○

筐体間ゲスト間 ○ ○

PRIMEQUEST 1000/2000シリーズ

筐体内ゲスト間 ○ ○

筐体間ゲスト間 ○ ○

仮想マシン環境(KVM)で管理OS異常切替機能を使用する場合には、以下のシャットダウンエージェントを設定します。ゲストOS上に

設定するシャットダウンエージェントは、仮想マシン機能で使用するものと同一です。

表5.5 仮想マシン環境(KVM)の管理OS異常切替機能で必要なシャットダウンエージェント

サーバ機種クラスタ

構成

クラスタ

ノード

必要なシャット

ダウンエー

ジェント

libvirt vmchkhost

Panic(SA_libvirtgp)

Reset(SA_libvirtgr)

状態確認

(SA_vmchkhost)

PRIMERGY 筐体間

ゲスト間

管理OS ○

(表5.2参照)- - -

ゲストOS - ○ ○ ○

PRIMEQUEST1000/2000シリーズ

筐体間

ゲスト間

管理OS ○

(表5.3参照)- - -

ゲストOS - ○ ○ ○

参照

シャットダウン機構についての詳細は、以下のマニュアルを参照してください。

1. “PRIMECLUSTER コンセプトガイド”の“2.3.1.7 PRIMECLUSTER SF”

2. “PRIMECLUSTER Cluster Foundation 導入運用手引書”の“7 シャットダウン機構(SF)”

5.1.2.1 生存優先度

クラスタインタコネクトの障害によりクラスタパーティションが発生した場合、まだ全ノードがユーザ資産にアクセスできる状態にあります。

クラスタパーティションについては、“PRIMECLUSTER コンセプトガイド”の“1.2.2.1 データ整合性の保証”を参照してください。

ユーザ資産であるデータの整合性を保証するために、生存させるノード群と強制停止させるノード群を決定する必要があります。

PRIMECLUSTERでは、それぞれのノード群に対する重み付けを「生存優先度」と呼んでいます。

ノードの重みが大きいほど生存優先度は高くなり、小さくなるにつれて生存優先度は低くなります。ノード群の生存優先度が同じ場合

は、ノード名がアルファベット順でも早いノードを含むノード群が生存します。

生存優先度は、以下の計算で求められます。

生存優先度＝SFのノードの重み(weight)＋userApplicationの ShutdownPriority

注意

SFは、生存させるノード群と強制停止させるノード群を決定するために、管理LANを使用してノード間で生存優先度を交換します。管

理LANによる通信が行えない等、各ノードの生存優先度を受け取れない場合、SFは各ノードの生存優先度をSFのノードの重み(weight)とします。

SFのノードの重み(weight):

ノードの重み。デフォルト値＝1。シャットダウン機能の設定の際に指定します。

- 96 -

userApplicationのShutdownPriority：

設定はuserApplication作成時の属性設定で行ってください。設定値の変更方法については、“11.1 userApplicationの運用属性の

変更”を参照してください。

参照

userApplicationのShutdownPriority属性については、“PRIMECLUSTER RMS 導入運用手引書”の“12.1 ユーザ設定属性”を参


◆生存優先度の設計指針

以下に、代表的なケースをもとに、生存優先度の設計指針を示します。

[ も多くのノードを生存させたい場合]

- すべてのノードのweightを1(デフォルト)に設定

- すべてのユーザアプリケーションのShutdownPriority属性を0(デフォルト)に設定

[特定のノードを生存させたい場合]

- 生存させるノードのweightをその他ノードのweightの合計の2倍以上の値に設定


以下は、node1を生存させる場合の例です。

- 97 -

[特定のアプリケーションが動作しているノードを生存させたい場合]

- すべてのノードのweightを1(デフォルト)に設定

- 動作を続けさせるユーザアプリケーションのShutdownPriority属性をその他のユーザアプリケーションのShutdownPriority属

性とすべてのノードのweightの合計の2倍以上の値に設定

以下は、app1が動作しているノードを生存させる場合の例です。

[特定の順番でノードを生存させたい場合]

- 生存させるノードのweightを自分より優先度が低いノードのweightの合計の2倍以上の値に設定


以下は、node1、node2、node3、node4の順番でノードを生存させる場合の例です。

- 98 -

[管理OS異常切替機能を使用する場合]

- 各クラスタシステムにおいて、生存優先度の低い順に、ノードのweightを2のべき乗(1,2,4,8,16,...)の値に設定

- ゲストOSに設定するweightは、対応する管理OSと順序関係が同じになるようにする

例えば、管理OS間でhost1の生存優先度をhost2より高くするとき、ゲストOS間でnode1(host1に対応)の生存優先度をnode2～4(host2に対応)より高く設定


以下は、node1、node2、node3、node4の順番でノードを生存させる場合の例です。

- 99 -

5.1.2.2 シャットダウン機構の設定の流れ

5.1.2.2.1 PRIMERGY RX/TXシリーズでの設定の流れ

PRIMERGY RX/TXシリーズでのシャットダウン機構の設定は、以下の流れで行います。

1. シャットダウンエージェントの情報確認

2. シャットダウンデーモンの設定

3. IPMIシャットダウンエージェントの設定

4. kdumpシャットダウンエージェントの設定

5. シャットダウン機構の起動

6. クラスタノード強制停止テスト

詳細な設定手順は“5.1.2.3 PRIMERGYでのシャットダウン機構の設定手順”を参照してください。

- 100 -

5.1.2.2.2 PRIMERGY BXシリーズでの設定の流れ

■ServerView Resource Orchestrator Virtual Editionと組み合わせる場合

ServerView Resource Orchestrator Virtual Editionと組み合わせて使用する場合、PRIMERGY BXシリーズでのシャットダウン機構の設

定は、以下の流れで行います。



3. IPMIシャットダウンエージェントの設定





■ServerView Resource Orchestrator Virtual Editionと組み合わせない場合

ServerView Resource Orchestrator Virtual Editionと組み合わせないで使用する場合、PRIMERGY BXシリーズでのシャットダウン機構

の設定は、以下の流れで行います。



3. Bladeシャットダウンエージェントの設定





5.1.2.2.3 PRIMEQUESTでの設定の流れ

PRIMEQUESTでのシャットダウン機構の設定は、以下の流れで行います。


2. MMBシャットダウンエージェントの設定


4. MMB非同期監視デーモンの起動

5. I/O完了待ち時間の設定(ETERNUSディスクアレイ以外を共用ディスクに使用する場合)



詳細な設定手順は“5.1.2.4 PRIMEQUESTでのシャットダウン機構の設定手順”を参照してください。

5.1.2.2.4 仮想マシン環境での設定の流れ

■管理OS異常切替機能を使用する場合

仮想マシン環境で管理OS異常切替機能を使用する場合、シャットダウン機構の設定は以下の流れで行います。

1. PRIMERGY/PRIMEQUESTの管理OSでのシャットダウン機構の設定

2. 仮想マシンでのシャットダウンエージェントの情報確認

3. libvirtシャットダウンエージェントの設定

- 101 -

4. vmchkhostシャットダウンエージェントの設定


6. 管理OSへの管理OS異常切替機能の設定(PRIMEQUESTのみ)


詳細な設定手順は、以下を参照してください。

・5.1.2.3 PRIMERGYでのシャットダウン機構の設定手順

・5.1.2.4 PRIMEQUESTでのシャットダウン機構の設定手順

・5.1.2.5 仮想マシン環境でのシャットダウン機構の設定手順

■管理OS異常切替機能を使用しない場合

仮想マシン環境で管理OS異常切替機能を使用しない場合、シャットダウン機構の設定は以下の流れで行います。

1. 仮想マシンでのシャットダウンエージェントの情報確認

2. libvirtシャットダウンエージェントの設定



詳細な設定手順は、“5.1.2.5 仮想マシン環境でのシャットダウン機構の設定手順”を参照してください。

5.1.2.3 PRIMERGYでのシャットダウン機構の設定手順

PRIMERGYでのシャットダウン機構の設定手順について説明します。

シャットダウンエージェントの設定は、使用するサーバ機種に対応するものを実施してください。

注意

シャットダウン機構に使用する管理LANをGLSで二重化する場合、以下のように設定してください。

・ノード間でIPアドレスを引継ぐ場合

GLSをNIC切替方式の論理IPアドレス引継ぎ機能で設定してください。

シャットダウン機構には、論理IPアドレスではなく、物理IPアドレスを指定してください。

・ノード間でIPアドレスを引継がない場合

GLSをNIC切替方式の物理IPアドレス引継ぎ機能で設定してください。

5.1.2.3.1 シャットダウンエージェントの情報確認

■RX/TXシリーズ

IPMIシャットダウンエージェントの設定に必要な、BMC(Baseboard Management Controller)、または iRMC(integrated RemoteManagement Controller)の以下の設定を確認してください。

・ BMC、またはiRMCのIPアドレス

・ BMC、またはiRMCに定義したユーザ

・ BMC、またはiRMCに定義したユーザのパスワード

また、以下について確認してください。

・ BMC、またはiRMCに定義したユーザに管理者権限が設定されていること

・ BMC、またはiRMCに定義したユーザのパスワードが以下の文字以外の7ビット ASCII文字で設定されていること

> < " / \ = ! ? ; , &

- 102 -

■BXシリーズ(ServerView Resource Orchestrator Virtual Editionと組み合わせる場合)

RX/TXシリーズと同一です。■RX/TXシリーズを参照してください。

■BXシリーズ(ServerView Resource Orchestrator Virtual Editionと組み合わせない場合)

Bladeシャットダウンエージェントの設定に必要な、マネージメントブレードの以下の設定を確認してください。

・マネージメントブレードのIPアドレス

・マネージメントブレードのSNMPコミュニティ名

・クラスタホストが動作しているサーバブレードのスロット番号

5.1.2.3.2 シャットダウンデーモンの設定

全ノードで/etc/opt/SMAW/SMAWsf/rcsd.cfgを以下のような内容で作成します。

rcsd.cfgファイルはrootユーザで作成し、パーミッションを600にしてください。

■RX/TXシリーズ

CFNameX,weight=weight,admIP=myadmIP:agent=SA_ipmi,timeout=timeout

CFNameX,weight=weight,admIP=myadmIP:agent=SA_ipmi,timeout=timeout

CFNameX : クラスタホストのCFノード名を指定します。

weight : SFのノードの重みを指定します。

myadmIP : クラスタホストのシャットダウン機構で使用する管理LANのIPアドレスを

指定します。

iRMCやマネージメントブレードのIPアドレスではありません。

指定可能なアドレス形式は、IPv4アドレスおよびIPv6アドレスです。

IPv6のリンクローカルアドレスは使用できません。

IPv6アドレスを指定する場合は、角括弧[ ]で囲んでください。

(例 [1080:2090:30a0:40b0:50c0:60d0:70e0:80f0])

ホスト名を指定する場合は、/etc/hostsに記載されていることを確認して

ください。

SA_ipmi : IPMIシャットダウンエージェントです。

timeout : IPMIシャットダウンエージェントのタイムアウト時間(秒)を指定します。

25秒を指定します。

例）

node1,weight=1,admIP=10.20.30.100:agent=SA_ipmi,timeout=25

node2,weight=1,admIP=10.20.30.101:agent=SA_ipmi,timeout=25

■BXシリーズ(ServerView Resource Orchestrator Virtual Editionと組み合わせる場合)

RX/TXシリーズと同一です。■RX/TXシリーズを参照してください。

■BXシリーズ(ServerView Resource Orchestrator Virtual Editionと組み合わせない場合)

CFNameX,weight=weight,admIP=myadmIP:agent=SA_blade,timeout=timeout

CFNameX,weight=weight,admIP=myadmIP:agent=SA_blade,timeout=timeout




指定します。





- 103 -

(例 [1080:2090:30a0:40b0:50c0:60d0:70e0:80f0])


ください。

SA_blade : Bladeシャットダウンエージェントです。

timeout : Bladeシャットダウンエージェントのタイムアウト時間(秒)を指定します。

20秒を指定します。

例）

node1,weight=1,admIP=10.20.30.100:agent=SA_blade,timeout=20

node2,weight=1,admIP=10.20.30.101:agent=SA_blade,timeout=20

注意

・シャットダウン機構で使用する管理LANでSTP(スパニングツリープロトコル)を使用する場合には、STPがツリーを作成する時間と

余裕を考慮し、timeoutに指定する値に50秒加算してください。この設定により、フェイルオーバに要する時間は長くなります。

・ rcsd.cfgファイルの内容は全ノードで同一にしてください。同一でない場合、誤動作します。

参考

/etc/opt/SMAW/SMAWsf/rcsd.cfgファイルを作成する場合、/etc/opt/SMAW/SMAWsf/rcsd.cfg.templateファイルを雛型として使用する


5.1.2.3.3 IPMIシャットダウンエージェントの設定

RX/TXシリーズ、BXシリーズでServerView Resource Orchestrator Virtual Editionと組み合わせる場合など、BMC(BaseboardManagement Controller)、またはiRMC(integrated Remote Management Controller)が搭載されているサーバは、IPMIシャットダウンエー

ジェントを設定します。

IPMIシャットダウンエージェントの設定は、kdumpシャットダウンエージェントの設定前に行ってください。

1. IPMIサービスの起動

[RHEL6の場合]

全ノードで以下のコマンドを実行し、IPMIサービスの起動状態を確認します。

# /sbin/service ipmi status

IPMIサービスが起動していないすべてのノード上で、以下のコマンドを実行し、IPMIサービスを起動します。

# /sbin/service ipmi start

Starting ipmi drivers: [ OK ]

[RHEL7の場合]


# /usr/bin/systemctl status ipmi.service

ipmi.service - IPMI Driver

Loaded: loaded (/usr/lib/systemd/system/ipmi.service; disabled)

Active: inactive (dead)

"Active:"の項目が "inactive"と表示され、IPMIサービスが起動していないすべてのノード上で、以下のコマンドを実行し、IPMIサービスを起動します。

# /usr/bin/systemctl start ipmi.service

2. IPMIサービスのランレベルの設定

[RHEL6の場合]

- 104 -

起動時にIPMIサービスを読み込むように、全ノードで以下のコマンドを実行します。

# /sbin/chkconfig --level 2345 ipmi on

[RHEL7の場合]

起動時にIPMIサービスを読み込むように、全ノードで以下のコマンドを実行します。

# /usr/bin/systemctl enable ipmi.service

ln -s '/usr/lib/systemd/system/ipmi.service' '/etc/systemd/system/multi-user.target.wants/ipmi.service'

3. パスワードの暗号化

sfcipherコマンドを実行し、シャットダウン機構用のユーザのパスワードを暗号化します。

例) IPMI(BMC, iRMC)設定時に定義したパスワードが"bmcpwd$"の場合

# sfcipher -c

Enter User's Password: ←bmcpwd$ を入力

Re-enter User's Password: ←bmcpwd$ を入力

/t1hXYb/Wno=

注) 4.3A30以降では、パスワードとして定義した記号の前に'\'の記載は不要です。

sfcipherコマンドの使用法については、sfcipherのマニュアルページを参照してください。

注意

IPMI(BMC, iRMC)設定時に定義したパスワードには、7ビット ASCIIコードの文字が使用可能です。

その中で以下の記号は問題が発生する可能性があるため、使用しないようにしてください。

> < " / ¥ = ! ? ; , &

4. シャットダウンエージェントの設定

全ノードで/etc/opt/SMAW/SMAWsf/SA_ipmi.cfgを以下のような内容で作成します。

SA_ipmi.cfgファイルはrootユーザで作成し、パーミッションを600にしてください。

－ IPv4アドレスの場合

CFName1 ip-address:user:passwd {cycle | leave-off}

CFName2 ip-address:user:passwd {cycle | leave-off}

－ IPv6アドレスの場合

CFName1 [ip-address]:user:passwd {cycle | leave-off}

CFName2 [ip-address]:user:passwd {cycle | leave-off}

CFNameX ：クラスタホストのCFノード名を指定します。

ip-address ：クラスタホストが動作しているサーバのIPMI(BMC, iRMC)のIPアドレスを

指定します。



IPv6アドレスを指定する場合は角括弧[ ]で囲んでください。

(例 [1080:2090:30a0:40b0:50c0:60d0:70e0:80f0])

user ： IPMI(BMC, iRMC)設定時に定義したユーザを指定します。

passwd ： IPMI(BMC, iRMC)設定時に定義したパスワードです。

1.で暗号化したパスワードを指定します。

cycle : ノード強制停止後、再起動します。

leave-off : ノード強制停止後、電源切断します。

例1）

node1のiRMCのIPアドレスが10.20.30.50、node2のiRMCのIPアドレスが10.20.30.51の場合

- 105 -

node1 10.20.30.50:root:/t1hXYb/Wno= cycle

node2 10.20.30.51:root:/t1hXYb/Wno= cycle

例2）

node1 の iRMC の IP アドレスが 1080:2090:30a0:40b0:50c0:60d0:70e0:80f0 、 node2 の iRMC の IP アドレスが

1080:2090:30a0:40b0:50c0:60d0:70e0:80f1の場合

node1 [1080:2090:30a0:40b0:50c0:60d0:70e0:80f0]:root:/t1hXYb/Wno= cycle

node2 [1080:2090:30a0:40b0:50c0:60d0:70e0:80f1]:root:/t1hXYb/Wno= cycle

参考

/etc/opt/SMAW/SMAWsf/SA_ipmi.cfgファイルを作成する場合、/etc/opt/SMAW/SMAWsf/SA_ipmi.cfg.templateファイルを雛形

として使用することができます。

注意

－ /etc/opt/SMAW/SMAWsf/SA_ipmi.cfgファイルの設定内容が正しいか確認してください。設定内容に誤りがあった場合、

シャットダウン機構が正常に動作できなくなります。

－ /etc/opt/SMAW/SMAWsf/SA_ipmi.cfgファイルのクラスタホストのCFノード名(CFNameX)に対応した、IPMI(BMC, iRMC)のIPアドレス(ip-address)が設定されているか確認してください。設定に誤りがあった場合、誤ったノードが強制停止されること

があります。

－ SA_ipmi.cfgファイルの内容は全ノードで同一にしてください。同一でない場合、誤動作します。

5.1.2.3.4 Bladeシャットダウンエージェントの設定

BXシリーズでServerView Resource Orchestrator Virtual Editionと組み合わせない場合は、Bladeシャットダウンエージェントを設定します。

Bladeシャットダウンエージェントの設定は、kdumpシャットダウンエージェントの設定前に行ってください。

全ノードで/etc/opt/SMAW/SMAWsf/SA_blade.cfgを以下のような内容で作成します。

SA_blade.cfgファイルはrootユーザで作成し、パーミッションを600にしてください。

■同一シャーシ内のクラスタ構成の場合

management-blade-ip IPaddress

community-string SNMPcommunity

CFName1 slot-no {cycle | leave-off}


IPaddress : マネージメントブレードのIPアドレスを指定します。




(例 [1080:2090:30a0:40b0:50c0:60d0:70e0:80f0])

SNMPcommunity : マネージメントブレードのSNMP コミュニティ名を指定します。


slot-no : クラスタホストが動作しているサーバブレードのスロット番号を指定します。



例）

node1とnode2のマネージメントブレードのIPアドレスが10.20.30.50、node1のスロット番号が1、node2のスロット番号が2の場合

management-blade-ip 10.20.30.50

community-string public

- 106 -

node1 1 cycle

node2 2 cycle

■複数シャーシ間のクラスタ構成の場合

community-string SNMPcommunity

management-blade-ip IPaddress1


management-blade-ip IPaddress2


IPaddressX : CFNameXのクラスタホストのあるシャーシのマネージメントブレードの

IPアドレスを指定します。




(例 [1080:2090:30a0:40b0:50c0:60d0:70e0:80f0])

必ずCFNameXより前に記載してください。

SNMPcommunity : マネージメントブレードのSNMP コミュニティ名を指定します。


slot-no : クラスタホストが動作しているサーバブレードのスロット番号を指定します。



注意

マネージメントブレードのSNMPコミュニティ名は、すべてのシャーシで同一に設定してください。

例）

node1のマネージメントブレードのIPアドレスが10.20.30.50でスロット番号が1、node2のマネージメントブレードのIPアドレスが10.20.30.51でスロット番号が2の場合



node1 1 cycle


node2 2 cycle

参考

/etc/opt/SMAW/SMAWsf/SA_blade.cfgを作成する場合、/etc/opt/SMAW/SMAWsf/SA_blade.cfg.templateファイルを雛型として使用

することができます。

注意

・ /etc/opt/SMAW/SMAWsf/SA_blade.cfgファイルの設定内容が正しいか確認してください。設定内容に誤りがあった場合、シャット

ダウン機構が正常に動作できなくなります。

・ /etc/opt/SMAW/SMAWsf/SA_blade.cfgファイルのクラスタホストのCFノード名(CFNameX)に対応した、マネージメントブレードのIPアドレス(IPaddress)とサーバブレードのスロット番号(slot-no)が設定されているか確認してください。設定に誤りがあった場合、誤っ

たノードが強制停止されることがあります。

・ SA_blade.cfgファイルの内容は全ノードで同一にしてください。同一でない場合、誤動作します。

- 107 -

5.1.2.3.5 kdumpシャットダウンエージェントの設定

IPMIシャットダウンエージェント、またはBladeシャットダウンエージェントの設定後に、kdumpシャットダウンエージェントを設定します。

以下の手順を実施してください。

1. kdump用定義ファイルの初期化

クラスタシステムを構成するいずれかのノードで以下のコマンドを実行します。

# /etc/opt/FJSVcllkcd/bin/panicinfo_setup

以下のエラーメッセージが出力された場合は、シャットダウンデーモンの設定ファイル(rcsd.cfg)に誤りがありますので、再設定し

てください。

panicinfo_setup: ERROR: Reading the Shutdown Facility configuration faild.

以下のエラーメッセージが出力された場合は、シャットダウンエージェントの設定ファイル(SA_ipmi.cfg、SA_blade.cfg)に誤りが

ありますので、再設定してください。

panicinfo_setup: ERROR: Reading the Shutdown Agent configuration failed.

また、すでにpanicinfo_setupを実行した環境では、以下のメッセージが出力されます。

panicinfo_setup: WARNING: /etc/panicinfo.conf file already exists.

(I)nitialize, (C)opy or (Q)uit (I/C/Q) ?

この場合は、"I"を入力してください。

注意

本コマンドは、CFおよびCFのサービス(CFSH, CFCP)が動作していることを前提としています。設定の詳細については、“5.1.1CF、CIPの設定”の注意事項を参照してください。

2. クラッシュダンプ採取の設定

－ RX/TXシリーズ、BXシリーズでServerView Resource Orchestrator Virtual Editionと組み合わせる場合

1. 全ノードで/etc/opt/FJSVcllkcd/etc/SA_lkcd.toutを以下に変更します。

変更前

PANICINFO_TIMEOUT 5

RSB_PANIC 0

変更後

PANICINFO_TIMEOUT 10

RSB_PANIC 3

2. 全ノードで/etc/opt/SMAW/SMAWsf/rcsd.cfgのSA_lkcdのtimeout値を以下に変更します。

変更前

agent=SA_lkcd,timeout=20

変更後

agent=SA_lkcd,timeout=25

－ BXシリーズでServerView Resource Orchestrator Virtual Editionと組み合わせない場合

全ノードで/etc/opt/FJSVcllkcd/etc/SA_lkcd.toutのRSB_PANICの値を以下に変更します。

変更前

RSB_PANIC 0

- 108 -

変更後

RSB_PANIC 2


全ノードでシャットダウン機構を起動または再起動します。


全ノードでシャットダウン機構が起動済みか確認してください。

# sdtool -s

シャットダウン機構が起動済みの場合、全ノードで以下を実行してシャットダウン機構を再起動してください。

# sdtool -e

# sdtool -b

シャットダウン機構が起動していない場合、全ノードで以下を実行してシャットダウン機構を起動してください。

# sdtool -b

2. シャットダウン機構の状態確認

全ノードでシャットダウン機構の状態を確認してください。

# sdtool -s

参考

sdtool -s コマンドの表示結果について

・初期状態がInitFailed と表示された場合は、そのシャットダウンエージェントの初期化で問題が発生したことを示しています。

・テスト状態にTestFailed と表示された場合は、クラスタホスト欄に表示されたノードを停止できるかどうかをエージェントがテストして

いる間に問題が発生したことを示しています。このような場合には、そのエージェントが使用しているソフトウェア、ハードウェア、

ネットワーク資源に何らかの問題が生じていることが考えられます。

・停止状態または初期状態にUnknown と表示された場合は、SF がノードの停止、経路のテスト、SA の初期化をまだ行っていない

ことを表しています。テスト状態および初期状態には、実際の状態が確認されるまで一時的にUnknown が表示されます。

・ TestFailed またはInitFailed が表示された場合は、/var/log/messages を確認してください。失敗した問題が解決されSF が再起動さ

れると、状態の表示がInitWorked またはTestWorked に変わります。

5.1.2.3.7 クラスタノード強制停止テスト

シャットダウン機構の設定後に、正しいノードが強制停止できることを確認するため、クラスタ強制停止テストを実施します。

クラスタノード強制停止の詳細については、“1.4 テスト”を参照してください。

5.1.2.4 PRIMEQUESTでのシャットダウン機構の設定手順

PRIMEQUESTでのシャットダウン機構の設定手順について説明します。

注意





- 109 -




■MMBの確認

MMBシャットダウンエージェントの設定に必要な、以下のMMBの設定を確認してください。

・ RMCPでMMBを制御するためのユーザ

・ RMCPでMMBを制御するためのユーザのパスワード

また、確認したユーザについて、以下の設定がされているか確認してください。

・ RMCPでMMBを制御するためのユーザの[Privilege]が「Admin」になっていること

・ RMCPでMMBを制御するためのユーザの[Status]が「Enabled」になっていること

・ RMCPでMMBを制御するためのユーザのパスワードが以下の文字以外の7ビット ASCII文字で設定されていること

> < " / \ = ! ? ; , &

RMCPでMMBを制御するためのユーザの設定を確認するには、MMB Web-UIにログインし、[Network Configuration]メニューの[RemoteServer Management]画面から確認します。

上記のとおりに設定されていない場合は、上記のようにMMBを設定してください。

注意

MMBには以下の2種類のユーザが存在します。

・ MMB全体を制御するためのユーザ

・ RMCPでMMBを制御するためのユーザ

ここで確認するユーザはRMCPでMMBを制御するためのユーザです。誤らないようにしてください。

参照

MMBの設定方法、確認方法については、以下のマニュアルを参照してください。





■共用ディスクのI/O完了待ち時間の確認(ETERNUSディスクアレイ以外を共用ディスクに使用する場合)

ETERNUSディスクアレイ以外を共用ディスクに使用する場合、パニックなどのノードダウン時のデータ障害を防止するため、共用ディ

スクのI/Oが完了するまでの待ち時間を設定する必要があります。

待ち時間を設定するために、共用ディスクへのI/O発生中にパニックを発生させてから、共用ディスクのI/Oが完了するまでに要する時

間を確認してください。

5.1.2.4.2 MMBシャットダウンエージェントの設定

MMBシャットダウンエージェントを設定します。

以下の手順で実施してください。

- 110 -

本手順は、“5.1.1 CF、CIPの設定”の後に実施してください。

1. 全ノードでclmmbsetup -a コマンドを実行し、MMB情報を登録します。

clmmbsetupコマンドの使用法については、clmmbsetupのマニュアルページを参照してください。

# /etc/opt/FJSVcluster/bin/clmmbsetup -a mmb-user

Enter User's Password:

Re-enter User's Password:

mmb-userとUser's Passwordには、“5.1.2.4.1 シャットダウンエージェントの情報確認”で確認した以下の内容を入力します。

mmb-user

RMCPでMMBを制御するためのユーザ

User's Password

RMCPでMMBを制御するためのユーザのパスワード

注意

MMB設定時に定義したパスワードには、7ビット ASCIIコードの文字が使用可能です。

その中で以下の記号は問題が発生する可能性があるため、使用しないようにしてください。

> < " / ¥ = ! ? ; , &

2. 全ノードでclmmbsetup -l コマンドを実行し、登録されたMMB情報を確認します。

手順1.で登録したMMB情報が全ノードで出力されない場合、再度手順1.からやり直してください。

# /etc/opt/FJSVcluster/bin/clmmbsetup -l

cluster-host-name user-name

-----------------------------------

node1 mmb-user

node2 mmb-user




CFNameX,weight=weight,admIP=myadmIP:agent=SA_mmbp,timeout=timeout:agent=SA_mmbr,timeout=timeout

CFNameX,weight=weight,admIP=myadmIP:agent=SA_mmbp,timeout=timeout:agent=SA_mmbr,timeout=timeout



myadmIP : クラスタホストのシャットダウン機構で使用する管理LANのIPアドレスを指定します。

MMBのIPアドレスではありません。




(例 [1080:2090:30a0:40b0:50c0:60d0:70e0:80f0])

ホスト名を指定する場合は、/etc/hostsに記載されていることを確認してください。

SA_mmbp : MMB経由でノードをパニックさせるシャットダウンエージェントです。

必ず指定してください。

SA_mmbr : MMB経由でノードをリセットさせるシャットダウンエージェントです。

必ず指定してください。

timeout : シャットダウンエージェントのタイムアウト時間(秒)を指定します。

SA_mmbpとSA_mmbrには、20秒を指定します。

例）

- 111 -

node1,weight=2,admIP=fuji2:agent=SA_mmbp,timeout=20:agent=SA_mmbr,timeout=20

node2,weight=2,admIP=fuji3:agent=SA_mmbp,timeout=20:agent=SA_mmbr,timeout=20

注意

・ rcsd.cfgファイルで設定するシャットダウンエージェントは、SA_mmbp、SA_mmbrの順番で両方のシャットダウンエージェントを設定



参考

/etc/opt/SMAW/SMAWsf/rcsd.cfgファイルを作成する場合、/etc/opt/SMAW/SMAWsf/rcsd.cfg.mmb.templateファイルを雛型として使

用することができます。

5.1.2.4.4 MMB非同期監視デーモンの起動

MMB非同期監視デーモンを起動します。

全ノードでMMB非同期監視デーモンが起動済みか確認してください。

# /etc/opt/FJSVcluster/bin/clmmbmonctl

“The devmmbd daemon exists.”が表示された場合、MMB非同期監視デーモンは起動済みです。

“The devmmbd daemon does not exist.”が表示された場合、MMB非同期監視デーモンは起動していません。以下を実行し、MMB非

同期監視デーモンを起動してください。

# /etc/opt/FJSVcluster/bin/clmmbmonctl start

5.1.2.4.5 I/O完了待ち時間の設定

ETERNUSディスクアレイ以外を共用ディスクに使用する場合、パニックなどのノードダウン時のデータ障害を防止するため、共用ディ

スクのI/Oが完了するまでの待ち時間を設定します。

クラスタシステムを構成する任意の１ノードで以下のコマンドを実行し、パニックなどのノードダウンによる切替え時のI/O完了待ち時間

(WaitForIOComp)を設定してください。

cldevparamコマンドの詳細については、cldevparamのマニュアルページを参照してください。

# /etc/opt/FJSVcluster/bin/cldevparam -p WaitForIOComp value

value : I/O完了待ち時間を指定します。“5.1.2.4.1 シャットダウンエージェントの情報確認”

で確認した時間を指定してください。

設定後、以下のコマンドを実行し、設定した値が反映されていることを確認してください。

# /etc/opt/FJSVcluster/bin/cldevparam -p WaitForIOComp

value

注意

I/O完了待ち時間を設定した場合、パニックなどのノードダウン時の切替え時間がその分長くなります。



- 112 -



# sdtool -s


# sdtool -e

# sdtool -b


# sdtool -b



# sdtool -s

参考








・ TestFailed またはInitFailed が表示された場合は、/var/log/messages を確認してください。失敗した問題が解決されSF が再起動さ

れると、状態の表示がInitWorked またはTestWorked に変わります。

注意

・シャットダウン機構起動後に、"sdtool -s"を実行すると、テスト状態にTestFailedと表示された場合で、かつ、/var/log/messagesに7210番のメッセージが出力された場合は、以下の原因が考えられます。

各項目を確認してください。

7210 An error was detected in MMB. (node:nodename mmb_ipaddress1:mmb_ipaddress1 mmb_ipaddress2:mmb_ipaddress2

node_ipaddress1:node_ipaddress1 node_ipaddress2:node_ipaddress2 status:status detail:detail)

－ PSA/SVmcoのインストールや設定がされていない

－ SVmcoを手動でインストールした後にノードを再起動していない

－ PSA/SVmcoの設定に誤りがある

例)管理LANのIPアドレスに誤ったIPアドレス(MMBのIPアドレスなど)を指定している

－ PSA/SVmcoの動作に必要なファイアウォールの設定が行われていない

－ MMBの設定に誤りがある

例1)誤ったIPアドレスが設定されている

例2)MMBの仮想IPアドレスと物理IPアドレスの両方が設定されていない

- 113 -

・ OS起動直後に“sdtool -s”を実行すると、自ノードのテスト状態にTestFailedと表示される場合がありますが、これはsnmptrapdデー

モンが起動中のため表示されるもので、正しい動作です。シャットダウン機構が起動した10分後に“sdtool -s”を実行すると、テスト

状態にTestWorkedが表示されます。

以下の例では、自ノード(node1)のテスト状態にTestFailedが表示されています。

# sdtool -s

Cluster Host Agent SA State Shut State Test State Init State

------------ ----- -------- ---------- ---------- ----------

node1 SA_mmbp.so Idle Unknown TestFailed InitWorked

node1 SA_mmbr.so Idle Unknown TestFailed InitWorked

node2 SA_mmbp.so Idle Unknown TestWorked InitWorked

node2 SA_mmbr.so Idle Unknown TestWorked InitWorked

また、同じ理由により、OS起動直後に以下のメッセージがSyslogに出力される場合があります。

3084: Monitoring another node has been stopped.

SA SA_mmbp.so to test host nodename failed

SA SA_mmbr.so to test host nodename failed

これも、snmptrapdデーモンが起動中のため出力されるもので、正しい動作です。シャットダウン機構が起動した10分後に以下の

メッセージがSyslogに出力されます。

3083: Monitoring another node has been started.

・ MMB非同期監視デーモンの初回起動時に、"sdtool -s"を実行するとTestFailedと表示される場合がありますが、これはノード間で

設定を同期中であるために表示されるもので、正しい動作です。シャットダウン機構が起動した10分後に"sdtool -s"を実行すると、

テスト状態にTestWorkedが表示されます。

・ SA_mmbr シャットダウンエージェントによるノードの強制停止を行うと、以下のメッセージがSyslogに出力される場合がありますが、

これはノードの強制停止に時間がかかっているもので、正しい動作です。

Fork SA_mmbp.so(PID pid) to shutdown host nodename

：

SA SA_mmbp.so to shutdown host nodename failed

：

Fork SA_mmbr.so(PID pid) to shutdown host nodename

：

SA SA_mmbr.so to shutdown host nodename failed

：

MA SA_mmbp.so reported host nodename leftcluster, state MA_paniced_fsnotflushed

：

MA SA_mmbr.so reported host nodename leftcluster, state MA_paniced_fsnotflushed

：

Fork SA_mmbp.so(PID pid) to shutdown host nodename

：

SA SA_mmbp.so to shutdown host nodename succeeded

上記メッセージが出力された後に“sdtool -s”を実行すると、SA_mmbp.so の停止状態に KillWorked が表示され、SA_mmbr.so の停止状態に KillFailed が表示されます。

以下は、node1 から node2 の強制停止を行い、上記メッセージが出力された後に“sdtool -s”を実行した場合の表示例です。

# sdtool -s


------------ ----- -------- ---------- ---------- ----------



node2 SA_mmbp.so Idle KillWorked TestWorked InitWorked

node2 SA_mmbr.so Idle KillFailed TestWorked InitWorked

“sdtool -s”で表示された KillFailed を復旧する場合は、以下の手順で復旧してください。

# sdtool -e

# sdtool -b

- 114 -

# sdtool -s


------------ ----- -------- ---------- ---------- ----------








5.1.2.5 仮想マシン環境でのシャットダウン機構の設定手順

仮想マシン環境でシャットダウン機構を設定する手順について説明します。

注意








KVM環境でのシャットダウン機構は、SSHで管理OSにログインし、ゲストOSのドメインを強制停止します。

シャットダウン機構の設定には以下の情報が必要なため、事前に確認してください。

・管理OSのIPアドレス

・管理OSにログインするためのユーザ

・管理OSにログインするためのユーザのパスワード

・ゲストOSのドメイン名

管理OSにログインするためのユーザとパスワードについては、以下で設定した情報を確認してください。

・ 1つの管理OS上のゲストOS間でクラスタシステムを構築している場合、“3.2.1.2 管理OSの設定（ゲストOSのOSインストール後）”

・管理OS異常切替機能を使用せず、複数の管理OS上のゲストOS間でクラスタシステムを構築している場合、“3.2.2.2 管理OSの設

定（ゲストOSのOSインストール後）”

・管理OS異常切替機能を使用して、複数の管理OS上のゲストOS間でクラスタシステムを構築している場合、“3.2.3.1.4 管理OSの設

定（ゲストOSのOSインストール後）”

また、確認したユーザがrootユーザとしてコマンドを実行できるように、sudoコマンドの設定が行われているか、以下の手順で確認して

ください。

1. すべてのノードでvisudoコマンドを実行してください。

2. visudoコマンドで表示される設定ファイルに、以下の設定が記載されているか確認してください。


記載されていない場合は、記載してください。

- 115 -

5.1.2.5.2 libvirtシャットダウンエージェントの設定

libvitrtシャットダウンエージェントを設定します。

以下の手順で実施してください。

注意

下記の1.から3.までの操作はすべてのゲストOS(ノード)で実行してください。


sfcipherコマンドを実行し、“5.1.2.5.1 シャットダウンエージェントの情報確認”で確認したパスワードを暗号化します。


# sfcipher -c



D0860AB04E1B8FA3

2. パニックシャットダウンエージェント(SA_libvirtgp)とリセットシャットダウンエージェント(SA_libvirtgr)の設定

パニックシャットダウンエージェント(SA_libvirtgp)とリセットシャットダウンエージェント(SA_libvirtgr)を設定します。

/etc/opt/SMAW/SMAWsf/SA_libvirtgp.cfgと/etc/opt/SMAW/SMAWsf/SA_libvirtgr.cfgをそれぞれ以下のような内容で作成しま

す。

SA_libvirtgp.cfgとSA_libvirtgr.cfgファイルはrootユーザで作成し、パーミッションを600にしてください。

CFNameX domainX ip-address user passwd

CFNameX domainX ip-address user passwd


domainX ：ゲストOSのドメイン名を指定します。

“5.1.2.5.1 シャットダウンエージェントの情報確認”で確認したドメイン名を指定します。

ip-address ：管理OSのIPアドレスを指定します。

“5.1.2.5.1 シャットダウンエージェントの情報確認”で確認した管理OSのIPアドレスを

指定します。



user : 管理OSにログインするためのユーザです。

“5.1.2.5.1 シャットダウンエージェントの情報確認”で確認したユーザを指定します。

passwd :“user”で指定したユーザのパスワードです。

1．のパスワードの暗号化で確認したものを指定します。

例）

node1のゲストOSのドメイン名がdomain1で、node1が動作する管理OSのIPアドレスが10.20.30.50、node2のゲストOSのドメイン名

がdomain2で、node2が動作する管理OSのIPアドレスが10.20.30.51の場合

－ /etc/opt/SMAW/SMAWsf/SA_libvirtgp.cfg

node1 domain1 10.20.30.50 user D0860AB04E1B8FA3


－ /etc/opt/SMAW/SMAWsf/SA_libvirtgr.cfg



- 116 -

注意

－ /etc/opt/SMAW/SMAWsf/SA_libvirtgp.cfgファイルと/etc/opt/SMAW/SMAWsf/SA_libvirtgr.cfgファイルの設定内容が正し

いか確認してください。設定内容に誤りがあった場合、シャットダウン機構が正常に動作できなくなります。

－ /etc/opt/SMAW/SMAWsf/SA_libvirtgp.cfgファイルと/etc/opt/SMAW/SMAWsf/SA_libvirtgr.cfgファイルのクラスタホストのCFノード名(CFNameX)に対応した、ゲストOSのドメイン名(domainX)と管理OSのIPアドレス(ip-address)が設定されているか確

認してください。設定に誤りがあった場合、誤ったノードが強制停止されることがあります。

－ SA_libvirtgp.cfg、SA_libvirtgr.cfgファイルの内容はすべてのゲストOS(ノード)で同一にしてください。同一でない場合誤動

作します。

3. 管理OSへのログイン

シャットダウン機構は、管理OSへSSHでアクセスするため、SSH初回時のユーザ問い合わせ（RSA 鍵の生成）を済ませておく必

要があります。

全ゲストOS（ノード）上でそれぞれ、2. で設定したすべての管理OSのIP アドレス (ip-address) に対して、設定したユーザでログイ

ンを実行してください。

コマンドの実行はrootユーザで行ってください。

# ssh -l user XXX.XXX.XXX.XXX

The authenticity of host 'XXX.XXX.XXX.XXX (XXX.XXX.XXX.XXX)' can't be established.

RSA key fingerprint is xx:xx:xx:xx:xx:xx:xx:xx:xx:xx:xx:xx:xx:xx:xx:xx.

Are you sure you want to continue connecting (yes/no)? yes ←yes と入力

5.1.2.5.3 vmchkhostシャットダウンエージェントの設定

管理OS異常切替機能を使用する場合、vmchkhostシャットダウンエージェントを設定します。

本設定は、libvirtシャットダウンエージェントの設定後に実施してください。

注意

下記の2.から3.までの操作はすべてのゲストOS(ノード)で実行してください。

1. libvirtシャットダウンエージェント設定と管理OSの情報確認

libvirtシャットダウンエージェントに設定した以下の情報を確認します。

－管理OSのIPアドレス

－管理OSにログインするためのユーザ

－管理OSにログインするためのユーザの暗号化パスワード

また、管理OSの以下の情報を確認します。

－ CFノード名

2. vmchkhostシャットダウンエージェントの設定

/etc/opt/SMAW/SMAWsf/SA_vmchkhost.cfgを以下のような内容で作成します。

SA_vmchkhost.cfgファイルはrootユーザで作成し、パーミッションを600にしてください。

guest-cfnameX host-cfnameX ip-address user password

guest-cfnameX host-cfnameX ip-address user password

guest-cfnameX : ゲストOS(クラスタノード)のCFノード名です。

host-cfnameX : 管理OSのCFノード名です。

1.で確認したCFノード名を指定します。

ip-address : 管理OSのIPアドレスです。

1.で確認したIPアドレスを指定します。

- 117 -

user : 管理OSにログインするためのユーザです。

1.で確認したユーザを指定します。

password : “user”で指定したユーザのパスワードです。

1.で確認した暗号化パスワードを指定します。

例）

node1(ゲストOSのCFノード名)が動作する管理OSのCFノード名がhostos1で、管理OSのIPアドレスが10.20.30.50、node2(ゲスト

OSのCFノード名)が動作する管理OSのCFノード名がhostos2で、管理OSのIPアドレスが10.20.30.51の場合

node1 hostos1 10.20.30.50 user D0860AB04E1B8FA3

node2 hostos2 10.20.30.51 user D0860AB04E1B8FA3

注意

－ /etc/opt/SMAW/SMAWsf/SA_vmchkhost.cfgファイルの設定内容が正しいか確認してください。設定内容に誤りがあった場

合、シャットダウン機構が正常に動作できなくなります。

－ /etc/opt/SMAW/SMAWsf/SA_vmchkhost.cfgファイルのゲストOS(クラスタホスト)のCFノード名(guest-cfnameX)に対応した、

管理OSのCFノード名(host-cfnameX)と管理OSのIPアドレス(ip-address)が設定されているか確認してください。設定に誤りが

あった場合、シャットダウン機構が正常に動作できなくなります。

－ SA_vmchkhost.cfgファイルの内容はすべてのゲストOS(ノード)で同一にしてください。同一でない場合、誤動作します。

3. 管理OSへのログイン

シャットダウン機構は、管理OSへSSHでアクセスするため、SSH初回時のユーザ問い合わせ（RSA 鍵の生成）を済ませておく必


libvirtシャットダウンエージェントを設定する際にSSH初回時のユーザ問い合わせ（RSA 鍵の生成）を済ませているか確認してく

ださい。




・管理OS異常切替機能を使用する場合

CFNameX,weight=weight,admIP=myadmIP:agent=SA_libvirtgp,timeout=timeout:agent=SA_libvirtgr,timeout=timeout:agent=SA_vm

chkhost,timeout=timeout

CFNameX,weight=weight,admIP=myadmIP:agent=SA_libvirtgp,timeout=timeout:agent=SA_libvirtgr,timeout=timeout:agent=SA_vm

chkhost,timeout=timeout

・・管理OS異常切替機能を使用しない場合

CFNameX,weight=weight,admIP=myadmIP:agent=SA_libvirtgp,timeout=timeout:agent=SA_libvirtgr,timeout=timeout

CFNameX,weight=weight,admIP=myadmIP:agent=SA_libvirtgp,timeout=timeout:agent=SA_libvirtgr,timeout=timeout




指定します。





(例 [1080:2090:30a0:40b0:50c0:60d0:70e0:80f0])


ください。

SA_libvirtgp : ゲストOSをパニックさせるシャットダウンエージェントです。必ず指定してください。

SA_libvirtgr : ゲストOSをリセットさせるシャットダウンエージェントです。必ず指定してください。

- 118 -

SA_vmchkhost : 管理OS異常切替機能のシャットダウンエージェントです。

管理OS異常切替機能の使用時に指定してください。

timeout : シャットダウンエージェントのタイムアウト時間(秒)を指定します。

SA_libvirtgpとSA_libvirtgrとSA_vmchkhostには、35秒を指定します。

例1）管理OS異常切替機能を使用する場合

node1,weight=2,admIP=fuji2:agent=SA_libvirtgp,timeout=35:agent=SA_libvirtgr,timeout=35:agent=SA_vmchkhost,timeout=35

node2,weight=1,admIP=fuji3:agent=SA_libvirtgp,timeout=35:agent=SA_libvirtgr,timeout=35:agent=SA_vmchkhost,timeout=35

例2）管理OS異常切替機能を使用しない場合

node1,weight=2,admIP=fuji2:agent=SA_libvirtgp,timeout=35:agent=SA_libvirtgr,timeout=35

node2,weight=1,admIP=fuji3:agent=SA_libvirtgp,timeout=35:agent=SA_libvirtgr,timeout=35

注意

・ rcsd.cfgファイルで設定するシャットダウンエージェントは、SA_libvirtgp、SA_libvirtgr、SA_vmchkhostの順番で設定してください。


参考

/etc/opt/SMAW/SMAWsf/rcsd.cfgファイルを作成する場合、/etc/opt/SMAW/SMAWsf/rcsd.cfg.templateファイルを雛型として使用する






# sdtool -s


# sdtool -e

# sdtool -b


# sdtool -b



# sdtool -s

参考






- 119 -



・ TestFailed またはInitFailed が表示された場合は、以下のファイルを確認してください。

－ /var/log/messages

－ /etc/sysconfig/libvirt-guests

/etc/sysconfig/libvirt-guests については、以下の設定が行われているか確認してください。

－ 1つの管理OS上のゲストOS間でクラスタシステムを構築している場合、“3.2.1.2 管理OSの設定（ゲストOSのOSインストール後）”

－管理OS異常切替機能を使用せず、複数の管理OS上のゲストOS間でクラスタシステムを構築している場合、“3.2.2.2 管理OSの設定（ゲストOSのOSインストール後）”

－管理OS異常切替機能を使用して、複数の管理OS上のゲストOS間でクラスタシステムを構築している場合、“3.2.3.1.4 管理OSの設定（ゲストOSのOSインストール後）”

失敗した問題が解決されSF が再起動されると、状態の表示がInitWorked またはTestWorked に変わります。

5.1.2.5.6 管理OSへの管理OS異常切替機能の設定(PRIMEQUESTのみ)

PRIMEQUESTで管理OS異常切替機能を使用する場合、MMB非同期監視機能と連携するために、管理OSにも管理OS異常切替機

能を設定します。

本設定はlibvirtシャットダウンエージェントとvmchkhostシャットダウンエージェントの設定後に実施してください。

注意

下記の2.から5.までの操作はすべての管理OS(ノード)で実行してください。

1. 設定の情報確認

PRIMEQUESTの管理OS異常切替機能は、MMB非同期監視機能で管理OS異常を検知した時に、SSHでゲストOS(クラスタノー

ド)にログインし、シャットダウン機構に管理OSの異常を通知します。

管理OS異常切替機能の設定には以下の情報が必要なため、事前に確認してください。

－ゲストOSのIPアドレス

－ゲストOSのドメイン名

－ゲストOSのクラスタ名

－ゲストOSのCFノード名

2. ユーザ作成（ゲストOSにroot以外でログインする場合)

管理OS異常切替機能が、ゲストOSにroot以外のユーザでログインする場合、ログイン用のユーザを作成します。すべてのゲスト

OSで以下の手順を実施してください。

(1) ログイン用のユーザを作成します。

作成するユーザのパスワードは、以下の文字以外の7ビットASCII文字で設定してください。

> < " / \ = ! ? ; , &

(2) 作成したユーザがrootユーザとしてコマンドを実行できるように、sudoコマンドを設定します。

rootコマンドでvisudoコマンドを実行し、表示される設定ファイルに、以下の設定を記載してください。

<(1)で作成したユーザ> ALL=(root) NOPASSWD: ALL


sfcipherコマンドを実行し、ゲストOSへSSH ログインするためのユーザ(rootまたは2.で作成したユーザ)のパスワードを暗号化しま

す。

- 120 -


# sfcipher -c



D0860AB04E1B8FA3

4. /etc/opt/FJSVcluster/etc/kvmguests.confの作成

/etc/opt/FJSVcluster/etc/kvmguests.confを以下の内容で作成します。

kvmguests.confファイルはrootユーザで作成し、パーミッションを600にしてください。

クラスタを構成する管理OS上に複数のゲストOS(クラスタノード)が動作している場合は、本ファイルに管理OS異常切替機能が設

定されたすべてのゲストOSを記載してください。

guest-name host-cfname guest-clustername guest-cfname guest_IP guest_user guest_passwd

：

－ 1行に1ノード分の情報を記載してください。

－各項目は空白1文字で区切ってください。

－ kvmguests.conf ファイルは、すべてのクラスタノードで同一にしてください。

guest-name : ゲストOSのドメイン名を指定します。

host-cfname : “guest-name”が動作している管理OSのCFノード名を指定します。

“guest-name”が動作している管理OSで“cftool -l”を実行すると、そのノードのCFノード名が

確認できます。

guest-clustername : ゲストOSのクラスタ名を指定します。

ゲストOSで“cftool -c”を実行すると、そのノードのクラスタ名が確認できます。

guest-cfname : ゲストOSのCFノード名を指定します。

ゲストOSで“cftool -l”を実行すると、そのノードのCFノード名が確認できます。

guest_IP : ゲストOSのIPアドレスを指定します。



guest_user : ゲストOSへSSH ログインするためのユーザを指定します。

rootまたは2.で作成したユーザを指定します。

guest_passwd : ゲストOSへログインするためのユーザのパスワードを指定します。

3．で暗号化したパスワードを指定します。

例）2ノード構成のゲストOS間でクラスタシステムが2セット構築されている場合

guest11 cfhost1 cluster1 cfguest11 10.20.30.50 user1 D0860AB04E1B8FA3




5. ゲストOSへのログイン確認

PRIMEQUESTの管理OS異常切替機能は、ゲストOSへSSHでアクセスするため、SSH初回時のユーザ問い合わせ（RSA 鍵の

生成）を済ませておく必要があります。

/etc/opt/FJSVcluster/etc/kvmguests.conf に指定したすべてのゲストOS(ノード)に対して、同ファイルに指定したユーザでSSH接

続を行い、ログインできることを確認してください。

コマンドの実行は、管理OSのrootユーザで行ってください。

# ssh -l user1 XXX.XXX.XXX.XXX




6. /etc/opt/FJSVcluster/etc/kvmguests.confの設定確認

全ての管理OS上でsfkvmtoolコマンドを実行し、/etc/opt/FJSVcluster/etc/kvmguests.confの設定に誤りが無いか確認します。

設定に誤りが無い場合、以下のメッセージが出力されます。

- 121 -

# /opt/SMAW/SMAWsf/bin/sfkvmtool -c

Configuration file kvmguests.conf check succeeded.

上記以外のメッセージが出力された場合、/etc/opt/FJSVcluster/etc/kvmguests.confの設定を見直してください。



# sdtool -s


# sdtool -e

# sdtool -b


# sdtool -b




注意

SA_libvirtgpによるノード(ゲストOS)強制停止後、ゲストOSが一時停止状態のままになることがあります(管理OSの/var/crash配下に空

き容量がない場合など)。このような場合、ゲストOSをvirsh destroyコマンドで強制停止してください。

5.1.3 クラスタリソース管理機構の初期設定

ここでは、クラスタリソース管理機構（以降、CRM）が管理するリソースデータベースを設定する方法について説明します。

CRMのリソースデータベースの設定は、以下の手順で行います。

1. 初期構成設定

CRMが管理するリソースデータベースの設定を行います。

2. ハードウェア装置の登録

システムに接続されているハードウェア装置（共用ディスク、ネットワークインタフェースカード）をCRMが管理するリソースデータ

ベースに登録します。

CRMのリソースデータベースの設定はCRMメインウィンドウから行います。CRMメインウィンドウは以下の手順で表示します。

◆操作手順

1. Web-Based Admin View 操作メニューの＜PRIMECLUSTER＞カテゴリから＜Global Cluster Services＞を選択し、さらに＜ClusterAdmin＞を選択します。

- 122 -

2. “Cluster Admin”画面が表示されますので、そこから[crm]タブを選択します。

画面に表示される各エリアは次のとおりです。

メニューバー

メニューを表示します。CRMメインウィンドウのメニューは、“7.1.2.1.3 運用操作”を参照してください。

CRMツリービュー

CRMに登録されているリソースをツリー構造で表示します。

ツリーに表示されるアイコンの色と状態の詳細に関しては、“7.1.2.1 表示する資源の種類”を参照してください。

CRMテーブルビュー

CRMツリービューで選択されているリソースの属性情報を表示します。表示内容に関しては“7.1.2.2 リソース詳細情報”を参照して

ください。

5.1.3.1 初期構成設定

CRMが管理するリソースデータベースの設定を行います。

初期構成設定を行う際は、クラスタを構成する、すべてのノードが起動し、CFの構築が完了している必要があります。

- 123 -

◆操作手順

1. メニューから[ツール]－[初期構成設定]を選択します。

図5.1 クラスタリソース管理機構の画面

注意

初期構成設定メニューは、リソースデータベースが設定されていない場合のみ選択できます。

2. 初期構成設定画面が表示されます。

図5.2 初期構成設定画面

クラスタ名

リソースデータベースを構築するクラスタのクラスタ名が表示されます。ここに表示されるクラスタ名は、CFで設定したクラスタ

名です。

ノード一覧

リソースデータベースを構築するノードの一覧が表示されます。

注意

CFで構築したクラスタに登録したノードとここに表示されるノードが一致していることを確認してください。

- 124 -

一致していなかった場合は、以下を確認してください。

－ “Cluster Admin”画面の[cf]タブを選択して表示される、すべてのノードが Upになっているか。

－全ノードでWeb-Based Admin Viewが起動しているか。

確認方法については、“4.3.3.2 Web-Based Admin Viewの起動確認”を参照してください。

＜続行＞ボタン

表示されているクラスタに対して、リソースデータベースの設定を行います。

［ノード一覧］で表示されている、すべてのノードで初期構成設定が実行されます。

＜取消＞ボタン

画面を終了し、処理を実行しません。

3. 表示内容を確認し＜続行＞を選択すると、初期構成設定が開始されます。

4. 初期構成設定を実行中は、以下の画面が表示されます。

5. 初期構成設定が終了すると、以下のメッセージが表示されます。

注意

・ CRMメインウィンドウでの操作中に表示されたメッセージ、およびメッセージダイアログのフレームタイトルが“Cluster resourcemanagement facility”となっているメッセージが表示された場合は、“PRIMECLUSTER 活用ガイド＜メッセージ集＞”の“3.2 CRMビューのメッセージ”、および“第4章 FJSVcluster 形式のメッセージ”を参照してください。

・ CRMメインウィンドウから初期構成設定を実施した後、Global Disk Services 画面からディスククラスの追加・削除・名前の変更を行

う場合は、ClusterAdmin画面を閉じてから操作を行ってください。

5.1.3.2 ハードウェア装置の登録

システムに接続されているハードウェア装置（共用ディスク、ネットワークインタフェースカード）をCRMが管理するリソースデータベース

に登録します。

◆操作手順

1. ネットワークインタフェースカードの登録

1. 全ノードがマルチユーザモードで起動されていることを確認の上、実行してください。

- 125 -

2. 以下の手順は、クラスタシステムを構成する任意の1ノードで実施してください。

1. システム管理者権限でログインします。

2. clautoconfigを実行します。

# /etc/opt/FJSVcluster/bin/clautoconfig -r -n

clautoconfigコマンドの詳細については、clautoconfigのマニュアルページを参照してください。

注意

－ clautoconfigコマンド実行中に、clautoconfigコマンド実行中のノードおよび他のノードで、clautoconfigコマンドを実行しては

いけません。実行した場合は、共用ディスク装置が正しく登録できません。もし実行してしまった場合は、クラスタシステムを

構成する、すべてのノードで以下の操作を行い、再度本章“5.1.3 クラスタリソース管理機構の初期設定”操作を行ってくださ

い。

1. リソースデータベースのリセット

clinitresetコマンドで、リソースデータベースのリセットを行います。clinitresetコマンドの詳細は、clinitresetコマンドのマ

ニュアルページを参照してください。

2. OSの再起動

OSを再起動します。

－自動検出するネットワークインタフェースカードは、動作中のネットワークインタフェースカードのみです。ネットワークインタ

フェースカードの状態は、RHEL6ではifconfig(8)コマンド、RHEL7以降ではip(8) コマンドで確認してください。

ネットワークインタフェースを動作中の状態にするためには、以下のコマンドを実行します。

<RHEL6の場合>

# ifconfig ネットワークインタフェースカード up

例：ネットワークインタフェースカードeth1を動作状態にする場合

# ifconfig eth1 up

<RHEL7以降の場合>

# ip link set dev ネットワークインタフェースカード up

例：ネットワークインタフェースカードeth1を動作状態にする場合

# ip link set dev eth1 up

2. 共用ディスクの登録

共用ディスクをリソースデータベースに登録します。共用ディスクの登録は、GDSを使用する場合のみ行ってください。サーバ間ミ

ラーリングを行う場合も、本設定が必要です。

以下の操作手順に従って共用ディスクの登録を行ってください。操作手順の詳細は、“PRIMECLUSTER Global Disk Services 説明書”の“共用ディスク装置のリソース登録”を参照してください。クラスタシステムを構成する任意の1ノードで、以下の手順を行い

ます。

1. システム管理者権限でログイン

クラスタシステムのいずれかのノードにシステム管理者権限でログインします。

2. サーバ間ミラーリングを行うディスクの設定

サーバ間ミラーリングを行うローカルディスクを各ノードからiSCSIデバイスとしてアクセスできるように設定します。詳細は、

“PRIMECLUSTER Global Disk Services説明書”の“サーバ間ミラーリングを行うディスクの設定”を参照してください。

本設定を行うことにより、対象のディスク装置は各ノードから共用ディスク装置と同様に使用できるようになります。以降の手順で

は、iSCSIデバイスを共用ディスク定義ファイルに記載してください。

- 126 -

3. 共用ディスク定義ファイルの作成

共用ディスク定義ファイルとは、クラスタシステムを構成する、すべてのノードに接続されている共用ディスク装置の情報を定義し

たファイルです。共用ディスク定義ファイルは、任意の名前で作成してください。

共用ディスク定義ファイルは、以下の形式で作成します。

リソースキー名デバイス名ノード識別名

リソースキー名デバイス名ノード識別名

：

－各ノードに接続されている共用ディスク装置のデバイスごとに“リソースキー名デバイス名ノード識別名”を1行で定義しま

す。

－ “リソースキー名”、“デバイス名”、“ノード識別名”の区切りは、空白1文字です。

－各情報には、以下を設定します。

リソースキー名

リソースキー名には、共用ディスク装置のデバイスごとの共用関係を示すリソースの名前を指定します。リソースキー名

は、ノード間で共用しているデバイスごとに同じ名前を指定してください。リソースキー名は、“shd番号”の形式で指定し

ます。“shd”は固定文字列です。“番号”は4桁の任意の数字を指定します。複数のデバイスをノード間で共用している場

合は、“番号”に異なる数字を指定してください。

[例] /dev/sdb と /dev/sdc をノード間で共用している場合

/dev/sdb のリソースキー名: shd0001

/dev/sdc のリソースキー名: shd0002

デバイス名

デバイス名には、共用ディスク装置のデバイスパスをフルパスで指定します。

[例] /dev/sdb の場合

/dev/sdb

注意

- DM-MPを使用する場合

- デバイス名は /dev/mapper/mpathX の形式で記述してください。

- デバイス名を /dev/dm-X の形式で記述しないでください。

- mpath デバイスを構成するネイティブデバイス (sd デバイス) を記述しないでください。

- 仮想環境のゲストの場合

ゲストにおけるデバイス名を記述してください。

例えば、KVM ゲストの virtio ブロックデバイスの場合、管理 OS におけるデバイス名 /dev/sdX ではなく、KVM ゲストに

おけるデバイス名 /dev/vdX を記述してください。

ノード識別名

共用ディスク装置のデバイスが存在するノード識別名を指定します。ノード識別名は、clgettreeコマンドで確認してくださ

い。clgettreeコマンドの詳細は、clgettreeコマンドのマニュアルページを参照してください。

[例] 以下の場合、node1 と node2 がノード識別名です。

# /etc/opt/FJSVcluster/bin/clgettree

Cluster 1 cluster

Domain 2 PRIME

Shared 7 SHD_PRIME

- 127 -

Node 3 node1 ON

Node 5 node2 ON

以下に、node1 と node2 で、共用ディスク装置のデバイス /dev/sdb と /dev/sdc を共用している場合の共用ディスク定義ファイ

ルの例を示します。

shd0001 /dev/sdb node1

shd0001 /dev/sdb node2

shd0002 /dev/sdc node1

shd0002 /dev/sdc node2

－共用ディスク装置を追加し、追加した共用ディスク装置をリソースデータベースに登録する場合は、追加した共用ディスク装

置の情報のみを定義します。

[例] shd0001およびshd0002がすでにリソースデータベースに登録されている状態で、

追加した共用ディスク装置/dev/sdd (*1)をリソースデータベースに登録する場合の

共用ディスク定義ファイルの例を示します。

shd0003 /dev/sdd node1

shd0003 /dev/sdd node2

(*1)注意

共用ディスク装置を追加したことにより、デバイス名ずれが発生することがあるため、必ず追加した共用ディスク装置のデ

バイス名を確認して定義してください。

4. clautoconfigコマンドの実行

clautoconfigコマンドを実行し、手順3.で作成した共用ディスク定義ファイルの共用ディスク装置の情報をリソースデータベースに

登録します。

clautoconfigコマンドは、以下の形式で指定します。

[形式]

/etc/opt/FJSVcluster/bin/clautoconfig -f 共用ディスク定義ファイルのフルパス

[例]

# /etc/opt/FJSVcluster/bin/clautoconfig -f /var/tmp/diskfile

注意

－ clautoconfigコマンドが異常終了した場合は、表示されたメッセージの対処法に従い、対処してください。clautoconfigコマン

ドのメッセージは、“PRIMECLUSTER 活用ガイド＜メッセージ集＞”を参照してください。

－ clautoconfigコマンドは、共用ディスク定義ファイルに設定された共用ディスク装置が、物理的に接続されていることをチェッ

クしません。

－共用ディスク装置のデバイス名がノードによって異なる場合、共用ディスク定義ファイルに記述されているすべてのデバイス

ファイルが存在しているノードで、clautoconfigコマンドを実行してください。clautoconfigコマンドを実行したノードに、共用ディ

スク定義ファイルに記述されているデバイスファイルが存在しない場合、以下のエラーメッセージが出力され、リソース登録

が失敗します。

FJSVcluster: ERROR: clautoconfig: 6900: Automatic resource registration processing terminated abnormally.

(detail: /dev/device_name)

詳細は、“PRIMECLUSTER Global Disk Services 説明書”を参照してください。

－ clautoconfigコマンド実行後に、共用ディスク定義ファイルの誤りに気づいた場合、クラスタシステムを構成する、すべてのノー

ドで以下を行い、再度、本章の手順を行ってください。

1. リソースデータベースのリセット

clinitresetコマンドで、リソースデータベースのリセットを行います。

- 128 -

clinitresetコマンドの詳細は、clinitresetコマンドのマニュアルページを参照してください。

2. OSの再起動


3.登録の完了

ハードウェア装置の登録が完了すると、以下のような画面になります。

4.登録リソースの確認

CRMメインウィンドウを参照し、リソース登録が正常に完了していることを確認してください。

確認のポイントは以下のとおりです。初期構成設定のCRMメインウィンドウで、選択した装置のリソースについて確認してください。

・ノード間でディスクの構成が異なっていないか

・各ノード配下のディスク数と共用配下のディスク数が異なっていないか

・実際の装置構成よりも共用ディスク装置のリソースの数が少なくないか

・共用ディスク装置以外のディスクが共用ディスク装置として登録されていないか

・実際の装置構成よりも業務LANのリソースの数が少なくないか

上記のように、実際の装置構成とリソースが対応していない場合は、以下の原因が考えられます。

・本体装置とディスクアレイ装置との接続経路の異常（ケーブル抜け等）

・ディスクアレイ装置側がレディ状態でなかった

・ネットワークアダプタの異常

・ネットワークアダプタのドライバの異常

正しくリソースが登録されていない場合は、上記の原因の見直しを実行後、再度リソースの登録を行ってください。

注意

・ CRMメインウィンドウでの操作中に表示されたメッセージ、およびメッセージダイアログのフレームタイトルが“Cluster resourcemanagement facility”となっているメッセージが表示された場合は、“PRIMECLUSTER 活用ガイド＜メッセージ集＞”の“3.2 CRMビューのメッセージ”、および“第4章 FJSVcluster 形式のメッセージ”を参照してください。

・ Global Disk Services 画面からディスククラスの追加・削除・名前の変更を行う場合は、ClusterAdmin画面を閉じてから操作を行っ

てください。

- 129 -

5.2 故障リソース特定とオペレータ介入要求の設定

故障リソースの特定は、クラスタアプリケーションに登録しているリソースやノードに故障が発生した場合、syslogd(8)とClusterAdminに

メッセージを表示し、Resource Fault Historyに故障リソースの履歴を表示する機能です。リソースデータベースの初期構成設定後は、

故障リソース特定とオペレータ介入要求を動作させる設定となっています。以下に、故障リソース特定が表示するメッセージ例を示しま

す。

6750 リソース故障が発生しました。SysNode:node1RMS userApplication:app0 Resource:apl1

オペレータ介入要求は、クラスタアプリケーション起動時に、故障したリソースが存在する場合やRMSが起動していないノードが存在

する場合に、オペレータに質問形式のメッセージを表示する機能です。オペレータ介入要求のメッセージは、syslogd(8)とClusterAdminに表示されます。

1421 クラスタアプリケーション "userApplication" は、クラスタアプリケーションを構成するすべての SysNode が所定

時間内に起動しなかったため、自動起動しませんでした。

クラスタアプリケーションを SysNode "SysNode" で強制起動できます。

警告: 強制起動を行う場合、クラスタを構成するすべてのノードでRMSが起動しているか確認し、起動していないノードは、

手動でシャットダウンしてから行ってください。強制起動では、複数ノードからの同時アクセスによるデータ破損のリスク

があります。そのリスクを低減するため、RMSが起動していないノードを強制停止する場合があります。

強制起動してもよろしいですか ? (no/yes) メッセージ番号:number

参照

故障リソース特定が表示するメッセージおよびオペレータ介入要求が表示するメッセージの詳細については、“PRIMECLUSTER 活用ガイド＜メッセージ集＞”の“3.2 CRMビューのメッセージ”および“4.2 応答（QUESTION）メッセージ”を参照してください。

注意

・各コマンドのマニュアルページを参照するには、“/etc/opt/FJSVcluster/man”をMANPATH変数に追加してください。

■故障リソース特定とオペレータ介入要求メッセージ表示のための準備

故障リソース特定とオペレータ介入要求メッセージは、syslogd(8)/rsyslogd(8)を利用してメッセージ表示を行っています。故障リソース

特定とオペレータ介入要求メッセージのプライオリティ(facility.level)は、daemon.errを指定しています。

プライオリティについては、syslog.conf(5)/rsyslogd.conf(5)のマニュアルページを参照してください。

故障リソース特定とオペレータ介入要求メッセージをコンソールに表示したい場合、以下の手順を全てのノードで実施してください。

◆操作手順

1. ログイン

システム管理者権限でログインします。

2. syslogd/rsyslogdの設定確認と変更

daemon.errがコンソールに表示されるように設定します。

－ RHEL6の場合

1. rsyslogdにて、daemon.errがコンソールに表示される設定であることを確認します。

rsyslogdの設定は、“/etc/rsyslog.conf”で行います。

[例] daemon.errがコンソールに表示される設定例

daemon.err /dev/console

“/etc/rsyslog.conf”については、rsyslog.conf(5)のマニュアルページを参照してください。

- 130 -

2. daemon.errがコンソールに表示されない設定の場合は、rsyslogdの設定を変更するため、“/etc/rsyslog.conf”を修正し

ます。

その後、“/etc/rsyslog.conf”の修正を反映させるため、以下のコマンドを実行して、システムログのデーモンを再起動し

ます。

# /etc/init.d/rsyslog restart

－ RHEL7の場合

1. rsyslogdにて、daemon.errがコンソールに表示される設定であることを確認します。

rsyslogdの設定は、“/etc/rsyslog.conf”で行います。

[例] daemon.errがコンソールに表示される設定例

daemon.err /dev/console

“/etc/rsyslog.conf”については、rsyslog.conf(5)のマニュアルページを参照してください。

2. daemon.errがコンソールに表示されない設定の場合は、rsyslogdの設定を変更するため、“/etc/rsyslog.conf”を修正し

ます。

その後、“/etc/rsyslog.conf”の修正を反映させるため、以下のコマンドを実行して、システムログのデーモンを再起動し

ます。

# systemctl restart rsyslog.service

3. コンソールの起動

グラフィカル環境を使用している場合、以下のコマンドを実行し、コンソールを起動します。テキスト環境やTelnetやSSHによるリ

モート環境では実施不要です。

# xterm -C

■故障リソース特定とオペレータ介入要求の動作設定の変更

clsetparamコマンドにより設定を変更します。詳細については、clsetparamのマニュアルページを参照してください。

- 131 -

第6章クラスタアプリケーションの構築

クラスタアプリケーションの構築手順は以下のようになります。

注意

RMSを使用する場合、クラスタアプリケーションの構築は必ず行う必要があります。

表6.1 アプリケーションの構築手順とマニュアル参照箇所


参照箇所 ※

(1) 6.1 RMSの初期設定全ノード必須 RMS 8.1.2 システム起

動時にRMS を自動起

動する

(2) 6.2 GLSの初期設定全ノード選択

（GLSの伝送

路二重化機

GLSR

- 132 -


参照箇所 ※

能使用時必

須）

(3) 6.3 GDSの構成設定全ノード選択

（GDS使用時

必須）

GDSG 第5章操作

(4) 6.4 GFSの初期設定全ノード選択

（GFS使用時

必須）

GFSG

(5) 6.5 アプリケーションの環境設定全ノード必須各アプリケーションのマ

ニュアル

(6) 6.6 Online/Offlineスクリプトの設定全ノード選択 RMS 2.9 環境変数, 12付録-環境変数

(7) 6.7.1 RMS Wizardの起動全ノード必須

6.7.2 userApplicationの設定

6.7.3 リソースの設定

6.7.4 GenerateとActivate

6.7.5 PRIMECLUSTER対応製品のクラスタ

サービス登録

全ノード選択

（PRIMECLUSTER対応製

品使用時必

須）

(8) 6.8 RMSの環境設定全ノード必須 RMS 2.9 環境変数, 12付録-環境変数

(9) 6.9 クラスタ環境のチェック全ノード必須


・ RMS：PRIMECLUSTER RMS 導入運用手引書

・ GDSG：PRIMECLUSTER Global Disk Services 説明書

・ GFSG：PRIMECLUSTER Global File Services 説明書

・ GLSR：PRIMECLUSTER Global Link Services 説明書（伝送路二重化機能編）

6.1 RMSの初期設定

RMSを使用する場合、PRIMECLUSTER デザインシートの“セットアップ(初期構成）”を確認し、必要に応じて以下の環境変数を変更

する必要があります。

・ RMSの自動起動 (HV_RCSTART)

本バージョンでは、初期値が「自動起動する」となっています。

ノード起動時にRMSが自動起動されないよう設定する場合は「自動起動しない」を選択しておく必要があります。

RMSを使用する場合には「自動起動する」を設定することを推奨します。

参照

RMS自動起動の環境変数の参照/変更方法については、“PRIMECLUSTER RMS 導入運用手引書”の“8.1.2 システム起動時にRMSを自動起動する”を参照してください。

- 133 -

6.2 GLSの初期設定

GLS（Global Link Services）を使用する場合には、以下の設定を行う必要があります。

6.2.1 GLSの設定

GLSの初期設定については、“PRIMECLUSTER Global Link Services 説明書（伝送路二重化機能編）”を参照してください。

ここでは、以下の例をもとに、GLS(伝送路二重化機能)の「NIC切替方式(IPv4)の設定例」の“クラスタシステムによる設定例”の設定手

順について説明します。

注意

PRIMECLUSTERの“引継ぎネットワーク”とGLSの“IPアドレス引継ぎ”を同一のクラスタシステム内で共存させることは可能ですが、同

一のインタフェースには設定しないでください。同一のインタフェースに設定した場合、引継ぎIPアドレスを使用した通信はできなくなり

ます。

たとえば、PRIMECLUSTERの“引継ぎネットワーク”の設定において、使用するインタフェースとして eth1を選択した場合、GLSの環境

設定では eth1 は設定しないでください（hanetconfig createコマンドの'-t'オプションで eth1 は指定しないでください）。

引継ぎネットワークのインタフェースの二重化が必要な場合は、GLSの“IPアドレス引継ぎ”を使用してください。bonding のインタフェー

スに“引継ぎネットワーク”の設定はできません。

各項目に設定する値は PRIMECLUSTER デザインシートの“セットアップ (GLS_監視パラメーター)”、“セットアップ (GLS_仮想インタ

フェース)”、“セットアップ (GLS_GS連携方式監視先情報)”、“セットアップ (GLS_共通パラメタ)”に対応します。

◆操作手順

●運用ノード[HOST-primecl01]の場合

- 134 -

1. システムの設定を行います。

1. /etc/hostsファイルに、使用するIPアドレスおよびホスト名を定義します。

10.34.214.185 takeoverIP # 仮想IP

10.34.214.181 primecl01 # primecl01の物理IP


10.34.214.188 swhub1 # primary監視先HUBのIP

10.34.214.189 swhub2 # secondary監視先HUBのIP

2. /etc/sysconfig/network-scripts/ifcfg-ethX(Xは0,1)ファイルに、上記で定義したIPアドレスを記載します。

- /etc/sysconfig/network-scripts/ifcfg-eth0の内容

DEVICE=eth0

BOOTPROTO=static


HOTPLUG=no

BROADCAST=10.34.214.255

IPADDR=10.34.214.181

NETMASK=255.255.255.0

NETWORK=10.34.214.0

ONBOOT=yes

TYPE=Ethernet


DEVICE=eth1

BOOTPROTO=static


HOTPLUG=no

ONBOOT=yes

TYPE=Ethernet

注意

GLS が束ねる物理インタフェースの設定（ /etc/sysconfig/network-scripts/ifcfg-ethX ファイル）に

“HWADDR=XX:XX:XX:XX:XX:XX”を記述するときは、“HOTPLUG=no”の設定を追加してください。

参考

“HOTPLUG=no”の設定は、PCIホットプラグ機能を無効化するものではありません。“HOTPLUG=no”を設定した物理イン

タフェースに対しても、NIC(PCIカード)の活性保守は可能です。

3. /etc/sysconfig/networkファイルに、ネットワークの設定を有効にする設定を記述します。

NETWORKING=yes

2. 再起動します。

以下のコマンドを実行し、OSを再起動します。再起動後は、eth0が活性化されていることを、ip(8)コマンドまたは、ifconfig(8)コマ

ンドで確認してください。

# /sbin/shutdown -r now

3. サブネットマスクを設定します。

下線部には仮想インタフェースのネットワークアドレスおよびサブネットマスクを指定します。

# /opt/FJSVhanet/usr/sbin/hanetmask create -i 10.34.214.0 -m 255.255.255.0

上記実行後、正しく設定されたことを確認します。

- 135 -

# /opt/FJSVhanet/usr/sbin/hanetmask print

注意

サブネットマスク値については、“PRIMECLUSTER Global Link Services 説明書（伝送路二重化機能編）”の“hanetmaskコマン

ド”を参照してください。

4. 仮想インタフェースを設定します。

下線部にはノードの物理IPアドレスを指定します。

# /opt/FJSVhanet/usr/sbin/hanetconfig create -n sha0 -m d -i 10.34.214.185 -e 10.34.214.181 -t eth0,eth1


# /opt/FJSVhanet/usr/sbin/hanetconfig print

5. HUB監視機能を設定します。

下線部には監視対象となるHUBのIPアドレスを指定します。

# /opt/FJSVhanet/usr/sbin/hanetpoll create -n sha0 -p 10.34.214.188,10.34.214.189 -b off


# /opt/FJSVhanet/usr/sbin/hanetpoll print

6. 待機パトロール機能を設定します。

# /opt/FJSVhanet/usr/sbin/hanetconfig create -n sha1 -m p -t sha0



7. 引継ぎIPアドレス（引継ぎ仮想インタフェース）を作成します。

# /opt/FJSVhanet/usr/sbin/hanethvrsc create -n sha0


# /opt/FJSVhanet/usr/sbin/hanethvrsc print

●待機ノード[HOST-primecl02]の場合

1. システムの設定を行います。

1. /etc/hostsファイルに、使用するIPアドレスおよびホスト名を定義します。

定義内容はprimecl01と同じです。

2. /etc/sysconfig/network-scripts/ifcfg-ethX(Xは0,1)ファイルに、上記で定義したIPアドレスを記載します。


DEVICE=eth0

BOOTPROTO=static


HOTPLUG=no

BROADCAST=10.34.214.255

IPADDR=10.34.214.182

NETMASK=255.255.255.0

NETWORK=10.34.214.0

ONBOOT=yes

TYPE=Ethernet

- 136 -


DEVICE=eth1

BOOTPROTO=static


HOTPLUG=no

ONBOOT=yes

TYPE=Ethernet

3. /etc/sysconfig/networkファイルに、ネットワークの設定を有効にする設定を記述します。

NETWORKING=yes

2. 再起動します。

以下のコマンドを実行し、OSを再起動します。再起動後は、eth0が活性化されていることを、ip(8)コマンドまたは、ifconfig(8)コマ

ンドで確認してください。


3. サブネットマスクを設定します。

下線部には仮想インタフェースのネットワークアドレスおよびサブネットマスクを指定します。

# /opt/FJSVhanet/usr/sbin/hanetmask create -i 10.34.214.0 -m 255.255.255.0


# /opt/FJSVhanet/usr/sbin/hanetmask print

注意

サブネットマスク値については、“PRIMECLUSTER Global Link Services 説明書（伝送路二重化機能編）”の“hanetmaskコマン

ド”を参照してください。

4. 仮想インタフェースを設定します。

下線部にはノードの物理IPアドレスを指定します。

# /opt/FJSVhanet/usr/sbin/hanetconfig create -n sha0 -m d -i 10.34.214.185 -e 10.34.214.182 -t eth0,eth1



5. HUB監視機能を設定します。

下線部には監視対象となるHUBのIPアドレスを指定します。

# /opt/FJSVhanet/usr/sbin/hanetpoll create -n sha0 -p 10.34.214.188,10.34.214.189 -b off


# /opt/FJSVhanet/usr/sbin/hanetpoll print

6. 待機パトロール機能を設定します。

# /opt/FJSVhanet/usr/sbin/hanetconfig create -n sha1 -m p -t sha0



- 137 -

7. 引継ぎIPアドレス（引継ぎ仮想インタフェース）を作成します。



# /opt/FJSVhanet/usr/sbin/hanethvrsc print

◆設定後の処理について

運用ノード、待機ノードの設定がそれぞれ完了したら、Glsリソースを作成し、クラスタアプリケーションへ登録します。

詳細については、“6.7.3.5 Glsリソースの設定”および、“6.7 クラスタアプリケーションの設定”を参照してください。

その後、RMSを起動してRMSツリーを参照し、GLSのリソースが正しく表示されることを確認してください。詳細は、“7.1.3.1 RMSツ

リー”を参照してください。

なお、GLSのリソース名は、GlsX（Xは0,1等の番号）で表示されます。

参照

GLS（伝送路二重化機能）のその他の運用形態については、“PRIMECLUSTER Global Link Services 説明書（伝送路二重化機能

編）”を参照してください。

6.2.2 GLS使用時のWeb-Based Admin Viewの設定

GLSで多重化したネットワーク上でWeb-Based Admin Viewを使用する場合は、NIC切替方式または仮想NIC方式の設定を行った後

に、Web-Based Admin Viewの設定を行う必要があります。

参照

設定の詳細については、“PRIMECLUSTER Web-Based Admin View 操作手引書”の“2.3 GLS使用時のWeb-Based Admin Viewの

設定”を参照してください。

6.3 GDSの構成設定

GDS (Global Disk Services) を使用する場合には、以下の設定を行う必要があります。

・ 6.3.1 システムディスクのミラー設定

両ノードでシステムディスクのミラー設定を行い、両ノードのOS再起動を行います。

・ 6.3.2 共用ディスクの設定

共用ディスクのボリュームを設定します。

注意

・共用ディスク装置を使用する場合、共用ディスク装置は GDSを使用して管理する必要があります。

・ GDSの構成設定は、クラスタの初期設定後に実施してください。

・ PRIMECLUSTER GDS Snapshotを使用しないで、ETERNUSディスクアレイのECまたはREC機能を使用する場合、ECまたはRECのコピー先のディスクが登録されているGDSのクラスは、クラスタアプリケーションに登録しないでください。

ECおよびRECが同期処理中または等価性維持状態のとき、コピー先のディスクに対するサーバからのアクセスがエラーになること

があります。このため、コピー先のディスクが登録されているクラスをクラスタアプリケーションに登録すると、サーバからコピー先の

ディスクにアクセスした場合にエラーとなり、クラスタアプリケーションがフェイルオーバすることがあります。

- 138 -

6.3.1 システムディスクのミラー設定

システムディスクをミラーリングする場合は、以下の設定を行います。

各項目に設定する値は、PRIMECLUSTER デザインシートの“セットアップ (GDSシステムディスクミラー)”に対応します。なお、操作手

順の中ではPRIMECLUSTER デザインシートの“セットアップ (GDSシステムディスクミラー) ”をデザインシートと略します。

参照

設定の詳細については、“PRIMECLUSTER Global Disk Services 説明書”の“システムディスクミラーリングの設定【EFI】”を参照して

ください。

注意

KVM環境でGDSによるゲストOSのシステムディスクのミラーリングを行う場合は、管理OSで作成したローカルクラスまたは共用クラスの

ミラーボリュームをゲストOSに設定する必要があります。管理OSの設定については、以下を参照してください。

・ 1つの管理OS上のゲストOS間でクラスタシステムを構築している場合、“3.2.1.1 管理OSの設定（ゲストOSのOSインストール前）”の

“2. ゲストOSのシステムディスクのミラー設定”

・管理OS異常切替機能を使用せず、複数の管理OS上のゲストOS間でクラスタシステムを構築している場合、“3.2.2.1 管理OSの設

定（ゲストOSのOSインストール前）”の“2. ゲストOSのシステムディスクのミラー設定”

・管理OS異常切替機能を使用して、複数の管理OS上のゲストOS間でクラスタシステムを構築している場合、“3.2.3.1.3 管理OSの設

定（ゲストOSのOSインストール前）”の“2. ゲストOSのシステムディスクのミラー設定”

設定の詳細については、“PRIMECLUSTER Global Disk Services 説明書”を参照してください。

◆操作手順

1. Web-Based Admin Viewのトップ画面で＜Global Disk Services＞を選択します。

GDS運用管理ビュー（以降、メイン画面）が表示されます。

- 139 -

2. システムディスクのミラー設定を行うノードをGDS構成ツリーから選択し、[設定]－[システムディスク設定]メニューを選択します。

選択したノードのミラー対象ディスク一覧が表示されます。

システムディスク（デザインシートの「物理ディスク名」）を選択し、＜次へ＞をクリックします。

- 140 -

3. ルートクラスのクラス名を設定します。

ルートクラスのクラス名（デザインシートの「クラス名」）を入力し、＜次へ＞をクリックします。

- 141 -

注意

各クラスタノードでルートクラスのクラス名が重ならないように指定してください。

4. グループ構成ディスクを選択します。

「グループ名」（デザインシートの「グループ名」）を入力後、「物理ディスク一覧」からシステムディスクの「ミラー対象ディスク」（デ

ザインシートの「ミラーディスク名」）を選択し、＜追加＞をクリックします。

「グループ構成ディスク」に選択した「ミラー対象ディスク」が表示されていることを確認し、＜次へ＞をクリックします。

- 142 -

- 143 -

5. 物理ディスク一覧からスペアディスク（デザインシートの「スペアディスク」）を選択し、＜追加＞をクリックします。

選択したスペアディスクが「スペアディスク」に登録されていることを確認後、＜次へ＞をクリックします。

スペアディスクの設定が不要な場合は、手順6.へ進みます。

6. システムディスク構成を確認します。

物理ディスク名とミラーディスク名を確認し、＜作成＞をクリックします。

- 144 -

システムディスクの作成完了後、以下の画面が表示されます。

内容を確認後、＜確認＞をクリックします。

同様に、primecl02のシステムディスクのミラー設定を行います。

全ノードで設定完了後、全ノードのシステムを再起動してください。

6.3.2 共用ディスクの設定

共用ディスクの設定は以下の手順で行います。

サーバ間ミラーリングを行う場合も、設定手順は同じです。サーバ間ミラーリングを行う場合、グループ属性定義画面の「タイプ」で

「netmirror」を選択してください。

・ GFS共用ファイルシステムを使用する場合

1. 本項の“■ボリュームの設定”を行います。

2. “6.4 GFSの初期設定”を行います。

- 145 -

・ ext3ファイルシステムを使用する場合


2. 本項の“■ファイルシステムの設定”を行います。

3. Gdsリソースを作成し、クラスタアプリケーションへ登録します。

詳細は、“6.7.3.4 Gdsリソースの設定”および“6.7 クラスタアプリケーションの設定”を参照してください。

・ファイルシステムを使用しない場合


2. RAWデバイスとして使用する場合は、raw(8)コマンドおよびrawdevicesのマニュアルページに従って設定を行います。

3. Gdsリソースを作成し、クラスタアプリケーションへ登録します。

詳細は、“6.7.3.4 Gdsリソースの設定”および“6.7 クラスタアプリケーションの設定”を参照してください。

注意

・「GFS共用ファイルシステムを使用する場合」と「ファイルシステムを使用しない場合」は、本項の“■ファイルシステムの設定”は必

要ありません。

・「ext3ファイルシステムを使用する場合」と「ファイルシステムを使用しない場合」は、Gdsリソースを作成する前に事前設定が必要で

す。詳細は、“6.7.3.3 Gdsリソースの事前設定”を参照してください。

・「GFS共用ファイルシステムを使用する場合」は、“6.7.3.4 Gdsリソースの設定”を行ってはいけません。

・仮想マシン機能上で運用する場合、ゲストOS上のGDSからローカルまたは共用クラスで利用するディスクは、以下の仮想ディスク

として構築してください。

－ KVM環境の場合

virtio-SCSIデバイスまたはvirtioブロックデバイス

■ボリュームの設定

ボリュームには以下の5種類があります。

a. シングルボリューム

b. ミラーボリューム

c. ストライプボリューム

d. コンカチネーショングループに作成されるボリューム

e. ネットミラーボリューム

ここでは、シングルボリューム(a)の場合とその他のボリューム(b,c,d,e)の場合とに分けて、ボリュームの設定方法を説明します。詳細に

ついては、“PRIMECLUSTER Global Disk Services 説明書”の“クラス、グループ、ボリュームの設定”を参照してください。

各項目に設定する値は、PRIMECLUSTER デザインシートの“セットアップ (GDSローカルクラス)”、“セットアップ (GDS共用クラス)”に

対応します。

注意

・ GDS運用管理ビュー（以降、メイン画面）からディスククラスの追加・削除・名前の変更を行う場合は、Cluster Admin画面を閉じて

から操作を行ってください。

・ “5.1.3.2 ハードウェア装置の登録”の“2. 共用ディスクの登録”を行った後、システムやGDS運用管理ビューの再起動を行っていな

い場合、登録された共用ディスクがGDSに正しく認識されないことがあります。この場合、物理ディスク情報を更新してから、ボリュー

ムをセットアップしてください。物理ディスク情報は、メイン画面の[操作]メニューから[物理ディスク情報更新]を選択することで更新

できます。

- 146 -

◆シングルボリュームの設定

シングルボリュームを使用しない場合は、本設定は必要ありません。

◆操作手順

1. メイン画面の起動

Web-Based Admin Viewのトップ画面で＜Global Disk Services＞を選択します。

2. ディスククラスの作成と物理ディスクの登録

メイン画面の[設定]メニューから[クラス構成設定]を選択します。

上記の画面で、登録する物理ディスクを「物理ディスク」一覧から選択し、＜追加＞をクリックします。＜追加＞をクリックするとク

ラス属性定義画面が開きます。「クラス名」を入力し、「タイプ」は「shared」のまま変更せずに、＜完了＞をクリックします。

3. ディスクタイプ属性の設定

メイン画面のディスク情報フィールドから、手順2.で登録したディスクを選択し、メニューバーの[操作]-[属性変更]を選択します。

- 147 -

「ディスクタイプ」を[single]に設定し、＜完了＞をクリックします。

4. ボリュームの作成

[設定]-[ボリューム構成設定]を選択し、「グループ／ディスク一覧」から、手順2.で登録したディスクを選択します。ボリューム図

の＜未使用＞を選択し、「ボリューム名」、「ボリュームサイズ」、属性などを入力します。

- 148 -

入力完了後、＜追加＞をクリックすると、設定した情報が反映されます。

設定確認後、＜完了＞をクリックします。

◆その他のボリュームの設定

シングルボリュームのみを使用する場合は、本設定は必要ありません。

◆操作手順

1. ディスククラスの作成と物理ディスクの登録

メイン画面の[設定]メニューから[クラス構成設定]を選択します。

- 149 -

上記の画面で、登録する物理ディスクを「物理ディスク」一覧から選択し、＜追加＞をクリックします。＜追加＞をクリックするとク

ラス属性定義画面が開きます。「クラス名」を入力し、「タイプ」は「shared」のまま変更せずに、＜完了＞をクリックします。

2. ディスクグループの構成設定

[グループ構成設定]タブをクリックします。

- 150 -

上記の画面で、グループに追加するディスクを「クラス構成ディスク/グループ」一覧から選択後、＜追加＞をクリックします。

グループ属性定義画面で「グループ名」、「タイプ」、「ストライプ幅」を入力し、＜完了＞をクリックします。

サーバ間ミラーリングを行う場合、「タイプ」は「netmirror」を選択します。

「ストライプ幅」を入力するのは、「タイプ」で「stripe」を選択した場合のみです。

3. ボリュームの作成

[ボリューム構成設定]タブをクリックし、「グループ／ディスク一覧」から、手順2.で作成したグループを選択します。ボリューム図

の＜未使用＞を選択し、「ボリューム名」、「ボリュームサイズ」、属性などを入力します。

入力完了後、＜追加＞をクリックすると、設定した情報が反映されます。

- 151 -

設定確認後、＜完了＞をクリックします。

4. 構成を確認

ディスク構成は、以下のように表示されます。

- 152 -

■ファイルシステムの設定

作成したボリュームに対してファイルシステムを作成します。

例：クラス名がClass1、ボリューム名がVolume1、ファイルシステムタイプがext3の場合

# mkfs -t ext3 /dev/sfdsk/Class1/dsk/Volume1

参照

ファイルシステムの作成方法については、ファイルシステムのマニュアルを参照してください。

6.4 GFSの初期設定

GFS (Global File Services) 共用ファイルシステムをGDS (Global Disk Services)のボリューム上に作成するためには、GDSのボリュー

ムが存在し、かつ、そのボリュームがactiveである必要があります。ボリュームがstop状態の場合は、ボリュームを起動してください。

参照

ボリュームの起動は、GDS運用管理ビューの[操作]メニューの[ボリューム起動]、またはsdxvolume -Nコマンドで行います。詳細は、

“PRIMECLUSTER Global Disk Services 説明書”を参照してください。

- 153 -

GFS共用ファイルシステムをRMSクラスタ運用で使用する場合のGFSの設定は以下の流れで行います。

ここで設定するデバイス名、マウントポイントは、PRIMECLUSTER デザインシートの“セットアップ (GFS共用ファイルシステム)”、“セッ

トアップ (GFS共用ファイルシステム2)”に対応します。

注意

・ GFS 共用ファイルシステムでは、GFS 共用ファイルシステム専用の管理パーティションを用意する必要があり、これには切替ファ

イルシステムとして使用するGDSボリュームのディスククラスと異なるボリュームを割り当てる必要があります。

・ GFS 共用ファイルシステムを使用する場合は、“6.7.3.4 Gdsリソースの設定”を行ってはいけません。

◆操作手順

1. いずれかのノードで GFS 共用ファイルシステムの管理パーティションを作成します。

# sfcsetup -c /dev/sfdsk/class0001/dsk/GFSctl

2. 各ノードで GFS 共用ファイルシステムの管理パーティションへノード情報を登録します。

primecl01# sfcsetup -a /dev/sfdsk/class0001/dsk/GFSctl

primecl02# sfcsetup -a /dev/sfdsk/class0001/dsk/GFSctl

3. 各ノードで GFS 共用ファイルシステムを活性化します。

primecl01# sfcfrmstart

primecl02# sfcfrmstart

注意

sfcfrmstartが異常終了する場合は、sfcprmdが起動されていることをpsコマンドで確認してください。sfcprmdが起動されていない

場合は、そのノードで次のコマンドを実行してください。

- 154 -

－ RHEL6の場合

# service sfcfsrm start

－ RHEL7の場合

# systemctl stop fjsvgfsfsrm.service

# systemctl start fjsvgfsfsrm.service

4. いずれかのノードで GFS 共用ファイルシステムを作成します。

# sfcmkfs -o node=primecl01,primecl02 /dev/sfdsk/class0002/dsk/volume0001

5. 各ノードの /etc/fstab に当該 GFS 共用ファイルシステムのマウント情報を追加します。追加するマウント情報の“mount options”フィールドに“noauto”を必ず指定してください。同じフィールドに“noatrc”を指定しないでください。

/dev/sfdsk/class0002/dsk/volume0001 /sfcfs1 sfcfs rw,noauto 0 0

6. 各ノードでマウントポイントを作成します。

primecl01# mkdir /sfcfs1

primecl02# mkdir /sfcfs1

参照

手順4,5,6の操作については、GUI運用管理ビューを使用して設定できます。“6.4.1 ファイルシステムの作成”を参照してください。

6.4.1 ファイルシステムの作成

ファイルシステムの作成方法について説明します。

◆操作手順

1. GFS運用管理ビューの起動

Web-Based Admin Viewの画面よりGlobal File Servicesを選択し、表示したノード一覧よりノードを選択し、Global File Servicesのメイン画面を表示します。

2. 共用情報の設定

[操作]-[作成]を選択し、「ファイルシステム作成ウィザード(1)」を表示します。

「ファイルシステム作成ウィザード(1)」では、ファイルシステムで共用するノード情報、およびマウント情報などの設定を行います。

- 155 -

「ノード名」の選択

「ノード名」は、共用するノード名を選択します。必ず、1ノードを選択してください。

また、自ノード(表示しているノード)の選択を解除することはできません。

「ホスト名」の選択

表示されているホスト名以外のホスト名を選択する場合は、<選択>ボタンをクリックし、各ノードで使用するLANのホスト名を

指定します。ホスト名は、複数指定することはできません。

「プライマリMDS」および「セカンダリMDS」の選択

「プライマリMDS］と「セカンダリMDS」には、共用ファイルシステムの管理サーバを起動するノードを選択します。

「マウントポイント」および「ディレクトリ作成」の設定

「マウントポイント］はフルパスで指定します。また、「ディレクトリ作成」で「作成する」を選択した場合、以下の属性でディレクト

リを作成します。

- オーナ:root

- グループ:sys

- アクセス権:775

各情報を設定または変更後、<次へ>ボタンをクリックし、「ファイルシステム作成ウィザード(2)」に進みます。

各設定値をデフォルトに戻す場合は、<リセット>ボタンをクリックしてください。

ファイルシステム作成の処理を中止する場合は、<中止>ボタンをクリックします。

3. 構成パーティションの選択

「ファイルシステム作成ウィザード(2)」では、ファイルシステムとして使用するパーティションの登録を行います。

- 156 -

登録するパーティションを[候補パーティション]一覧から選択し、<追加>ボタンをクリックします。

パーティションの選択は、同時に1つのみ選択が可能です。すでにファイルシステムとして使用中のパーティションや管理パー

ティションは、選択できません。

パーティションの選択が完了したら、<次へ>ボタンをクリックし、「ファイルシステム作成ウィザード(3)」に進みます。

「ファイルシステム作成ウィザード(1)」に戻る場合は、<戻る>ボタンをクリックします。

ファイルシステム作成の処理を中止する場合は、<中止>ボタンをクリックしてください。

4. パーティション情報の設定

「ファイルシステム作成ウィザード(3)」では、「ファイルシステム作成ウィザード(2)」で選択した各パーティションに割り当てる領域

(メタ/ログ/データ)の選択を行います。

メタデータ領域を割り当てたパーティションが、代表パーティションになります。

- 157 -

各情報を設定後、<次へ>ボタンをクリックし、「ファイルシステム作成ウィザード(4)」に進みます。

「ファイルシステム作成ウィザード(4)」では、設定可能な情報はありません。そのまま、「ファイルシステム作成ウィザード(5)」へ進

みます。




拡張情報、詳細情報、およびマウント情報をデフォルト設定のままでファイルシステムの作成を行う場合は、<作成>ボタンをクリッ

クします。

5. 詳細情報の設定

「ファイルシステム作成ウィザード(5)」では、「詳細情報」の設定を行います。

- 158 -

各情報を設定後、<次へ>ボタンをクリックし、「ファイルシステム作成ウィザード(6)」に進みます。




マウント情報をデフォルト設定のままでファイルシステムの作成を行う場合は、<作成>ボタンをクリックします。

6. マウント情報の設定

「ファイルシステム作成ウィザード(6)」では、「マウント情報」の設定を行います。

- 159 -

各情報を設定後、<作成>ボタンをクリックし、ファイルシステムの作成を行います。




6.5 アプリケーションの環境設定

PRIMECLUSTERシステムで使用するアプリケーションのための環境設定を行います。

各アプリケーションの環境設定の中でPRIMECLUSTERシステムへのリソース登録を行うものもあります。

また、本章で設定した共用ディスク装置や引継ぎネットワークを使用した環境設定が必要な製品もあります。

参照

環境設定の方法については、各アプリケーションのマニュアルを参照してください。

6.6 Online/Offlineスクリプトの設定

ISVアプリケーションや利用者アプリケーションを、userApplicationの状態遷移に連動して起動／停止するためには、Onlineスクリプト、

OfflineスクリプトおよびCheckスクリプトを作成してください。

作成したスクリプトは、Cmdlineリソースに設定して、そのリソースをuserApplicationに設定します。詳細については、“6.7.3.1 Cmdlineリ

ソースの設定”を参照してください。

・ Onlineスクリプトは、userApplicationがOnlineまたはStandbyに状態遷移する場合に起動されます。

・ Offlineスクリプトは、userApplicationがOfflineに状態遷移する場合に起動されます。

・ Checkスクリプトは、Online/Offlineスクリプトにより起動/停止されるリソースの状態を監視するために用いられます。

ここでは、スクリプトの例と、スクリプト作成時の注意事項を説明します。

- 160 -

注意

Onlineスクリプト、Offlineスクリプト、およびCheckスクリプトでは、サーバ毎の設定 (”/etc/profile” や “/etc/bashrc”等)である環境変数の

値が受継がれることを保証していません。このため、これらのスクリプトで使用する環境変数は各スクリプトの中で定義してください。

■サンプルスクリプト

Cmdlineリソースの設定では、OnlineスクリプトとOfflineスクリプトを、それぞれStartスクリプトとStopスクリプトとして設定します。以下に、

サンプルを示します。

Startスクリプト/Stopスクリプト

#!/bin/sh

#

# Script.sample

# Sample of Online/Offline Script

#

# Copyright(c) 2003 FUJITSU LIMITED.

# All rights reserved.

#

# $1 -c : OnlineScript

# -u : OfflineScript

if [[ $1 = "-c" ]]; then

# Start your application

elif [[ $1 = "-u" ]]; then

# Stop your application

else

# Default operation

exit 1 # Error

fi

exit 0

上記のScript.sampleはStartスクリプトとStopスクリプトを兼ねています。

次にCheckスクリプトのサンプルを示します。

Checkスクリプト

#!/bin/sh

#

# Script.sample.check

# Sample of Check script

#



#

# 対象リソースの現在の状態をチェックします。

# 状態が Online の場合:

exit 0

# それ以外の状態の場合:

exit 1

以上のスクリプトは、Cmdlineリソースに次のように設定します。

・ Startスクリプト $FULL_PATH/Script.sample -c

・ Stopスクリプト $FULL_PATH/Script.sample -u

・ Checkスクリプト $FULL_PATH/Script.sample.check

設定方法については“6.7.3.1 Cmdlineリソースの設定”を参照してください。

- 161 -

■スクリプト作成時の注意事項

●ホットスタンバイ運用の場合

Cmdlineリソースについてホットスタンバイ運用を行う場合には、次の対応が必要となります。

・ Online/Offline/Checkスクリプトのホットスタンバイ対応

・ Cmdlineリソースへの属性の設定

1. Online/Offline/Checkスクリプトのホットスタンバイ対応

Onlineスクリプト、OfflineスクリプトおよびCheckスクリプトをホットスタンバイ運用に対応した記述にします。以下にホットスタンバ

イ運用に対応したOnline/Offlineスクリプトのサンプルを示します。

Startスクリプト/Stopスクリプト（ホットスタンバイ運用）

#!/bin/sh

#

# Script.sample

# Sample of Online/Offline Script

#



#

# $1 -c : OnlineScript

# -u : OfflineScript

if [[ $1 = "-c" ]]; then

if [ ${HV_LAST_DET_REPORT} = "Offline" ]; then

if [ ${HV_INTENDED_STATE} = "Standby" ]; then

# commands for Offline -> Standby

else

# commands for Offline -> Online

fi

else

# commands for Standby -> Online

fi

elif [[ $1 = "-u" ]]; then

if [ ${HV_LAST_DET_REPORT} = "Standby" ]; then

# commands for Standby -> Offline

else

# commands for Online -> Offline

fi

else

# Default operation

exit 1 # Error

fi

exit 0

次にホットスタンバイ運用に対応したCheckスクリプトのサンプルを示します。

Checkスクリプト（ホットスタンバイ運用）

#!/bin/sh

#

# Script.sample.check

# Sample of Check script

#



#

# 対象リソースの現在の状態をチェックします。

# 状態が Online の場合:

- 162 -

exit 0

# 状態が Standby の場合:

exit 4

# 状態が Faulted の場合:

exit 2

# 状態が Offline の場合:

exit 1

2. Cmdlineリソースへの属性の設定

CmdlineリソースのSTANDBYCAPABLE属性およびALLEXITCODES属性を有効にします。

詳細については、“6.7.3.1 Cmdlineリソースの設定”を参照してください。

●Start/Stopスクリプトの終了コードについて

Start/Stopスクリプトの終了コードにより、userApplicationの状態遷移の動作が変わります。以下に終了コードと状態遷移の動作を示し

ます。

0: スクリプトを正常終了させる場合です。

設定されたCmdlineリソースの状態遷移が正常に処理されたとみなされて、userApplicationの状態遷移処理が継続されます。

userApplicationに設定された、すべてのリソースが正常に処理されるとuserApplicationの状態遷移が正常動作したことになります。

0以外 :スクリプトを異常終了させる場合です。

設定されたCmdlineリソースの状態遷移に異常が発生したとみなされて、userApplicationの状態遷移処理が中断します。

●Checkスクリプトの終了コードについて

Cmdlineリソースの状態は、Checkスクリプトの終了コードにより判断されます。以下に終了コードとCmdlineリソースの状態の対応を示

します。

0： Online状態を示します。

0以外： Offline状態を示します。

CmdlineリソースのALLEXITCODES属性を有効にすると、Checkスクリプトはより詳細なリソース状態を返すことができるようになりま

す。以下にALLEXITCODES属性が有効な場合の終了コードとCmdlineリソースの状態の対応を示します。

0： Online状態を示します。

1： Offline状態を示します。

2： Faulted状態を示します。

3： Unknown状態を示します。

4： Standby状態を示します。

5： Onlinewarning状態を示します。

6： Offlinefaulted状態を示します。

詳細については“HELP”を参照してください。

●タイムアウトについて

指定された時間内にOnlineスクリプトまたはOfflineスクリプトの処理が完了しない場合はタイムアウトとなり、スクリプトの処理はシグナル

SIGTERMにより中断され、状態遷移がエラーとなります。

デフォルト:300秒

タイムアウト値は Cmdlineリソースの「TIMEOUT」Flag値で指定可能です。

Cmdlineリソース作成時に、“6.7.3.1 Cmdlineリソースの設定”の“属性の変更”を参照し、適切なタイムアウト値を設定してください。ま

た、Cmdlineリソース使用時にタイムアウトが発生した場合には、“10.3 クラスタアプリケーションの変更”によりタイムアウト値を適切な値

に変更してください。

●環境変数

- 163 -

OnlineスクリプトおよびOfflineスクリプト実行時には、次の環境変数が設定されます。

設定される環境変数を以下に示します。

環境変数概要

HV_APPLICATION リソースが属している userApplication名が設定されます。

例) app1

HV_AUTORECOVER スクリプトの呼び出しがAutoRecoverに起因するかどうかの情報が

設定されます。AutoRecoverについては、“PRIMECLUSTERRMS 導入運用手引書”の“12 付録 - 属性”を参照してください。

0: AutoRecoverに起因しない

1: AutoRecoverに起因する

HV_FORCED_REQUEST オペレータ操作による強制フェイルオーバであるか否かを示す値

が設定されます。

0: 強制フェイルオーバではない

1: 強制フェイルオーバである

HV_NODENAME リソース名が設定されます。

例) Cmdline0

HV_OFFLINE_REASON リソースが Offline状態になる理由が設定されます。

SWITCH：userApplicationの切替え要求(hvswitch)でOfflineに

なった

STOP：userApplicationの停止要求(hvutil -f、hvutil -c)でOfflineになった

FAULT：リソース故障でOfflineになった

DEACT：userApplicationの非活性要求(hvutil -d)でOfflineになっ

た

SHUT：RMSの停止要求(hvshut)でOfflineになった

HV_SCRIPT_TYPE 実行されたスクリプトの種類が設定されます。

Online: Onlineスクリプト

Offline: Offlineスクリプト

HV_LAST_DET_REPORT 現在のリソースの状態が設定されます。

Online : Online状態

Offline : Offline状態

Standby : Standby状態

Faulted : Faulted状態

Warning : Warning状態

HV_INTENDED_STATE 状態遷移完了後に予期されるリソースの状態が設定されます。

Online : Online状態

Offline : Offline状態

Standby : Standby状態

Faulted : Faulted状態

Warning : Warning状態

NODE_SCRIPTS_TIME_OUT スクリプトのタイムアウト時間（秒）が設定されます。

例) 300

RMSにはその他にも環境変数が存在します。

参照

・ hvenv.local の詳細については、“PRIMECLUSTER RMS 導入運用手引書”の“2.9 環境変数”を参照してください。

- 164 -

・ RMSの環境変数の詳細については、“PRIMECLUSTER RMS 導入運用手引書”の“13 付録 - 環境変数”を参照してください。

6.7 クラスタアプリケーションの設定

ここでは、クラスタアプリケーションの設定方法について説明します。以降の操作は、クラスタ対応を構成するいずれかのノードに対し

て必要な設定を実施してください。

■クラスタアプリケーションの設定の流れ

クラスタアプリケーションの設定の流れを運用形態ごとに説明します。

運用形態については“2.3 クラスタシステムの運用形態の決定”を参照してください。

1) スタンバイ運用の1:1運用待機

スタンバイ運用の1:1運用待機は、以下の流れで設定します。

2) スタンバイ運用の相互待機

スタンバイ運用の相互待機は、以下の流れで設定します。

- 165 -

・ 2つのクラスタアプリケーションを作成するため、2. から 3. を繰り返します。

3) スタンバイ運用のN:1運用待機

スタンバイ運用のN:1運用待機は、以下の流れで設定します。

・複数のクラスタアプリケーションを作成するため、2. から 3. を繰り返します。

例) 2:1運用待機の場合、2. から 3. を2回繰り返し、2つのクラスタアプリケーションを作成します。

4) スタンバイ運用のカスケード

スタンバイ運用のカスケードは、以下の流れで設定します。

5) スタンバイ運用の移動待機

スタンバイ運用の移動待機は、以下の流れで設定します。

- 166 -

・複数のカスケードのクラスタアプリケーションを作成するため、2. から 3. を繰り返します。

・クラスタアプリケーションには排他関係を設定します。

排他関係については“6.7.7 クラスタアプリケーションの排他関係”を参照してください。

例) 2つのカスケードのクラスタアプリケーションで移動待機を行う場合、2. から 3. を2回繰り返し、2つのカスケードのクラスタアプリ

ケーションを作成します。

6) スケーラブル運用

スケーラブル運用は、以下の流れで設定します。

・スケーラブル運用のクラスタアプリケーションを作成する前に、スケーラブル運用のクラスタアプリケーションの構成要素となるスタ

ンバイ運用のクラスタアプリケーションを作成します。スタンバイ運用のクラスタアプリケーションの作成は、2. から 3. を繰り返しま

す。

例1) 3ノードのスケーラブル運用の場合、2. から 3. を3回繰り返し、3つのスタンバイ運用のクラスタアプリケーションを作成します。

- 167 -

例2) 1:1運用待機(スタンバイ運用)の高可用スケーラブルの場合、2.から3.の操作は1回行い、1:1運用待機のクラスタアプリケー

ションを作成します。

参照

・クラスタアプリケーションの設定が完了したら、クラスタアプリケーションを起動してください。アプリケーションの起動方法について

は、“7.2.2.1 クラスタアプリケーションを起動する”を参照してください。

・クラスタアプリケーションの変更方法については、“10.3 クラスタアプリケーションの変更”を、削除方法については、“10.2 クラスタ

アプリケーションの削除”を参照してください。

・運用にあわせたクラスタアプリケーションの設定内容、および設定における注意点については、"6.10 クラスタアプリケーションの設

定内容および注意点"を参照してください。

注意

・クラスタアプリケーションおよびリソースの設定は、設計時に作成したPRIMECLUSTER デザインシートの“セットアップ (クラスタア

プリ)”および、各リソースのシートのクラスタアプリケーションおよびリソースの情報をもとに行ってください。作成後変更の必要性が

生じた場合にデザインシートの情報が必要になりますので、デザインシートが作成されていない場合には、必ず作成してから操作

を行ってください。

・ PRIMECLUSTERシステム全体で設定できるリソースオブジェクト数およびディテクタ数が大値を超えないことを、あらかじめ

PRIMECLUSTER デザインシートの“設計(リソース数)”で確認してください。

・同一のリソースを複数のクラスタアプリケーションに指定することはできません。

・ GenerateおよびActivateは、RMS が動作している場合、失敗します。そのため、クラスタアプリケーションの作成を行う前に、クラス

タアプリケーションが起動していないことをCluster Adminまたはhvdispコマンドで確認してください。RMS が動作している場合は、

クラスタアプリケーションの作成を行う前に、Cluster Adminまたはhvshutコマンドを実行してクラスタシステムを構成する、すべての

ノードでRMS を停止してください。hvdispおよびhvshutコマンドの詳細は、各コマンドのマニュアルページを参照してください。

・ RMS Wizardで使用する“リモートファイルコピー”と“リモートコマンド実行”の設定を行ってください。設定方法については、“5.1.1CF、CIPの設定”の注意事項を参照してください。

クラスタインタコネクトがセキュリティで保護されていない場合は、クラスタアプリケーション設定後に、すべてのクラスタノードで“リ

モートファイルコピー”と“リモートコマンド実行”の設定を解除してください。

6.7.1 RMS Wizardの起動

hvwコマンドを実行します。

configurationファイル名(testconf)としてRMS Wizardを起動する例：

# /opt/SMAW/SMAWRrms/bin/hvw -n testconf

参照

hvwコマンドの詳細は、“PRIMECLUSTER 活用ガイド＜コマンドリファレンス編＞”のhvw(1M)を参照してください。

6.7.2 userApplicationの設定

ここでは、クラスタアプリケーションの構成の設定方法について説明します。

クラスタアプリケーションには、スタンバイ運用とスケーラブル運用の2種類があります

なお、「userApplication」という用語は「クラスタアプリケーション」と同じ意味です。

- 168 -

注意

userApplicationの名前について

クラスタアプリケーションの名前には、hvw コマンドのApplicationNameメニューで設定する文字列を、小文字に変換した文字列が使用

されます。

ApplicationNameには以下のすべての条件に合致する文字列を指定してください。

・英大文字、数字、“_”(アンダーライン)の組み合わせ

・先頭の文字は英大文字

・ 14文字以内

・ “6.7.1 RMS Wizardの起動”でhvwコマンドの引数に指定したconfigurationファイル名と同じ名前は指定不可

6.7.2.1 スタンバイ運用のクラスタアプリケーション作成

ここでは、スタンバイ運用のクラスタアプリケーションの構成の設定方法について説明します。

◆操作手順

1. “Main configuration menu”の“Application-Create”を選択します。

2. “Application type selection menu”の“STANDBY”を選択します。

- 169 -

3. “turnkey wizard "STANDBY"”が出力されます。“Machines+Basics”を選択し、userApplicationの設定を行います。

4. userApplicationの設定画面が出力されます。userApplicationの以下の設定を行います。

－ userApplicationを構成するノード

－ userApplicationの属性

userApplicationを構成するノードは、“Machines[番号]”を選択し、その後に表示される画面でSysNode名を選択することで設定

します。

userApplicationを構成するノードとクラスタアプリケーションの優先順位の設定方法を、運用形態ごとに説明します。

運用形態 userApplication構成ノードとクラスタアプリケーションの優先順位の設定方法

1:1運用待機 “Machines[0]”には、初めてのuserApplication起動時に、OnlineとなるSysNodeを指定します。

“Machines[1]”には、初めてのuserApplication起動時に、StandbyまたはOfflineとなるSysNodeを指定します。

相互待機 (1つ目のuserApplicationの場合)

“Machines[0]”には、初めてのuserApplication起動時に、OnlineとなるSysNodeを指定します。

“Machines[1]”には、初めてのuserApplication起動時に、StandbyまたはOfflineとなるSysNodeを指定します。

(2つ目のuserApplicationの場合)

“Machines[0]”には、初めてのuserApplication起動時にOnlineとなるSysNodeを

指定します。このSysNodeは、1つ目のuserApplication設定時に指定した

“Machines[1]”のSysNodeを指定します。

“Machines[1]”には、初めてのuserApplication起動時にStandbyまたはOfflineと

なるSysNodeを指定します。1つ目のuserApplication設定時に指定した

“Machines[0]”のSysNodeを指定します。

N:1運用待機 (1つ目のuserApplicationの場合)


指定します。


なるSysNodeを指定します。

(2つ目以降のuserApplicationの場合)


指定します。このSysNodeは、これまでのuserApplication設定時の“Machines[0]”,“Machines[1]”とは異なるSysNodeを指定します。


なるSysNodeを指定します。

- 170 -

運用形態 userApplication構成ノードとクラスタアプリケーションの優先順位の設定方法

このSysNodeは、これまでのuserApplication設定時の“Machines[1]”と同じ

SysNodeを指定します。

カスケード “Machines[0]”には、初めてのuserApplication起動時にOnlineとなるSysNodeを

指定します。

“Machines[1]”以降には、初めてのuserApplication起動時にStandbyまたは

OfflineとなるSysNodeを指定します。

“Machines[番号]”に指定した番号の昇順で状態遷移します。

(例) 4ノードの場合は以下の優先順位で状態遷移します。

“Machines[0]”→“Machines[1]”→“Machines[2]”→“Machines[3]”

移動待機 (1つ目のuserApplicationの場合)


指定します。



(2つ目以降のuserApplicationの場合)


指定します。このSysNodeは、これまでのuserApplication設定時の“Machines[0]”とは異なるSysNodeを指定します。



“Machines[番号]”に指定した番号の昇順で状態遷移します。

(例) 4ノードの場合は以下の優先順位で状態遷移します

“Machines[0]”→“Machines[1]”→“Machines[2]”→“Machines[3]”

userApplicationの属性は、以下を参考に設定します。

属性設定値内容備考

AutoStartUp yes RMS起動時にクラスタアプリ

ケーションを自動起動する。

スケーラブル運用の構成要素

となるスタンバイ運用のクラス

タアプリケーションでは、“no”

を設定してください。

スケーラブル運用のクラスタ

アプリケーションの作成方法

については、“6.7.2.2 スケー

ラブル運用のクラスタアプリ

ケーション作成”を参照してく

ださい。

AutoSwitchOver HostFailure|ResourceFailure|Shutdown

ノード故障時やリソース故障

時、ノード停止時に自動で

フェイルオーバさせる。

シングルノードクラスタ運用の

場合は、値を設定しないでく

ださい。

HaltFlag yes フェイルオーバ中にさらに異

常が発生（二重故障）した場

合、シャットダウン機構による

強制停止を行う。

安全な運用のためには、必

ず“yes”に設定してください。

ただし、シングルノードクラス

タ運用の場合は、"no"を設定


StandbyTransitions ClearFaultRequest|StartUp|SwitchRequest

スタンバイ運用で待機ノード

のリソース状態を監視する。

GLSの伝送路二重化機能を

使用し、待機ノードのGLSリ

- 171 -


ソース状態を監視する場合

は、必ず設定してください。

LicenseToKill yes クラスタアプリケーション間の

排他関係を設定する。

排他関係に関しては下記を


AutoBreak yes クラスタアプリケーション間の

排他関係を解除する。

PartialCluster 0 userApplicationを構成するす

べてのノードのRMSが起動さ

れていなくても、

userApplicationを起動できる

ようにする。

スタンバイ運用のクラスタアプ

リケーションでは、指示がない

限り0に設定します。

注意

シングルノードクラスタ運用の場合

－ "AutoSwitchOver"には値を設定しないでください。

－ "HaltFlag"には"no"を設定してください。

－ "ShutdownPriority"には値を設定しないでください。

－ "OnlinePriority"には値を設定しないでください。

クラスタアプリケーション間の排他関係を設定する場合、以下の設定を行います。

クラスタアプリケーション間の排他関係の詳細については、“6.7.7 クラスタアプリケーションの排他関係”を参照してください。

排他関係を設定するには、排他関係を設定する複数のクラスタアプリケーションのグループを作成します。排他制御は、同一グ

ループのクラスタアプリケーション間で行われます。

グループは、A～Z、a～zの52個まで指定することができます。“20X”、“10X”は固定値です。そのため、グループの後には“20X”、

“10X”のどちらかを必ず指定してください。

(例) グループAで、業務優先度が高いクラスタアプリケーションの場合

A20X

(例) グループAで、業務優先度が低いクラスタアプリケーションの場合

A10X

注意

クラスタアプリケーション間の排他関係は、2つ以上のクラスタアプリケーションで運用する場合のみ有効です。1つのクラスタアプ

リケーションで運用する場合、クラスタアプリケーション間の排他関係は設定してはいけません。

－業務優先度が高いクラスタアプリケーションの場合

“LicenseToKill”を選択し、“FREECHOICE”を選択した後に出力される“>>”に以下を入力します。

グループ20X

－業務優先度が低いクラスタアプリケーションの場合

“LicenseToKill”を選択し、“FREECHOICE”を選択した後に出力される“>>”に以下を入力します。

グループ10X

排他関係を解除する場合、以下の設定を行ってください。

“LicenseToKill” : “no”

- 172 -

“AutoBreak” : “yes”

設定後、“SAVE+EXIT”を選択します。

注意

オペレータ介入要求と故障リソースのメッセージは、AutoStartUp と PersistentFault 属性にyes(1)が設定されている場合のみ表

示されます。オペレータ介入要求と故障リソースのメッセージを表示する場合は、AutoStartUp と PersistentFault 属性にyes(1)を設定してください。オペレータ介入要求と故障リソースのメッセージについては、“PRIMECLUSTER 活用ガイド＜メッセージ集

＞”の“4.2 応答（QUESTION）メッセージ”を参照してください。

参考

userApplicationに以下のスクリプトを登録することができます。各スクリプトの詳細については、“PRIMECLUSTER RMS 導入運

用手引書”の“12 付録 - 属性”、および“HELP”を参照してください。

－ FaultScript

－ PreCheckScript

－ PreOnlineScript

－ PostOnlineScript

－ PreOfflineScript

－ OfflineDoneScript

- 173 -

5. 設定情報が正しいことを確認し、“SAVE+EXIT”を選択します。

6. “turnkey wizard "STANDBY"”が出力されます。各リソースの設定を行います。

6.7.2.2 スケーラブル運用のクラスタアプリケーション作成

ここでは、スケーラブル運用のクラスタアプリケーションを登録する方法について説明します。

■スタンバイ運用のクラスタアプリケーションの準備

スケーラブル運用のクラスタアプリケーションは複数のスタンバイ運用のクラスタアプリケーションを連携することで、スケーラブル運用

を行います。

- 174 -

スケーラブル運用のクラスタアプリケーションを作成する前に、スケーラブル運用のクラスタアプリケーションの構成要素となるスタンバ

イ運用のクラスタアプリケーションを作成する必要があります。

例1）スケーラブル運用の準備

スケーラブル運用のクラスタアプリケーションを作成する場合は、スケーラブル運用の構成要素となるスタンバイ運用のクラスタアプリ

ケーションを初に作成します。

スケーラブル運用のクラスタアプリケーションが3ノードで動作する場合、動作するノード毎にスタンバイ運用のクラスタアプリケーション

（運用だけであり、待機は持ちません）を作成してください。

スケーラブル運用の構成要素となるスタンバイ運用のクラスタアプリケーションを作成する場合、Machines[0]だけを設定します。

例2）高可用スケーラブルの準備

高可用スケーラブルのクラスタアプリケーションを作成する場合は、高可用スケーラブルの構成要素となるスタンバイ運用のクラスタア

プリケーションを初に作成します。

高可用スケーラブルのクラスタアプリケーションが1:1運用待機の場合、1:1運用待機のクラスタアプリケーションを作成してください。

注意

スケーラブル運用の構成要素となるスタンバイ運用のクラスタアプリケーションを作成する場合、“AutoStartUp”の値は“no”に設定して

ください。

RMS起動時にクラスタアプリケーションを自動起動する場合は、スケーラブル運用のクラスタアプリケーション作成時に“AutoStartUp”

の値を“yes”に設定してください。

スケーラブル運用の構成要素となるスタンバイ運用のクラスタアプリケーションのノードの設定方法は以下のようになります。

運用形態 userApplication構成ノードの設定方法

スケーラブル “Machines[0]”には、初めてのuserApplication起動時に、Onlineとなる

SysNodeを指定します。

待機は持たないので、“Machines[1]”以降は設定不要です。

- 175 -

運用形態 userApplication構成ノードの設定方法

高可用スケーラブルスケーラブル運用のクラスタアプリケーションの構成要素となるスタンバイ

運用の運用形態により設定方法が異なります。

設定は、各スタンバイ運用の運用形態の設定方法を参照してください。

スタンバイ運用のクラスタアプリケーションの作成方法については、“6.7.2.1 スタンバイ運用のクラスタアプリケーション作成”を参照して

ください。

スケーラブル運用の構成要素となるスタンバイ運用の設定が完了したら、以下の手順でスケーラブル運用のクラスタアプリケーションを

作成します。

■スケーラブル運用のクラスタアプリケーション作成

◆操作手順

1. “ Main configuration menu”の“Application-Create”を選択します。

2. “Application type selection menu”の“SCALABLE”を選択します。

3. “turnkey wizard "SCALABLE"”が出力されます。“Machines+Basics”を選択し、userApplicationの設定を行います。

4. userApplicationの設定画面が出力されます。userApplicationの以下の設定を行います。

－ userApplicationを構成するノード

- 176 -

－ userApplicationの属性

userApplicationを構成するノードの設定方法を説明します。

－スタンバイ運用のクラスタアプリケーションを構成する、すべてのSysNode名を“Machines[番号]”に指定する。

userApplicationの属性は、以下を参考に設定します。


AutoStartUp yes RMS起動時にクラスタ

アプリケーションを自

動起動する。

5. “Settings of application type”の“SAVE+EXIT”を選択します。

6. “turnkey wizard "SCALABLE"”が出力されます。“Controllers”を選択します。

- 177 -

7. “Settings of application type”が出力されます。“AdditionalAppToControl”を選択します。

8. スケーラブル運用を行うクラスタアプリケーション(スタンバイ運用)を選択します。

参考

スタンバイ運用のクラスタアプリケーションはすべて小文字で表示されます。

9. “Set global flags for scalable”の“SAVE+RETURN”を選択します。

10. 複数のクラスタアプリケーション(スタンバイ運用)でスケーラブル運用を行う場合、手順7.～手順9.を繰り返してください。

11. クラスタアプリケーション(スタンバイ運用)の起動順番を設定します。

起動の際は起動順番の小さいクラスタアプリケーションから起動します。停止の際は起動順番の大きいクラスタアプリケーション

から停止します。同じ起動順番のクラスタアプリケーションは、並列で起動/停止します。

注意

起動順番の設定が不要な場合、本手順を行う必要はありません。

- 178 -

1. “Settings of application type”の“(ApplicationSequence=)”を選択します。

2. “FREECHOICE”を選択します。

3. 起動順番を入力し、リターンキーを選択します。

- 起動順番が高いクラスタアプリケーションを先に入力します。

- 起動順番が異なる場合、クラスタアプリケーション間に1つのコロン(:)を入力します。

- 起動順番が同じ場合、クラスタアプリケーション間に1つの空白を入力します。

注意

スタンバイ運用のクラスタアプリケーションはすべて小文字で入力してください。

以下は、app1の起動順番がもっとも先で、app2とapp3がapp1の後に起動される場合(app2とapp3は同じ起動順番)の例で

す。

12. “Settings of application type”の“SAVE+EXIT”を選択します。

スケーラブル運用のクラスタアプリケーションを複数作成する場合は、手順1.～手順12.の操作を繰り返します。

- 179 -

6.7.3 リソースの設定

ここでは、前節で設定したuserApplicationへリソースを登録する方法について説明します。

登録できるリソースは、以下があります。

・ Cmdline リソース

スクリプトファイルやコマンドをリソースとして設定する場合に使用します。

このリソースは、ISVアプリケーションや利用者アプリケーションをuserApplicationの状態に連動して起動／停止したり、逆にアプリ

ケーションの停止に連動してuserApplicationを状態遷移するために必要です。

・ Fsystem リソース

ファイルシステムをuserApplicationの起動に合わせてマウントする場合に使用します。

注意

GDSで作成したクラス上のファイルシステムをFsystemリソースとして使用する場合、Gdsリソースも同一のuserApplicationにリソース

登録を行う必要があります。

・ Gds リソース

GDS (Global Disk Services)で定義するディスククラスを userApplicationと連動して起動／停止する場合に使用します。

・ Gls リソース

GLS (Global Link Services)の伝送路二重化機能で定義する引継ぎIPアドレスをuserApplicationに設定する場合、および伝送路

一重化で引継ぎIPアドレスをuserApplicationに設定する場合に使用します。

・引継ぎネットワークリソース

GLSを使用せずに、単一のネットワークインタフェース上で引継ぎIPアドレスを設定する場合に使用します。

・プロシジャリソース

状態遷移プロシジャリソースをuserApplicationに登録する場合に使用します。

- 180 -

■リソース設定の流れ

6.7.3.1 Cmdlineリソースの設定

Cmdlineリソースの設定方法について説明します。

Cmdline リソース設定時の注意点については、"6.11 Cmdline リソース設定時の注意点"を参照してください。

◆操作手順

1. “turnkey wizard "STANDBY"”の“CommandLines”を選択します。

- 181 -

2. “CommandLines”が表示されます。“AdditionalStartCommand”を選択します。

3. “FREECHOICE”を選択し、実行するStartCommandをフルパスで入力します。引数を指定する場合は、空白で区切ります。

StartCommandは、利用者プログラムを起動するため、Online処理で実行されるスクリプトです。

[StartCommandの終了コード]

StartCommandには、以下の終了コードがあります。

0 ：正常終了を示します。Online処理が成功した場合に本終了コードを使用します。

0以外：異常終了を示します。Online処理が失敗した場合に本終了コードを使用します。本終了コードで復帰した場合、

リソースはFaulted状態になります。

注意

StartCommand および後述のStopCommand、CheckCommand に設定するスクリプトのパスおよび引数に、以下の文字は使用で

きません。

= \ ~ % @ &

これらの文字を使用する必要がある場合は、Cmdlineリソースに設定するスクリプト内に記述してください。

4. “CommandLines”が表示されます。利用者プログラムの停止が必要であれば“StopCommands”を選択します。

StopCommandは、利用者プログラムを停止するため、Offline処理で実行されるスクリプトです。StopCommandの設定は必須で

はありません。

[StopCommandの終了コード]

StopCommandには、以下の終了コードがあります。

0：正常終了を示します。Offline処理が成功した場合に本終了コードを使用します。

0以外：異常終了を示します。Offline処理が失敗した場合に本終了コードを使用します。本終了コードで復帰した場合、

リソースはFaulted状態になります。

StopCommandが不要な場合は、手順6.から実施してください。

- 182 -

注意

StopCommandsにnoneを設定した場合、Flagsの設定に関わらずLIEOFFLINE属性が有効となりCLUSTEREXCLUSIVE属性が

無効となった状態でCmdlineリソースの起動と監視が行われます。

5. “FREECHOICE”を選択し、実行するStopCommandをフルパスで入力します。引数を指定する場合は、空白で区切ります。

6. “CommandLines”が表示されます。“CheckCommands”を選択します。

CheckCommandは、利用者プログラムの状態をRMSへ通知するため、定期的に実行されるコマンドです。

[CheckCommandの終了コード]

CheckCommandには、以下の終了コードがあります。

0：Onlineを示します。

0以外：Offlineを示します。

ALLEXITCODES属性を有効にすると、CheckCommandの終了コードに、もっと詳細な情報を返すことができます。属性は、手

順8.で変更します。

7. “FREECHOICE”を選択し、実行するCheckCommandをフルパスで入力します。引数を指定する場合は、空白で区切ります。

8. 属性の変更

使用目的に応じて、属性の変更を行ってください。属性を変更する場合は“Flags[0]”を選択します。属性の詳細については、

“PRIMECLUSTER RMS 導入運用手引書”の“12 付録 - 属性”、および“HELP”を参照してください。

注意

属性“NULLDETECTOR”を有効にした場合は、RMSからCheckCommandが起動されなくなります。

ホットスタンバイ運用をする場合には、次の2つの属性を有効にしてください。

－ STANDBYCAPABLE

対応するuserApplicationがOfflineである、すべてのノードにおいてリソースのStandby処理を実行します。

- 183 -

－ ALLEXITCODES

Checkスクリプトの終了コードによるリソース状態の識別を詳細化します。

ホットスタンバイ運用の設定に関するその他の注意事項は“6.6 Online/Offlineスクリプトの設定”を参照してください。

9. 後に“SAVE+EXIT”を選択します。

6.7.3.2 Fsystemリソースの設定

ファイルシステムをuserApplicationの起動に合わせてマウントする場合にFsystemリソースを設定する必要があります。

Fsystem リソース設定時の注意点については、“6.12 Fsystem リソース設定時の注意点”を参照してください。

Fsystemリソースの設定の流れは以下のとおりです。

1. マウントポイントの定義

userApplicationを構成する全てのノードの/etc/fstab.pclファイルに、リソースとして使用するファイルシステムのマウントポイントを

定義しておく必要があります。行の先頭は、必ず「#RMS#」で始まるようにしてください。

例）/etc/fstab.pclファイル

#RMS#/dev/sdd1 /mnt/swdsk1 ext3 defaults 0 0

#RMS#/dev/sdd2 /mnt/swdsk2 ext4 nodelalloc 0 0

#RMS#/dev/sdd3 /mnt/swdsk3 xfs defaults 0 0

GDSのボリュームを使用する場合の設定例は以下の通りです。

例）/etc/fstab.pclファイル

#RMS#/dev/sfdsk/class0001/dsk/volume0001 /mnt/swdsk1 ext3 defaults 0 0

#RMS#/dev/sfdsk/class0001/dsk/volume0002 /mnt/swdsk2 ext4 nodelalloc 0 0

#RMS#/dev/sfdsk/class0001/dsk/volume0003 /mnt/swdsk3 xfs defaults 0 0

- 184 -

注意

－ /etc/fstab ファイルに同一のデバイスやマウントポイントを使用する設定となっている場合は、その設定を削除するかコメント

行にすることで、無効化して下さい。設定が残っている場合、userApplication が正常に起動できない場合があります。

－ ext4, xfsは、ディスク領域の割り当てを効率化し、書き込みパフォーマンスを向上させるために「遅延割り当て」を実装してい

ます。本実装により、ディスクに書き込むべきデータのメモリ上での滞在時間が長くなるため、サーバのOSパニックや電源瞬

断により、一部のデータが失われる可能性があります。プログラムがファイルシステムへの書き込み直後に書き込みを保証

する必要がある場合は、ファイルに書き込みを行うアプリケーションが fsync() コールを発行する必要があります。「遅延割り

当て」については Red Hat 社の Storage Administration Guide を参照してください。

－マウントポイントとして指定するディレクトリのパスには、シンボリックリンクを含まないパスを指定してください。

2. GDS ボリュームの起動 (必要な場合のみ)

保守対象のファイルシステムやファイルが GDS に管理されたボリュームに存在する場合は、クラスタを構成する任意の 1 ノード

で GDS のボリュームを起動します。

例) ディスククラス class のボリューム volume0001 を、コマンドで起動する場合

# /usr/sbin/sdxvolume -N -c class -v volume0001

3. ファイルシステムの作成とマウントの確認

リソースとして使用するディスクパーティション上にファイルシステムを作成しておく必要があります。ファイルシステムの作成方法

については、Red Hat 社の Storage Administration Guide を参照してください。

例）ext3の場合

ファイルシステムを作成します。

# /sbin/mkfs -t ext3 /dev/sdd1

マウントできることを確認します。

# /bin/mount -t ext3 /dev/sdd1 /mnt/swdsk1

# /bin/umount /mnt/swdsk1

例）ext4の場合


# /sbin/mkfs.ext4 /dev/sdd2


# /bin/mount -t ext4 /dev/sdd2 /mnt/swdsk2


例）xfsの場合


# /sbin/mkfs.xfs /dev/sdd3


# /bin/mount -t xfs /dev/sdd3 /mnt/swdsk3


4. ファイルシステムのチューニング

使用するファイルシステムの種類により、クラスタ環境に適した設定を行います。

- 185 -

－強制ファイルシステムチェックの回避（ext3 および ext4で設定を推奨)

ファイルシステムにext3 および ext4 を使用している場合、切替えファイルシステムのオンライン処理時に強制的なファイルシ

ステムチェックが実行されることがあります。この強制的なファイルシステムチェックの実行は ext3 および ext4 の仕様であり、

前回のファイルシステムチェックから一定回数のマウントが実行された、あるいは一定期間経過したことを契機に実行される

ものです。

両ノード起動時や切替え時などに強制的なファイルシステムチェックが実行されると、ファイルシステムのオンライン処理でタ

イムアウトが発生し、PRIMECLUSTER の起動や切替えに失敗することがあります。

このような状況を回避するため、すべてのext3, ext4 切替えファイルシステムに対して次のコマンドを実行し、強制ファイルシ

ステムチェックが実行されないように設定してください。

例）強制ファイルシステムチェックの回避の設定と確認

# /sbin/tune2fs -c0 -i0 /dev/sdd1

上記コマンド実行後、次のコマンドで“Maximum mount count ：-1”,“Check interval：0”となっていることを確認してください。

# /sbin/tune2fs -l /dev/sdd1 | /bin/grep "Maximum mount count"

Maximum mount count: -1

# /sbin/tune2fs -l /dev/sdd1 | /bin/grep "Check interval"

Check interval: 0 (<none>)

上記のように強制的なファイルシステムチェックが実行されない設定とした場合、ファイルシステムのロギングやジャーナリン

グだけでは検知できない原因（ディスク故障、カーネルバグ等）によるファイルシステム破壊が発生すると、その発見が遅れ

るため、データ損失の危険性が高まります。定期保守において、手動でファイルシステムの強制チェック(fsck -f) を実行し

て、データ損失の危険性を回避してください。

－遅延割り当ての無効化 (ext4のみ)

ext4ではマウントオプションに nodelalloc を指定することで遅延割り当てを無効にすることができます。

/etc/fstab.pclファイルのマウントオプションを指定するフィールドに以下のように指定します。


5. GDS ボリュームの停止 (手順2 を実施した場合のみ)

手順2 で起動した GDS ボリュームを停止します。

例) ディスククラス class のボリューム volume0001 をコマンドで停止する場合

# /usr/sbin/sdxvolume -F -c class -v volume0001

6. Fsystemリソースのクラスタアプリケーションへの登録

1. “turnkey wizard "STANDBY"”の“LocalFileSystems”を選択します。

Settings of turnkey wizard "STANDBY" (APP1:not yet consistent)

1) HELP 9) Procedure:BasicApplication(-)

2) - 10) Symfoware(-)

3) SAVE+EXIT 11) Procedure:SystemState3(-)

4) - 12) Procedure:SystemState2(-)

5) ApplicationName=APP1 13) Gls:Global-Link-Services(-)

6) Machines+Basics(app1) 14) IpAddresses(-)

7) CommandLines(-) 15) LocalFileSystems(-)

8) Procedure:Application(-) 16) Gds:Global-Disk-Services(-)

Choose the setting to process: 15

2. “AdditionalMountPoint”を選択します。

File systems (Lfs_APP1:not yet consistent)

1) HELP 4) REMOVE+EXIT 7) (Timeout=180)

2) - 5) AdditionalMountPoint

3) SAVE+EXIT 6) (Filter=)


- 186 -

3. 前述の /etc/fstab.pclファイルの事前設定で定義したマウントポイントが表示されます。userApplicationで設定するマウント

ポイントを選択します。

1) HELP 6) /mnt/swdsk2

2) RETURN 7) /mnt/swdsk3

3) FREECHOICE

4) ALL

5) /mnt/swdsk1

Choose a mount point: 5

4. マウントポイントを選択後、“SAVE+RETURN”を選択します。

Set flags for mount point: /mnt/swdsk1 Currently set: LOCAL,AUTORECOVER (LA)

1) HELP 4) DEFAULT 7) SHARE(S)

2) - 5) SYNC(Y) 8) MONITORONLY(M)

3) SAVE+RETURN 6) NOT:AUTORECOVER(A)

Choose one of the flags: 3

5. 複数のマウントポイントを登録する場合は、2.～4.の操作を繰り返します。必要なマウントポイントを全て設定したら、“SAVE+EXIT”を選択します。

File systems (Lfs_APP1:consistent)

1) HELP 6) MountPoints[0]=LA:/mnt/swdsk1

2) - 7) MountPoints[1]=LA:/mnt/swdsk2

3) SAVE+EXIT 8) MountPoints[2]=LA:/mnt/swdsk3

4) REMOVE+EXIT 9) (Filter=)

5) AdditionalMountPoint 10) (Timeout=180)


6.7.3.3 Gdsリソースの事前設定

Gdsリソースを設定する場合には、Gdsリソース設定前に共用ボリュームを設定する必要があります。また、Gdsリソース設定前に、いず

れか1ノードで以下のコマンドを実行してください。

このコマンドは、指定したGdsリソースが userApplicationの状態と連動してGDSボリュームの起動／停止を行うために必要な操作です。

加えてボリュームを共用する全ノードで offline状態にします。

# /opt/SMAW/SMAWRrms/bin/hvgdsetup -a [class-name]

...

Do you want to continue with these processes ? [yes/no] y

参考

共用ボリュームの設定状態は、以下のコマンドで確認することができます。

# /opt/SMAW/SMAWRrms/bin/hvgdsetup -l

注意

・事前設定を行わなかった場合、クラスタアプリケーションがInconsistent状態になります。詳細は、“PRIMECLUSTER Global DiskServices 説明書”の“クラスタシステムに関する異常”の「クラスタアプリケーションがInconsistent状態になる。」を参照してください。

・ GFS共用ファイルシステムを使用する場合は、本操作を行ってはいけません。

6.7.3.4 Gdsリソースの設定

Gdsリソースの事前設定が完了したら、GdsリソースをuserApplicationに登録します。GdsリソースをuserApplicationに設定する手順を以

下に説明します。

- 187 -

◆操作手順

1. “turnkey wizard "STANDBY"”の“Gds:Global-Disk-Services”を選択します。

2. “Volume management”の“AdditionalDiskClass”を選択します。

複数のリソースを登録する場合には、手順2.～手順3.までを複数回実施してください。

共用ボリュームのクラス[CL]をuserApplicationに登録する例：

3. userApplicationに登録するクラスタリソース一覧が表示されます。

－複数ノードでクラスタ運用する場合

登録するクラスタリソースを選択します。

－シングルノードクラスタ運用の場合

クラスタリソース一覧は表示されませんので、"FREECHOICE"を選択し、作成したGDSのクラス名を入力してください。

4. “SAVE+EXIT”を選択します。

6.7.3.5 Glsリソースの設定

＜事前設定＞

Glsリソースの設定前に仮想インタフェースと引継ぎ仮想インタフェースの設定を行っておく必要があります。詳細は、“PRIMECLUSTERGlobal Link Services 説明書（伝送路二重化機能編）”を参照してください。

◆操作手順

- 188 -

1. “turnkey wizard "STANDBY"”の“Gls:Global-Link-Services”を選択します。

2. “AdditionalTakeoverIpaddress”を選択し引継ぎIPアドレスの設定を行います。

複数のリソースを登録するには、手順 2.～手順4.までを複数回実施してください。

3. 事前設定で登録した引継ぎIPアドレスが選択肢に表示されます。

事前設定した引継ぎIPアドレスの中から、userApplicationに登録する引継ぎIPアドレスを選択します。

4. リソースの動作モードの設定を行います。

リソースの動作モードには、“AUTORECOVER(A)”(選択値)と“NOT:AUTORECOVER(N)”(デフォルト値)があります。“SAVE+RETURN”を選択すると、デフォルト値である“NOT:AUTORECOVER(N)”が設定されます。

リソース異常時に、一定時間(デフォルト：60秒)リソースの回復を試みる場合には“AUTORECOVER(A)”を、直ちに他ノードへ

の切替えを行う場合には“NOT:AUTORECOVER(N)”を選択します。

5. Glsリソースの設定を保存し終了するには、“SAVE+EXIT”を選択してください。

なお、ここではGlsリソースのタイムアウト値を変更することが可能です。

タイムアウト値を変更する場合には、“(Timeout=60)”を選択し、任意の値(秒)を設定してください。

- 189 -

参照

クラスタアプリケーション作成時に StandbyTransition 属性に値を設定することにより、待機ノードのGlsリソースを“Standby”状態へ遷移

させ、待機ノードのGlsリソース状態を監視することができます。設定方法については、“6.7.2.1 スタンバイ運用のクラスタアプリケーショ

ン作成”を参照してください。

6.7.3.6 引継ぎネットワークリソースの設定

＜事前設定＞

引継ぎネットワークリソースを使用する場合には、以下の事前設定が必要です。

1. ノード間で引き継ぐ IPアドレスの定義、およびホスト名の定義

まず、ノード間で引き継ぐIPアドレスを定義してください。次に、このIPアドレスに対しホスト名を割り当ててください。割り当てたホ

スト名は、引継ぎIPアドレスを使用するノードの /etc/hosts ファイルへ定義してください。

2. 監視先ホストの定義

引継ぎIPアドレスが活性化している期間に、ICMPを利用したネットワークの疎通監視を行いたい場合は、2台以上のICMP通信

が可能な機器（例えばルータやレイヤ3ハブ）のホスト名とIPアドレスを /etc/hosts ファイルへ定義してください。なお、ネットワーク

の疎通監視が必要ない場合は、この設定は必要ありません。

3. ネットワークインタフェースの確認

引継ぎIPアドレスを活性化する予定のネットワークインタフェース（例えばeth2）がOSから認識されており、使用可能な状態にあ

ることを確認します。

4. クラスタの設定ファイルへの定義

以下のファイルへ、引継ぎIPアドレスのエントリを追加します。

/usr/opt/reliant/etc/hvipaliasエントリは、以下の規則で記述してください。

<node name> <takeover> <interface> <netmask/prefix>

<node name> : 引継ぎIPアドレスを使用するノードのCFノード名

<takeover> : 引継ぎIPアドレスのホスト名

<interface> : 引継ぎIPアドレスを活性化するネットワークインタフェース名

<netmask/prefix> : 引継ぎIPアドレスのネットマスク(IPv4の場合)、またはネットワークプレフィクス長(IPv6の場合)

例

2つのノードnode0とnode1で、ホスト名takeoverのIPv4アドレス（ネットマスク 255.255.255.0）を、ネットワークインタフェースeth2上

で活性化して引き継ぐ場合、以下のように定義します。

node0 takeover eth2 0xffffff00

node1 takeover eth2 0xffffff00

また、ホスト名takeover6のIPv6アドレス（ネットワークプレフィクス長 64）を、ネットワークインタフェースeth3上で活性化して引き継

ぐ場合、以下のように定義します。

node0 takeover6 eth3 64

node1 takeover6 eth3 64

- 190 -

注意

－ IPv6のリンクローカルアドレスは、引継ぎネットワークリソースとして使用できません。また、疎通監視の通信先としても使用で

きません。

－ /etc/hostsファイルへホスト名を定義する場合、IPv4アドレスとIPv6アドレスに同一のホスト名を割り当てないでください。

◆操作手順

1. “turnkey wizard "STANDBY"”の“IpAddresses”を選択します。

Settings of turnkey wizard "STANDBY" (APP1:not yet consistent)









Choose the setting to process:14

2. 事前設定で監視先ホストを定義し、ICMPを利用したネットワークの疎通監視を行う設計としている場合は、“AdditionalPingHost”を選択し監視先ホストを設定します。

Ipaddresses and ipaliases (Adr_APP1:not yet consistent)

1) HELP 4) REMOVE+EXIT 7) (NeedAll=yes)

2) - 5) AdditionalInterface 8) (Timeout=60)

3) SAVE+EXIT 6) AdditionalPingHost 9) (InterfaceFilter=)


事前設定で登録した、監視先ホストのホスト名が選択肢に表示されます。事前設定した監視先ホストのホスト名を選択します。

1) HELP

2) RETURN

3) FREECHOICE

4) router

5) l3hub

6) takeover

Choose another trusted host to ping:4

監視先ホストを設定すると、前項の画面に戻ります。監視先ホストは2つ以上設定する必要があるため、前項の画面で再度

“AdditionalPingHost”を選択し、監視先ホストを追加します。

3. “AdditionalInterface”を選択し、引継ぎIPアドレスの設定を行います。

なお、引継ぎIPアドレスが複数ある場合は、この設定を引継ぎIPアドレスの個数分行ってください。

Ipaddresses and ipaliases (Adr_APP1:not yet consistent)

1) HELP 7) PingHostPool[0]=router

2) - 8) PingHostPool[1]=l3hub

3) SAVE+EXIT 9) (NeedAll=yes)

4) REMOVE+EXIT 10) (Timeout=60)

5) AdditionalInterface 11) (InterfaceFilter=)

6) AdditionalPingHost

Choose the setting to process:

1. 事前設定で登録した、引継ぎIPアドレスのホスト名が選択肢に表示されます。

事前設定した引継ぎIPアドレスのホスト名を選択します。

1) HELP

2) RETURN

3) FREECHOICE

- 191 -

4) router

5) l3hub

6) takeover

Choose an interface name:6

2. 引継ぎIPアドレスの動作モードを設定します。

Currently set: VIRTUAL,AUTORECOVER (VA)

1) HELP 4) DEFAULT 7) MONITORONLY(M)

2) - 5) BASE(B) 8) PING(P)


Choose one of the flags:

- DEFAULT

この属性を選択すると、すべての設定値を初期値に戻します。

- BASE、VIRTUAL

この属性は IPv4 アドレスを使用する場合にのみ有効です。IPv6 アドレスを使用する場合、この属性は変更しないで

ください。初期値は“VIRTUAL”です。

- BASE

この属性を設定すると、引継ぎIPv4アドレスの活性・非活性化と物理インタフェース（例えばeth2）の活性・非活性化が

併せて行われます。“Currently set”には“BASE”が表示され、メニューには“5) VIRTUAL”が表示されます。

- VIRTUAL

この属性を設定すると、引継ぎIPv4アドレスの活性・非活性化と論理インタフェース（例えばeth2:1）の活性・非活性化

が併せて行われます。“Currently set”には“VIRTUAL”が表示され、メニューには“5) BASE”が表示されます。

この属性を設定した引継ぎIPv4アドレスは論理インタフェースにIPv4アドレスを設定するため、事前に、論理インタ

フェースの作成先となる物理インタフェース（例えばeth2）で、IPv4アドレスを活性化しておく必要があります。事前に物

理インタフェースでIPv4アドレスを活性化するには、OS起動時に物理インタフェースでIPv4アドレスを活性化する設定

にするか、または前述のBASE属性が設定された引継ぎIPv4アドレスを同じ引継ぎネットワークリソースに登録してくだ

さい。

- AUTORECOVER、NOT:AUTORECOVER

この属性は引継ぎIPアドレスを再活性化する場合に指定します。初期値は“AUTORECOVER”です。

- AUTORECOVER

この属性を設定すると、ネットワークのインタフェースがダウンした場合や、ネットワークの疎通が途切れ異常を検知し

た場合に、1度だけ引継ぎIPアドレスの再活性化を試みます。“Currently set”には“AUTORECOVER”が表示され、メ

ニューには“6) NOT:AUTORECOVER”が表示されます。

なお、引継ぎIPアドレスの再活性化に失敗した場合は、クラスタへ異常を通知します。

- NOT:AUTORECOVER

この属性を設定すると、“AUTORECOVER”の設定を解除します。“Currently set”には“NOT:AUTORECOVER”が表

示され、メニューには“6) AUTORECOVER”が表示されます。

- BASIC-IF

この属性は使用できません。変更しないでください。

- MONITORONLY、NOT:MONITORONLY

クラスタへのネットワーク異常の通知を指定します。初期値は“NOT:MONITORONLY”です。

- MONITORONLY

この属性を設定すると、ネットワークのインタフェースがダウンした場合や、ネットワークの疎通が途切れ異常を検知し

ても、クラスタへ異常を通知しません。“Currently set”には“MONITORONLY”が表示され、メニューには“7)NOT:MONITORONLY ”が表示されます。“MONITORONLY”を設定すると、引継ぎIPアドレスの異常による切替え

は発生しなくなります。

- NOT:MONITORONLY

- 192 -

この属性を設定すると、“MONITORONLY”の設定を解除します。“Currently set”には“NOT:MONITORONLY”が表

示され、メニューには“7) MONITORONLY”が表示されます。

注意

引継ぎネットワークリソースに登録した引継ぎIPアドレスのうち、低1つは、“NOT:MONITORONLY”を設定してくだ

さい。

- PING

この属性を設定すると、事前に設定した監視先ホストを引継ぎIPアドレスに対して設定できます。事前設定した監視先

ホスト名を選択します。

1) HELP

2) RETURN

3) router(000)

4) l3hub

Choese a ping host of the pool ():3

4. 必要に応じ、“Timeout”を変更します。

“Timeout”は、登録したすべての引継ぎIPアドレスが活性状態または非活性状態になるまで、システムが待つことができるタイム

アウト値(秒)を設定します。“Timeout”が経過しても活性状態または非活性状態にならない場合、リソースはクラスタへ異常を通

知します。初期値は60(秒)です。45(秒)以上の値を設定してください。

注意

・ NeedAll、InterfaceFilter

これらの属性は使用できません。変更しないでください。

6.7.3.7 プロシジャリソースの設定

本設定は、PRIMECLUSTER対応製品の状態遷移プロシジャリソースをuserApplicationに登録する場合に使用します。

＜事前設定＞

プロシジャリソースを設定する場合には、プロシジャリソース設定前に状態遷移プロシジャを作成し、リソースデータベースにリソースを

登録しておく必要があります。詳細は、“D.1 プロシジャリソースの登録”を参照してください。

◆操作手順

1. “turnkey wizard "STANDBY"”の“Procedure:XXXXXXXXXX”を選択します。

BasicApplicationクラスのクラスタリソースをuserApplicationに登録する例：

2. “Application detail Resource wizard”の“AdditionalProcedureResource”を選択します。

複数のリソースを登録する場合には、手順2.～手順4.までを複数回実施してください。

- 193 -

3. userApplicationに登録するクラスタリソース一覧が表示されます。userApplicationに登録するクラスタリソースを選択します。

注意

本画面で、クラスタリソースが表示されない場合は、リソースデータベースへのクラスタリソースの登録が行われていません。“6.7.2userApplicationの設定”で設定したuserApplicationを構成する各ノードに、クラスタリソースが登録されていることをclgettreeコマ

ンドで確認し、クラスタリソースが登録されていない場合は、クラスタリソースの登録を行ってください。clgettreeコマンドの詳細は、

clgettreeコマンドのマニュアルページを参照してください。リソースデータベースへのクラスタリソースの登録の詳細は、“D.1 プロ

シジャリソースの登録”を参照してください。

4. 本画面では、以下の変更が可能です。必要であれば、以下を変更した後、“SAVE+RETURN”を選択します。

－状態遷移プロシジャのタイムアウト値

デフォルト値は、1800秒です。本値は、1800秒以上のタイムアウト時間が必要な製品を使用する場合に変更します。変更を

行う場合は、以下の画面の“TIMEOUT”を選択し、変更してください。

－リソースクラス内優先度

デフォルト値は、claddprocrscコマンドによる状態遷移プロシジャリソース登録時に-pオプションで指定した値です。状態遷移

プロシジャリソース登録時に-pオプションを指定しない場合は、65535がデフォルト値となります。本値は、同じリソースクラス

で、複数のリソースをクラスタアプリケーションに登録し、それぞれのリソースの活性／非活性順番を指定する場合に変更し

ます。変更を行う場合は、以下の画面の“PRIORITY”を選択し、変更してください。本値の数値が小さいリソースから活性化

され、大きいリソースから非活性化されます。

6.7.4 GenerateとActivateここでは、GenerateとActivateの方法について説明します。GenerateとActivate操作は、作成したクラスタアプリケーションが正しいことを

確認した後、実行してください。

◆操作手順

- 194 -

1. “Main configuration menu”の“Configuration-Generate”を選択します。

2. “Main configuration menu”の“Configuration-Activate”を選択します。

注意

“Configuration-Activate” は、クラスタを構成する複数のノードで同時に実行しないでください。

6.7.5 PRIMECLUSTER対応製品のクラスタサービス登録

userApplicationに登録したリソースがPRIMECLUSTER対応製品の場合、以下の手順でクラスタサービスへ登録します。

◆操作手順

1. PRIMECLUSTER対応製品用のクラスタサービスを登録します。

クラスタシステムを構成する1ノードで以下のコマンドを実行してください。

# /etc/opt/FJSVcluster/bin/clrwzconfig

注意

・ PRIMECLUSTER対応製品用のクラスタサービスの登録を行わない場合、PRIMECLUSTER対応製品が正しく動作しません。そ

のため、必ず登録してください。

・ PRIMECLUSTER対応製品については、“付録A PRIMECLUSTER対応製品”を参照してください。

6.7.6 属性の説明

- 195 -

参照

属性に関しては、“PRIMECLUSTER RMS 導入運用手引書”の“12 付録 - 属性”を参照してください。

6.7.7 クラスタアプリケーションの排他関係

クラスタアプリケーションに排他関係を設定した場合、排他関係にあるクラスタアプリケーションが1つのクラスタノードで同時に運用状

態にならないようにします。排他関係はスタンバイ運用のクラスタアプリケーション間にだけ設定できます。フェイルオーバが発生した

場合は、排他関係にあるクラスタアプリケーションの業務優先度で運用を継続するクラスタアプリケーションを決定します。

排他制御は、同一グループのクラスタアプリケーション間で行われます。

参考

・排他関係を設定するには、排他関係を設定するクラスタアプリケーションのグループを作成します。グループは大52個まで作成

することができます。

・排他関係の設定については、“6.7.2.1 スタンバイ運用のクラスタアプリケーション作成”を参照してください。

注意

あるノードでクラスタアプリケーションがFaulted状態となっている場合、そのノード上で排他関係にあるクラスタアプリケーションを新たに

起動して運用状態にすることはできません。後から起動されたクラスタアプリケーションは業務優先度にかかわらず停止されます。

これは、Faulted状態のクラスタアプリケーション配下のリソースがすべて停止できていない可能性があることが理由です。

このような場合には、Faulted状態のクラスタアプリケーションに対し Faulted 状態のクリアを実施して Offline状態としてから、排他関係

にあるクラスタアプリケーションを起動してください。

クラスタアプリケーションの Faulted状態のクリア操作については、“7.2.2.4 Faulted 状態のクラスタアプリケーションを運用可能な状態に

する”を参照してください。

排他関係にあるクラスタアプリケーションのフェイルオーバ時の動作を、以下の場合に分けて説明します。

・業務優先度が異なる場合

・業務優先度が同一の場合

以下の例では、1つの同一グループのクラスタアプリケーション間の排他関係について説明します。複数のグループが存在する場合

でも、同一グループのクラスタアプリケーションの動作は同じです。

■排他関係にあるクラスタアプリケーションの業務優先度が異なる場合

業務優先度の高いクラスタアプリケーションが運用中であるノード、または業務優先度の高いクラスタアプリケーションがフェイルオー

バしてきたノードでは、業務優先度の高いクラスタアプリケーションの起動を優先するため、運用中の業務優先度の低いクラスタア

プリケーションは強制終了されます。

以降の図中の各状態は以下を表しています。

・運用: クラスタアプリケーションがOnline

・待機: クラスタアプリケーションがStandby

・停止: クラスタアプリケーションがOffline

●業務優先度が高いクラスタアプリケーションのフェイルオーバ

業務優先度の高いクラスタアプリケーションがフェイルオーバする場合、業務優先度の高いクラスタアプリケーションが常に運用状態

になります。

- 196 -

- 197 -

- 198 -

●業務優先度が低いクラスタアプリケーションのフェイルオーバ

業務優先度の低いクラスタアプリケーションがフェイルオーバする場合、フェイルオーバするノード上に運用状態の業務優先度の高い

クラスタアプリケーションが存在しないときだけフェイルオーバします。

- 199 -

- 200 -

■排他関係にあるクラスタアプリケーションの業務優先度が同一の場合

すでに運用中であるクラスタアプリケーションの運用を継続します。

すでにクラスタアプリケーションが運用中であるノードでは、後から起動するクラスタアプリケーションが停止されます。

- 201 -

- 202 -

6.8 RMSの環境設定

RMSを使用する場合、PRIMECLUSTER デザインシートの“セットアップ(初期構成）”を確認し、以下の環境変数を構成設定に応じた

値に変更する必要があります。

・ RMS停止待ち時間 (RELIANT_SHUT_MIN_WAIT)

本バージョンでは、この環境変数のデフォルト値は2147483647(秒)となっています。

参照

RMS環境変数の参照/変更方法については、“PRIMECLUSTER RMS 導入運用手引書”の“2.9 環境変数”と“13 付録 - 環境変数”


6.9 クラスタ環境のチェック

PRIMECLUSTER環境の設定後、PRIMECLUSTER 環境チェックツールを用いて設定ミスがないことを確認します。

PRIMECLUSTER 環境チェックツールの使用方法と確認内容については、PRIMECLUSTER製品DVDの Tool/clchkcluster 配下にあ

る readme を参照してください。

6.10 クラスタアプリケーションの設定内容および注意点

ここでは、運用にあわせたクラスタアプリケーションの設定内容および、設定における注意点について説明します。

- 203 -

6.10.1 クラスタアプリケーションの設定内容

二重故障発生時にフェイルオーバさせたい

以下の操作を行ってください。

→ HaltFlag = 1 (yes)

→ AutoSwitchOver = HostFailure | ResourceFailure | Shutdown

HaltFlag に "No" が設定されている場合には、二重故障が発生してもフェイルオーバは行われません。HaltFlag に "Yes" を設定する

ことにより、二重故障が発生した場合にシャットダウン機構による故障ノードの強制停止（PANIC、電源断、reboot）が実行され、フェイ

ルオーバが行われます。

注意

AutoSwitchOver 属性を設定していても、二重故障発生時は HaltFlag が設定されていないとフェイルオーバは行われません。

ノード故障、リソース故障、RMS 停止時に userApplication をフェイルオーバさせたい


→ AutoSwitchOver = HostFailure | ResourceFailure | Shutdown

注意

1. 二重故障発生時は、本属性値を設定していてもフェイルオーバは行われません。

二重故障発生時にもフェイルオーバを行う場合は、HaltFlag 属性も設定してください。

2. 切替え先の userApplication が Fault 状態の場合、HostFailure, Shutdown を設定していてホスト故障やシャットダウンが発生して

も切替えは行われません。

リソース故障時にフェイルオーバを行う場合、Fault 状態をクリアしてください。

立上げ、切替え、故障クリア時に userApplication を自動起動させたい


→ AutoStartUp = 1 (yes)

→ StandbyTransitions = Startup | SwitchRequest | ClearFaultRequest

AutoStarUp 属性が "Yes" に設定されている場合は、クラスタアプリケーションは RMS 起動時に自動で Online 状態に遷移します。ま

た、待機系は StandbyTransitions の Startup 属性に関係なく Standby 状態に遷移します。

一方、AutoStartUp 属性が "No" に設定されている場合の状態遷移は StandbyTransitions 属性にしたがいます。

AutoStartUP と StandbyTransition の関係を下表に示します。

RMS 起動ノード

AutoStartUp=Yes AutoStartUp=No

StandbyTransitions StandbyTransitions

No StartUP No StartUP

複数ノード運用側 uap Online Online Offline Standby

待機側 uap Standby Standby Offline Standby

単ノード Standby Standby Offline Standby

- 204 -

注意

クラスタアプリケーションが Faulted 状態であった後のOS再起動時に、Faulted 状態を解除し待機状態で正常に起動したい場合は、

PersistentFault 属性を "0(no)" に設定してください。

スケーラブル型のクラスタアプリケーションにおいて、状態遷移時に Controller リソースのタイムアウトが発生しないようにしたい

スケーラブルを構成するクラスタアプリケーションの起動・停止に時間を要する場合、状態遷移時に Controller リソース（スケーラブル

を示すリソース）でタイムアウトのエラーが発生し、状態遷移が異常終了する場合があります。

この場合は、スケーラブルを構成する各クラスタアプリケーションの起動停止の時間に応じて、Controller リソースの設定を変更する必


以下の手順で、スケーラブル型のクラスタアプリケーションの Timeout 値を算出し、設定します。

設定手順

1. クラスタアプリケーションの大状態遷移時間を算出する

Controller リソースは、配下の userApplication がすべて Online である場合に、Online 状態へと遷移します。そのため、クラスタ

アプリケーションを構成する各リソースの ScriptTimeout の合計値を算出します。

例えばクラスタアプリケーション配下に Cmdline リソース、Fsystem リソース、Gds リソース、Gls リソースが各 1つ存在する場合、

以下のように算出できます。（ここでは、各リソースのタイムアウト値はデフォルトのままとします。）

Cmdline リソース 300（秒）+ Fsystem リソース 180（秒）+ Gds リソース 1800（秒）+ Gls リソース 60（秒）= 2340（秒）

この値はスケーラブル型のクラスタアプリケーションのデフォルト値 180（秒）より大きいので設定値を 2340（秒）にします。

参考

各リソースのデフォルトのスクリプトタイムアウト値

Cmdline : 300

Fsystem : 180

GDS : 1800

Gls : 60

2. SysNode 数を考慮する

クラスタアプリケーションを構成する SysNode 数を考慮した値を算出します。

SysNode 数が 1 の場合

1. の値そのものが SysNode 数を考慮した値になります。

SysNode 数が 2 以上の場合

1. で算出した値に、SysNode 数から 1 を引いた値を 2 倍し、掛け合わせます。

複数ノード間でのクラスタアプリケーションの大状態遷移時間

＝ "1) の値" x 2 ( "SysNode数" -1 )

例

例えば、userApplication が 3 ノード構成、Node1 上で Online 状態、タイムアウト間際で Online/Offline 処理が終了すると想定し

た場合、userApplication が初のノードで状態遷移を開始後、後のノードで Online となるまで、以下のように 4 倍（2 x ( "SysNode数" - 1 )）の状態遷移時間を要することになります。

1. Node1 で Offline 処理

2. Node2 で Online 処理

- 205 -

3. Node2 で Offline 処理

4. Node3 で Online 処理

3. 各クラスタアプリケーションの 2. の合計値を算出する

4. hvw コマンドで設定を変更する

以下の手順で設定してください。

1. hvw コマンドで RMS Wizard を起動します。

2. "Main configuration menu" の "Application-Create" を選択します。

3. "Application selection menu" の "Controller" を選択します。

4. "Settings of application type" の "Controllers" を選択します。

- 206 -

5. "SELECTED" を選択します。

6. "Set *global* flags for all scalable (sub) applications" の "TIMEOUT(T)" を選択します。

7. "FREECHOICE" を選択し、設定値（2340 を入力した場合）を入力します。

8. "Set *global* flags for all scalable (sub) applications" の "SAVE+RETURN" を選択します。

- 207 -

9. "Settings of application type" の "SAVE+EXIT" を選択します。

参照

RMS Wizard および属性の変更の詳しい操作については、“10.3 クラスタアプリケーションの変更”または"PRIMECLUSTERRMS 導入運用手引書"を参照してください。

ハートビート異常発生時、運用系を優先的に停止したい

ハートビートで異常を検出した場合、運用系・待機系が相互に強制停止を行い全系ダウンにならないよう、強制停止を行うノードの生

存優先度の設定をしています。運用系を優先的に停止し、調査資料を採取するための手順を以下に説明します。

注意

・シャットダウン機構で設定する重み付けは、ノードに定義するものです。

フェイルオーバや切替え操作により、運用系と待機系が初期設定時とは反転している状態では、本設定変更しても有効になりま

せん。従来と同じように、待機系で一定の待ち時間経過後に強制停止させます。

クラスタの切替えが発生した場合には、必ず切戻しをしてください。

・システムのパニックやCPU 負荷、I/O 負荷が続いた場合、ハートビート異常とみえることがあります。このようなときは、生存優先度

にかかわらず、異常が発生しているクラスタノードが強制停止されます。

・生存優先度の低い待機系は運用系の強制停止処理が完了するまでの時間を待ちます。この待ち時間の間にハートビートが復旧

すると、ハートビート異常の原因を調査するために有効な資料が採取できない場合があります。

このような状態は、運用系で CPU 負荷や I/O 負荷が一時的に高くなった場合に発生することがあります。

設定手順

運用系： node1、待機系： node2 とした場合の設定例は以下のとおりです。

注意

手順 1.～4. の設定を運用系、待機系の両方で実施してください。

1. 待機系（node2）の SF の設定（/etc/opt/SMAW/SMAWsf/rcsd.cfg）を vi エディタなどで修正し、待機系のノードの重み付けを高

くします。node2 の weight 属性の値を、"1" から "2" に変更します。

node2# vi /etc/opt/SMAW/SMAWsf/rcsd.cfg

[変更前]

node1,weight=1,admIP=x.x.x.x:agent=SA_xx,timeout=20:agent=SA_yy:timeout=20


- 208 -

[変更後]



注意

－ rcsd.cfg ファイル内では 1 ノードの設定を 1 行で記述してください。

－ PRIMECLUSTER のバージョンにより、admIP の記述がない場合があります。

2. SF を sdtool -r コマンドで再起動します。

sdtool -r の実行には 5 秒程度かかります。この操作により、変更した SF の設定が SF に反映されます。

node2# sdtool -r

3. 変更した SF の設定が SF に反映されたことを sdtool -C コマンドで確認します。

node2 の weight 属性の値が "2" になっていることを確認してください。

node2# sdtool -C

Cluster Host Type Weight Admin IP Agent List (Agent:timeout)

------------ ----- ------ -------- --------------------------

node1 CORE 1 x.x.x.x SA_xx:20,SA_yy:20

node2 CORE 2 x.x.x.x SA_xx:20,SA_yy:20

注意

PRIMECLUSTER のバージョンにより、"Type" は表示されない場合があります。

4. SF に定義されているすべての SA が正しく動作していることを sdtool -s コマンドで確認します。"Test State" が "TestWorked"に、"Init State" が "InitWorked" になっていることを確認してください。

node2# sdtool -s


------------ ----- -------- ---------- ---------- ----------

node1 SA_xx Idle Unknown TestWorked InitWorked

node1 SA_yy Idle Unknown TestWorked InitWorked

node2 SA_xx Idle Unknown TestWorked InitWorked

node2 SA_yy Idle Unknown TestWorked InitWorked

注意

以下の手順 5.～8. の設定は、運用系または待機のどちらか一方だけで実施してください。

5. クラスタアプリケーション（userApplication）の ShutdownPriority 属性値を確認してください。hvutil -W で確認できます。

ShutdownPriority 属性値が "0" 以外の場合、手順 6.～8. を実施してください。

"0" の場合は、これで設定は完了です。

node1# hvutil -W

4

6. PRIMECLUSTER(RMS) を停止してください。

- 209 -

注意

PRIMECLUSTER(RMS) を停止させると業務も停止することに留意してください。

node1# hvshut -a

7. クラスタアプリケーション（userApplication）の ShutdownPriority 属性値を "0" に変更してください。まず、RMS Wizard を起動し

ます。

node1# /opt/SMAW/SMAWRrms/bin/hvw -n testconf

注意

testconf は環境に応じて変更してください。

詳細は、“11.1 userApplicationの運用属性の変更”を参照してください。

1. "Main configuration menu" の "Application-Edit" を選択します。

2. "Application selection menu" で構成変更を行うクラスタアプリケーション（userApplication）を選択します。

3. "turnkey wizard" で "Machines+Basics" を選択します。

4. "ShutdownPriority" を選択します。

5. "FREECHOICE" を選択し、0 を入力します。

6. "Machines+Basics" で "SAVE+EXIT" を選択します。

7. "turnkey wizard" で "SAVE+EXIT" を選択します。

8. "Application selection menu" で "RETURN" を選択します。

9. "Configuration-Generate" を選択します。

10. "Configuration-Activate" を選択します。

8. PRIMECLUSTER(RMS) を起動してください。

node1# hvcm -a

注意

クラスタの切替えが発生した場合には、必ず切戻しをしてください。

サブシステムハング時、運用系ノードを強制停止したい

運用ノード内の一部の I/O だけが異常になっているために、業務が停止しているが、その他の I/O は正常であるため、クラスタがその

事象を検知していない場合（クラスタ監視からは正常に見えている場合）を、サブシステムハングと呼びます。

この場合、待機ノードに切替えれば業務再開の見込みがあります。サブシステムハングの場合、ping では正常に見えたり、ノードへの

ログイン操作が可能なこともあります。

サブシステムハングを検出した場合は、以下の方法で運用ノードを停止し業務を切替えてください。

待機ノードにログインできる場合

sdtool コマンドを使用して待機ノードから運用ノードを停止させます。

# sdtool -k node-name

node-name : 運用ノードの CF ノード名

- 210 -

いずれのノードにもログインできない場合

[PRIMERGY の場合]

本体装置の NMI スイッチ、あるいはキー操作により運用ノードをパニックさせてください。

[PRIMEQUEST の場合]

Web-UI を使用して運用ノードのダンプを採取し、停止させてください。

注意

アプリケーションの判断で上記の強制停止を制御することも可能ですが、その場合には複数のクライアントから判断する必要がありま

す。すなわち、１つのクライアントから異常に見えても、実際にはクライアント内やネットワーク上に異常があるケースも考えられます。ア

プリケーションではこのようなケースも考慮して制御する必要があります。

SNMP マネージャによりクラスタシステムを監視したい

userApplication に登録されたリソースにて異常が発生した場合に、SNMPマネージャが動作するサーバへSNMP Trap を送信すること

でクラスタシステムを監視することができます。

参照

本機能の詳細については、“PRIMECLUSTER RMS 導入運用手引書”の“14.12 SNMPリソース異常通知”および“PRIMECLUSTER活用ガイド＜コマンドリファレンス編＞”の hvsnmptrapsend(8) を参照してください。

以下の手順で userApplication の FaultScript 属性に hvsnmptrapsend コマンドの設定を行ってください。

事前確認

OSが提供するnet-snmp-utils パッケージが本機能を使用するクラスタノード全てにインストールされていることを確認してください。

インストールされていない場合は、インストールしてください。

例

# rpm -q net-snmp-utils

net-snmp-utils-5.5-41.el6.i686

SNMP Trap 送信先において SNMPマネージャが SNMPのバージョン2c をサポートしていることを確認して下さい。また、SNMPマ

ネージャが受信可能なコミュニティ名も事前に確認してください。

設定手順

1. hvw コマンドで RMS Wizard を起動します。

2. リソース異常の監視を行う userApplication の“Machines+Basics”メニュー画面で“FaultScript”を選択します。

Machines+Basics (app1:consistent)

1) HELP

2) -

3) SAVE+EXIT

4) REMOVE+EXIT

5) AdditionalMachine

6) AdditionalConsole

7) Machines[0]=fuji2RMS


9) (PreCheckScript=)

10) (PreOnlineScript=)

11) (PostOnlineScript=)

12) (PreOfflineScript=)

13) (OfflineDoneScript=)

- 211 -

14) (FaultScript=)

15) (AutoStartUp=no)

16) (AutoSwitchOver=HostFailure|ResourceFailure|ShutDown)

17) (PreserveState=no)

18) (PersistentFault=0)

19) (ShutdownPriority=)

20) (OnlinePriority=)

21) (StandbyTransitions=ClearFaultRequest|StartUp|SwitchRequest)

22) (LicenseToKill=no)

23) (AutoBreak=yes)

24) (AutoBreakMaintMode=no)

25) (HaltFlag=yes)

26) (PartialCluster=0)

27) (ScriptTimeout=)


参照

RMS Wizard で userApplication の設定を行う手順については、“6.7.2.1 スタンバイ運用のクラスタアプリケーション作成”お

よび“10.3 クラスタアプリケーションの変更”を参照してください。

3. FREECHOICE を選択し、以下のコマンドを設定します。

/opt/SMAW/bin/hvsnmptrapsend <community> <host>

<community> SNMPコミュニティ名を指定します。

<host> SNMP trapの送信先を指定します。

1) HELP

2) RETURN

3) NONE

4) FREECHOICE

Enter the command line to start upon fault processing: 4

>> /opt/SMAW/bin/hvsnmptrapsend community snmprvhost

注意

Faultスクリプトをすでに登録している場合は、既存の Fault スクリプトのコマンドと hvsnmptrapsend コマンドの両方のコマンド

を実行するためのスクリプトを新たに作成し、そのスクリプトを Fault スクリプトに登録してください。

4. “Machines+Basics”メニュー画面で、“FaultScript”の設定を確認します。


1) HELP

2) -

3) SAVE+EXIT

4) REMOVE+EXIT










14) (FaultScript='/opt/SMAW/bin/hvsnmptrapsend~community~snmprvhost')

15) (AutoStartUp=no)



- 212 -

6.11 Cmdline リソース設定時の注意点

ISV アプリケーションや利用者アプリケーションを userApplication の状態に連動して起動／停止したり、逆にアプリケーションの停止

に連動して userApplication を状態遷移させたりする場合には、利用者がスクリプトを作成する必要があります。

作成したスクリプトは、Cmdline リソースに設定し、そのリソースを userApplication に設定します。

ここでは、スクリプトの例と、スクリプト作成時の注意事項を説明します。

Cmdline に設定できるスクリプトの種類は以下の 3 種類です。

・ Start スクリプト

userApplication が Online または Standby に状態遷移する場合に起動されます。

利用者プログラムを起動するためのスクリプトです。

・ Stop スクリプト

userApplication が Offline に状態遷移する場合に起動されます。

利用者プログラムを停止するためのスクリプトです。

・ Check スクリプト

Start/Stop スクリプトにより起動/停止されるリソース（利用者プログラム）の状態を監視するために使用します。RMS 起動後、定周

期 (*) に起動されます。Check スクリプトは、利用者プログラムの状態を報告するためのスクリプトです。

(*) Check スクリプト処理時間（Check スクリプト起動から復帰までの時間）が約 0.25 秒以内の場合は、約 10 秒間隔で起動されま

す。Check スクリプト処理時間が約 0.25 秒を超える場合は、大約 20 秒間隔で起動されます。

なお、Start スクリプト、Stop スクリプトはそれぞれ、Online スクリプト、Offline スクリプトと呼ぶこともあります。

Cmdline リソースに設定できる属性を、以下の表に示します。

表6.2 Cmdlineリソースの属性

属性概要

NULLDETECTOR "Yes" に設定すると、Check スクリプトが無効になります。リソースの状態は

userApplication の Online/Offline 処理に連動して実行される Cmdlineリソー

スの Online/Offline スクリプトの結果によってのみ判断され、リソースの状態

監視は行われません。

また、他のFlagの値はすべて "No" に設定されます。

Check スクリプトの設定とデフォルト値の関係を以下に示します。

・ Check スクリプト設定あり

デフォルト値は "No" です。

・ Check スクリプト設定なし

デフォルト値は "Yes" です。

ALLEXITCODES "No" に設定すると、Check スクリプトの終了コードは以下のように解釈され

ます。

0 ： Online0 以外： Offline

"Yes" に設定すると、Check スクリプトの終了コードの値により、以下のよう

に解釈されます。

0 ： online1 ： offline2 ： faulted3 ： unknown4 ： standby5 ： onlinewarning6 ： offlinefaulted


- 214 -

属性概要

※ 3, 5, 6 および上記以外の値は、特殊な状態を示すものであり、スクリプト

内の復帰値として使用しないでください。

PRIMECLUSTER 対応製品の指示がある場合に限り使用してください。

LIEOFFLINE "Yes" に設定、かつ、Stop スクリプトが指定されていない場合、リソースの

Offline 処理は成功したものとして処理されます。ただし、リソースの状態

は、現在の状態が表示されます。

Stop スクリプトが指定されている場合、Stop スクリプトの失敗は fault 処理の

きっかけになります。


CLUSTEREXCLUSIVE "Yes" に設定した場合には、クラスタ内で 1 度に 1つのノード上だけでリソー

スが Online でなければなりません。Check スクリプトの問題などにより 2つ

以上のノードで同時に Online 状態であることを検出すると、このリソースが

属する userApplication の状態は Inconsistent となります。


"Yes" を設定することを推奨します。

AUTORECOVER "Yes" に設定すると、リソースが故障した場合、userApplication をフェイル

オーバさせる前に同じノード上で再起動を試みます。この試みは 1 度だけ

行われます。


MONITORONLY リソースが faulted となった場合に userApplication を faulted にするかどうか

を制御します。"Yes" に設定すると、リソースが faulted になった場合でも、

それをトリガに userApplication は faulted にはなりません。

GUI から作成できる Cmdline では、この値を "Yes" に設定することが許さ

れていません。この値を "Yes" に設定すると RMS が起動しなくなるため、

本属性は、"No" のまま使用してください。


STANDBYCAPABLE "Yes" に設定すると、RMS はこのリソースのために StandbyCapable 属性

を "1" に設定します。

属性に関する詳しい情報については、"PRIMECLUSTER RMS 導入運用

手引書"の"12 付録 - 属性"を参照してください。


REALTIME "No" に設定すると、Check スクリプトが TS クラスで開始されます。

"Yes" に設定すると、Check スクリプトは、RT クラスで開始されます。

RT クラスで開始されたプロセスは、OS で高の優先度が割り当てられる

ため、スクリプトやコマンドのバグが、システムの性能に大きな影響を与える

かもしれないことに注意してください。


TIMEOUT プログラムの開始と停止のためのタイムアウト時間（秒）を設定します。

デフォルト値は "300" です。

注意

PRIMECLUSTER 対応製品の指示がない場合は、Cmdline リソースの ReturnCodes を変更しないでください。

6.11.1 スクリプトと状態遷移

RMS 起動時には、AutoStartup 属性の設定にかかわらず必ず Check スクリプトが実行されます。

また、状態遷移時には Stop スクリプト、および Start スクリプトが呼出されます。

- 215 -

各スクリプトでは HV_LAST_DET_REPORT や HV_INTENDED_STATE を参照して、Online 処理を行うべきか、Offline 処理を行う

べきか適切な判断を行う必要があります。

各スクリプト実行時に設定される HV_LAST_DET_REPORT および HV_INTENDED_STATE の値は下表のとおりです。

表6.3 Cmdline リソースがホットスタンバイ運用以外の場合

状態遷移

実行スクリプト

環境変数の値

分類Cmdline リソースの

状態

HV_LAST_DET_REPORT*1

HV_INTENDED_STATE

RMS 起動時運用系 Offline⇒Online Start スクリプト Offline Online

待機系 Offline⇒Offline - - -

RMS 停止時運用系 Online⇒Offline Stop スクリプト Online Offline

待機系 Offline⇒Offline Stop スクリプト *2 Offline Offline

切替え時

（オペレーショ

ン）

運用系 Online⇒Offline Stop スクリプト Online Offline

待機系 Offline⇒Online Start スクリプト Offline Online

切替え時

（リソース故障）

運用系Online⇒Faulted - - -

Faulted⇒Offline Stop スクリプト Offline Offline

待機系 Offline⇒Online Start スクリプト Offline Online

切捨て時

（待機系のリ

ソース故障） *3

運用系 Online - - -

待機系 Offline⇒Offline Stop スクリプト *2 Offline Offline

保守モード終

了時

運用系 Online⇒Online Start スクリプト *4 Online Online

待機系 Offline⇒Offline - - -

*1：HV_LAST_DET_REPORT の値は "実行スクリプト" 実行直前のリソースの状態です。

*2：このスクリプトは、以下の条件に合致する場合のみ実行されます。

・リソースの NULLDETECTOR 属性が "Yes" の場合、かつ、

・ userApplication が Offline 状態以外で、Offline 処理が実行される場合

*3：同一の userApplication 配下に存在するホットスタンバイ運用のリソースが故障する場合です。

*4：このスクリプトは、リソースの NULLDETECTOR 属性が "Yes" の場合のみ実行されます。

表6.4 Cmdline リソースがホットスタンバイ運用の場合

状態遷移


環境変数の値


状態


HV_INTENDED_STATE

RMS 起動時

運用系 Offline⇒Online Start スクリプト Offline Online

待機系Offline⇒Standby*2

Start スクリプト Offline Standby

RMS 停止時運用系 Online⇒Offline Stop スクリプト Online Offline

待機系 Standby⇒Offline Stop スクリプト Standby Offline

切替え時

（オペレーショ

ン）

運用系 Online⇒Offline Stop スクリプト Online Offline

待機系 Standby⇒Online Start スクリプト Standby Online

- 216 -

状態遷移


環境変数の値


状態


HV_INTENDED_STATE

切替え時

（運用系のリ

ソース故障）

運用系Online⇒Faulted - - -

Faulted⇒Offline Stop スクリプト Offline または Faulted *3 Offline

待機系 Standby⇒Online Start スクリプト Standby Online

切捨て時

（待機系のリ

ソース故障）

運用系 Online - - -

待機系Standby⇒Faulted - - -

Faulted⇒Offline Stop スクリプト Offline または Faulted *3 Offline

保守モード終

了時

運用系 Online⇒Online - - -

待機系 Standby⇒Standby - - -

*1：HV_LAST_DET_REPORT の値は "実行スクリプト" 実行直前のリソースの状態です。

*2：StandbyTransitions 属性が "Startup" の場合

*3：故障検出時に Check スクリプトが 1（Offline）で復帰する場合、HV_LAST_DET_REPORT の値は "Offline" となります。故障検出

時に Check スクリプトが 2（Faulted）で復帰する場合、HV_LAST_DET_REPORT の値は "Faulted" となります。

参照

スクリプト内で参照できる環境変数については、"6.11.2.1.2 Start/Stop スクリプト内で参照できる環境変数"を参照してください。

6.11.1.1 リソース状態ごとの実行スクリプト

Cmdline リソースの各状態移行時に実行されるスクリプトは下図のとおりです。

状態遷移ごとの各スクリプトの実行順番については、"6.11.1.5 動作フロー" を参照してください。

図6.1 状態移行時の実行スクリプト

- 217 -

6.11.1.2 Online 時のスクリプトと状態

Cmdline リソースが Online となる場合には、Start スクリプトが 1 度だけ実行されます。

Check スクリプトは、10 秒間隔で実行されていますが、Start スクリプトが終了した直後にも実行されます。

詳細については "6.11.1.5 動作フロー" を参照してください。

Start スクリプトと Check スクリプトの終了コードごとに移行する状態は以下のとおりです。

終了コードの詳細については "6.11.2.2.3 Check スクリプトの終了コードについて" を参照してください。

図6.2 Online 時のスクリプトと状態

(*)タイムアウトについては"6.11.2.1.5 スクリプトのタイムアウトについて"を参照してください。

6.11.1.3 Standby 時のスクリプトと状態

ホットスタンバイ運用の Cmdline リソースのみ Standby となります。

Cmdline リソースが Standby となる場合には、Start スクリプトが 1 度だけ実行されます。

Check スクリプトは、10 秒間隔で実行されていますが、Start スクリプトが終了した直後にも実行されます。


Start スクリプトと Check スクリプトの終了コードごとに移行する状態は以下のとおりです。


- 218 -

図6.3 Standby 時のスクリプトと状態


6.11.1.4 Offline 時のスクリプトと状態

Cmdline リソースが Offline となる場合には、Stop スクリプトが 1度だけ実行されます。

Check スクリプトは、10 秒間隔で実行されていますが、Stop スクリプトが終了した直後にも実行されます。


Stop スクリプトと Check スクリプトの終了コードごとに移行する状態は以下のとおりです。


- 219 -

図6.4 Offline 時のスクリプトと状態


(**)ALLEXITCODESを設定した場合です。詳しくは、表3.1 のALLEXITCODES 属性を参照してください。

6.11.1.5 動作フロー

Cmdline リソースの動作を以下の分類で説明します。

・ RMS 起動時

・ RMS 停止時

・切替え時

以降の各図には例として、Cmdline リソースに加え GLS リソースを記載しています。

・ RMS 起動時運用系 (Offline=>Online)

－ Cmdline リソースの動作

RMS 起動後、Check スクリプトが一定間隔（約 10 秒）ごとに実行されます。その後、Start スクリプトが実行され、Start スクリプト

復帰後、一定間隔経過を待たずに Check スクリプトが実行されます。Start スクリプトが正常復帰し、Check スクリプトが Onlineで復帰した後、該当する Cmdline リソースは Online となります。

注意

Check スクリプトは Start スクリプトよりも前に動作します。Start スクリプト実行前に、Check スクリプトが Online で復帰した場合、

Start スクリプトは実行しません。

- 220 -

－ Gls リソースの動作

RMS を起動後に、リソースを Online にするタイミングで、GLS は、仮想 IP アドレスを活性化させます。また、活性化した IP アドレスの所在を通信相手に知らせるために、ダウン通知を送信します。

・ RMS 起動時待機系 (Offline=>Offline)


RMS 起動後、Check スクリプトが一定間隔（約 10 秒）ごとに実行されます。


何もしません。

・ RMS 起動時待機系 (Offline=>Standby)


RMS 起動後、Check スクリプトが一定間隔（約 10 秒）ごとに実行されます。その後、Start スクリプトが実行され、Start スクリプト

復帰後、一定間隔経過を待たずに Check スクリプトが実行されます。Start スクリプトが正常復帰し、Check スクリプトが Standbyで復帰した後、該当する Cmdline リソースは Standby となります。

注意

Check スクリプトは Start スクリプトよりも前に動作します。Start スクリプト実行前に、Check スクリプトが Standby で復帰した場

合、Start スクリプトは実行しません。

- 221 -


Standby 状態では、GLS は仮想 IP アドレスを活性化しない状態で、ホスト監視機能（ping 監視）により、伝送路の監視を行い

ます。

・ RMS 停止時運用系 (Online=>Offline)


Stop スクリプトが実行されます。その後、一定間隔経過を待たずに Check スクリプトが実行されます。Stop スクリプトが正常復

帰し、Check スクリプトが Offline で復帰した後、該当する Cmdline リソースは Offline となります。


Online 状態の時に活性化した仮想 IP アドレスを非活性化します。また、 GLS のユーザコマンド実行機能

（RESOURCE_OFFLINE）が設定してある場合、スクリプトを実行します。

・ RMS 停止時待機系 (Offline=>Offline)


すでに Cmdline リソースは Offline のため、Stop スクリプトは実行されません。


何もしません。

- 222 -

・ RMS 停止時待機系 (Standby=>Offline)


Stop スクリプトが実行されます。その後、一定間隔経過を待たずに Check スクリプトが実行されます。

Stop スクリプトが正常復帰し、Check スクリプトが Offline で復帰した後、該当する Cmdline リソースは Offline となります。


Standby 状態で動作している通信相手ホスト監視（ping 監視）を停止させます。

・切替え時運用系 (Online=>Offline)


Stop スクリプトが実行されます。その後、一定間隔経過を待たずに Check スクリプトが実行されます。

Stop スクリプトが正常復帰し、Check スクリプトが Offline で復帰した後、該当する Cmdline リソースは Offline となります。


Online 状態の時に活性化した仮想 IP アドレスを非活性化します。また、 GLS のユーザコマンド実行機能

（RESOURCE_OFFLINE）が設定してある場合、スクリプトを実行します。

・切替え時待機系 (Offline=>Online)


Start スクリプトが実行されます。その後、一定間隔経過を待たずに Check スクリプトが実行されます。

Start スクリプトが正常復帰し、Check スクリプトが Online で復帰した後、該当する Cmdline リソースは Online となります。

- 223 -


リソースを Online にするタイミングで、GLS は、仮想 IP アドレスを活性化させます。また、活性化した IP アドレスの所在を通信

相手に知らせるために、ダウン通知を送信します。

・切替え時待機系 (Standby=>Online)


Start スクリプトが実行されます。その後、一定間隔経過を待たずに Check スクリプトが実行されます。

Start スクリプトが正常復帰し、Check スクリプトが Online で復帰した後、該当する Cmdline リソースは Online となります。


リソースを Online にするタイミングで、GLS は、仮想 IP アドレスを活性化させます。また、活性化した IP アドレスの所在を通信

相手に知らせるために、ダウン通知を送信します。

6.11.1.6 Check スクリプトの終了コードごとの動作

Check スクリプトの終了コードごとの動作は、以下の "起動から停止までの段階 (1)～(7)" に分類して説明します。

(1) RMS が起動してから、Cmdline リソースの起動が始まるまでの段階。

(2) Cmdline リソースの起動（Start スクリプトの実行）を行っている段階。

(3) Cmdline リソースの起動後の状態チェック（Check スクリプトの実行）を行っている段階。

(4) Cmdline リソースが稼動している段階。

(5) Cmdline リソースの停止（Stop スクリプトの実行）を行っている段階。

(6) Cmdline リソースの停止後の状態チェック（Check スクリプトの実行）を行っている段階。

(7) Cmdline リソースの停止が完了してから、RMS が停止完了するまでの段階。

・ホットスタンバイ運用以外の Cmdline リソースの待機系において、RMS 起動時は Start スクリプトが実行されないため、上記の(2)と(3)の段階はありません。

- 224 -

・ホットスタンバイ運用以外の Cmdline リソースの待機系において、RMS 停止時は Stop スクリプトが実行されないため、上記の(5)と(6)の段階はありません。

・ホットスタンバイ運用の Cmdline リソースの場合

- 225 -

・ホットスタンバイ運用以外の Cmdline リソースの場合

6.11.2 スクリプト作成時の注意事項

スクリプト作成時の注意事項について説明します。

6.11.2.1 start/stop スクリプト

6.11.2.1.1 start/stopスクリプトの例

ホットスタンバイ運用以外の Start スクリプト、Stop スクリプトの例を以下に示します。

下記のスクリプト $FULL_PATH/script.sample は、以下の動作と設定を想定した例です。

[設定]

・ Start スクリプト $FULL_PATH/Script.sample -c

- 226 -

・ Stop スクリプト $FULL_PATH/Script.sample -u

[属性]

・ STANDBYCAPABLE: No

・ AUTORECOVER: No

・ CLUSTEREXCLUSIVE: Yes

・ NULLDETECTOR: No

・ MONITORONLY: No

[動作]

表6.3 Cmdline リソースがホットスタンバイ運用以外の場合にしたがい、待機系/運用系での動作を共通とした場合の例です。Startスクリプトと記載してある箇所は待機系と運用系で同じ処理が実行されます。同様に、Stop スクリプトと記載してある場所も同じ処理

が実行されます。

上記以外の動作を想定する場合は、環境変数/属性を参照の上、適宜変更してください。

図6.5 ホットスタンバイ運用以外の Start スクリプト /Stop スクリプト

また、以下のサンプル $FULL_PATH/Script は、ホットスタンバイ運用に対応した下記の動作と設定を想定した例です。

[設定]

・ Start スクリプト $FULL_PATH/Script.sample -c

・ Stop スクリプト $FULL_PATH/Script.sample -u

[属性]

・ STANDBYCAPABLE: Yes

・ AUTORECOVER: No

・ CLUSTEREXCLUSIVE: Yes

・ ALLEXITCODES: Yes

- 227 -

・ NULLDETECTOR: No

・ MONITORONLY: No

[動作]

表6.4 Cmdline リソースがホットスタンバイ運用の場合にしたがい、Start スクリプトは、Offline 状態から Standby 状態への遷移と

Offline 状態から Online 状態への遷移を区別する場合の例です。

また、Stop スクリプトは、Standby 状態から Offline 状態への遷移と、Online 状態から Offline 状態への遷移を区別する例です。

上記以外の動作を想定する場合は、環境変数/属性を参照の上、適宜変更してください。

図6.6 ホットスタンバイ運用の Start スクリプト /Stop スクリプト

6.11.2.1.2 Start/Stop スクリプト内で参照できる環境変数

Start スクリプトおよび Stop スクリプト実行時には、次の環境変数が設定されます。スクリプト内でこれらの環境変数を参照することができます。

設定される環境変数を以下に示します。

表6.5 Start/Stop スクリプト内で参照できる環境変数

環境変数概要

HV_APPLICATION リソースが属している userApplication 名が設定されます。

- 228 -

環境変数概要

例) app1

HV_AUTORECOVER スクリプトが AutoRecover 機能によって呼び出されたかどうかを示す値が設定されま

す。

0: AutoRecover 機能によらない Online 処理でスクリプトが実行された場合

1: AutoRecover 機能によりスクリプトが実行された場合

HV_FORCED_REQUEST オペレータ操作による強制フェイルオーバであるか否かを示す値が設定されます。

0: 強制フェイルオーバではない

1: 強制フェイルオーバである

HV_NODENAME リソース名が設定されます。

例) Cmdline0

HV_OFFLINE_REASON リソースが Offline 状態になる理由が設定されます。

SWITCH：userApplication の切替え要求（hvswitch）で Offline になった

STOP：userApplication の停止要求（hvutil -f）で Offline になった

FAULT：リソース故障で Offline になった

DEACT：userApplication の非活性要求（hvutil -d）で Offline になった

SHUT：RMS の停止要求（hvshut）で Offline になった

HV_SCRIPT_TYPE 実行されたスクリプトの種類が設定されます。

Online: Start スクリプト

Offline: Stop スクリプト

HV_LAST_DET_REPORT Start/Stop スクリプト実行直前のリソースの状態が設定されます。

Online : Online 状態

Offline : Offline 状態

Standby : Standby 状態

Faulted : Faulted 状態

HV_INTENDED_STATE 状態遷移完了後に予期されるリソースの状態が設定されます。

Online : Online 状態

Offline : Offline 状態

Standby : Standby 状態

Faulted : Faulted 状態

Warning : Warning 状態

NODE_SCRIPTS_TIME_OUT

スクリプトのタイムアウト時間（秒）が設定されます。

例) 300

RMS にはその他にも環境変数が存在します。

参照

RMS の環境変数の詳細については、“PRIMECLUSTER RMS 導入運用手引書”の“13 付録 - 環境変数”を参照してください。

6.11.2.1.3 Start/Stop スクリプトの終了コードについて

Start/Stop スクリプトの終了コードにより、userApplication の状態遷移の動作が変わります。以下に終了コードと状態遷移の動作を示し

ます。

0 : スクリプトを正常終了させる場合です。

設定された Cmdline リソースの状態遷移が正常に処理されたとみなされて、userApplication の状態遷移処理が継続されます。

userApplication に設定されたすべてのリソースが正常に処理されると userApplication の状態遷移が正常動作したことになります。

- 229 -

0 以外 :スクリプトを異常終了させる場合です。

設定された Cmdline リソースの状態遷移に異常が発生したとみなされて、userApplication の状態遷移処理が中断します。

6.11.2.1.4 NULLDETECTOR フラグを設定した場合の注意事項

RMS は NULLDETECTOR フラグを設定した Cmdline リソースの状態を監視しないため、リソースが起動していても Online スクリプト

を実行したり、リソースが停止していても Offline スクリプトを実行する場合があります。

このような場合でも Online/Offline 処理がエラー終了しないよう、NULLDETECTOR フラグを設定した Cmdline リソースの Online スク

リプトおよび Offline スクリプトには、必ず以下の処理を組み込んでください。

・ Online スクリプト

対象プログラムを起動する前に、すでに対象プログラムが動作中でないかを Onlineスクリプト内でチェックします。すでに対象プロ

グラムが動作中の場合は、直ちにOnline スクリプトを正常終了させます。

・ Offline スクリプト

対象プログラムを停止する前に、すでに対象プログラムが停止済でないかを Offlineスクリプト内でチェックします。すでに対象プロ

グラムが停止済の場合は、直ちにOffline スクリプトを正常終了させます。

6.11.2.1.5 スクリプトのタイムアウトについて

指定された時間内に Start スクリプトまたは Stop スクリプトの処理が完了しない場合はタイムアウトとなり、スクリプトの処理はシグナル

SIGTERM により中断され、状態遷移がエラーとなります。

タイムアウト値は Cmdline リソースの TIMEOUT 属性で指定可能です。デフォルトでは 300 秒に設定されています。

Cmdline リソース作成時に、各スクリプトの処理にかかる大時間を見積もり、その時間に余裕を持たせた値を設定してください。また、

Cmdline リソース使用時にタイムアウトが発生した場合（タイムアウトが発生すると (DET, 5)、(DET, 6) 、(DET, 24)のいずれかのメッセー

ジが出力されます）には、使用する OS ごとに以下のような手順でタイムアウト値を適切な値に変更してください。

RMS Wizard のメインメニューから "Application-Edit" を選択し、Cmdline リソースの Flag の内容を変更してください。

詳しい説明については、“10.3 クラスタアプリケーションの変更”を参照してください。

注意

各スクリプトの処理時間は利用者設定属性の ScriptTimeout 値より短くなければなりません。

スクリプトの処理時間が ScriptTimeout 値を超えると、PRIMECLUSTER はリソース異常と判断し、起動処理・停止処理を中断します。

6.11.2.2 Check スクリプト

6.11.2.2.1 Check スクリプトの例

以下にホットスタンバイ運用以外の Check スクリプトの例を示します。

なお、下記の例は“6.11.2.1.1 start/stopスクリプトの例”で記載している設定であることを前提にしています。

- 230 -

図6.7 ホットスタンバイ運用以外の Check スクリプト

また、Cmdline リソースでホットスタンバイ運用を行う場合には、start/stop スクリプトと同様に Check スクリプトをホットスタンバイ運用に対

応した記述にします。

以下にホットスタンバイ運用に対応した Check スクリプトの例を示します。

なお、下記の例は“6.11.2.1.1 start/stopスクリプトの例”で記載している設定であることを前提にしています。

図6.8 ホットスタンバイ運用の Check スクリプト

- 231 -

6.11.2.2.2 Check スクリプト内で参照できる環境変数

Check スクリプト実行時には、次の環境変数が設定されます。スクリプト内でこれらの環境変数を参照することができます。

● HV_APPLICATION

● HV_NODENAME

参照

これらの環境変数の概要については、“表6.5 Start/Stop スクリプト内で参照できる環境変数”を参照してください。

また、RMS の環境変数の詳細については、“PRIMECLUSTER RMS 導入運用手引書”の“13 付録 - 環境変数”を参照してください。

6.11.2.2.3 Check スクリプトの終了コードについて

Check スクリプトの終了コードは、ホットスタンバイ運用の場合とホットスタンバイ運用を行わない場合により異なります。

ホットスタンバイ運用を行わない場合

以下のいずれかの終了コードを使用してください。

表6.6 ホットスタンバイ運用以外の終了コード

終了コード意味

0 Online 状態を示します。監視対象が起動している場合に本終了コードを使

用します。

0 以外 Offline 状態を示します。監視対象が停止している場合に本終了コードを使

用します。Online 状態となった以降、Offline で終了した場合、切替えが発

生します。

ホットスタンバイ運用を行う場合

以下のいずれかの終了コードを使用してください。

表6.7 ホットスタンバイ運用の終了コード

終了コード意味

0 Online 状態を示します。監視対象が起動している場合に本終了コードを使

用します。

1 Offline 状態を示します。監視対象が停止している場合に本終了コードを使

用します。Online 状態となった以降、Offline で終了した場合、切替えが発

生します。

2 Faulted 状態を示します。監視対象が故障している場合に本終了コードを使

用します。Online 状態となった以降、Faulted で終了した場合、切替えが発

生します。

4 Standby 状態を示します。監視対象が待機として起動している場合に本終

了コードを使用します。

6.11.2.2.4 Checkスクリプトのタイムアウトについて

指定した時間内にCheckスクリプトの処理が完了しないときに、リソース異常によるクラスタアプリケーションの切替えを発生させたい場

合は、CmdlineリソースのCheckCommandTimeouts属性を設定します。Checkスクリプトの処理が完了しない場合にリソース異常と判断

する時間を秒で指定します。デフォルトではnone（リソース異常は発生しない）に設定されています。

6.11.3 スクリプトの留意事項について

・各スクリプトの実行権限は、ユーザが root、グループが root です。

・ Startスクリプト、Stopスクリプト、およびCheckスクリプトでは、サーバ毎の設定 (”/etc/profile” や “/etc/bashrc”等)である環境変数の

値が受継がれることを保証していません。このため、これらのスクリプトで使用する環境変数は各スクリプトの中で定義してください。

- 232 -

・ Check スクリプトは RMS 起動後、定周期（10 秒間隔）に呼出され、Start/Stop スクリプトとは同期しません。

このため、Check スクリプトが起動された時点では、Start スクリプト処理が完了していない場合や、Stop スクリプトが処理中の場合

があります。

Start スクリプト完了前に Check スクリプトが起動された場合、終了コード Offline 状態を返すようにスクリプトを作成してください。

・ userApplication に複数の Cmdline を登録した場合、userApplication 起動時には Cmdline を登録した順に、停止時には登録した

逆順に処理が行われます。以下に例を示します。

初に登録したリソースを Command[0]、次に登録したリソースを Commnad[1] とします。

これらのリソースは次の順番で起動、停止が行われます。

起動時

StartCommands[0]

↓

StartCommands[1]

停止時

StopCommands[1]

↓

StopCommands[0]

・各スクリプトを登録する場合、スクリプトの動作確認は必ず実施してください。

作成したスクリプトが正しく動作しない場合、userApplication の起動に失敗したり、切替えに失敗することがあります。

・ Cmdline リソースは作成者が管理するものです。このため、動作異常についても作成者の責任で調査・修正・動作確認を行う必要

があります。

動作異常時の調査を速やかに実施するために、ログを出力するなどの対応を行ってください。

・ Stop スクリプトは、リソース故障発生時にも実行されます。

・ Cmdline リソースは、標準出力/標準エラー出力が、以下のログに格納されるよう、Start/Stop スクリプトを起動します。

/var/opt/SMAWRrms/log/" ユーザアプリケーション名".log

"ユーザアプリケーション名" は Cmdline リソースを登録したユーザアプリケーション名です。Start/Stop スクリプトが正常に動作しな

い場合、本ファイル内のメッセージ出力から原因を調査できます。

・ Cmdline リソースに登録した Start スクリプトから常駐プロセスを起動すると、常駐プロセスにはStart スクリプトのファイルディスクリプ

タが引き継がれます。そのため、常駐プロセスから標準出力や標準エラー出力にメッセージを出力する場合、そのメッセージは

"ユーザアプリケーション名".log ファイルに格納されます。しかし、このファイルは、リソースの Start/Stop スクリプトが出力するメッ

セージを取得することを目的としており、常駐プロセスが常に出力するメッセージを取得することを想定していません。常駐プロセ

スが常にメッセージを出力し続けると、"ユーザアプリケーション名".log ファイルがディスク領域を圧迫する可能性があります。

このような常駐プロセスを持つ業務アプリケーションを Cmdline リソースから起動する場合は、以下のいずれかの対処を行ってくだ

さい。

－常駐プロセスが標準出力/標準エラー出力へメッセージを出力しないよう、業務アプリケーションの設定を変更する。

－常駐プロセスの起動直後に、Start スクリプトから引き継いだ標準出力/標準エラー出力のファイルディスクリプタを CLOSE する

よう、常駐プロセスの処理を修正する。

ポイント

常駐プロセスは、標準出力/標準エラー出力以外のファイルディスクリプタも Start スクリプトから引き継いで起動されますが、そ

れらのファイルディスクリプタはすべて CLOSE して問題ありません。

－ Start スクリプト内で、常駐プロセスが出力するメッセージを /dev/null または別のファイルへリダイレクトする。

例

Start コマンド StartCommand.sh で常駐プロセスが起動される場合、Start コマンドを以下のように登録します。

- 233 -

- 出力されるメッセージが運用上不要な場合（メッセージを /dev/null へ破棄する）

/usr/local/bin/StartCommand.sh > /dev/null 2>&1

- 出力されるメッセージが運用上必要であり、ログファイル /var/tmp/logfile に出力する場合

/usr/local/bin/StartCommand.sh > /var/tmp/logfile 2>&1

注意

常駐プロセスが出力するメッセージを別のログファイルへリダイレクトする場合、ログファイルによりディスク領域が圧迫されるこ

とを避けるため、ログファイルを定期的に削除する必要があります。常駐プロセス動作中にログファイルを削除することはできな

いため、以下のように /dev/null をログファイルへコピーすることで、ログファイルのサイズを 0 にします。

cp /dev/null /var/tmp/logfile

cron から定期的にログファイルのサイズを 0 にすることで、ログファイルによるディスク領域の圧迫を避けた運用が可能です。

6.12 Fsystem リソース設定時の注意点

Fsystem リソースは、ファイルシステムを userApplication の起動に合わせてマウントする場合に使用します。

親子関係にある複数のマウントポイントを制御させたい場合は、1つの Fsystem リソースとして作成してください。

Fsystem リソースは下記の処理を行います。

・ファイルシステムのマウント／アンマウント

・アクセス異常（ケーブル抜けなど）のチェック

6.12.1 Fsystem の監視

Fsystem リソースの留意点を説明する前に、Fsystem のディテクタについて説明します。

Fsystem のディテクタには以下があります。

・ファイルシステムのマウント状態監視 (hvdet_gmount)

ファイルシステムのマウント状態とアクセス異常を監視するディテクタです。

10 秒の監視間隔で以下のような処理を実行し、ファイルシステムを監視します。

－ファイルシステムのマウント状態が /etc/fstab.pcl の定義に合わせマウントされていること。

－マウント中はファイルシステムへの I/O が正常に行われること。

6.12.2 Fsystem リソースの属性

Fsystem リソースの属性（Flag）について説明します。

・ AUTORECOVER

"Yes" に設定すると、hvdet_gmount は故障を検出した場合に再マウントなどによる復旧を試みます。この試みが失敗すると、Fault処理が実行されます。


注意

AUTORECOVER は "No" にすることを推奨します。

"Yes" に設定した場合、オペレータの誤ったアンマウント操作に対する対策としては有効です。しかし、I/O 異常で Fsystem がタイ

ムアウトした場合などでも、再度 I/O を試みるため、切替え時間が長くなります。

- 234 -

hvdet_gmount は、異常を検出すると以下のように、HV_GMOUNTMAXLOOP 属性で指定された回数、復旧処理を繰り返し、そ

れでも復旧しない場合、HV_GMOUNTMAXRETRY 属性で指定された回数だけ復旧処理を繰り返します。

HV_GMOUNTMAXLOOP, HVGMOUNTMAXRETRY のデフォルトはそれぞれ 4 回、7 回です。HV_GMOUNTMAXLOOP の復旧処理は 0.5 秒間隔で実行され、HV_GMOUNTMAXRETRY の復旧処理は 10 秒間隔で実行されます。このため、復旧不可

能なディスク異常やパス異常が発生した場合、約 84 秒リトライ処理を行った後で切替えが行われます。

注意

HV_GMOUNTMAXLOOPとHV_GMOUNTMAXRETRYはRMS の環境変数です。これらの値を変更する場合は、hvenv.localに "export HV_GMOUNTMAXLOOP=値" と "export HV_GMOUNTMAXRETRY=値" を設定してください。

6.12.3 共用ディスク装置のファイルシステム

共用ディスク装置で使用するファイルシステムの種類に応じて、以下の設定・対処を実施してください。

参照

共用ディスク装置のファイルシステムとして使用可能なファイルシステム種別は、OS によって異なります。ファイルシステムの詳細、お

よび使用上の注意については、各 OS の“Linux ユーザーズマニュアル”をご参照ください。

6.12.3.1 強制ファイルシステムチェックへの対処

ファイルシステムにext3 または ext4 を使用している場合、切替えファイルシステムのオンライン処理時に強制的なファイルシステムチェッ

クが実行されることがあります。この強制的なファイルシステムチェックの実行は ext3 および ext4 の仕様であり、前回のファイルシステ

ムチェックから一定回数のマウントが実行された、あるいは一定期間経過したことを契機に実行されるものです。

両ノード起動時や切替え時などに強制的なファイルシステムチェックが実行されると、ファイルシステムのオンライン処理でタイムアウト

が発生し、PRIMECLUSTER の起動や切替えに失敗することがあります。

このような状況を回避するため、すべての ext3, ext4 切替えファイルシステムに対して次のコマンドを実行し、強制ファイルシステムチェッ

クが実行されないように設定してください。

# tune2fs -c0 -i0 <デバイス名>

- 235 -

例

# tune2fs -c0 -i0 /dev/sdi1

上記コマンド実行後、次のコマンドで "Maximum mount count ：-1","Check interval：0" となっていることを確認してください。

# tune2fs -l /dev/sdi1

[snip]

Mount count: 10

Maximum mount count: -1

[snip]

Check interval: 0 (<none>)

[snip]

注意

上記のように強制的なファイルシステムチェックが実行されない設定とした場合、ファイルシステムのロギングやジャーナリングだけでは

検知できない原因（ディスク故障、カーネルバグなど）によるファイルシステム破壊が発生すると、その発見が遅れるため、データ損失

の危険性が高まります。定期保守において、手動でファイルシステムの強制チェック（fsck -f）を実行して、データ損失の危険性を回避


6.12.3.2 遅延割り当てへの対処

ファイルシステムにext4 または xfs を使用している場合、以下の方法で遅延割り当てへの対処を行ってください。

参照

ext4, xfs は、ディスク領域の割り当てを効率化し、書き込みパフォーマンスを向上させるために「遅延割り当て」を実装しています。本

実装により、ディスクに書き込むべきデータのメモリ上での滞在時間が長くなるため、サーバのOSパニックや電源瞬断により、一部の

データが失われる可能性があります。

遅延割り当ての詳細については Red Hat 社の Storage Administration Guide をご参照ください。

・ ext4 の場合

ext4ではマウントオプションに nodelalloc を指定することで遅延割り当てを無効にすることができます。

/etc/fstab.pclファイルのマウントオプションを指定するフィールドに以下のように指定してください。


・ xfs の場合

xfsでは遅延割り当てを無効にすることはできません。

そのため、サーバのOSパニックや電源瞬断により一部のデータが失われないよう、ファイルシステムへの書き込みを保証する必要

がある場合は、ファイルに書き込みを行うアプリケーションが書き込みの直後に fsync() コールを発行する必要があります。

6.12.4 その他の留意事項について

・ Fsystem の Online 処理では、fsck が実行される場合があります。

Online 処理中に fsck が実行されると、Online 処理が ScriptTimeout で設定された時間内に完了しない場合があります。この結

果、起動や切替え処理が失敗します。

このため、Fsystem を使用する場合は、fsck の処理時間を考慮した Scripttimeout 値を設定する必要があります。

・ Fsystem で指定したマウントポイントは、userApplication 以外からはアクセスしないでください。

もし、Offline 処理中に他のプロセスで Fsystem で指定したマウントポイントをアクセスしていると、Offline 処理に失敗し切替えがで

きない場合があります。

- 236 -

・ userApplication が Online の状態では、mv コマンドなどを使って Fsystem のマウントポイント名を変更しないでください。

Online 状態でマウントポイント名を変更すると、hvdet_gmount が異常を検出しuserApplication の切替えが発生します。一時的に

マウントポイントを変名する場合には、RMS を停止した状態で行ってください。

・１つの Fsystem リソースに登録したマウントポイント数が31個以上の場合、タイムアウト値をデフォルト(180秒)から変更する必要が

あります。

Fsystem リソースのTimeout属性には、「１つの Fsystem リソースに登録したマウントポイント数 × 6秒」以上を設定する必要があります。

例えば、１つのFsystemリソースに31個のマウントポイントを登録した場合には、FsystemリソースのTimeout属性に「31×6秒=186秒」

以上を設定してください。

・各Fsystemリソースに設定されているタイムアウト値は、そのFsystemリソースに登録されているマウントポイントのすべての処理が終

わるまでの時間になります。

たとえば、Fsystemリソースに、/mnt1、/mnt2、/mnt3の３つのマウントポイントが登録されていて、かつ、タイムアウト値に100秒を設定

した場合、３つ全てのマウントポイントの処理（マウント/アンマウント）が100秒で完了しなければタイムアウトになります。

・ Fsystem リソースで使用するディスクパーティションには、あらかじめファイルシステムを作成しておく必要があります。

ファイルシステムが作成されていない場合、Online 処理が失敗します。

・共用ディスクへアクセスできない状態になった場合、double fault が発生する場合があります。

共用ディスクへアクセスできない状態になった場合、Fsystem リソースが Faulted 状態になります。このとき、Faulted 処理の延長で

行われる Offline 処理でマウントポイントのアンマウント処理が行えず、double fault が発生する場合があります。

6.12.5 Fsystem リソースが制御するファイルシステムの保守

Fsystem リソースに登録した共用ディスク上のファイルシステムのメンテナンス、およびファイルの保守を行う場合の手順を以下に説明

します。

注意

共用ディスク上のファイルシステムを手動でマウントする場合、クラスタシステムを構成する任意の 1 ノードから実施してください。

共用ディスク上のファイルステムを複数のクラスタノードから同時にマウントすると、ファイルシステムが破壊されるため、細心の注意を

払って操作してください。

1. 全クラスタノードの RMS の停止

全クラスタノードの RMS を停止します。

例) 任意の 1 ノードからクラスタを構成するすべてのノードの RMS をコマンドで停止する場合

# /opt/SMAW/SMAWRrms/bin/hvshut -a

2. ファイルシステムのマウント状態の確認

複数のクラスタノードからファイルシステムを誤ってマウントしないようにするため、df コマンドにて共用ディスク上のファイルシス

テムがマウントされていないことを確認します。この確認は、クラスタを構成するすべてのノードで実施してください。

例) df コマンドを実行した場合

# /bin/df -k

Filesystem 1K-blocks Used Available Use% Mounted on

/dev/sda2 20315844 7474340 11792864 39% /

/dev/sda1 256666 25466 217948 11% /boot

tmpfs 971664 0 971664 0% /dev/shm

マウントされている場合は、クラスタアプリケーションが動作中であるか、ファイルシステムがすでに手動でマウントされている可能

性があります。

この場合、クラスタアプリケーションと RMS を停止するか、対象のファイルシステムを umount コマンドでアンマウントしてくださ

い。

- 237 -

以降の操作は、クラスタを構成する任意の 1 ノードで行います。

3. GDS ボリュームの起動 (必要な場合のみ)

保守対象のファイルシステムやファイルが GDS に管理されたボリュームに存在する場合は、クラスタを構成する任意の 1 ノード

で GDS のボリュームを起動します。

例) ディスククラス class のボリューム volume0001 を、コマンドで起動する場合

# /usr/sbin/sdxvolume -N -c class -v volume0001

4. ファイルシステムのマウントと保守

1. ファイルシステムの復旧 (必要な場合のみ)

ファイルシステムの復旧が必要な場合は、fsck コマンドによりファイルシステムを復旧します。保守対象のファイルシステム

が GDS に管理されたボリュームに存在する場合は、手順3 で GDS のボリュームを起動したノードで fsck コマンドを実行

します。

参照

fsck コマンドまたは e2fsck コマンドによるファイルシステムの復旧方法については、Linux のオンラインマニュアルページ

(man fsck または man e2fsck) を参照してください。

2. ファイルシステムのマウント (必要な場合のみ)

mount コマンドによりファイルシステムをマウントします。

Fsystem リソースに制御されるファイルシステムのデバイス名は、/etc/fstab.pcl ファイルに記載されています。/etc/fstab.pclファイルを参照し、マウントを行います。

例) /etc/fstab.pcl の内容を cat コマンドで確認する場合

# /bin/cat /etc/fstab.pcl

#RMS#/dev/sfdsk/class0001/dsk/volume0001 /mnt/swdsk1 ext3 noauto 0 0

例: Fsystem リソースが制御するマウントポイント /mnt/swdsk1 のファイルシステムをマウントする場合

# /bin/mount -t ext3 /dev/sfdsk/class0001/dsk/volume0001 /mnt/swdsk1

3. ファイルの保守 (必要な場合のみ)

業務アプリケーションが使用するファイルが共用ディスク上にある場合は、この時点で業務アプリケーションが使用するファ

イルを参照・更新してください。

4. ファイルシステムのアンマウント

手順4-2 でファイルシステムをマウントした場合は、以下の手順でファイルシステムをアンマウントします。

例) /mnt/swdsk1 にマウントしたファイルシステムをアンマウントする場合


5. GDS ボリュームの停止

手順3 で起動した GDS ボリュームを停止します。

例) ディスククラス class のボリューム volume0001 をコマンドで停止する場合

# /usr/sbin/sdxvolume -F -c class -v volume0001

6. 全ノードの RMS の起動

全クラスタノードの RMS を起動します。

例) 任意の 1 ノードからクラスタを構成するすべてのノードの RMS をコマンドで起動する場合

- 238 -

# /opt/SMAW/SMAWRrms/bin/hvcm -a

- 239 -

第3部運用編

第7章運用.................................................................................................................................................... 241

- 240 -

第7章運用

ここでは、PRIMECLUSTERシステムの運用状態の監視および運用状態に応じた操作など、PRIMECLUSTERシステムの運用を管理

する機能について説明します。また、PRIMECLUSTERシステムの運用時における注意点についても説明します。

各操作を行うことができるユーザグループは、以下のとおりです。

操作対象

運用管理画面の参照すべてのユーザ

運用操作 wvroot、clroot、cladmin

監視操作すべてのユーザ

資源異常時の対処 wvroot、clroot、cladmin

7.1 PRIMECLUSTERシステム運用管理画面の参照方法

PRIMECLUSTERでは、クラスタシステムを運用するうえで必要な情報を参照/操作するためのGUIが用意されています。

・ CFメインウィンドウ

クラスタを構成するノードの構成設定、管理、状態表示を行います。

・ CRMメインウィンドウ

クラスタリソース管理機構で管理するリソースの状態表示を行います。

・ RMSメインウィンドウ

クラスタシステムの状態監視、オブジェクト（クラスタアプリケーションおよびリソース）の管理を行います。

・ MSGメインウィンドウ

クラスタ制御のメッセージが表示されます。

参照

各画面の表示方法については、“4.5.3 Cluster Adminの機能”を参照してください。

7.1.1 CFメインウィンドウ

CFメインウィンドウでは、クラスタを構成するノードの構成設定、管理、状態表示ができます。

- 241 -

参照

詳細については、“PRIMECLUSTER Cluster Foundation 導入運用手引書”の“4 GUI管理”を参照してください。

注意

ノードの状態がUnknownで表示される場合があります。その場合、Web-Based Admin View画面を終了し、再度起動してください。そ

れでも、Cluster AdminのCFメインウィンドウのノードの状態がUnknownで表示される場合は、cftool -n でノードの状態を確認してくださ

い。

7.1.2 CRMメインウィンドウ

PRIMECLUSTERシステムの状態を監視する際に、クラスタリソース管理機構で管理するリソースの状態を画面（CRMメインウィンドウ）

で参照し、故障したハードウェアを特定することができます。

ここでは、ハードウェア資源に関連したリソースの状態、および操作方法について説明します。

- 242 -

参照

クラスタリソース管理機構の画面である、CRMメインウィンドウについては、“4.5.3 Cluster Adminの機能”の“crm”を参照してください。

7.1.2.1 表示する資源の種類

CRMメインウィンドウで表示するハードウェア資源に関連するリソースについて示します。

リソース詳細情報ではCRMメインウィンドウで使用しているアイコンの一覧、リソースの詳細情報について説明します。

7.1.2.1.1 リソースアイコン

CRMツリービューで表示されるアイコンについて説明します。

「共用リソース」配下のリソースと関連あるものはが重ねて表示されます。

アイコンリソース

共用リソース

Global Disk Servicesが管理するディスククラス

ローカルディスク

共用ディスク装置

IPアドレス

ネットワークインタフェース

引継ぎネットワーク

共用リソース配下の多階層リソースではないリソース

ノード配下の「共用リソース」とは関連がなく、多階層リソースではないリソース

クラスタ

ノード

- 243 -

7.1.2.1.2 資源の状態

CRMメインウィンドウでは、リソースクラスごとに表示されるアイコンの種類と状態が異なります。

各リソースでは、配下のリソースに異常があると、異常を示すアイコン（OFF-FAIL または ON-FAILOVER）が表示されます。CRMツリー

ビューで、クラスタアイコン→ノードアイコン→配下のリソースアイコンと順次展開し、異常の原因となっているリソースを特定してくださ

い。リソースの状態が OFF-FAIL または ON-FAILOVERの場合は、“7.4 資源異常時の対処方法”を参照し、対処を行ってください。

リソースの状態が ON, OFF-STOP, UNKNOWNの場合、対処は不要です。

■クラスタの状態

クラスタに関しては、以下の状態が表示されます。

アイコンアイコン色概要詳細

緑 ON すべてのノードと共用リソースが正常に動作してい

る状態である。

赤 OFF-FAIL いずれかのノードがON以外の状態である。または、

共用リソースがOFF-FAILの状態である。

■ノードの状態

ノードに関しては、以下の状態が表示されます。


緑 ON ノードが正常に起動している。

緑に赤い縦線 ON-FAILOVER

ノード配下のいずれかのリソースが故障状態である。

青 OFF-STOP クラスタリソース管理機構が停止している状態であ

る。

赤 OFF-FAIL ノードに異常が発生している。

白 UNKNOWN ノードに対する監視や制御が行われていない。

注意

・ CF上でノードがLEFTCLUSTER状態の場合は、CRMツリービューではONとなります。

・ clinitresetコマンドを実行し、リソースデータベースの初期化を行った後は、CRMメインウィンドウに表示されているリソースの状態

が、実際のリソースの状態と異なります。clinitresetを実行し、OSの再起動を行った後、ブラウザをいったん閉じて再度表示してください。

clinitresetコマンドは、クラスタアプリケーションを削除してから実行してください。

■共用リソースの状態

共用リソースに関しては、以下の状態が表示されます。


緑 ON 共用リソース配下のリソースの状態がONまたはOFF-STOPまたはUNKNOWNの状態である。

赤 OFF-FAIL 共用リソース配下のいずれかのリソースにOFF-FAILの状態がある。

■その他リソースの状態

その他のリソースに関しては、以下の状態が表示されます。

- 244 -

アイコン色概要詳細

緑 ON リソースが正常に動作している。

緑に赤い縦線 ON-FAILOVER

該当リソース自体は正常に動作しているが、内部的に多重管理し

ている装置や資源のいくつかに異常な状態になっている。

青 OFF-STOP リソースが正常に停止している状態になっている。

赤 OFF-FAIL リソースに異常がある状態になっている。

白 UNKNOWN リソースに対する監視や制御が行われていない状態になっている。

7.1.2.1.3 運用操作

CRMメインウィンドウからは、以下の操作が行えます。

下表の“選択リソース”は、選択可能なリソースのリソースクラス名です。リソースクラス名の詳細については、“7.1.2.2 リソース詳細情

報”を参照してください。

表7.1 CRMメインウィンドウの操作

機能操作方法対象ユーザグ

ループメニュー選択リソース

CRMのリソースデータベース

の構築

[ツール]－[初期構成設定] なし [注1] wvrootclroot

リソースの活性指示 [ツール]－[起動] SDX_DC [注2] wvrootclrootcladmin

リソースの非活性指示 [ツール]－[停止] SDX_DC [注2] wvrootclrootcladmin

Cluster Admin画面の終了 [ファイル]－[終了] すべて

選択なし

すべて

ヘルプの参照 [ヘルプ]－[内容] [注3] すべて

選択なし

すべて

バージョンの参照 [ヘルプ]－[バージョン情報] すべて

選択なし

すべて

[注1] 初期構成設定メニューは、リソースデータベースの設定が行われていない場合のみ選択できます。また、このメニューはポップ

アップメニューには表示されません。

[注2] Global Disk Servicesに登録してあるディスクリソースのみ操作可能です。

[注3] CRMメインウィンドウのヘルプはCF、RMS、SISのヘルプとは別のブラウザで表示されます。

注意

・ポップアップメニューには操作可能なメニューのみが表示されます。

・ CRMツリービューで選択したリソースに操作可能なメニューがない場合、ポップアップメニューには「なし」と表示されます。これを

選択しても何も操作を行えません。

・ユーザグループに関しては、“4.3.1 クラスタを管理するユーザの作成”を参照してください。

初期構成設定

クラスタリソース管理機構が管理するリソースデータベースの設定を行います。[ツール]－[初期構成設定]で初期構成設定画面が

表示されます。なお、初期構成設定は、同時に複数のクライアントから操作を行うことができません。初期構成設定に関する詳細

は、“5.1.3.1 初期構成設定”を参照してください。

- 245 -

起動

選択したリソースの活性処理を行います。起動操作は、保守作業時に行います。そのため、選択したリソースがクラスタアプリケー

ションに登録されている場合、クラスタアプリケーションがDeact状態の場合のみ起動操作を行うことができます。クラスタアプリケー

ションの状態は、RMSメインウィンドウで確認してください。

注意

－保守作業が完了した場合は、保守作業を行ったリソースの状態を必ず保守作業前の状態にしてください。

－ CRMビューで表示されるリソースがクラスタアプリケーションに登録されている場合は、Deact状態を解除する前に、CRMビュー

で表示されるリソースを必ず停止してください。

・＜はい＞ボタン

リソースの起動を実行します。

・＜いいえ＞ボタン

リソースの起動を実行しません。

停止

選択したリソースの非活性処理を行います。停止操作は、保守作業時に行います。そのため、選択したリソースがクラスタアプリケー

ションに登録されている場合、選択したリソースが登録されているクラスタアプリケーションがDeact時のみ停止操作を行うことができ

ます。クラスタアプリケーションの状態は、RMSメインウィンドウで確認してください。

注意

－保守作業が完了した場合は、保守作業を行ったリソースの状態を必ず保守作業前の状態にしてください。

－ CRMビューで表示されるリソースがクラスタアプリケーションに登録されている場合は、Deact状態を解除する前に、CRMビュー

で表示されるリソースを必ず停止してください。

・＜はい＞ボタン

リソースの停止を実行します。

・＜いいえ＞ボタン

リソースの停止を実行しません。

注意

CRMメインウィンドウでの操作中に表示されたメッセージ、およびメッセージダイアログのフレームタイトルが“Cluster resource managementfacility”となっているメッセージが表示された場合は、“PRIMECLUSTER 活用ガイド＜メッセージ集＞”の“3.2 CRMビューのメッセー

ジ”、および“第4章 FJSVcluster 形式のメッセージ”を参照してください。

7.1.2.2 リソース詳細情報

ここでは、CRMメインウィンドウに表示されるリソース属性について説明します。

リソース詳細情報

アイコン /リソー

スクラス名

属性名意味/属性値

(上段：意味、下段：属性値)

Node

NodeID ノード識別番号。

ノード識別番号（0～127）。

- 246 -

アイコン /リソー

スクラス名

属性名意味/属性値

(上段：意味、下段：属性値)

DISK

Disk_Attr クラスタシステムから利用可能なディスクの物理的な接続形態や利用形態

を示す。

LOCAL 単一ノードからのみアクセス可能なローカルディスク。

SHD_DISK 物理的な共用接続関係にあるが、クラスタとしての利用形態

（共用ディスクまたは切替ディスク）が指定されていない状態。

SHD_SHARE 複数ノードからアクセス可能な共用ディスク。

SHD_SWITCH 2つのノード間で排他して利用する切替ディスク。

空白ディスクの接続形態/利用形態が未設定の状態。

SHD_DISK、

SHD_MPDisk

Disk_Attr クラスタシステムから利用可能なディスクの物理的な接続形態や利用形態

を示す。


（共用ディスクまたは切替ディスク）が指定されていない状態。

SHD_SHARE 複数ノードからアクセス可能な共用ディスク。

SHD_SWITCH 2つのノード間で排他して利用する切替ディスク。

SDX_DC、

SDX_SHDDC

Disk_Attr クラスタシステムから利用可能なGDSが管理するディスククラスの物理的

な接続形態や利用形態を示す。


（共用ディスククラスまたは切替ディスククラス）が指定されていない状態。

SHD_SHARE 複数ノードからアクセス可能な共用ディスククラス。

SHD_SWITCH 2つのノード間で排他して利用する切替ディスククラス。

Ethernet

node_name このLANボードが設定されている、ノードのノード名。

ノード名が設定される。

WebView Web-Based Admin Viewが使用する、ネットワークインタフェースを示す。

Web-Based Admin Viewが使用していれば、USE。使用していなければ、

UNUSEが設定される。

SHD_Host

ip_addr 引継ぐIPアドレスを示す。

引継ぐIPアドレス情報がIPv4の場合、XXX.XXX.XXX.XXXの形式で設

定されている。

IPアドレス引継ぎを行わない場合は、空白。

引継ぐIPアドレス情報がIPv6の場合、アイコン/リソースは表示されない。

7.1.3 RMSメインウィンドウ

RMSメインウィンドウには以下のような構成要素があります。

・ RMSツリー

・構成情報、またはオブジェクト属性

・ switchlogとアプリケーションログ

7.1.3.1 RMSツリー

RMSメインウィンドウの左側に表示されるRMSツリーには、クラスタの構成情報が階層形式で表示されます。ツリーは以下に示すレベ

ルで構成されています。

・ツリーのルート — クラスタを表します。

- 247 -

・第1 レベル — クラスタを形成するシステムノードを表します。

・第2 レベル — 各システムノードで動作するuserApplication オブジェクトを表します。

・第3 レベル — サブアプリケーション（オブジェクトの集合体）を表します (存在する場合)。

・第4 レベル — 各サブアプリケーションに必要な資源を表します。

クラスタアプリケーションにサブアプリケーションが存在する場合は、そのサブアプリケーションで使用する資源が第4 レベルに表示さ

れます。クラスタアプリケーションにサブアプリケーションが存在しない場合は、userApplication で使用する、すべての資源が第3 レベ

ルに表示されます。

クラスタアプリケーション間の依存性は、RMS ツリー内でコントローラオブジェクトによって表されます。

図7.1 RMSメインウィンドウ

■オブジェクトアイコンの意味

アイコン意味

クラスタを表します。

ノードを表します。

配下に子を持つ親オブジェクト（クラスタアプリケーション）を表します。

子オブジェクト（クラスタアプリケーションまたは資源）を表します。

リーフオブジェクト（クラスタアプリケーションまたは資源）を表します。

リーフオブジェクトは、子を持つことができないオブジェクトです。

コントローラオブジェクト（クラスタアプリケーション）を表します。

このオブジェクトから別のクラスタアプリケーションのオブジェクトを制御し

ています。

■状態表示アイコンの意味

上記のオブジェクトアイコンの右側には、各オブジェクトの状態を色で表す円が表示されます。

ここでは、その色付きの円（状態表示アイコン）の意味を説明します。

- 248 -

参考

クラスタアイコンには状態表示アイコンは表示されません。代わりに、RMSクラスタテーブルを表示することができます。詳細は、“7.3.3ノードとクラスタアプリケーションの状態を相互参照する”を参照してください。

◆ノードの状態表示

ノードに表示される状態アイコンは以下のとおりです。


ノード

緑 Online ノードが正常に起動している。

青 Offline ノードは起動しているがRMSが停止してい

る。

赤 Faulted ノードが停止している。

・ノードが正常停止した場合は、SysNodeの状態の詳細情報(StateDetails属性の

値)に“Shutdown”が表示されます。

・ノードが異常停止した場合は、SysNodeの状態の詳細情報(StateDetails属性の

値)に“Killed”が表示されます。

黄 Wait ノードが状態遷移中である。

注意

Cluster AdminのRMSメインウィンドウのノードの状態がUnknownで表示される場合があります。その場合、Web-Based Admin View画

面を終了し、再度起動してください。それでも、Cluster AdminのRMSメインウィンドウのノードの状態がUnknownで表示される場合は、

hvdisp -a でノードの状態を確認してください。

◆その他のオブジェクトの状態表示

親オブジェクト配下の各オブジェクトアイコンには、以下の状態アイコンが表示されます。


親オブジェクト

子オブジェクト

コントローラオブ

ジェクト

リーフオブジェクト

緑 Online オブジェクトが正常に動作している。

緑に赤い縦線 Warning オブジェクト配下のいずれかのオブジェ

クトが故障状態である。

青 Offline オブジェクトが正常に停止している。

赤 Faulted オブジェクトに異常が発生している。

白 Unknown オブジェクトに対する監視や制御が行

われていない。

黄 Wait ノードが状態遷移中である。

水色 Deact 保守などの目的でノードが非活性の状

態である。

黒 Inconsistent ノードの状態に一貫性がない状態であ

る。

緑に青の縦線 Stand By すぐにオンラインになることができる状

態である。

- 249 -


青に赤の縦線 OfflineFault オブジェクトはOfflineだが、以前に障害

が発生し、Faultがまだクリアされていな

い状態である。

橙色 Maintenance オブジェクトが保守モードである。

左が橙色で右が緑 Maintenance-Online オブジェクトが保守モードであり、保守

モードを終了する時に Online 状態であ

る必要がある。

左が橙色で右が青 Maintenance-Offline オブジェクトが保守モードであり、保守

モードを終了する時に Offline 状態で

ある必要がある。

左が橙色で右が緑

に青の縦線

Maintenance-Stand By オブジェクトが保守モードであり、保守

モードを終了する時に Stand By 状態で

ある必要がある。

■ポップアップメニュー

RMSツリーのオブジェクトを右クリックすると、そのオブジェクトに対して使用できる操作がポップアップメニューで表示されます。このメ

ニューから、状態監視や運用操作を実行できます。

注意

・ userApplicationオブジェクトやgResourceオブジェクトに、以下のアイコンが表示される場合があります。

: userApplicationオブジェクトの状態アイコンの右隣に表示され、userApplication配下の一部のリソースのみが起動されているこ

とを表します。詳細は、“7.2.3 リソースの運用操作”を参照して下さい。

: gResourceオブジェクトのオブジェクト名の右隣に表示され、過去にリソース故障が発生したことを表します。詳細は、

“PRIMECLUSTER RMS 導入運用手引書”の“8.3.5 リソースの故障形跡の表示”を参照して下さい。

: userApplicationオブジェクトの状態アイコンの右隣に表示され、そのuserApplication配下の一部のリソースが保守モード開始

前の状態と異なることを表します。保守モードを終了する際は、userApplication配下の全てのリソースを保守モード開始前の状態

に戻す必要があります。詳細は、“7.2.2.6 クラスタアプリケーションを保守モードにする”を参照して下さい。

- 250 -

・アイコンは、過去にそのリソースに故障が発生したことを表すものであり、現在のリソース状態を表すものではありません。

このため、以降ではこのアイコンを「リソースの故障形跡」と表記します。

現在のリソース状態を確認する場合は、リソースオフジェクトの状態を確認して下さい。

このアイコンは、以下のいずれかの場合に非表示となります。

－そのリソースのOnline処理が実行された場合

－リソースの故障形跡を手動でクリアした場合。詳細は、“7.2.3.3 リソースの故障形跡をクリアする”を参照して下さい。

このアイコンは、クラスタアプリケーションがFaulted状態で表示される(※)場合とは異なり、マークが表示されたままでも、クラスタア

プリケーションの切替え操作に影響を与えることはありません。このため、表示が不要であれば手動でクリアして下さい。

(※)クラスタアプリケーションがFaulted状態の場合、そのクラスタアプリケーションを再度切替え対象とする場合には、Faulted状

態をクリアする必要があります。

7.1.3.2 構成情報またはオブジェクト属性

RMSツリーのオブジェクトをマウスで左クリックして、個々のオブジェクトに関する構成情報を表示します。プロパティは、RMS メインウィ

ンドウの右側パネルに一覧表形式で表示されます。

7.1.3.3 switchlogとアプリケーションログ

switchlogは、切替え要求やノードで発生する障害などの情報をノードごとに記録したログファイルです。RMS ツリー内でシステムノー

ドを右クリックし、 [switchlogの表示] を選択すると、右下のパネルに表示されます。

アプリケーションログは、RMS ツリー内でクラスタアプリケーションを右クリックし、[ログファイルの表示] を選択して表示します。

- 251 -

7.2 PRIMECLUSTERシステムの運用操作

7.2.1 RMSの運用操作

RMSの状態監視を行うには、RMSが起動されている必要があります。

複数ノードを同時に停止する場合には、ユーザアプリケーションとRMSを停止する必要があります。

注意

複数ノードを同時に停止する場合は、その前にRMSを停止する必要があります。

RMSを停止することによりユーザアプリケーションも停止します。RMSの停止方法については、“7.2.1.2 RMSを停止する”を参照してく

ださい。

ここではRMSの起動／停止方法について説明します。

7.2.1.1 RMSを起動する

ここではRMSの起動方法について説明します。

◆操作手順

Web-Based Admin View トップ画面から以下の手順でCluster Admin を開きます。

1. Global Cluster Services を選択します。

2. ＜Cluster Admin＞をクリックしてクラスタメニューに移動します。

3. [rms] タブを選択します。

4. RMSを起動します。

1. RMS メインウィンドウの [ツール]プルダウンメニューを使用し、[RMSの起動]－[利用可能な全てのノード]をクリックします。

確認画面が表示されるので＜確認＞をクリックします。

または、個々のノード上のRMS を直接起動することもできます。

1. RMSメインウィンドウのクラスタツリーで起動したいノードを選択します。

- 252 -

2. ノードを選択した状態で右クリックし、ポップアップメニューから [RMS の起動] を選択します。

参照

RMSの起動方法については、“PRIMECLUSTER RMS 導入運用手引書”の“8.1.1 RMSの起動”を参照してください。

7.2.1.2 RMSを停止する

ここではRMSの停止方法について説明します。

◆操作手順

1. RMSメインウィンドウで、[ツール] プルダウンメニューを使用するか、システムノードを右クリックして、その後のオプション画面で

シャットダウンのモードを選択します。

1. 特定のノードまたは、すべてのノードを選択します。

2. すべてのクラスタアプリケーションの停止、クラスタアプリケーションの継続稼働、または強制シャットダウンを選択します。

参照

RMSの停止方法については、“PRIMECLUSTER RMS 導入運用手引書”の“8.1.3 RMSの停止”を参照してください。

7.2.2 クラスタアプリケーションの運用操作

クラスタアプリケーションの起動／停止など、PRIMECLUSTERシステムの運用状態を変更するための操作について説明します。

7.2.2.1 クラスタアプリケーションを起動する

クラスタアプリケーションの起動方法について、以下に説明します。

◆操作手順

1. RMSメインウィンドウのRMSツリーで、起動するクラスタアプリケーションを右クリックし、ポップアップメニューから [Online] を選択

します。

クラスタアプリケーションが起動されます。

参考

ポップアップメニューは、RMSグラフ、RMSクラスタテーブルのアイコン上で右クリックすることでも表示することができます。RMSグラ

フ、RMSクラスタテーブルについては、“7.3.5 RMSオブジェクトの詳細情報を参照する”、“7.3.3 ノードとクラスタアプリケーションの状

態を相互参照する”を参照してください。

注意

手動でクラスタアプリケーションを起動する場合、クラスタアプリケーションを起動するノード以外で、クラスタアプリケーションおよびそ

の配下のリソースが停止していることを確認してください。クラスタアプリケーションおよびその配下のリソースの停止は、Offline または

Standby 状態で確認できます。それ以外の状態の場合は、動作中の可能性があるため、これらを停止してから、対象ノードでクラスタ

アプリケーションを起動してください。

7.2.2.2 クラスタアプリケーションを停止する

クラスタアプリケーションの停止方法について、以下に説明します。

◆操作手順

- 253 -

1. RMSメインウィンドウのRMSツリーで、停止するクラスタアプリケーションを右クリックし、ポップアップメニューから [Offline]を選択

します。

クラスタアプリケーションが停止します。

参考




7.2.2.3 クラスタアプリケーションを切り替える

クラスタアプリケーションを切り替える方法について、以下に説明します。

◆操作手順

1. クラスタアプリケーションオブジェクト上で右クリックし、メニューから [切替え] を選択します。

切替え可能なノードがプルダウンメニューに表示されます。

2. プルダウンメニューからターゲットノードを選択して、クラスタアプリケーションをそのノードへ切り替えます。

参考




7.2.2.4 Faulted 状態のクラスタアプリケーションを運用可能な状態にする

クラスタアプリケーションのFaulted 状態をクリアして、運用可能な状態にする方法について説明します。

◆操作手順

1. RMSツリーのクラスタアプリケーションオブジェクト上で右クリックし、メニューから [Faultのクリア] を選択します。

参考




7.2.2.5 ノードのWait状態をクリアする

状態遷移中にノードはWait状態になります。ノードのWait状態をクリアする方法について、以下に説明します。

◆操作手順

1. Wait状態のノードが停止していることを確認します。停止していない場合は、手動でノードを停止してください。

2. CFメインウィンドウで、CFの状態がDOWNとなっていることを確認します。CFの状態がLEFTCLUSTERの場合は、CFメインウィン

ドウでLEFTCLUSTERを解消し、DOWN状態にします。

3. 2. の操作後、ノードのWait状態が解消されない場合、RMSグラフのシステムノード上で右クリックし、メニューから[Waitをクリアし

て停止する]を選択します。

- 254 -

注意

システムノードのWait 状態を手動でクリアする場合、RMSおよびCFは、対象ノードが停止済みであるとみなします。そのため、ノードが

実際に停止していない状態でWait 状態のクリアを行うと、データが破損する可能性があります。

参考




7.2.2.6 クラスタアプリケーションを保守モードにする

保守モードは、指定したクラスタアプリケーションの切替えを一時的に抑止する特殊なモードです。

クラスタアプリケーションが保守モードに入ると、クラスタアプリケーションの切替えは行われません。

ただし、保守モード中もクラスタノードとリソースを監視しているため、リソースの状態が変化した場合、RMSツリーに表示されるクラスタ

アプリケーションのリソースの状態も変更されます。

保守モード中にクラスタアプリケーションのリソース状態が変化した場合、切替えが行われないため、クラスタアプリケーションに登録さ

れたリソースの整合性が崩れた状態(例：一部のリソースはOffline状態だが他のリソースはOnline状態、等)となります。このため、保守

モードを終了する場合は、クラスタアプリケーションのリソース状態を、保守モード開始前の状態に戻してから、保守モードを終了する

必要があります。

保守モードは、PRIMECLUSTER 対応製品の指示がある場合に限り使用してください。

保守モードの使用方法については“PRIMECLUSTER RMS 導入運用手引書”の“8.4 保守モードの使用法”を参照してください。

注意

保守モードの使用に関して、以下の注意があります。

・保守モードは、保守が必要なリソースを含むスタンバイ運用のクラスタアプリケーションに対して行ってください。

・スケーラブル運用のクラスタアプリケーションは、運用中に保守が必要となるリソースが含まれないため、保守モードにする必要は

ありません。

・保守モードを開始する場合、クラスタアプリケーションの状態をOnline状態、Standby状態、またはOffline状態にする必要がありま

す。

・保守モードを終了する場合、クラスタアプリケーションおよび各リソースは、保守モード開始前の状態に戻す必要があります。

・クラスタアプリケーションが保守モードに入った状態で、RMSやシステムを停止しないでください。停止する場合は、必ずすべての

クラスタアプリケーションの保守モードを終了してから行ってください。

詳細については、“PRIMECLUSTER RMS 導入運用手引書”の“8.4.2 保守モードの動作に関する注意”および“3.1.7.1 保守モード

の制限”を参照してください。

7.2.3 リソースの運用操作

リソースを個別に起動/停止する操作について説明します。

注意

・本機能は、クラスタアプリケーションの構築段階で段階的にリソースの動作を確認したい場合に使用することを想定した機能です。

リソースを個別に起動/停止したままの状態で業務運用しないで下さい。

特定のリソースを停止した状態で業務運用したい場合は、クラスタアプリケーションからそのリソースを削除して下さい。リソースの

削除手順については、“10.5 リソースの削除”を参照して下さい。

- 255 -

本機能使用後は、業務運用開始前に以下の手順により必ずアプリケーション全体を再起動し、すべてのリソースが起動したことを

確認して下さい。

1. userApplicationを停止します。

# hvutil -f userApplication

2. userApplicationが制御する全てのリソースが停止したことを確認します。

# hvdisp -a

3. userApplicationを起動します。

# hvswitch userApplication SysNode

4. userApplicationが制御する全てのリソースが起動したことを確認します。

# hvdisp -a

・スケーラブル構成でリソースを個別に起動/停止する場合は、スケーラブル運用のクラスタアプリケーションを停止してください。そ

の後、スケーラブル運用のクラスタアプリケーションの構成要素となるスタンバイ運用のクラスタアプリケーションに対して操作を実

施してください。

・詳細については、“PRIMECLUSTER RMS 導入運用手引書”の“8.3 リソースの管理”を参照してください。

7.2.3.1 リソースを起動する

リソースの起動方法について、以下に説明します。

◆操作手順

1. RMSメインウィンドウのRMSツリーで、起動するリソースを右クリックし、ポップアップメニューから [リソースのOnline] を選択しま

す。

2. 確認のポップアップ画面が表示されますので［はい］をクリックします。

参考

ポップアップメニューは、RMSグラフのアイコン上で右クリックすることでも表示することができます。RMSグラフについては、“ 7.3.5 RMSオブジェクトの詳細情報を参照する”を参照してください。

7.2.3.2 リソースを停止する

リソースの停止方法について、以下に説明します。

◆操作手順

1. RMSメインウィンドウのRMSツリーで、停止するリソースを右クリックし、ポップアップメニューから [リソースのOffline]を選択しま

す。


参考

ポップアップメニューは、RMSグラフのアイコン上で右クリックすることでも表示することができます。RMSグラフについては、“7.3.5 RMSオブジェクトの詳細情報を参照する”を参照してください。

7.2.3.3 リソースの故障形跡をクリアする

過去にリソースに故障が発生した場合に、RMSの故障リソースの状態アイコンの右にを表示します。

- 256 -

故障リソースの状態を確認した上で以下の操作手順に従い故障形跡をクリアしてください。

◆操作手順

1. RMSメインウィンドウのRMSツリーで故障リソースを右クリックし、ポップアップメニューから［Fault形跡のクリア（hvutil -c）］を選択

します。


ポイント

リソースの故障形跡のクリアは、上述のクリア手順を実施した場合の他に、そのリソースが次にOnlineになった場合にも自動でクリアさ

れます。

参考

リソースの故障形跡のアイコンについては、“7.1.3.1 RMSツリー”を参照してください。

リソースの故障形跡の表示については、“PRIMECLUSTER RMS 導入運用手引書”の“8.3.5 リソースの故障形跡の表示”を参照して

ください。

ポップアップメニューは、RMSグラフのアイコン上で右クリックすることでも表示することができます。RMSグラフについては、“7.3.5 RMSオブジェクトの詳細情報を参照する”を参照してください。

7.3 PRIMECLUSTERシステムの監視操作

Cluster Admin画面でクラスタアプリケーションやノードの状態監視を行うための操作について説明します。

7.3.1 ノードの状態を監視する

CFツリーで、ノードをクリックすると、右側のパネルにノードの状態が表示されます。

ノードには以下の状態が表示されます。

表示ノードの状態

緑 UP ノードはクラスタの一部として稼動しています。

- 257 -

表示ノードの状態

黄 COMINGUP ノードはクラスタへの参入処理中です。

青 DOWN ノードは停止していて、クラスタに含まれていません。

赤 LEFTCLUSTER /INVALID

予期せずにノードのクラスタとの接続が失われました。

クラッシュが原因である可能性があります。クラスタの整合性を保証するために、

DOWNとマークされるまでは、ノードをクラスタに再参入させることはできません。

緑に青の

縦線

Route Missing 起動時に一部のクラスタインタコネクトが認識されませんでした。

白 UNKNOWN ノードの状態が不明です。

緑に赤の

縦線

Route Down 一部のクラスタインタコネクトが利用できません。

グレー UNCONFIGURED/UNLOADED/LOADED

以下のいずれかの状態です。

・ CFが設定されていない

・ CFドライバがロードされていない

・ CFドライバがロードされているがCFが起動していない状態です。

7.3.2 クラスタアプリケーションの状態を監視する

RMSツリーで、クラスタアプリケーションを表示すると、アイコンの右にクラスタアプリケーションの状態を示すマークが表示されます。右

側のパネルには、クラスタアプリケーションのプロパティが表示されます。

状態を示すマークの種類は以下のとおりです。

・ Online

・ Wait

・ Offline

・ Deact

・ Faulted

・ Unknown

- 258 -

・ Inconsistent

・ Stand By

・ Warning

・ OfflineFault

・ Maintenance

・ Maintenance-Online

・ Maintenance-Offline

・ Maintenance-Stand By

参照

各状態の詳細については、“7.1.3.1 RMSツリー”の“◆その他のオブジェクトの状態表示”を参照してください。

7.3.3 ノードとクラスタアプリケーションの状態を相互参照する

ノードの状態と、クラスタアプリケーションの状態を相互参照する場合は、RMSクラスタテーブルを表示します。

RMSツリーのクラスタアイコン上で右クリックして、表示されるポップアップメニューから[クラスタテーブルの表示]を選択します。以下の

ようなRMSクラスタテーブルが表示されます。

●RMSクラスタテーブル

1行目にはRMSが管理しているノード名が表示されます（上記の場合は、fuji2とfuji3）。各ノード名の左側にはそれぞれのノードの状態

が状態表示アイコンで表示されます。

2行目以降には、RMSが管理する、すべてのクラスタアプリケーション名とその状態が表示されます。

このように、RMSクラスタテーブルでは、ノードとクラスタアプリケーションの状態を1つの表に表示することができます。

●RMSクラスタテーブルの見方

・クラスタアプリケーション名の背景色

クラスタアプリケーション名の背景色は、クラスタアプリケーションの状態を表しています。

背景色クラスタアプリケーションの状態

ウィンドウの背景色と同じ

Online

ピンク色

Faulted （1つ以上のSysNode上で障害が発生している。）

水色

Offline

- 259 -

・クラスタアプリケーションの状態表示アイコン

クラスタアプリケーションの状態表示アイコンが四角で囲まれているのは、そのノードがクラスタアプリケーションを構成するノードの

中で、も優先度が高いことを表します。

優先度高い優先度低い

アイコンが四角で囲まれている。

デフォルトで起動時にuserApplicationがOnline となるノードである。

アイコンが四角で囲まれていない。

・状態名の表示／非表示

［状態名の表示］チェックボックスをチェックすると、状態表示アイコンの右に状態名を表示することができます。

参照

RMSクラスタテーブルの詳細については、“PRIMECLUSTER RMS 導入運用手引書”の“7.1 RMSクラスタテーブルの使用”を参照し

てください。

7.3.4 PRIMECLUSTERシステムで発生したログを参照する

PRIMECLUSTERシステムで参照できるログには、以下の2種類があります。

・ switchlog

切替え要求やノードで発生する障害などが表示されます。

・アプリケーションログ

クラスタアプリケーションの動作に関するログが表示されます。

7.3.4.1 switchlogの表示

RMS ツリーでノードを右クリックし、[Switchログの表示] を選択します。画面右側にswitchlogが表示されます。

7.3.4.2 アプリケーションログの表示

RMSツリー内のクラスタアプリケーション上で右クリックし、[ログファイルの表示] を選択します。画面右側にアプリケーションログが表示

されます。

- 260 -

参考

ログは以下のように表示形式を操作することができます。詳細は、“PRIMECLUSTER RMS 導入運用手引書”の“7.4 RMSログメッセー

ジの表示”を参照してください。

・日付またはキーワードで絞り込む

・任意のエントリにスクロールまたはジャンプする

・キーワード、日付範囲、エラーメッセージの重要度、およびゼロ以外の終了コードで検索して関係のないエントリを除外する

7.3.5 RMSオブジェクトの詳細情報を参照する

各クラスタアプリケーションのオブジェクト詳細情報を表示する場合は、RMSグラフを利用します。

RMSグラフには、以下の4種類があり、それぞれ、RMSツリーのオブジェクト上を右クリックしたときに表示されるメニューから表示するこ

とができます。

・クラスタ全体のグラフ

現在RMSが動作しているクラスタ構成全体が表示されます。

・アプリケーショングラフ

指定された1 つのアプリケーションが使用するオブジェクトが、すべて表示されます。このグラフを使用して、特定のオブジェクトの

詳細情報を調べることができます。

・サブアプリケーショングラフ

所定のクラスタアプリケーションが使用する、すべてのサブアプリケーション、およびサブアプリケーション間の関係が表示されま

す。

・合成サブアプリケーショングラフ

直接または間接的に依存している、すべてのサブアプリケーションが表示されます。

- 261 -

■RMSグラフ

対象となるオブジェクトを左クリックすると、ポップアップ画面に属性が表示されます。

- 262 -

参照

RMSグラフの詳細については、“PRIMECLUSTER RMS 導入運用手引書”の“7.2 RMSグラフの使用”を参照してください。

7.3.6 環境変数を表示する

RMSツリーのクラスタ上で右クリックし、[環境の表示] を選択します。ローカル変数とグローバル変数を表示できます。

RMS ツリーのノード上で右クリックし、[環境の表示] を選択します。ローカル変数を表示できます。

7.3.7 クラスタ制御のメッセージを監視する

ツリーパネルの一番下で [msg] タブを選択します。後に表示したとき以降にテキスト領域に新しいメッセージが追加されている場合、

このタブは赤で表示されます。

メッセージのテキスト領域はクリアしたり、メインパネルから切離すことができます。

- 263 -

7.4 資源異常時の対処方法

クラスタシステムの運用中には、ハードウェアの故障や、ソフトウェアの異常が発生することがあります。クラスタシステムの高可用性を

維持するためには、障害が発生した資源を特定し、対処する必要があります。資源に障害が発生すると、コンソール画面に障害が発

生したことを示すメッセージが表示されます。このメッセージをもとに、CF, RMSメインウィンドウを使用して、障害が発生した資源を特定

し、対処します。

ここでは、以下の場合の対処方法について説明します。

・資源の状態が異常となった場合

7.4.1 資源の状態が異常となった場合の対処方法

資源の状態が異常となった場合の対処方法について説明します。

以下の手順で、対処を行ってください。

7.4.1.1 異常発生時の異常検出と原因の特定

リソースに異常が発生した場合には、PRIMECLUSTER、およびOS等の機能を利用して異常を検出、および原因となる障害発生リソー

スの特定を行うことができます。

以下、文中の(a)、(b)．．．は、後述の◆異常確認機能一覧に対応しています。

◆異常の検出

通常、RMSメインウィンドウ(a)を使用して、クラスタアプリケーションの監視を行います。

・リソースやシステムに故障が発生した場合

userApplicationのフェイルオーバが発生したり、ノードのパニックが発生します。

この場合、以下の現象が発生することで、異常を検出することができます。

－ RMSメインウィンドウ(a)内のアイコンの色が変わる。

－ msgメインウィンドウ(c)、Syslog(f)、コンソール(g)にメッセージが表示される。

・システムに警告レベルの異常が発生した場合

システムに警告レベル（ディスク容量不足、swap領域不足等）が発生した場合、以下の現象が発生することで、異常を検出するこ

とができます。

－ Syslog(f)、コンソール(g)にメッセージが表示される。

・ RMS起動時にuserApplicationが起動しない

RMS起動時に、すべてのノードでRMSが起動していない場合、userApplicationは起動しません。このような場合、以下を行うこと

で、userApplicationを起動することができます。

－ clreplyコマンドを実行することで、未応答のオペレータ介入要求を確認することができます。未応答のオペレータ介入要求メッ

セージ応答することで、userApplicationを起動することができます。clreplyコマンドについては、マニュアルページを参照してく

ださい。

－ Syslog(f)、コンソール(g)にオペレータ介入要求メッセージが表示されます。オペレータ介入要求メッセージに応答することで、

userApplicationを起動することができます。

- 264 -

オペレータ介入要求メッセージの詳細については、“PRIMECLUSTER 活用ガイド＜メッセージ集＞”の“4.2 応答（QUESTION）

メッセージ”を参照してください。

注意

未応答のオペレータ介入要求メッセージが複数ある場合は、オペレータ介入要求メッセージごとに複数回応答してください。

他にも、以降の「◆異常確認機能一覧」の機能を利用して異常を検出できます。

◆原因の特定

異常の検出を行った機能、および以下の「◆異常確認機能一覧」の機能を利用して原因となる障害発生リソースの特定を行うことがで

きます。

◆異常確認機能一覧

異常確認機能マニュアル参照先

(a) RMSメインウィンドウ

RMSツリー、RMSクラスタテーブルを使用します。

7.1.3 RMSメインウィンドウ

(b) CFメインウィンドウ

CFツリーを使用できます。

7.1.1 CFメインウィンドウ

(c) MSGメインウィンドウ

クラスタ制御のメッセージを参照できます。

Cluster Admin 画面の[msg]タブを選択時に表示されま

す。

(d) アプリケーションログ 7.3.4.2 アプリケーションログの表示

(e) switchlog 7.3.4.1 switchlogの表示

(f) Syslog

(g) コンソール

コンソール上またはSyslogに表示されるメッセージで確認

できます。※

PRIMECLUSTER 活用ガイド＜メッセー

ジ集＞

(h) GDS の GUI PRIMECLUSTER Global Disk Services説明書

※コンソールについて

・ RMSがすべてのノードで起動していない場合のオペレータ介入要求メッセージ(メッセージ番号：1421,1423)は、userApplicationの

AutoStartUp 属性にyes(1)が設定されている場合のみ表示されます。userApplicationの属性については、“PRIMECLUSTER RMS導入運用手引書”の“12 付録 - 属性”を参照してください。

・リソースやシステム故障発生後のRMS起動時のオペレータ介入要求メッセージ(メッセージ番号：1422,1423)と故障リソースのメッ

セージは、userApplicationのPresistentFault 属性にyes(1)が設定されている場合のみ表示されます。userApplicationの属性につい

ては、“PRIMECLUSTER RMS 導入運用手引書”の“12 付録 - 属性”を参照してください。

・オペレータ介入要求と故障リソースのメッセージは、clwatchlogdデーモンがswitchlogを監視することで表示しています。RMS のhvenv.local ファイルに設定されているRELIANT_LOG_PATH の値を変更したときは、clwatchlogd にSIGHUP シグナルを送信す

る必要があります。 clwatchlogd はこのシグナルを受信すると、 RELIANT_LOG_PATH の新の値を取得します。

RELIANT_LOG_PATHの値を変更したときは、この操作を実行してからRMS を起動してください。

注意

リソース故障のメッセージを確認した場合、クラスタアプリケーションが Offline 状態であっても、MONITORONLY 属性を設定したリソー

スが、故障状態になっている可能性があります。故障状態のリソースが存在しないか確認してください。特に、Fsystem リソースが故障

状態になっていないか確認してください。

- 265 -

7.4.1.2 障害が発生したリソースの対処

以下の対処を行ってください。

1. 障害が発生したリソースの対処

障害が発生したリソースの問題を解決します。詳細は、“PRIMECLUSTER RMS 導入運用手引書”を参照してください。

注意

PRIMECLUSTER 製品以外に運用管理製品を使用している場合は、各運用管理製品で対処が必要な場合があります。


(例) Symfoware

2. クラスタアプリケーションの復旧

RMSメインウィンドウで、対処したリソースが登録されているクラスタアプリケーションの状態を確認します。クラスタアプリケーショ

ンがFaulted状態の場合は、Faultedのクリア操作を行ってください。

Faultedのクリア操作については、“7.2.2.4 Faulted 状態のクラスタアプリケーションを運用可能な状態にする”を参照してくださ

い。

3. リソースの故障形跡のクリア

障害が発生したリソースの故障形跡をクリアします。詳細は、“7.2.3.3 リソースの故障形跡をクリアする”を参照してください。

7.4.1.3 クラスタインタコネクトの異常の復旧

クラスタインタコネクトの異常は、以下のような原因で発生することが考えられます。

・ハードウェア異常

－ LANカード、ハブ、ケーブル等の故障

－接続ミス

・ネットワーク設定の誤り

－ IPアドレス、ネットマスク、ルーティング情報等の設定ミス

ネットワーク設定の誤りについては、システム管理者に確認してください。ここでは、ハードウェア異常の対処法について説明します。

クラスタインタコネクトのハードビートで異常を検出した場合、以下のいずれかのメッセージが /var/log/messagesファイルに出力されま

す。

"CF: Problem detected on cluster interconnect NIC_NAME to node NODE_NAME: missing heartbeat replies. (CODE)"

"CF: Problem detected on cluster interconnect NIC_NAME to node NODE_NAME: ICF route marked down. (CODE)"

"NIC_NAME" は異常を検出したネットワークインタフェースカードを示します。

"NODE_NAME" は異常を検出したCFノード名を示します。

"CODE" は調査に必要な情報を示します。

上記のいずれかのメッセージが出力された場合、以下の対処を行ってください。

[対処法]

1. 故障ノードの特定

各装置の確認およびpingコマンドなどで故障箇所、および故障ノードを特定してください。

注意

クラスタインタコネクトの全系異常(各ノードに接続されるすべてのインタコネクトの異常)が発生した場合、クラスタシステムは、生

存優先度の高いノードを残し、それ以外のノードを強制停止します。

- 266 -

生存優先度については、“5.1.2 シャットダウン機構の設定”を参照してください。

Online状態のクラスタアプリケーションが存在するノードのLANカード故障など、故障ノードが運用状態のノードの場合は、保守

を行うためにノードの停止が必要となります。業務停止時間を短くするために、以下の手順を実施した後、“手順2. 保守作業の

実施” を行ってください。

1. Online状態のノードの停止

保守を行うため、Online状態のクラスタアプリケーションが存在するノードを停止します。

2. 強制停止されたノードの起動

クラスタシステムにより強制停止されたノードを起動し、クラスタアプリケーションをOnline状態にします。クラスタアプリケー

ションの起動方法については、“7.2.1.1 RMSを起動する” を参照してください。

本手順は、必ず “1. Online状態のノードの停止” のノードが停止したことを確認した後に実施してください。

2. 保守作業の実施

異常箇所が特定できたら、異常となったものにより以下の方法で保守作業を行います。

注意

LANカードの異常の場合、異常ノードを停止させて保守する必要があります。

ケーブルやハブの異常の場合、ノード起動状態での保守が可能です。

－ LANカード、または、ケーブルが異常と判断された場合

ケーブルが抜けている場合、ケーブルを正しく接続してください。

ケーブルが抜けていない場合、LANカードが故障している可能性があります。当社技術員(SE)に連絡してください。

－ハブが異常と判断された場合

ハブの電源が入っていない場合、電源を入れてください。

ハブの電源が入っている場合、ハブが故障している可能性があります。当社技術員(SE)に連絡してください。

3. 復旧

クラスタインタコネクトの片系異常を復旧させる場合は、以下の“手順2. クラスタインタコネクトの復旧確認”から作業を行ってくだ

さい。

1. 全ノードの起動

すべてのノードを起動してください。

2. クラスタインタコネクトの復旧確認

pingコマンドなどを利用して、異常が発生していたクラスタインタコネクトを通して、相互に通信できることを確認してくださ

い。

必要であれば、クラスタインタコネクトの復旧確認を行った後で、クラスタアプリケーションのFaulted状態のクリア操作を行ってくだ

さい。操作方法については “7.2.2.4 Faulted 状態のクラスタアプリケーションを運用可能な状態にする”を参照してください。

7.4.2 仮想マシン機能使用時にLEFTCLUSTER状態となった場合の対処方法

仮想マシン機能使用時に管理OSがパニック状態になる、もしくはハングアップすると、LEFTCLUSTER状態になる場合があります。こ

の場合の対処方法について説明します。

7.4.2.1 管理OSがパニックした場合

1. 管理OSがパニック状態となり、その後、管理OSが復旧してきた場合は、手順3に進んでください。

2. 管理OSの状態を確認し、管理OSの復旧作業を行ってください。

3. 異常となったノード(ゲストOS)がLEFTCLUSTER状態の場合、“PRIMECLUSTER Cluster Foundation 導入運用手引書”の“5.2LEFTCLUSTER からの回復”の手順を行ってください。

- 267 -

4. ノードがクラスタに参入したことを確認します。

7.4.2.2 管理OSがハングアップした場合

1. ノード(ゲストOS)が実際に停止していることを確認してください。停止していない場合は停止させてください。

2. 管理OSの状態を確認し、管理OSの復旧作業を行ってください。

3. 異常となったノードがLEFTCLUSTER状態の場合は、“PRIMECLUSTER Cluster Foundation 導入運用手引書”の“5.2LEFTCLUSTER からの回復”の手順を行ってください。

4. ノードがクラスタに参入したことを確認します。

7.5 運用時の注意点

PRIMECLUSTERシステムの運用時の注意点について説明します。

RMSの起動中にRMSの停止を行わないでください

RMSがノード間で実行するハートビートが途切れ、RMSの停止を行ったノードが強制停止する場合があります。

RMSの停止はRMSの起動処理が完了(クラスタアプリケーションの状態遷移完了)後に実行してください。

すべてのノードのRMSを同時に停止するにはhvshut -aを使用してください

すべてのノードで同時にhvshut -lを実行した場合、RMSの停止が行われずhvshutコマンドがタイムアウト、またはハングする場合があります。

すべてのノードのRMSを停止する場合は、hvshut -aをクラスタシステムを構成する任意の1ノードで実行してください。

1ノードごとにRMSを停止する場合は、RMSを停止するノードでhvshut -lを実行してください。

誤って、すべてのノードで同時にhvshut -lを実行し、hvshutコマンドがタイムアウトした場合は、すべてのノードを停止または再起動して

ください。また、hvshutコマンドがハングした場合は、hvshut -fコマンドでRMSを強制停止した後、すべてのノードを停止または再起動


RMS停止後、OSサービスの停止は行わないでください

hvshutを使用してRMSを停止しても他のPRIMECLUSTER サービス(CF、SF、CRMなど)は動作しています。

このため、RMS停止後にOS情報(ネットワーク情報など)の修正のためにOSサービスを停止／再起動すると、CF によるハートビートが

失敗し予期しない切替えが発生します。

OS 情報を修正する場合は、PRIMECLUSTERのすべてのサービスを停止(CFのアンロード)した後、あるいはシングルユーザモードで


RMSを起動する前に、RMSで使用するクラスタアプリケーションを作成してください

クラスタアプリケーションを作成しない状態でRMSを起動すると、(CML,14)のメッセージを出力し、RMSの起動に失敗します。

クラスタアプリケーションの概要と作成方法については、“第6章クラスタアプリケーションの構築”を参照してください。

クラスタを構成するノードでOSハングやスローダウンが発生した場合、正常なノードが強制停止されることがあります

クラスタを構成するノードでシステム負荷などの影響により、OSハングやスローダウンが発生した場合、CFまたはRMSがLEFTCLUSTERを検出して、シャットダウン機構がノードを強制停止します。

このとき、シャットダウン機構は生存優先度に従ってノードを強制停止するため、正常ノードが故障ノードを強制停止する前に、故障

ノードのOSハングやスローダウンが解消された場合、正常ノードが先に強制停止されることがあります。

SANブート/iSCSIブート構成で全パス故障が発生した場合など、ディスク装置のシステムボリュームを参照できなくなった場合、システムの状況により、PRIMECLUSTERの異常検出機能が動作できなくなることがあります

システムボリュームを参照できないノードは動作が不定のため、以下の方法でノードをパニックさせてください。

該当ノード以外のクラスタノードにログインできる場合

sdtoolコマンドを使用して、該当ノードを停止させてください。

- 268 -

# sdtool -k <該当ノード>

参照

sdtoolコマンドの詳細は、“PRIMECLUSTER 活用ガイド＜コマンドリファレンス編＞”のsdtool(1M)を参照してください。

いずれのノードにもログインできない場合

以下のいずれかの操作を行い、手動でノードをパニックさせてください。

－システムコンソールで、＜Alt＞+＜SysRq＞+＜C＞キーを押す。

－ NMIボタンを押す。

詳細については、“Linux ユーザーズマニュアル”を参照してください。

クラスタアプリケーションを手動で起動する場合や、リソース故障のメッセージが確認された場合は、MONITORONLY属性を設定したリソースが故障状態のままになっていないか、確認してください

MONITORONLY属性を設定したリソースの故障状態を解消せずにクラスタアプリケーションの起動や切替えを行った場合、クラスタの

整合性が失われたり、データ破壊が発生する可能性があります。

Firewallを設定し、かつ、Firewallでstateモジュールを使用している場合、PRIMECLUSTER運用中にiptablesサービスまたはip6tablesサービスを再起動しないでください

Firewallでstateモジュールを使用している場合、iptablesサービスまたはip6tablesサービスを再起動すると、通信状態の情報が初期化

され、それ以降の通信が正常にできなくなることがあります。アプリケーションだけでなく、PRIMECLUSTERも正常に動作できなくなり

ますので、Firewallの設定を変更する場合は、以下のいずれかを行ってください。

・クラスタノードの再起動

・ iptables-restore または ip6tables-restore による反映

RHEL7環境でシステム起動時、コンソールとSyslogにエラーメッセージが出力される場合があります

RHEL7環境でシステム起動時、コンソールとSyslogに以下のメッセージが出力される場合がありますが、動作に影響はありません。

kernel: Request for unknown module key 'FUJITSU Software: Fujitsu BIOS DB FJMW Certificate: 40桁の16進数' err -11

kernel: Disabling lock debugging due to kernel taint

kernel: clonltrc: module license 'Proprietary' taints kernel.

kernel: clonltrc: module verification failed: signature and/or required key missing - tainting kernel

kernel: sfdsk_lib: module verification failed: signature and/or required key missing - tainting kernel

kernel: sha: module license 'Proprietary' taints kernel.

kernel: sha: module verification failed: signature and/or required key missing - tainting kernel

kernel: symsrv: module license 'Proprietary' taints kernel.

kernel: symsrv: applying kernel_stack fix up

kernel: symsrv: module verification failed: signature and/or required key missing - tainting kernel

kernel: cf: applying kernel_stack fix up

kernel: poffinhibit_ipdv: module verification failed: signature and/or required key missing - tainting kernel

7.5.1 クラスタアプリケーションの強制切替えに関する注意

クラスタアプリケーションまたはリソースの強制切替え(強制起動)を行うと、RMSは安全性チェックを無効にして、クラスタアプリケーショ

ンまたはリソースを起動します。その結果、ノード間で排他が必要な共有リソースが複数ノード上で同時にOnlineとなると、データが破

損したり、整合性が失われる可能性があります。

注意

クラスタアプリケーションまたはリソースの強制起動時にデータが破損するリスクを低減するため、RMSが起動していないノードを強制

停止してからクラスタアプリケーションまたはリソースを強制起動する場合があります。

- 269 -

クラスタアプリケーションまたはリソースの強制起動を安全に行うには、強制起動を開始する前に、以下の手順に従い、クラスタを構成

するすべてのノードでRMSが起動しているかを確認し、起動していないノードはシャットダウンしてください。

1. 以下のいずれかの方法でノードの状態(State)を確認します。

－すべてのノード上でcftool -nコマンドを実行します。

fuji2# cftool -n

Node Number State Os Cpu

fuji2 1 UP Linux EM64T

fuji3 2 UP Linux EM64T

－ Cluster Adminの CFツリーを確認します。

2. ノードの状態について、以下の内容を確認し、必要があれば対処します。

－ノードの状態がすべてUPであることを確認します。

－ LEFTCLUSTER状態のノードが存在した場合、CFをLEFTCLUSTER状態から回復させます。

詳細な方法については、“PRIMECLUSTER Cluster Foundation 導入運用手引書”を参照してください。

－ DOWN、UNKNOWN状態のノード、または状態が表示されていないノードが存在した場合、そのノードのOSが停止してい

ることを確認します。OSが起動していた場合、OSを停止するか、シングルユーザモードで再起動します。

3. クラスタアプリケーションまたはリソースを強制起動するノードで、RMSが起動していないノードが存在しないかを以下のいずれ

かの方法で確認します。

－クラスタアプリケーションまたはリソースを起動するノードで、hvdisp -aコマンドを実行し、TypeがSysNodeのオブジェクトの状

態(State)がOnlineであることを確認します。

fuji2# hvdisp -a

Local System: fuji2RMS

Configuration: /opt/SMAW/SMAWRrms/build/config.us

Resource Type HostName State StateDetails

-----------------------------------------------------------------------------

fuji3RMS SysNode Online

fuji2RMS SysNode Online

app2 userApp Offline

Machine001_app2 andOp fuji3RMS

Machine000_app2 andOp fuji2RMS Offline

ManageProgram000_Cmd_APP2 gRes Offline

app1 userApp Offline

Machine001_app1 andOp fuji3RMS

- 270 -

Machine000_app1 andOp fuji2RMS Offline


－ Cluster AdminのRMSツリーに表示される、すべてのノード(SysNode)がOnlineであることを確認します。

4. 以下の条件を満たすノードが存在した場合、そのノードのOSを停止するか、シングルユーザモードで再起動します。

－ノードの状態がUP、かつ、

－ SysNodeの状態がOnline以外

5. 強制切替え(hvswitch -f)を実行し、クラスタアプリケーションまたはリソースを強制的に起動します。

7.6 CF と RMS のハートビートについて

PRIMECLUSTER は、CF と RMS それぞれでハートビートを行います。それぞれが検出するハートビート異常の種類と、ハートビート

タイムアウト検出時間(デフォルト)を以下に記載します。

表7.2 ハートビートで検出する異常とハートビートタイムアウト検出時間(CF と RMS)

ハートビートで検出する異常の種類ハートビートタイムアウト検出時間

(デフォルト)

CF ・カーネル層レベルのシステムハング

・クラスタインタコネクトの全パス異常

・相手ノードのパニックやリセット(*1)

10 秒

RMS ・ユーザ層(アプリケーション層)レベルのシステムハン

グ

・相手ノードの RMS 異常停止(*2、*3)

・ 4.1A40 以前

45 秒

・ 4.2A00 以降

600 秒

(*1): PRIMECLUSTER の非同期監視を利用している場合、非同期監視が即時検出します。

(*2): RMS のハートビートである、ELM ハートビートが有効な環境では、ELM ハートビートが即時検出します。(ELM ハートビートは、

4.2A00 以降ではデフォルトで有効です。)

(*3): 例としてリソースの二重故障があります。リソースの二重故障については、“PRIMECLUSTER 活用ガイド＜トラブルシューティン

グ編＞”の“10.3 二重故障(Double Fault)”を参照してください。

- 271 -

注意

CF のハートビートが検出する異常は業務への影響が大きいため、ハートビートタイムアウト検出時間(以下、検出時間)のデフォルトを、

RMS の検出時間より短くしています。

RMS の検出時間を CF の検出時間より短くした場合、RMS 起動時に以下の警告メッセージが出力されます。

(BM, 4) The CF cluster timeout <cftimeout> exceeds the RMS timeout <rmstimeout>. This may result in RMS node elimination

request before CF timeout is exceeded. Please check the CF timeout specified in /etc/default/cluster.config and the RMS

heartbeat miss time specified by hvcm '-h' option.

7.7 cron処理

ここでは、PRIMECLUSTER がroot ユーザのcron で行っている処理について説明します。

各環境変数の詳細については、“PRIMECLUSTER RMS 導入運用手引書”を参照してください。

cronエントリ名実行間隔

(初期設定値)処理内容

hvlogcron 1日1回（夜） RELIANT_LOG_PATH 配下のサブディレクトリの内、更新日時(ctime)がRELIANT_LOG_LIFE で設定されている期間より前のディレクトリを全て削除し

ます。

RELIANT_LOG_LIFE: RMS関連ログファイルを削除する期間

設定値任意の日数

デフォルト値 7（日）

RELIANT_LOG_PATH: RMSとwizard tools のログが格納されている箇所

設定値任意の有効なパス

デフォルト /var/opt/SMAWRrms/log

hvlogcron が実行される時間帯に、運用を停止しているシステムの場合は、ログ

が削除されないため、ログ量が増加する可能性があります。

hvlogcron が1日1回実行されるように、cron の設定を変更してください。

hvlogcontrol 15分毎 RMS関連のログファイルがディスク領域を圧迫しないようにします。

ディスクの使用率が HV_LOG_ACTION_THRESHOLD 以上だった場合、

RELIANT_LOG_PATH 配下の全てのサブディレクトリを削除します。

サブディレクトリを削除してもディスクの使用率が

HV_LOG_ACTION_THRESHOLD 以上だった場合は HV_LOG_ACTION に従い、現在のログファイルを全て削除する(HV_LOG_ACTION が "on"の場合)か、または hvlogcontrol が実行されるごとに WARNIG メッセージを出力

( HV_LOG_ACTION が "off"の場合)します。

HV_LOG_ACTION_THRESHOLD: ログファイルがディスク領域を圧迫してい

ると判断するディスクの使用率

設定値 0-100デフォルト 98 (%)

HV_LOG_ACTION:ディスク領域が圧迫されていると判断した場合の動作

設定値 on / offデフォルト off

sflogcontrol 15分毎 SF関連のログファイルがディスク領域を圧迫しないようにします。

ディスクの使用率が98 % 以上だった場合、/var/opt/SMAWsf/log 配下の全ての

サブディレクトリを削除します。サブディレクトリを削除してもディスクの使用率が

98 % 以上だった場合は、現在のログファイルの大きさが1Mバイト以上の場合

に現在のログファイルも削除して、WARNING メッセージを出力します。

- 272 -

cronエントリ名実行間隔

(初期設定値)処理内容

sflogcontrolmidnight

1日1回（夜） 7日以前のSF関連ログファイルを /var/opt/SMAWsf/log 配下の全てのサブディ

レクトリから削除します。

sflogcontrol midnight が実行される時間帯に、運用を停止しているシステムの

場合は、ログが削除されないため、ログ量が増加する可能性があります。

sflogcontrol midnight が1日1回実行されるように、cron の設定を変更してくださ

い。

hvcleanupnfs 1時間毎 RFS(NFSファイルシステム)リソースに必要な回収処理を実行します。

Wizard for NAS ( RFS )環境で使用します。

注意

PRIMECLUSTER が root ユーザの cron に登録したエントリの削除や、別ユーザの cron への移動は行わないでください。

- 273 -


第8章クラスタシステムの構成変更................................................................................................................ 275

第9章クラスタシステム環境の変更................................................................................................................ 291

第10章クラスタアプリケーションの構成変更................................................................................................... 303

第11章クラスタシステムの運用属性の変更....................................................................................................329

- 274 -

第8章クラスタシステムの構成変更

ここでは、PRIMECLUSTERシステムの構成ノードやハードウェアの追加、変更等について操作方法を説明します。

クラスタアプリケーションやリソースを追加する場合は、PRIMECLUSTERシステム全体で設定できるリソースオブジェクト数およびディ

テクタ数が大値を超えないことを、あらかじめ PRIMECLUSTER デザインシートの“設計(リソース数)”で確認してください。

クラスタシステムの構成変更後、PRIMECLUSTER環境チェックツールを用いて、PRIMECLUSTER環境チェックを行ってください。

PRIMECLUSTER環境チェックの詳細については、“6.9 クラスタ環境のチェック”を参照してください。

8.1 ハードウェアの追加/削除/変更

ここでは、既存の構成に、以下のハードウェアを追加、削除、変更する場合の作業手順について説明します。

・共用ディスク装置

・業務LAN/管理LANで使用するネットワークインタフェースカード

・システムボード

注意

・システムボードを変更する場合は、シャットダウン機構で使用している BMC または iRMC を再設定してください。

・システムボードまたはネットワークインタフェースカードを変更する場合は、ネットワークを再起動しないでください。

8.1.1 ハードウェアの追加

ハードウェアを追加する場合の作業手順について説明します。

8.1.1.1 共用ディスク装置の追加

共用ディスク装置の追加手順について説明します。

図8.1 共用ディスク装置の追加手順

参考

「5. クラスタアプリケーションの変更」には、RMSの停止が必要です。

- 275 -

ただし、以下のすべての条件を満たす場合は、「5. クラスタアプリケーションの変更」が不要になるため、RMSを停止する必要はありま

せん。

・追加した共用ディスク装置をGDSの既存のクラスに登録する。

・追加した共用ディスク装置をFsystemリソースとして使用しない。

◆操作手順

1. 共用ディスク装置の追加

“12.2 保守作業の流れ”に従い、当社技術員（CE）に共用ディスク装置の追加を依頼してください。

2. 共用ディスク装置のリソースのデバイス名を変更

既存の共用ディスク装置のリソースに設定されているデバイス名を、現在のデバイス名に更新します。

以下のコマンドを実行してください。filepathには空のファイルを絶対パスで指定します。

# /etc/opt/FJSVcluster/bin/clautoconfig -f filepath

注意

GDSの設定ファイル/etc/opt/FJSVsdx/sdx.cfにSDX_UDEV_USE=offが記述されている場合、clautoconfigコマンドは実行しない

でください。

3. 共用ディスク装置のリソースの追加

追加した共用ディスク装置に対応するリソースを、リソースデータベースに登録します。

参照

リソースの登録については、“5.1.3.2 ハードウェア装置の登録”を参照してください。

4. Gdsリソースの設定

GDSを使用する場合は、GDSの設定を行い、Gdsリソースを作成します。

追加した共用ディスク装置をGDSの既存のクラスに登録する場合、Gdsリソースの設定は不要です。

参照

GDSの設定およびGdsリソースの作成については、“6.3 GDSの構成設定”、“6.7.3.3 Gdsリソースの事前設定”、“6.7.3.4 Gdsリソースの設定”を参照してください。

5. クラスタアプリケーションの変更

追加した共用ディスク装置に関連する以下のリソースを、クラスタアプリケーションに追加するため、クラスタアプリケーションを変

更します。

－ Fsystemリソース

－ Gdsリソース

参照

クラスタアプリケーションの変更については、“10.3 クラスタアプリケーションの変更”を参照してください。

8.1.1.2 業務LAN/管理LANで使用するネットワークインタフェースカードの追加

業務LAN/管理LANで使用するネットワークインタフェースカードの追加手順について説明します。

- 276 -

図8.2 ネットワークインタフェースカードの追加手順

◆操作手順

1. ネットワークインタフェースカードの追加

“12.2 保守作業の流れ”に従い、当社技術員（CE）にネットワークインタフェースカードの追加を依頼してください。

2. ネットワークインタフェースカードのリソースの追加

追加したネットワークインタフェースカードに対応するリソースを、リソースデータベースに登録します。

参照

リソースの登録については、“5.1.3.2 ハードウェア装置の登録”を参照してください。


追加したネットワークインタフェースカードに関連する以下のリソースを、クラスタアプリケーションに追加するため、クラスタアプリ

ケーションを変更します。

－引継ぎネットワークリソース

－ Glsリソース

参照


8.1.1.3 Dynamic Reconfigurationによる増設

PRIMECLUSTERシステム運用時に、Dynamic Reconfiguration (以降、DR)機能を使用してシステムボートを増設する場合の手順に

ついて説明します。

システムボードの活性増設を実施すると、PRIMECLUSTERの監視制御に影響を及ぼし、ノードが強制停止されることがあるため、以

下の手順によりクラスタの監視機能を一時停止させてから行ってください。

1. PRIMECLUSTERのRMSを停止します。各ノードにおいてそれぞれ以下のようにhvshutコマンドを実行し、問合せに対して"yes"と答えてください。この操作によりPRIMECLUSTERのRMSは停止しますが、クラスタアプリケーションは稼働したままです。

# hvshut -L

WARNING

-------

The '-L' option of the hvshut command will shut down the RMS

software without bringing down any of the applications.

In this situation, it would be possible to bring up the same

application on another node in the cluster which *may* cause

data corruption.

Do you wish to proceed ? (yes = shut down RMS / no = leave RMS running).

- 277 -

yes

NOTICE: User has been warned of 'hvshut -L' and has elected to proceed.

さらに、各ノードにおいて/opt/SMAW/SMAWRrms/bin/hvenv.local ファイルの末尾に以下の1行を追加します。

export HV_RCSTART=0

上記手順は、RMSがOS起動直後に自動起動しないようにするために必要です。

2. PRIMECLUSTERのシャットダウン機構を停止します。各ノードにおいてそれぞれ以下のようにsdtoolコマンドを実行してくださ

い。

# sdtool -e

LOG3.013806902801080028 11 6 30 4.4A00 SMAWsf : RCSD returned a successful exit code for

this command

3. PRIMECLUSTERのCFにおけるタイムアウト値を変更します。各ノードにおいてそれぞれ以下の操作を実行してください。

－ /etc/default/cluster.configに以下の設定を追加してください。

CLUSTER_TIMEOUT "600"

－以下のコマンドを実行してください。

# cfset -r

－正しくタイムアウト値が変更されたか確認してください。

# cfset -g CLUSTER_TIMEOUT

>From cfset configuration in CF module:

Value for key: CLUSTER_TIMEOUT --->600

#

4. DRの操作を実施してください。

参照

DRの操作手順はハードウェアの関連マニュアルを参照してください。

5. PRIMECLUSTERのCFにおけるタイムアウト値を元に戻します。各ノードにおいてそれぞれ以下の操作を実行してください。

－先に/etc/default/cluster.configに定義したCLUSTER_TIMEOUTの値を10に設定します。

変更前:


変更後:



# cfset -r





#

- 278 -

6. PRIMECLUSTERのシャットダウン機構を起動します。各ノードにおいてそれぞれ以下のようにsdtoolコマンドを実行してくださ

い。

# sdtool -b

7. PRIMECLUSTERのシャットダウン機構が起動していることを確認します。(以下、2ノード構成の場合の出力例)

# sdtool -s


------------ ----- -------- ---------- ---------- ----------





8. PRIMECLUSTERのRMSを起動します。各ノードにおいてそれぞれ以下のようにhvcmコマンドを実行してください。

# hvcm

Starting Reliant Monitor Services now

9. PRIMECLUSTERのRMSが起動していることを確認します。Cluster AdminのRMSメインウィンドウにおいて、各ノードの状態表

示アイコンが緑色(Online)になっていることを確認してください。

後に、各ノードにおいて/opt/SMAW/SMAWRrms/bin/hvenv.localファイルから以下の行を削除します。

export HV_RCSTART=0

注意

・ DRを使用する予定がある場合は、クラスタシステムの構築段階で必ず上記のテストを実施し、問題がないことを確認してください。

・上記の手順1の完了後から手順7の完了後までの間に、ハードウェア異常等の原因でDR実行中のノードの異常終了(パニックやリ

セット等)やハングアップが発生した場合、以下の手順に従い、DR実行中のノードで稼働していたクラスタアプリケーションを待機

ノードで起動する必要があります。

1. ハングアップが発生している場合は当該ノードを強制的に停止させ、ノードが稼働していないことを確認してください。

2. 異常が発生していないいずれかのノードにおいて、cftoolコマンドを実行し、異常が発生したノードのノード番号とCFノード

名を入力することでDOWNマークを付けてください。ただし、“cftool -n”コマンドの結果で、異常が発生したノードの状態が

LEFTCLUSTERとなっていない場合、LEFTCLUSTERになるのを待ってから“cftool -k”コマンドを実行してください。

# cftool -n


node0 1 UP Linux EM64T

node1 2 LEFTCLUSTER Linux EM64T

# cftool -k

This option will declare a node down. Declaring an operational

node down can result in catastrophic consequences, including

loss of data in the worst case.

If you do not wish to declare a node down, quit this program now.

Enter node number: 2

Enter name for node #2: node1

cftool(down): declaring node #2 (node1) down

cftool(down): node node1 is down

# cftool -n



node1 2 DOWN Linux EM64T

#

- 279 -

3. 異常が発生していない全てのノードで手順5～手順9を実行し、RMSを起動してください。運用・待機構成のクラスタアプリ

ケーションの場合、"hvswitch -f "コマンドを実行してクラスタアプリケーションを強制起動してください。詳細は“PRIMECLUSTER活用ガイド<コマンドリファレンス編>”hvswitchの-fオプションの説明を参照してください。

# hvswitch -f userApplication

The use of the -f (force) flag could cause your data to be corrupted and could cause your node to be killed. Do

not continue if the result

of this forced command is not clear.

The use of force flag of hvswitch overrides the RMS internal security mechanism. In particular RMS does no longer

prevent resources,

which have been marked as "ClusterExclusive", from coming Online on more than one host in the cluster. It is

recommended to double

check the state of all affected resources before continuing.

IMPORTANT: This command may kill nodes on which RMS is not running in order to reduce the risk of data corruption!

Ensure that RMS is running on all other nodes. Or shut down OS of the node on which RMS is not running.

Do you wish to proceed ? (default: no) [yes, no]:yes

#

4. 異常が発生していたノードの復旧後、当該ノードで手順5～手順9を実行し、RMSを起動してください。

8.1.2 ハードウェアの削除

ハードウェアを削除する場合の作業手順について説明します。

8.1.2.1 共用ディスク装置の削除

共用ディスク装置を削除する場合は、事前に、削除する共用ディスク装置のリソースが含まれるクラスタアプリケーションを変更する必


図8.3 共用ディスク装置の削除手順

◆操作手順


削除対象の共用ディスク装置を使用している以下のリソースを、クラスタアプリケーションから削除します。


－ Gdsリソース

- 280 -

参照

クラスタアプリケーションの構成を変更し、リソースを削除する方法については、“10.3 クラスタアプリケーションの変更”および

“10.5 リソースの削除”を参照してください。

2. GDSのオブジェクトの削除

削除する共用ディスク装置に関連する、GDSのオブジェクトを削除します。

参照

GDSのオブジェクトの削除については、“PRIMECLUSTER Global Disk Services 説明書”の“構成削除”を参照してください。


リソースを削除する前に、リソースに設定されているデバイス名を現在のデバイス名に更新します。以下のコマンドを実行してく

ださい。filepathには空のファイルを絶対パスで指定します。


4. 共用ディスク装置のリソースの削除

cldelrscコマンドを使用し、登録された共用ディスク装置のリソースを削除します。

cldelrscコマンドについては、マニュアルページを参照してください。

cldelrscコマンド実行後、リソースを削除したことをGDSに通知するため、以下のコマンドを実行します。filepathには空のファイル

を絶対パスで指定します。


注意

－リソースを削除する共用ディスクがGDSのクラスに登録されている場合は、共用ディスクをGDSのクラスから削除した後、共用

ディスクのリソースを削除してください。共用ディスクをGDSのクラスから削除する方法については、“PRIMECLUSTER GlobalDisk Services 説明書”を参照してください。

－ GDSの設定ファイル/etc/opt/FJSVsdx/sdx.cfにSDX_UDEV_USE=offが記述されている場合、clautoconfigコマンドは実行し

ないでください。

5. 共用ディスク装置の削除

“12.2 保守作業の流れ”に従い、当社技術員（CE）に共用ディスク装置の削除を依頼してください。


共用ディスク装置の削除によって、削除していない共用ディスク装置のデバイス名が変更されることがあります。共用ディスク装

置のリソースのデバイス名を、実際のデバイス名に合わせて修正するため、以下のコマンドを実行します。filepathには空のファ

イルを絶対パスで指定します。


注意

GDSの設定ファイル/etc/opt/FJSVsdx/sdx.cfにSDX_UDEV_USE=offが記述されている場合、手順6は実行しないでください。

8.1.2.2 業務LAN/管理LANで使用するネットワークインタフェースカードの削除

業務LAN/管理LANで使用するネットワークインタフェースカードを削除する場合は、事前に、削除するネットワークインタフェースカー

ドのリソースが含まれるクラスタアプリケーションを変更する必要があります。

- 281 -

図8.4 ネットワークインタフェースカードの削除手順

◆操作手順


削除対象のネットワークインタフェースカードを使用している以下のリソースを、クラスタアプリケーションから削除します。


－ Glsリソース

参照



2. ネットワークインタフェースカードのリソースの削除

cldelrscコマンドを使用し、登録されたネットワークインタフェースカードのリソースを削除します。


3. ネットワークインタフェースカードの削除

“12.2 保守作業の流れ”に従い、当社技術員（CE）にネットワークインタフェースカードの削除を依頼してください。

8.1.2.3 Dynamic Reconfigurationによる減設

PRIMECLUSTERシステム運用時に、Dynamic Reconfiguration (以降、DR)機能を使用してシステムボートを減設する場合の手順に

ついて説明します。

システムボードの活性減設を実施すると、PRIMECLUSTERの監視制御に影響を及ぼし、ノードが強制停止されることがあるため、以

下の手順によりクラスタの監視機能を一時停止させてから行ってください。

注意

I/Oが搭載されているシステムボードに対してDRを行うことはできません。また、減設を行う場合には、事前にCPU、メモリが減った状

態で業務が継続できることを見積もっておく必要があります。

1. PRIMECLUSTERのRMSを停止します。各ノードにおいてそれぞれ以下のようにhvshutコマンドを実行し、問合せに対して"yes"と答えてください。この操作によりPRIMECLUSTERのRMSは停止しますが、クラスタアプリケーションは稼働したままです。

# hvshut -L

WARNING

-------





- 282 -

data corruption.


yes

NOTICE: User has been warned of 'hvshut -L' and has elected to proceed.

さらに、各ノードにおいて/opt/SMAW/SMAWRrms/bin/hvenv.local ファイルの末尾に以下の1行を追加します。

export HV_RCSTART=0

上記手順は、RMSがOS起動直後に自動起動しないようにするために必要です。

2. PRIMECLUSTERのシャットダウン機構を停止します。各ノードにおいてそれぞれ以下のようにsdtoolコマンドを実行してくださ

い。

# sdtool -e

LOG3.013806902801080028 11 6 30 4.4A00 SMAWsf : RCSD returned a successful exit code for

this command

3. PRIMECLUSTERのCFにおけるタイムアウト値を変更します。各ノードにおいてそれぞれ以下の操作を実行してください。

－ /etc/default/cluster.configに以下の設定を追加してください。



# cfset -r





#

4. DRの操作を実施してください。

参照

DRの操作手順はハードウェアの関連マニュアルを参照してください。

5. PRIMECLUSTERのCFにおけるタイムアウト値を元に戻します。各ノードにおいてそれぞれ以下の操作を実行してください。

－先に/etc/default/cluster.configに定義したCLUSTER_TIMEOUTの値を10に設定します。

変更前:


変更後:



# cfset -r




- 283 -


#

6. PRIMECLUSTERのシャットダウン機構を起動します。各ノードにおいてそれぞれ以下のようにsdtoolコマンドを実行してくださ

い。

# sdtool -b

7. PRIMECLUSTERのシャットダウン機構が起動していることを確認します。(以下、2ノード構成の場合の出力例)

# sdtool -s


------------ ----- -------- ---------- ---------- ----------





8. PRIMECLUSTERのRMSを起動します。各ノードにおいてそれぞれ以下のようにhvcmコマンドを実行してください。

# hvcm

Starting Reliant Monitor Services now

9. PRIMECLUSTERのRMSが起動していることを確認します。Cluster AdminのRMSメインウィンドウにおいて、各ノードの状態表

示アイコンが緑色(Online)になっていることを確認してください。

後に、各ノードにおいて/opt/SMAW/SMAWRrms/bin/hvenv.localファイルから以下の行を削除します。

export HV_RCSTART=0

注意

・ DRを使用する予定がある場合は、クラスタシステムの構築段階で必ず上記のテストを実施し、問題がないことを確認してください。

・上記の手順1の完了後から手順7の完了後までの間に、ハードウェア異常等の原因でDR実行中のノードの異常終了(パニックやリ

セット等)やハングアップが発生した場合、以下の手順に従い、DR実行中のノードで稼働していたクラスタアプリケーションを待機

ノードで起動する必要があります。

1. ハングアップが発生している場合は当該ノードを強制的に停止させ、ノードが稼働していないことを確認してください。

2. 異常が発生していないいずれかのノードにおいて、cftoolコマンドを実行し、異常が発生したノードのノード番号とCFノード

名を入力することでDOWNマークを付けてください。ただし、“cftool -n”コマンドの結果で、異常が発生したノードの状態が

LEFTCLUSTERとなっていない場合、LEFTCLUSTERになるのを待ってから“cftool -k”コマンドを実行してください。

# cftool -n



node1 2 LEFTCLUSTER Linux EM64T

# cftool -k

This option will declare a node down. Declaring an operational

node down can result in catastrophic consequences, including

loss of data in the worst case.

If you do not wish to declare a node down, quit this program now.

Enter node number: 2

Enter name for node #2: node1

cftool(down): declaring node #2 (node1) down

cftool(down): node node1 is down

# cftool -n



- 284 -

node1 2 DOWN Linux EM64T

#

3. 異常が発生していない全てのノードで手順5～手順9を実行し、RMSを起動してください。運用・待機構成のクラスタアプリ

ケーションの場合、"hvswitch -f "コマンドを実行してクラスタアプリケーションを強制起動してください。詳細は“PRIMECLUSTER活用ガイド<コマンドリファレンス編>”hvswitchの-fオプションの説明を参照してください。

# hvswitch -f userApplication

The use of the -f (force) flag could cause your data to be corrupted and could cause your node to be killed. Do

not continue if the result

of this forced command is not clear.

The use of force flag of hvswitch overrides the RMS internal security mechanism. In particular RMS does no longer

prevent resources,

which have been marked as "ClusterExclusive", from coming Online on more than one host in the cluster. It is

recommended to double

check the state of all affected resources before continuing.



Do you wish to proceed ? (default: no) [yes, no]:yes

#

4. 異常が発生していたノードの復旧後、当該ノードで手順5～手順9を実行し、RMSを起動してください。

8.1.3 ハードウェアの変更

ハードウェアを変更する場合の作業手順について説明します。

8.1.3.1 共用ディスク装置の変更

共用ディスク装置を変更する場合は、事前に、変更する共用ディスク装置のリソースを削除し、共用ディスク装置の変更後に、変更し

た共用ディスク装置のリソースを追加する必要があります。

- 285 -

図8.5 共用ディスク装置の変更手順

◆操作手順


変更対象の共用ディスク装置を使用している以下のリソースを、クラスタアプリケーションから削除します。


－ Gdsリソース

参照



2. GDSのオブジェクトの削除

変更する共用ディスク装置に関連する、GDSのオブジェクトを削除します。

参照

GDSのオブジェクトの削除については、“PRIMECLUSTER Global Disk Services 説明書” の“構成削除”を参照してください。


リソースを削除する前に、リソースに設定されているデバイス名を現在のデバイス名に更新するため、以下のコマンドを実行しま

す。filepathには空のファイルを絶対パスで指定します。

- 286 -


4. 変更する共用ディスク装置のリソース削除

cldelrscコマンドを使用して、登録された共用ディスク装置のリソースを削除します。


cldelrscコマンド実行後、リソースを削除したことをGDSに通知するため、以下のコマンドを実行します。filepathには空のファイル

を絶対パスで指定します。


注意

－削除する共用ディスク装置のリソースがGDSのクラスに登録されている場合は、共用ディスクをGDSのクラスから削除した後、

共用ディスク装置のリソースを削除してください。共用ディスクをGDSのクラスから削除する方法については、“PRIMECLUSTERGlobal Disk Services 説明書”を参照してください。

－ GDSの設定ファイル/etc/opt/FJSVsdx/sdx.cfにSDX_UDEV_USE=offが記述されている場合、clautoconfigコマンドは実行し

ないでください。

5. 共用ディスク装置の変更

“12.2 保守作業の流れ”に従い、当社技術員（CE）に共用ディスク装置の変更を依頼してください。


変更した共用ディスク装置に対するリソースを追加する前に、リソースに設定されているデバイス名を新のデバイス名に更新し

ます。以下のコマンドを実行してください。filepathには空のファイルを絶対パスで指定します。


注意

GDSの設定ファイル/etc/opt/FJSVsdx/sdx.cfにSDX_UDEV_USE=offが記述されている場合、clautoconfigコマンドは実行しない

でください。

7. 変更した共用ディスク装置のリソース追加

変更した共用ディスク装置に対応するリソースを、リソースデータベースに登録します。

参照

リソースデータベースへの登録については、“5.1.3.2 ハードウェア装置の登録”を参照してください。

8. Gdsリソースの設定

GDS (Global Disk Services) を使用する場合には、GDSの設定を行い、Gdsリソースを作成します。

参照

GDSの設定、Gdsリソースの作成については、“6.3 GDSの構成設定”、“6.7.3.4 Gdsリソースの設定”を参照してください。

9. リソースの追加

手順1.でFsystemリソースを削除した場合は、Fsystemリソースを追加します。

- 287 -

参照

リソースの追加については、“6.7.3 リソースの設定”を参照してください。

8.1.3.2 業務LAN/管理LANで使用するネットワークインタフェースカードの変更

業務LAN/管理LANで使用するネットワークインタフェースカードを変更する場合は、事前に、変更するネットワークインタフェースカー

ドのリソースを削除し、ネットワークインタフェースカードの変更後に、変更したネットワークインタフェースカードのリソースを追加する必


図8.6 ネットワークインタフェースカードの変更手順

◆操作手順


変更対象のネットワークインタフェースカードを使用している以下のリソースを、クラスタアプリケーションから削除します。


－ Glsリソース

参照



2. 変更するネットワークインタフェースカードのリソース削除

cldelrscコマンドを使用し、登録されたネットワークインタフェースカードのリソースを削除します。


3. ネットワークインタフェースカードの変更

“12.2 保守作業の流れ”に従い、当社技術員（CE）にネットワークインタフェースカードの変更を依頼してください。

4. 変更したネットワークインタフェースカードのリソース追加

変更したネットワークインタフェースカードに対応するリソースを、リソースデータベースに登録します。

- 288 -

参照

リソースデータベースへの登録については、“5.1.3.2 ハードウェア装置の登録”を参照してください。

5. リソースの追加

手順1.で引継ぎネットワークリソース、Glsリソースを削除した場合は、引継ぎネットワークリソース、Glsリソースを追加します。

参照

リソースの追加については、“6.7.3 リソースの設定”を参照してください。

8.1.3.3 CIPで使用するネットワークインタフェースカードの変更

eth3からeth4への変更を例に説明します。

注意

クラスタインタコネクトで使用しているネットワークインタフェースカードをPCI Hot Plugで交換することはできません。ノードを停止してか

らネットワークインタフェースカードを交換してください。

eth3をeth4に変更する手順

1. クラスタを構成する全ノードのCFを停止します。

CF の停止方法については、"PRIMECLUSTER Cluster Foundation 導入運用手引書"を参照してください。

2. 全ノードで以下のコマンドを実行して現在使用しているインタフェースを確認します。

# cfconfig -g自ノード名クラスタ名 eth3

3. 全ノードで以下のコマンドを実行してCF設定を削除します。

# cfconfig -d

4. 全ノードで以下のコマンドを実行してCF設定を行います。

# cfconfig -S 自ノード名クラスタ名 eth4

5. 全ノードで以下のコマンドを実行して現在使用しているインタフェースが変更されたことを確認します。

# cfconfig -g自ノード名クラスタ名 eth4 …… eth4が表示されていることを確認します。

6. VMware環境のシャットダウンエージェントSA_icmpを使用している環境において、生存確認にクラスタインタコネクトを使用して

いる場合、各ノードで/etc/opt/SMAW/SMAWsf/SA_icmp.cfgの修正を行います。

参照

詳細は、“H.2.3.3 シャットダウン機構の設定（I/Oフェンシング機能を使用する場合）”を参照してください。

7. クラスタを構成する全ノードのCFを起動します。

1. Web-Based Admin Viewにログインします。

2. Cluster Adminを開きます。

3. cfタブを選択します。

4. ドライバのロードを選択します。

5. ポップアップのチェックボックス(ドライバ)を全て選択して[確認]をクリックします。

- 289 -

6. 1号機(初期接続)のCFが起動後に2号機のCFの起動を選択しポップアップのチェックボックス(ドライバ)を全て選択して[確認]をクリックします。

7. Cluster Adminのcf上から両ノードがOnline状態であることを確認します。また各インタコネクトがUP状態であることを確認

します。

8. Cluster Adminを終了します。

9. Web-Based Admin Viewからログアウトします。

- 290 -

第9章クラスタシステム環境の変更

ここでは、PRIMECLUSTERシステムの構成情報、環境設定の変更等について操作方法を説明します。



クラスタシステム環境の変更後、PRIMECLUSTER環境チェックツールを用いて、PRIMECLUSTER環境チェックを行ってください。

PRIMECLUSTER環境チェックの詳細については、“6.9 クラスタ環境のチェック”を参照してください。

9.1 クラスタ構成情報の変更

9.1.1 クラスタノード名の変更

PRIMECLUSTERシステムを構築した後に、ノード名を変更する方法について説明します。

注意

ノード名の変更はシステムに与える影響が大きな作業です。どうしても変更が必要な場合のみ実施してください。

◆操作手順

1. ノード名を変更するノードのCFを停止します。

CFの停止方法については、“PRIMECLUSTER Cluster Foundation 導入運用手引書”の“4.6 CFの起動と停止”を参照してくだ

さい。

2. ノード名を変更するノードの/etc/hosts ファイルの旧ホスト名を新ホスト名に変更します。

例）

10.20.30.40 node1

↓ 修正

10.20.30.40 nodeA

3. ノード名を変更するノードの/etc/sysconfig/network(RHEL6の場合)、/etc/hostname(RHEL7の場合)ファイルの旧ホスト名を新ホ

スト名に変更します。

例）RHEL6の場合

HOSTNAME=node1

↓ 修正

HOSTNAME=nodeA

例）RHEL7の場合

node1

↓ 修正

nodeA

4. ノード名を変更するノードのOSを再起動します。


OS再起動後、他のノードに対して以下の手順を実行します。

- 291 -

5. OS再起動後、他のノードの/etc/hostsファイルの旧ホスト名を新ホスト名に変更します。

注意

シャットダウン機構にホスト名を設定している場合、各ノードにおいて/etc/opt/SMAW/SMAWsf/rcsd.cfgの修正を行ってください。

詳細は、“5.1.2 シャットダウン機構の設定”を参照してください。

6. Web-Based Admin Viewを再起動します。

参照

Web-Based Admin Viewを再起動する手順については、“PRIMECLUSTER Web-Based Admin View 操作手引書”を参照して

ください。

9.1.2 SFのノードの重みの変更

PRIMECLUSTERシステムを構築した後に、SFのノードの重みを変更する方法について説明します。

◆操作手順

1. 全ノードで以下のコマンドを実行し、シャットダウン機構を停止します。

# sdtool -e

2. 各ノードにおいて/etc/opt/SMAW/SMAWsf/rcsd.cfgの修正を行います。

以下に示す weightの値を修正してください。

CFNameX,weight=weight,admIP=myadmIP:agent=SA_xxx,timeout=timeout

ノードの重みは生存優先度に影響しますので、“5.1.2.1 生存優先度 ”を参照し、設定する値を検討してください。

3. 全ノードで以下のコマンドを実行し、シャットダウン機構を起動します。

# sdtool -b

9.2 ネットワーク環境の変更

PRIMECLUSTERシステムを導入した後に、業務LAN、管理LAN、CIPのIPアドレスが変更となった場合のIPアドレスを変更する方法

など、ネットワーク環境の変更について説明します。なお、IPアドレスを変更する際は、ホスト名の変更は行わないでください。

注意

仮想マシン機能を使用している場合、本節の説明はゲストOSの業務LAN/管理LANのことです。

9.2.1 業務LANのIPアドレスの変更

業務LANのIPアドレスが変更となった場合のIPアドレスを変更する方法について説明します。

◆操作手順

1. いずれかのクラスタノードで以下のコマンドを実行し、RMSの運用を停止します。

# hvshut -a

2. すべてのノードで以下のコマンドを実行し、システムをシングルユーザモードで起動します。

[RHEL6の場合]

# /sbin/shutdown now

- 292 -

[RHEL7の場合]

# /usr/bin/systemctl set-default rescue.target


3. すべてのノードでローカルファイルシステムをマウントします。

例：

# /bin/mount -a -t ext3

4. /etc/hostsファイルを編集して、各ノードのIPアドレスを変更します。

5. 業務LANのIPアドレスを変更します。

変更方法の詳細については、OSのマニュアルを参照してください。

6. 業務LANのIPアドレスの変更に伴い、シャットダウン機構やシャットダウンエージェントのIPアドレスにも変更が必要な場合、各

ノードにおいて/etc/opt/SMAW/SMAWsf/rcsd.cfg および /etc/opt/SMAW/SMAWsf/SA_xxx.cfg の修正を行います。

SA_xxx.cfgは使用しているシャットダウンエージェントの構成定義ファイルです。

参照

詳細は“5.1.2 シャットダウン機構の設定”を参照してください。

7. 業務LANのIPアドレスの変更に伴い、Web-Based Admin Viewで使用するIPアドレスにも変更が必要な場合、各ノードにおい

て、Web-Based Admin Viewで使用する業務LANのIPアドレスを変更します。

参照

詳細は“PRIMECLUSTER Web-Based Admin View 操作手引書”の“7.1 ネットワークアドレスの変更”、“7.3 管理サーバの変

更”、および“7.5 管理サーバにおけるネットワークの分離”を参照してください。

8. 引継ぎIPアドレスの変更が必要な場合（導入後に引継ぎIPアドレスが変更となった場合や、ノードの移設で引継ぎIPアドレスが

変更になった場合など)には、各ノードの/etc/hostsファイルに対し、引継ぎIPアドレスで使用するIPアドレスを修正します。

引継ぎネットワークリソースを作成している場合で、かつ、業務LANの変更により、サブネットマスク値を変更するときは、/usr/opt/reliant/etc/hvipalias ファイルも編集する必要があります。

参照

/usr/opt/reliant/etc/hvipalias ファイルの編集方法については、“6.7.3.6 引継ぎネットワークリソースの設定”を参照してください。

9. Glsリソースを作成している場合には、再起動時、RMSが自動で起動しないようにRMSの自動起動を抑止します。

現在のRMSの自動機能の設定を確認し、設定に応じて以下を実施します。

# hvsetenv HV_RCSTART

1 ←この値を確認します

－ "0"が設定されている場合、RMSの自動起動が抑止されているので、手順10.へ進みます。

－ "1"が設定されている場合、以下を実施し、RMSの自動起動を抑止します。

# hvsetenv HV_RCSTART 0


0 ←「0」が出力されることを確認します

10. すべてのノードでOSを再起動します。

[RHEL6の場合]

- 293 -


[RHEL7の場合]

# /usr/bin/systemctl set-default multi-user.target


11. 引継ぎIPアドレスがGLSにより定義されている場合は、“PRIMECLUSTER Global Link Services 説明書（伝送路二重化機能編）”


12. 手順9において、RMSの自動起動を抑止する設定を変更した場合、元の設定に戻してください。




注意

引継ぎIPアドレスがGLSにより定義されている場合で、かつ、GLSの環境設定およびGlsリソースの設定において、引継ぎIPアド

レスを、ホスト名でなく直接IPアドレスの値で指定している場合には、まず、Glsリソースを削除し、その後、/etc/hosts およびGLSの環境設定を変更し、Glsリソースを再登録してください。

詳細は、“6.2.1 GLSの設定”、“6.7.3.5 Glsリソースの設定”、および“PRIMECLUSTER Global Link Services 説明書（伝送路二

重化機能編）”を参照してください。

9.2.2 管理LANのIPアドレスの変更

管理LANのIPアドレスが変更となった場合のIPアドレスを変更する方法について説明します。

◆操作手順

1. いずれかのクラスタノードで以下のコマンドを実行し、RMSの運用を停止します。

# hvshut -a

2. すべてのノードで以下のコマンドを実行し、システムをシングルユーザモードで起動します。

[RHEL6の場合]

# /sbin/shutdown now

[RHEL7の場合]

# /usr/bin/systemctl set-default rescue.target


3. すべてのノードでローカルファイルシステムをマウントします。

例：

# /bin/mount -a -t ext3

4. /etc/hostsファイルを編集して、各ノードのIPアドレスを変更します。

5. 管理LANのIPアドレスを変更します。

変更方法の詳細については、OSのマニュアルを参照してください。

6. 管理LANのIPアドレスの変更に伴い、シャットダウン機構やシャットダウンエージェントのIPアドレスにも変更が必要な場合、各

ノードにおいて /etc/opt/SMAW/SMAWsf/rcsd.cfg および /etc/opt/SMAW/SMAWsf/SA_xxx.cfgの修正を行います。

SA_xxx.cfgは使用しているシャットダウンエージェントの構成定義ファイルです。

- 294 -

参照

詳細は、“5.1.2 シャットダウン機構の設定”を参照してください。

7. 管理LANのIPアドレスの変更に伴い、Web-Based Admin Viewで使用するIPアドレスにも変更が必要な場合、各ノードにおい

て、Web-Based Admin Viewで使用する管理LANのIPアドレスを変更します。


[RHEL6の場合]


[RHEL7の場合]

# /usr/bin/systemctl set-default multi-user.target


9.2.3 CIPのIPアドレスの変更

PRIMECLUSTERシステムを構築した後に、CIPのIPアドレスを変更する方法について説明します。

◆操作手順

1. クラスタを構成する、すべてのノードを起動します。

すでに運用中であれば、再起動の必要はありません。

2. クラスタを構成する、すべてのノードのCFを停止します。


さい。

3. cip.cfファイルを参照し、IPアドレスを変更するCIP名を確認します。

cip.cfファイルの詳細については、“PRIMECLUSTER Cluster Foundation 導入運用手引書”の“1.2 CIP構成定義ファイル”およ

びcip.cfのマニュアルページを参照してください。

4. IPv6アドレスの場合、cip.cfファイルを編集し、CIP名に対応するIPアドレスを変更します。

変更前、変更後のアドレスがともにIPv4アドレスの場合は、変更の必要はありません。

本作業はクラスタを構成する、すべてのノードで実施してください。

5. hosts(5)ファイルに定義されているCIP名に対するIPアドレスを変更します。

本作業はクラスタを構成する、すべてのノードで実施します。

6. VMware環境のシャットダウンエージェントSA_icmpを使用している環境において、生存確認にクラスタインタコネクトを使用して

いる場合、各ノードで/etc/opt/SMAW/SMAWsf/SA_icmp.cfgの修正を行います。

参照

詳細は、"H.2.3.3 シャットダウン機構の設定（I/Oフェンシング機能を使用する場合）"を参照してください。

7. クラスタを構成する、すべてのノードのCFを起動します。

CFの起動方法については、“PRIMECLUSTER Cluster Foundation 導入運用手引書”の“4.6 CFの起動と停止”を参照してくだ

さい。

8. ciptoolコマンドを使用し、CIPのIPアドレスが変更されたことを確認します。

# /opt/SMAW/SMAWcf/bin/ciptool -a

- 295 -

参照

ciptoolコマンドの詳細については、ciptoolのマニュアルページを参照してください。

9.2.4 CIPのサブネットマスクの変更

クラスタインタコネクトプロトコル(CIP)のサブネットマスクを変更する場合、以下の手順で実施してください。

1. 全ノードをシングルユーザモードに移行します。

2. cip.cf(4)ファイルで管理されている、CIPのサブネットマスクを変更します。

本作業はクラスタを構成する全てのノードで実施します。なお、cip.cf(4)ファイルの詳細については、”PRIMECLUSTER 活用ガ

イド＜コマンドリファレンス編＞”の “cip.cf(4)”を参照してください。

注意

本ファイルに対し、サブネットマスク以外の変更は行わないでください。

3. 全ノードをマルチユーザモードで起動します。

9.2.5 クラスタインタコネクトに使用しているネットワークインタフェースのMTU値の変更

クラスタインタコネクトに使用しているネットワークインタフェースのMTU値を変更する方法について説明します。

1. クラスタを構成する、すべてのノードのCFを停止します。


さい。

2. クラスタインタコネクトに使用しているネットワークインタフェースのMTU値を変更します。

3. クラスタを構成する、すべてのノードのCFを起動します。

CFの起動方法については、“PRIMECLUSTER Cluster Foundation 導入運用手引書”の“4.6 CFの起動と停止”を参照してくだ

さい。

注意

すべてのノードで、クラスタインタコネクトに使用しているネットワークインタフェースのMTU値が一致している必要があります。一致して

いない場合、そのノードはクラスタに参入できなくなります。

9.3 オプションハードウェアの設定変更

9.3.1 MMBの設定変更

ここでは、MMBの設定変更方法について説明します。

9.3.1.1 MMBのIPアドレスの変更

MMBのIPアドレスを変更する場合の手順について説明します。

注意

・ MMBのIPアドレスは1台ずつ変更してください。

・複数のMMBのIPアドレスを変更する場合は、この操作手順を繰り返してください。

- 296 -

◆操作手順


# sdtool -e

2. IPアドレスを変更するノードで以下のコマンドを実行し、MMB非同期監視デーモンを停止します。

# /etc/opt/FJSVcluster/bin/clmmbmonctl stop

3. MMBの手順に従って、IPアドレスを変更します。

4. IPアドレスを変更したノードで以下のコマンドを実行し、MMB非同期監視デーモンおよびシャットダウン機構を起動します。


# sdtool -b

5. 手順4.のシャットダウン機構の起動が終了した後に、残りのノードでシャットダウン機構を起動します。

# sdtool -b

6. 全ノードで以下のコマンドを実行し、シャットダウン機構が正常に動作していることを確認してください。

# sdtool -s

注意

シャットダウン機構の設定変更が完了しているのに、初期状態がInitFailedと表示されたり、テスト状態にUnknownやTestFailedと

表示されたりする場合、ハードウェアの設定に誤りがある可能性があります。ハードウェアの設定を見直してください。

9.3.1.2 RMCPでMMBを制御するためのユーザ名とパスワードの変更

RMCPでMMBを制御するためのユーザ名とパスワードを変更する場合の手順について説明します。

◆操作手順


# sdtool -e

2. MMBの手順に従って、RMCPでMMBを制御するためのユーザ名とパスワードを変更します。

なお、複数ノードのユーザ名とパスワードを変更する場合は、ここで複数ノード分変更してください。

3. 以下のコマンドを実行し、MMBシャットダウン機構のMMB情報のユーザ名とパスワードを変更します。

なお、複数ノードのユーザ名とパスワードを変更する場合、変更するノードをすべて変更してください。

# /etc/opt/FJSVcluster/bin/clmmbsetup -m [-u user-name] [-p]


# sdtool -b

9.3.2 IPMIの設定変更

ここでは、IPMIの設定変更について説明します。

9.3.2.1 IPMIのIPアドレスの変更

IPMIのIPアドレスを変更する場合の手順について説明します。

◆操作手順

- 297 -


# sdtool -e

2. IPMIの手順に従って、IPアドレスを変更します。

3. 変更したIPアドレスを、シャットダウンエージェントの構成定義ファイルに記述します。

参照

構成定義ファイルの記述については“5.1.2.3.3 IPMIシャットダウンエージェントの設定”を参照してください。

4. いずれかのノードで以下のコマンドを実行し、構成定義ファイルの変更内容を反映します。


以下のメッセージが出力されるので、“I”を選択します。




# sdtool -b

6. 全ノードで以下のコマンドを実行し、シャットダウン機構が正常に動作していることを確認します。

# sdtool -s

注意


表示されたりする場合、エージェントやハードウェアの設定に誤りがある可能性があります。エージェントやハードウェアの設定を

見直してください。

9.3.2.2 iRMCのユーザ名とパスワードの変更

iRMCのユーザ名とパスワードを変更する場合の手順について説明します。

◆操作手順


# sdtool -e

2. IPMIの手順に従って、ユーザ名とパスワードを変更します。

3. パスワードを暗号化します。

# /opt/SMAW/SMAWsf/bin/sfcipher -c

Enter Password:

Re-Enter Password:

D0860AB04E1B8FA3

4. 変更したiRMCのユーザ名と暗号化したパスワードを、シャットダウンエージェントの構成定義ファイルに記述します。

参照

構成定義ファイルの記述については“5.1.2.3.3 IPMIシャットダウンエージェントの設定”を参照してください。

- 298 -







# sdtool -b


# sdtool -s

注意




9.3.3 Bladeの設定変更

ここでは、Bladeの設定変更について説明します。

9.3.3.1 マネージメントブレードのIPアドレスの変更

マネージメントブレードのIPアドレスを変更する場合の手順について説明します。

◆操作手順


# sdtool -e

2. マネージメントブレードの手順に従って、IPアドレスを変更します。

3. 変更したIPアドレスを、シャットダウンエージェントの構成定義ファイルに記述します。

参照

構成定義ファイルの記述については“5.1.2.3.4 Bladeシャットダウンエージェントの設定”を参照してください。







# sdtool -b


# sdtool -s

- 299 -

注意




9.3.3.2 サーバブレードのスロット番号の変更

サーバブレードのスロット番号を変更する場合の手順について説明します。

◆操作手順


# sdtool -e

2. サーバブレードの手順に従って、スロット位置を変更します。

3. 変更したサーバブレードのスロット番号を、シャットダウンエージェントの構成定義ファイルに記述します。

参照

構成定義ファイルの記述については“5.1.2.3.4 Bladeシャットダウンエージェントの設定”を参照してください。







# sdtool -b


# sdtool -s

注意




9.4 仮想マシン環境の変更

ここでは、仮想マシン機能を使用している環境で、管理OSの設定を変更した際のVMGuestの設定変更方法について説明します。

9.4.1 管理OSの設定変更（KVM環境）

ここではKVM仮想マシン機能を使用した環境において、管理OSの設定を変更した際のシャットダウン機構の設定変更方法について

説明します。

- 300 -

9.4.1.1 管理OSのIPアドレスの変更

KVM環境で、PRIMECLUSTERシステムを導入した後に、管理OSのIPアドレスを変更した際の設定変更方法について説明します。

◆操作手順


# sdtool -e

2. 変更したIPアドレスをシャットダウンエージェントの構成定義ファイルに記述します。

参照

構成定義ファイルの記述については“5.1.2.5.2 libvirtシャットダウンエージェントの設定”を参照してください。

3. 全ゲストOS（ノード）上でそれぞれ、変更した管理OSのIP アドレス (ip-address) に対して、シャットダウン機構用のユーザでログイ

ンを実行し、SSH初回時のユーザ問い合わせ（RSA 鍵の生成）を済ませてください。






# sdtool -b

9.4.1.2 管理OSアカウントのパスワードの変更（シャットダウン機構用）

KVM環境で、PRIMECLUSTERシステムを導入した後に、シャットダウンエージェントの構成定義ファイルに設定したシャットダウン機

構用のユーザのパスワードを変更した際の設定変更方法について説明します。

◆操作手順


# sdtool -e

2. パスワードを暗号化します。

# /opt/SMAW/SMAWsf/bin/sfcipher -c

Enter Password:

Re-Enter Password:

Xh+kSlJ8nlQ=

3. 暗号化したパスワードをシャットダウンエージェントの構成定義ファイルに記述します。

参照

構成定義ファイルの記述については“5.1.2.5.2 libvirtシャットダウンエージェントの設定”を参照してください。


# sdtool -b

9.4.1.3 /etc/sysconfig/libvirt-guests の設定変更

KVM環境で、PRIMECLUSTERシステムを導入した後に、/etc/sysconfig/libvirt-guests の設定を変更する場合の手順を説明します。

◆操作手順

- 301 -


# sdtool -e

2. /etc/sysconfig/libvirt-guests の設定を変更します。

参照

/etc/sysconfig/libvirt-guestsの設定については、以下に示す、各仮想環境での“管理OSにおけるゲストOSの設定(KVM環境の

場合)”を参照してください。

－ 1つの管理OS上のゲストOS間でクラスタシステムを構築している場合、“3.2.1.2 管理OSの設定（ゲストOSのOSインストール

後）”

－管理OS異常切替機能を使用せず、複数の管理OS上のゲストOS間でクラスタシステムを構築している場合、“3.2.2.2 管理OSの設定（ゲストOSのOSインストール後）”

－管理OS異常切替機能を使用して、複数の管理OS上のゲストOS間でクラスタシステムを構築している場合、“3.2.3.1.4 管理

OSの設定（ゲストOSのOSインストール後）”


# sdtool -b

- 302 -

第10章クラスタアプリケーションの構成変更

ここでは、クラスタアプリケーションの構成変更について操作方法を説明します。



10.1 クラスタアプリケーションの追加

ここでは、クラスタアプリケーションの追加方法について説明します。

◆操作の流れ

◆操作手順

1. RMS を停止します。

RMSを起動している場合は、“7.2.1.2 RMSを停止する”を参照して、RMSを停止してください。

2. RMS Wizardでクラスタアプリケーションを追加します。

1. いずれかのクラスタノードにログインし、システム管理者権限になります。

2. RMS Wizardを起動します。

hvw -n configuration file コマンドを実行します。“configuration file”には、変更したい構成が定義されているconfigurationファイル名を指定してください。



3. 追加するuserApplicationの設定を行います。

“6.7.2 userApplicationの設定”と“6.7.3 リソースの設定”を参照して、追加するuserApplicationの設定と、リソースの登録を


- 303 -



5. “Main configuration menu”の“QUIT”を選択し、RMS Wizardを終了します。

6. PRIMECLUSTER対応製品用のクラスタサービスのチェックを行います。


# /etc/opt/FJSVcluster/bin/clrwzconfig -c

7. PRIMECLUSTER対応製品用のクラスタサービスのチェックの結果、clrwzconfigコマンドが8050番のメッセージを出力した場合、

PRIMECLUSTER対応製品用のクラスタサービスを再登録します。



- 304 -


“7.2.1.1 RMSを起動する”を参照して、RMSを起動してください。

10.2 クラスタアプリケーションの削除

ここでは、クラスタアプリケーションおよびリソースの削除方法について説明します。

注意

クラスタアプリケーションおよびリソースの削除を行う場合には、事前に必ずRMSを停止してください。RMSの停止方法については、

“7.2.1.2 RMSを停止する”を参照してください。

10.2.1 ハードウェアのリソースの削除

以下のハードウェアのリソースを削除する場合の手順について説明します。

・共用ディスク装置

・ネットワークインタフェースカード

◆操作手順

1. RMSを停止する


2. ハードウェアのリソースを削除する

cldelrscコマンドを使用し、登録されたハードウェアのリソースを削除します。


注意

・誤って、存在するネットワークインタフェースカードを削除した場合、clautoconfigコマンドを実行し、誤って削除したネットワークイン

タフェースカードのリソースを再登録してください。

・リソースを削除する共用ディスクがGDSのクラスに登録されている場合は、共用ディスクをGDSのクラスから削除した後、共用ディス

クのリソースを削除してください。共用ディスクをGDSのクラスから削除する方法については、“PRIMECLUSTER Global Disk Services説明書”を参照してください。

10.2.2 userApplicationの削除

userApplicationを削除する手順について説明します。

注意

・ userApplicationを削除すると、userApplicationに登録されている、すべてのリソースも削除されます。

・削除するuserApplicationにGdsリソースが登録されている場合には、あわせてGdsボリュームをonline状態に設定しておいてくださ

い。設定方法の詳細は、“10.5.1 Gdsリソース削除時の設定”を参照してください。

◆操作手順



hvw -n configuration file コマンドを実行します。“configuration file”には、削除するuserApplicationが定義されているconfigurationファイル名を指定してください。

- 305 -



3. “Main configuration menu”の“Application-Remove”を選択します。

4. “Application selection menu”で削除するuserApplicationを選択します。

以下は、APP2を選択した例です。

userApplication選択後に表示される以下のメッセージにyesを入力します。

注意

スケーラブル運用のクラスタアプリケーションの構成要素となるスタンバイ運用のクラスタアプリケーションを削除する場合、スタン

バイ運用のクラスタアプリケーション削除後、Controllerのリソースの変更を行ってください。Controllerのリソースの変更は、“10.3クラスタアプリケーションの変更”を参照してください。


- 306 -



注意

すべてのuserApplicationを削除した場合は、以降の手順の実施は不要です。








10.3 クラスタアプリケーションの変更

ここでは、クラスタアプリケーションの変更方法について説明します。

◆操作の流れ

- 307 -

◆操作手順

1. RMSを停止します。


2. RMS Wizardでクラスタアプリケーションの構成を変更します。






3. “Main configuration menu”の“Application-Edit”を選択します。

●スタンバイ運用のクラスタアプリケーションの変更の場合

1. “Application selection menu”で構成変更を行うuserApplicationを選択します。選択項目が複数表示されている場

合、大文字のuserApplicationを選択してください。

以下は、“APP1”を選択した例です。

2. “turnkey wizard”が表示されます。変更する内容により、以下を選択してください。

- 308 -

変更する内容選択項目

userApplication名とリソース名

に使用される識別子

（ApplicationName からクラスタ

アプリケーション名とクラスタリ

ソース名が決定される）

“ApplicationName”

userApplicationの属性 “Machines+Basics”

Cmdlineリソースの構成 “CommandLines”

Fsystemリソースの構成 “LocalFileSystems”

Gdsリソースの構成 “Gds:Global-Disk-Services”

Glsリソースの構成 “Gls:Global-Link-Services”

プロシジャリソースの構成 “Procedure:XXXXXX”

上記選択後の操作方法については、“6.7 クラスタアプリケーションの設定”を参照してください。

構成変更後は、“SAVE+EXIT” を選択し “Application selection menu” に戻った後、“RETURN” を選択し “Mainconfiguration menu” に戻ります。

以下は、userApplicationの“AutoStartUp”属性を“no”から“yes”に変更する例です。

1. “turnkey wizard”で“Machines+Basics”を選択します。

- 309 -

2. “AutoStartUp”を選択します。

3. “yes”を選択します。

- 310 -

4. “AutoStartUp”が“yes”に変更されていることを確認し、“SAVE+EXIT”を選択します。

5. “turnkey wizard”で、“SAVE+EXIT”を選択します。

6. “Application selection menu”で“RETURN”を選択します。

●スケーラブル運用のクラスタアプリケーションの変更の場合

- 311 -

注意

スケーラブル運用のクラスタアプリケーションの構成要素となるスタンバイ運用のクラスタアプリケーションの変更は、前述

の“スタンバイ運用のクラスタアプリケーションの変更の場合”を参照してください。

1. “Application selection menu”で構成変更を行うuserApplicationを選択します。

選択項目が複数表示されている場合、大文字のuserApplicationを選択してください。


2. “turnkey wizard "SCALABLE"”の“Controllers”を選択します。

3. “Settings of application type "Controller"”が表示されます。変更する内容により、以下を選択してください。

変更する内容選択項目

スタンバイ運用クラスタアプリケーショ

ンの起動順番

“ApplicationSequence”

スタンバイ運用アプリケーションの削

除

“Controllers[*]”

[補足]

“Controllers[*]”の *は数字です。削除を行うスタンバイ運用のクラスタアプリケーションを選択してください。選択後

の画面で、“NONE”を選択することで、スタンバイ運用のクラスタアプリケーションを削除します。

上記選択後の操作方法については、“6.7 クラスタアプリケーションの設定”を参照してください。構成変更後は、

“SAVE+EXIT” を選択し “Application selection menu” に戻った後、“RETURN” を選択し “Main configurationmenu” に戻ります。

以下は、userApplicationの“AutoStartUp”属性を“no”から“yes”に変更する例です。

1. “turnkey wizard "SCALABLE"”で“Machines+Basics”を選択します。

- 312 -

2. “Machines+Basics”の“(AutoStartUp=no)”を選択します。

3. “yes”を選択します。

- 313 -

4. “AutoStartUp”が“yes”に変更されていることを確認し、“SAVE+EXIT”を選択します。

5. “turnkey wizard "SCALABLE"”で、“SAVE+EXIT”を選択します。

6. “Application selection menu”で“RETURN”を選択します。

- 314 -











- 315 -



10.4 リソースの追加

ここでは、クラスタアプリケーションにリソースを追加する方法について説明します。

◆操作の流れ

◆操作手順



2. RMS Wizardでクラスタアプリケーションに新たにリソースを登録します。







4. “Application selection menu”でリソースを追加で登録するuserApplicationを選択します。


- 316 -

5. 追加するリソースの登録を行います。

“6.7.3 リソースの設定”を参照して、追加するリソースの登録を行ってください。



- 317 -











10.5 リソースの削除

リソースを削除する手順について説明します。

◆操作手順



hvw -n configuration file コマンドを実行します。“configuration file”には、削除するリソースが定義されているconfigurationファイ

ル名を指定してください。



- 318 -


4. “Application selection menu”で削除するリソースが登録されているuserApplicationを選択します。


5. “turnkey wizard”で削除するリソースを選択します。

リソース選択後に表示された画面で“REMOVE+EXIT”を選択します。

その後は、“SAVE+EXIT”を選択し、“Application selection menu” に戻った後、“RETURN” を選択し “Main configurationmenu” に戻ります。

- 319 -











- 320 -

注意

・ Gdsリソースを削除する場合には、あわせてGdsボリュームをonline状態に設定しておいてください。

設定方法の詳細は、“10.5.1 Gdsリソース削除時の設定”を参照してください。

・プロシジャリソースを削除する場合には、クラスタアプリケーションからプロシジャリソースを削除した後、クラスタリソース管理機構の

プロシジャリソースを削除してください。

クラスタリソース管理機構のプロシジャリソースの削除は“D.3 プロシジャリソースの削除”を参照してください。

・ Fsystemリソースを削除した場合、リソースとして使用したマウントポイント（行の先頭が「#RMS#」のマウントポイント）を全ノードの/etc/fstab.pclファイルから削除してください。

・引継ぎネットワークリソースを削除した場合は、以下の環境ファイルから、引継ぎネットワークリソースの設定時に追加したエントリを

削除してください。

－ /usr/opt/reliant/etc/hvipalias

－ /etc/hosts

10.5.1 Gdsリソース削除時の設定

Gdsリソースの削除を行う場合には、あわせてクラスタリソース管理機構（CRM）にGdsリソースがクラスタアプリケーションで使用されなく

なることを通知する必要があります。

◆操作手順

以下のコマンドをリソースの削除を行うノードで実行してください。

# /opt/SMAW/SMAWRrms/bin/hvgdsetup -d [class-name]

10.6 リソースの変更

ここでは、クラスタアプリケーションで使用するリソースの変更方法について説明します。

リソースの変更には、以下のものがあります。

・引継ぎネットワークリソースのホスト名および IP アドレスの変更

・ Fsystem リソースが制御するファイルシステムのデバイスの変更

ポイント

リソースの変更は、RMSが停止している状態でのみ行えます。

10.6.1 引継ぎネットワークリソースのホスト名および IP アドレスの変更

ここでは、引継ぎネットワークリソースのホスト名および IP アドレスを変更するための手順について説明します。

◆操作の流れ

- 321 -

◆操作手順

1. RMS を停止します。RMS の停止方法については、“7.2.1.2 RMSを停止する”を参照してください。

2. /etc/hosts ファイルを修正します。

引継ぎネットワークリソースを使用するすべてのノードで、 /etc/hosts ファイル内に記載されている、引継ぎネットワークリソース用

の IP アドレスとホスト名を変更します。

3. /usr/opt/reliant/etc/hvipalias ファイルを修正します。

“6.7.3.6 引継ぎネットワークリソースの設定”を参照し、引継ぎネットワークリソースを使用するすべてのノードで、hvipalias ファイ

ルの設定内容を変更してください。

変更が必要な可能性のある項目は以下の2つです。

<node name> : ホスト名の変更に連動して CF ノード名を変更した場合は、本フィールドの値を変更後の

CF ノード名に変更してください。

<takeover> : 引継ぎIPアドレスに関連付けられたホスト名を変更した場合は、このホスト名を

変更してください。

4. RMS Wizard にて設定を変更します。

クラスタを構成するいずれかのノードで hvw コマンドを実行してください。

RMS Wizard で表示される CUI メニューから、引継ぎネットワークリソースのホスト名の設定を変更します。

注意

引継ぎネットワークリソースの IP アドレスのみを変更し、ホスト名を変更しない場合は、RMS Wizard による設定変更は不要で

す。

参照

RMS Wizard による設定変更の詳細は、“11.1 userApplicationの運用属性の変更”を参照してください。

1. "Main configuration menu" の "Application-Edit" を選択します。

node1: Main configuration menu, current configuration: config

No RMS active in the cluster

1) HELP 10) Configuration-Remove

2) QUIT 11) Configuration-Freeze

3) Application-Create 12) Configuration-Thaw

- 322 -

4) Application-Edit 13) Configuration-Edit-Global-Settings

5) Application-Remove 14) Configuration-Consistency-Report

6) Application-Clone 15) Configuration-ScriptExecution

7) Configuration-Generate 16) RMS-CreateMachine

8) Configuration-Activate 17) RMS-RemoveMachine

9) Configuration-Copy

Choose an action: 4

2. "Application selection menu" で構成変更を行う userApplication を選択します。

Edit: Application selection menu (restricted):

1) HELP

2) QUIT

3) RETURN

4) OPTIONS

5) APP1

Application Name: 5

3. "turnkey wizard" で "IpAddresses" を選択します。

Consistency check ...

Settings of turnkey wizard "STANDBY" (APP1:consistent)


2) READONLY 10) Symfoware(-)




6) Machines+Basics(app1) 14) IpAddresses(Adr_APP1)




4. "Ipaddresses and ipaliase" メニューで、変更対象のホスト名が設定されている Interfaces[X] を選択します。


Ipaddresses and ipaliases (Adr_APP1:consistent)

1) HELP 7) Interfaces[0]=VAProuter,l3hub:takeover1

2) NO-SAVE+EXIT 8) PingHostPool[0]=router

3) SAVE+EXIT 9) PingHostPool[1]=l3hub

4) REMOVE+EXIT 10) (NeedAll=yes)

5) AdditionalInterface 11) (Timeout=60)

6) AdditionalPingHost 12) (InterfaceFilter=)


5. 引継ぎIPアドレスに関連付けられた変更後のホスト名を選択します。

1) HELP 6) node2RMS

2) RETURN 7) takeover2

3) NONE

4) FREECHOICE

5) node1RMS

Choose an interface name: 7

6. "SAVE+RETURN" を選択します。

Set flags for interface: takeover2

Currently set: VIRTUAL,AUTORECOVER,PING (VAProuter,l3hub)

1) HELP 4) DEFAULT 7) MONITORONLY(M)

2) - 5) BASE(B) 8) NOT:PING(P)


Choose one of the flags: 3

- 323 -

7. "Ipaddresses and ipaliase" メニューで、変更後のホスト名が Interfaces[X] に表示されていることを確認します。

Ipaddresses and ipaliases (Adr_APP1:consistent)

1) HELP 7) Interfaces[0]=VAProuter,l3hub:takeover2

2) NO-SAVE+EXIT 8) PingHostPool[0]=router

3) SAVE+EXIT 9) PingHostPool[1]=l3hub

4) REMOVE+EXIT 10) (NeedAll=yes)

5) AdditionalInterface 11) (Timeout=60)

6) AdditionalPingHost 12) (InterfaceFilter=)


8. 変更対象が複数ある場合は、手順4～7を変更対象の分だけ繰り返します。すべて変更したら "SAVE+EXIT" を選択しま

す。

9. "turnkey wizard" で "SAVE+EXIT" を選択します。











10. "Application selection menu" で "RETURN" を選択します。


1) HELP

2) QUIT

3) RETURN

4) OPTIONS

5) APP1

Application Name: 3

11. "Main configuration menu" で "Configuration-Generate" と "Configuration-Activate" を選択します。

Configuration-Generate と Configuration-Activate については、“6.7.4 GenerateとActivate”を参照してください。

12. "QUIT" を選択し、RMS Wizardを終了します。

5. RMS を起動します。RMS の起動方法については、“7.2.1.1 RMSを起動する”を参照してください。

10.6.2 Fsystem リソースが制御するファイルシステムのデバイスの変更

ここでは、Fsystem リソースが制御するファイルシステムのデバイスを変更するための手順について説明します。

◆操作手順

1. RMS を停止します。RMS の停止方法については、“7.2.1.2 RMSを停止する”を参照してください。

2. /etc/fstab.pcl ファイルを修正します。

“6.7.3.2 Fsystemリソースの設定”を参照し、/etc/fstab.pcl ファイルの第一フィールドに記載されているデバイスを変更してくださ

い。

このとき、先頭の「#RMS#」は変更しないよう注意してください。

3. “6.7.3.2 Fsystemリソースの設定”に記載の以下の手順を実行してください。

－ファイルシステムがマウントできることを確認する。

－ファイルシステムのチューニングを行う。

4. RMS を起動します。RMS の起動方法については、“7.2.1.1 RMSを起動する”を参照してください。

- 324 -

10.7 動的構成変更による共用ディスクへのファイルシステムの追加

ここでは、業務を停止せず Fsystem リソースを追加するための手順について説明します。

注意

動的構成変更では、クラスタアプリケーションを動作させたままの状態で RMS の停止を行います。

RMS が停止している状態では、クラスタアプリケーションに異常が発生しても切替えは行われないため、RMS が停止している時間を

小限とするよう、後述の手順を十分確認した上で、必要な手順の洗い出しと整理を行ってください。

また、RMS の停止に伴い異常通報を行うようなミドルウェアを使用している場合は、必要に応じて異常通報機能を無効にするなどの

対処を行ってください。

◆操作の流れ

◆操作手順

1. Cmdline リソースの名前と Online/Offline スクリプトを確認してください。

クラスタアプリケーションに Cmdline リソースが含まれている場合、Cmdline リソースのリソース名を hvdisp -T gResource コマンド

で確認してください。

もし、リソース名が "RunScriptsAlways" で始まる名前の Cmdline リソースが存在する場合、そのリソースには NULLDETECTORフラグが設定されています。

- 325 -

例

hvdisp コマンドの実行結果が以下のような場合、 Cmdline リソース RunScriptsAlways001_Cmd_APP1 と

RunScriptsAlways001_Cmd_APP2 に NULLDETECTOR フラグが設定されていると判断できます。

# hvdisp -T gResource

Local System: node01RMS



-----------------------------------------------------------------------------

RunScriptsAlways001_Cmd_APP2 gRes Online

ManageProgram000_Cmd_APP2 gRes Online

RunScriptsAlways001_Cmd_APP1 gRes Offline


NULLDETECTOR フラグが設定されている Cmdline リソースの Online/Offline スクリプトには、“6.11.2.1.4 NULLDETECTORフラグを設定した場合の注意事項”に記載の処理が組み込まれている必要があります。

もし必要な処理が組み込まれていない場合は、後の手順で RMS を停止した後、スクリプトを修正してください。

2. userApplication の運用ノードを確認します。

スタンバイ型の userApplication がクラスタ内のどのノードで動作しているか（どのノードが運用ノードか）を hvdisp -T userApplcationコマンドで確認してください。

例

hvdisp コマンドの実行結果が以下のような場合、app1 の運用ノードは node02 で、app2 の運用ノードは node01 です。

# hvdisp -T userApplcation

Local System: node01RMS



-----------------------------------------------------------------------------

app2 userApp Online

app1 userApp Standby

app1 userApp node02RMS Online

クラスタアプリケーションの運用ノードの情報は、後の手順でファイルシステムを手動でマウントさせるノードを判断する際に必要

となります。

3. Fsystem リソースで制御するファイルシステムを作成してください。

Fsystem リソースが制御するマウントポイントを新たな GDS ボリューム上に作成する場合、運用ノードで GDS のボリュームを起

動してからファイルシステムを作成してください。

参考

GDS ボリュームの起動、およびファイルシステムの作成については、“6.7.3.2 Fsystemリソースの設定” を参照してください。

4. 新たに作成したファイルシステムのマウントと確認を行います。

手順 2. で確認した、Fsystem リソースを追加する userApplication の運用ノードにて、新しく作成したファイルシステムをマウント

した後、正しくマウントされていることを確認します。

- 326 -

例

後述の手順 8. で /etc/fstab.pcl ファイルに以下の行を追加する場合についての例を記載します。

#RMS#/dev/sfdsk/class0001/dsk/volume0004 /mnt/swdsk4 ext3 noauto 0 0

以下のコマンドを運用ノードで実行しファイルシステムをマウントしてください。

# /sbin/mount -t ext3 /dev/sfdsk/class0001/dsk/volume0004 /mnt/swdsk4

マウント後、以下のコマンドを実行しマウントポイントが表示される（ファイルシステムがマウントされている）ことを確認してくださ

い。

# /sbin/mount | /bin/grep "/mnt/swdsk4 "

/dev/sfdsk/class0001/dsk/volume0004 on /mnt/swdsk4 type ext3 (rw)

また、待機ノードでファイルシステムがマウントされていないこともあわせて確認してください。


クラスタを構成するすべてのノードで hvshut -L コマンドを実行し、クラスタアプリケーションを動作させた状態のまま RMS を停止

します。

hvshut -L コマンド実行時に表示される警告メッセージには 'yes' と入力してください。

# hvshut -L

WARNING

-------





data corruption.


yes

参照

hvshut コマンドの詳細については、”PRIMECLUSTER 活用ガイド＜コマンドリファレンス編＞”の“hvshut(1M)”を参照してくだ

さい。

6. RMS が停止したことを確認します。

クラスタを構成するすべてのノードで hvdisp -a コマンドを実行してください。RMS が停止していれば、コマンドは標準エラー出

力に "hvdisp: RMS is not running" を出力します。

# hvdisp -a

hvdisp: RMS is not running

7. NULLDETECTOR フラグが設定されている Cmdline リソースの Online/Offline スクリプトを必要に応じて修正します。

手順 1. の確認の結果、NULLDETECTOR フラグが設定されている Cmdline リソースの Online/Offline スクリプトに修正が必要

な場合、“6.11.2.1.4 NULLDETECTOR フラグを設定した場合の注意事項”を参照して、スクリプトを修正してください。

8. Fsystem リソースをクラスタシステムに追加します。

“6.7.3.2 Fsystemリソースの設定”に記載の以下の手順を実施してください。

1. マウントポイントの定義

4. ファイルシステムのチューニング

6．Fsystemリソースのクラスタアプリケーションへの登録

- 327 -

Fsystem リソースが制御するマウントポイントを新たな GDS クラス上に作成する場合は、“ 6.7.3.3 Gdsリソースの事前設定”と

“6.7.3.4 Gdsリソースの設定”に記載の手順もあわせて実施してください。

9. Generate と Activate を実施します。

“6.7.4 GenerateとActivate”の手順を参照し、Generate と Activate 操作を実施してください。

10. 全ノードの RMS を起動します。

いずれかのノードで hvcm -a コマンドを実行し、すべてのノードの RMS を起動します。

# hvcm -a

11. userApplication の状態を確認します。

すべてのノードで hvdisp -a コマンドを実行し、userApplication が手順 2. で確認した運用ノードで Online 状態、待機ノードで

Offline または Standby 状態であることを確認してください。

注意

手順 4. でファイルシステムのマウントの操作が正しく行われなかった場合、手順 10. で RMS を起動後、いずれか、または両方

のノードでuserApplication が Inconsistent 状態になる場合があります。この場合、以下の手順を実施してください。

1. 待機ノードで hvutil -f コマンドを実行し、待機ノードの userApplication を Offline 状態にします。

2. 待機ノードの userApplication を Standby 状態に遷移させる場合、待機ノードで hvutil -s コマンドを実行します。

3. 運用ノードで hvswitch コマンドを実行し、運用ノードの userApplication を Online 状態にします。

- 328 -

第11章クラスタシステムの運用属性の変更

11.1 userApplicationの運用属性の変更

PRIMECLUSTERはユーザのニーズに応じて、運用属性の設定がCUI操作で可能となっています。

希望する動作に応じて、運用属性を変更してください。

・運用属性

userApplicationの運用属性については、“PRIMECLUSTER RMS 導入運用手引書”の“12 付録 - 属性”を参照してください。

・変更方法

－ 11.1.1 運用属性の変更方法（CUI）

userApplicationの運用属性の変更方法について説明します。

－ 11.2 RMS環境変数の変更

RMSの環境変数の変更方法について説明します。

注意

userApplicationの運用属性の変更を行う場合には、事前に必ずRMSを停止してください。RMSの停止方法については、“7.2.1.2 RMSを停止する”を参照してください。

11.1.1 運用属性の変更方法（CUI）CUIを使ったuserApplication属性の変更方法について説明します。

手順8.で指定する運用属性の内容については、“PRIMECLUSTER RMS 導入運用手順書”の“12 付録 - 属性”を参照してください。

◆操作手順

注意

CUI画面上の“Application”はクラスタアプリケーションを指します。


2. RMSを停止します。RMSの停止方法については、“7.2.1.2 RMSを停止する”を参照してください。

3. hvw コマンドを実行します。

# /opt/SMAW/SMAWRrms/bin/hvw -n <configuration file>

<configuration file>には、任意のConfigurationファイル名を指定してください。

- 329 -

4. CUIのメインメニューで、“Application-Edit”を選択します。番号を入力して＜Enter＞キーを押します。

図11.1 メインメニュー

5. “Application selection menu”で運用属性の変更を行うuserApplicationを選択します。


図11.2 クラスタアプリケーションの選択メニュー

6. “turnkey wizard "STANDBY"”が表示されます。“Machines+Basics”を選択し、userApplicationの運用属性を変更します。

図11.3 turnkey wizard "STANDBY"

- 330 -

7. “Machines+Basics”で変更する運用属性を選択します。

図11.4 Machines+Basics

値を変更する場合：

変更する項目を選択します。番号を入力して＜Enter＞キーを押します。

例

Choose the setting to process: 20 <RETURN>手順8.のような値の設定メニューが表示されます。

“SAVE+EXIT”を選択し、変更を保存します。番号を入力して＜Enter＞キーを押します。

Choose the setting to process: 3 <RETURN>

手順9.の“turnkey wizard "STANDBY"”が表示されます。

8. 値の設定メニューで値を設定します。

図11.5 値の設定メニュー（OnlinePriorityの例）

設定値を選択します。番号を入力して＜Enter＞キーを押します。

- 331 -

ポイント

“RETURN”を選択すると1つ前のメニューに戻れます。

変更する属性が複数ある場合、手順7.と手順8.を繰り返します。

設定する属性が“OnlinePriority”でない場合は、手順8.で選択するメニュー番号が、本例とは異なります。

9. 属性の変更が終了したら、“Machines+Basics”の画面で、“SAVE+EXIT”を選択して、“turnkey wizard "STANDBY"”に戻りま

す。

図11.6 turnkey wizard "STANDBY"

“SAVE+EXIT”を選択し、クラスタアプリケーション選択メニューに戻ります。

10. “RETURN”を選択してメインメニューに戻ります。

図11.7 クラスタアプリケーションの選択メニュー

11. メインメニューで“Configuration-Generate”を選択後“Configuration-Activate”を選択して、変更した内容をすべてのクラスタノー

ドに反映します。


- 332 -

図11.9 Configurationの配布（Configuration-Activateの実行例）

注意

処理が成功すると“The activation has finished successfully.”と表示されます。このメッセージが表示されない場合は、設定した情

報や構成に問題があります。そのような場合は、変更した情報を再度見直してください。

12. ＜Enter＞キーを押してメインメニューに戻ります。


13. “QUIT”を選択して処理を終了します。

- 333 -








16. Cluster AdminよりRMSおよびuserApplicationの起動を行います。

参考

RMSの起動方法については、“7.2.1.1 RMSを起動する”を、クラスタアプリケーションの起動については“7.2.2.1 クラスタアプリ

ケーションを起動する”参照してください。

11.2 RMS環境変数の変更

PRIMECLUSTERの運用属性は、RMSの環境変数により設定されます。

環境変数はRMSの/opt/SMAW/SMAWRrms/bin/hvenv.localを編集し、値を設定/変更することで環境変数の変更が行えます。

参照

・ hvenv.localの詳細については、“PRIMECLUSTER RMS 導入運用手引書”の“2.9 環境変数”を参照してください。

・ RMSの環境変数の詳細については、“PRIMECLUSTER RMS 導入運用手引書”の“13 付録 - 環境変数”を参照してください。

・ hvenv.localファイルは、必要に応じて作成してください。

11.2.1 RMS停止処理のタイムアウト時間の変更

hvshut コマンドが実行されると、RMS は起動状態のクラスタアプリケーションのオフライン処理を行った後、RMS の停止処理を行いま

す。

そのため、hvshut コマンドがタイムアウトするまでの時間を指定する環境変数 RELIANT_SHUT_MIN_WAIT には、以下を合計した時

間を秒数で設定してください。

1. クラスタアプリケーションのオフライン処理が終了するのに必要な大時間

2. RMS が停止するのに必要な大時間(30 秒)

注意

RELIANT_SHUT_MIN_WAIT の値が小さすぎると、クラスタアプリケーションのオフライン処理が終了する前に hvshut コマンドがタイ

ムアウトする現象が頻発するおそれがあります。このため、RELIANT_SHUT_MIN_WAIT のチューニングは慎重に行ってください。

参照

RELIANT_SHUT_MIN_WAIT の詳細については、“PRIMECLUSTER RMS 導入運用手引書”の“13.2 RMS グローバル環境変数”

の“RELIANT_SHUT_MIN_WAIT”を参照してください。

- 334 -

RMS環境変数の参照/変更方法については、“PRIMECLUSTER RMS 導入運用手引書”の“6.3.4 RMS 環境変数の表示”および“13.1RMS 環境変数の設定”を参照してください。

11.3 ハートビートのタイムアウト検出時間の変更

11.3.1 CFハートビートのタイムアウト検出時間の変更

CFは10秒間、ハートビートが行えない場合、ハートビート切れと判断します。システムが高負荷状態でハートビート切れが頻発する環

境では、ハートビート時間をチューニングしてください。

注意

ハートビート時間を長くすると、異常検出時間が長くなります。よって、ハートビート時間のチューニングは慎重におこなってください。

ハートビート時間の10秒をチューニングする場合、以下の手順で行います。

1. クラスタシステムを構成する全てのノードの"/etc/default/cluster.config"の末尾に以下を追加します。元に戻す場合を想定し、変

更前の記述内容を控えておいてください。

CLUSTER_TIMEOUT "秒"例) 30秒に変更する場合


2. 設定値を有効にするため、クラスタシステムを構成する全てのノードで同時にcfset -r を実行します。

# cfset -r

3. 設定値を確認するため、cfset -a を実行します。

# cfset -a

From cfset configuration in CF module:

KEY: CFCP VALUE: cfcp

KEY: CFSH VALUE: cfsh

KEY: CLUSTER_TIMEOUT VALUE: 30

11.3.2 RMSハートビートのタイムアウト検出時間の変更

RMSは600秒間、ハートビートが行えない場合、ハートビート切れと判断します。システムが高負荷状態でハートビート切れが頻発する

環境では、ハートビート時間をチューニングしてください。

注意

・ハートビート時間を長くすると、異常検出時間が長くなります。よって、ハートビート時間のチューニングは慎重に行ってください。

・ CF のハートビート時間より短くした場合、RMS 起動時に警告メッセージが出力されます。詳細は、“7.6 CF と RMS のハートビート

について”の注意を参照してください。

ハートビート時間をチューニングする場合、以下の手順で行います。

デフォルト：600秒

設定値：45～3600秒の範囲で設定してください。

1. 両ノードのクラスタアプリケーションおよびRMSを停止します。

# hvshut -a

- 335 -

2. 両ノードの/usr/opt/reliant/etc/CONFIG.rmsを以下のように変更します。

hvcm -c config -h 待ち時間(秒)

例

デフォルトの600秒から800秒に変更する場合

-h 監視タイムアウト値( 大:3600)hvcm -c config -h 800

3. 両ノードのRMSを起動します。

# hvcm -a

4. RMS が2.で指定したとおりのオプションで起動されているかを確認します。

# hvdisp -hhvcm -c config -h 待ち時間(秒)……設定した値となっていることを確認します。

- 336 -

第5部保守編ここでは、PRIMECLUSTERシステムの保守手順について説明します。

第12章 PRIMECLUSTERシステムの保守..................................................................................................... 338

- 337 -

第12章 PRIMECLUSTERシステムの保守

PRIMECLUSTERシステムを保守するために必要な項目と手順について説明します。

12.1 保守の種類

PRIMECLUSTER システムを保守する場合、業務を停止させて行うかどうかにより、以下のように分類されます。

停止保守

クラスタシステム全体を停止して保守を行うこと。

業務活性保守

業務を稼働させたまま、クラスタアプリケーションの状態遷移（切替え・縮退）により、保守対象のノードをクラスタから切り離した状態

で保守を行うこと。

上記のうち、どちらの保守方法を行うことができるかは、故障個所、故障内容により異なりますので、当社技術員（SE）と検討の上決定


12.2 保守作業の流れ

部品の交換修理等の作業は当社技術員(CE)が行います。以下に保守作業の流れを示します。

●停止保守の場合

1. PRIMECLUSTER システムの管理者の操作により、動作中の全ノードを停止します。

2. 当社技術員（CE）に引き渡します。

3. 当社技術員（CE）は、被疑装置の保守作業（修理、交換等）を行います。テストプログラム等により正常に動作することを確認し

ます。

4. 当社技術員（CE）の保守作業が完了したら、該当装置の確認を行った後、PRIMECLUSTER システムを起動します。

●業務活性保守の場合

1. PRIMECLUSTER システムの管理者が、対象装置を含むノードを運用から切り離して停止し、当社技術員（CE）に引き渡しま

す。

運用からの切離し方法については、“12.2.1 運用からの切離し方法”を参照してください。

2. 当社技術員（CE）は、対象装置を確認し、被疑装置の保守作業（修理、交換等）を行います。テストプログラム等により正常に動

作することを確認します。

3. 当社技術員（CE）の保守作業が完了したら、該当装置の確認を行った後、ノードを起動し運用への組込みを行います。

運用への組込み方法については、“12.2.2 運用への組込み方法”を参照してください。

12.2.1 運用からの切離し方法

これから停止しようとする該当ノードに対して、以下の操作を行います。

●クラスタアプリケーションの切替え

該当ノードが運用ノードであった場合は、必ず hvswitch コマンドによる切替え操作を実施してください。

参照

運用ノードかどうか判断する方法については、“7.1.3.1 RMSツリー”を参照してください。

●RMS 停止

Offline または Standby 状態になっていることを確認のうえ、hvshut コマンドで該当ノードの RMS の停止を行います。

- 338 -

参照

RMSの停止方法については、“PRIMECLUSTER RMS 導入運用手引書”の“8.1.3 RMSの停止”を参照してください。

●ノードの停止

shutdown(8)コマンドを実行し、該当ノードを停止します。

12.2.2 運用への組込み方法

運用業務への組込みは以下の手順で行います。

◆操作手順

1. 該当ノードの電源を投入します。

2. 該当ノードの組込み作業を行います（さらに必要があれば、切戻しを行います）。

参照

クラスタアプリケーションの組込み方法については、“7.2.2.1 クラスタアプリケーションを起動する”を参照してください。また、切戻し方

法については、“7.2.2.3 クラスタアプリケーションを切り替える”を参照してください。

12.3 ソフトウェアの保守

ここでは、PRIMECLUSTER システムに対し集約修正・正式修正などを適用する際の注意事項と、適用手順を説明します。

12.3.1 PRIMECLUSTER システムへの修正適用に関する注意事項

クラスタシステムに集約修正などを適用する場合、次のような点に注意してください。

・修正を適用する前に、必ずシステム環境のバックアップを行ってください。

・各ノードへ導入するソフトウェアの版数は、適用する各種修正を含め、クラスタシステムを構成する全ノードが同一版数となるように

してください。ただし、次項で述べるローリングアップデートが許されている場合はその限りではありません。

・集約修正などの適用には、ノードを一度停止する必要があります。これは、一時的であれ業務の停止を意味します。予定されてい

る保守期間での適用を計画するなど、業務に影響を与えない時期と期間を検討してください。

・クラスタを構成するノードに対して、業務切替えを行い、待機となったノードを運用業務から切り捨てて1ノードずつ修正を適用する

ことにより、業務自体の運用は継続したまま、ソフトウェアのアップデートを行う方法を、ローリングアップデートと呼びます。

この方法を適用すると、ソフトウェアアップデートに伴う業務停止時間を小限にすることができます。ただし、本手法を使ってアッ

プデートを行うには、ローリングアップデートに必要な前提条件（修正の内容がローリングアップデートが可能である修正であること

など）を満たしていることが必要です。

本手法を実施するには、パッチのREADME を確認のうえ、当社技術員（SE）に連絡してください。

12.3.2 修正の適用手順概要

クラスタシステムに集約修正などの各種修正を適用する手順の概要を示します。ここで説明する手順は、一般的な手順です。

12.3.2.1 全系停止による修正適用手順

全系停止による修正適用手順を説明します。ここでは2ノード構成の 1:1運用待機システムを例にとって説明しています。

◆操作の流れ

- 339 -

◆操作手順

各ノードに修正すべき適用を、あらかじめローカルファイルシステムにコピーしておきます。

1. RMS を停止

いずれかのクラスタノードで、hvshut -a を実行し、RMSの運用を停止します。

2. 全ノード停止

全ノードを停止します。

3. シングルユーザモードでの起動

停止した全ノードをシングルユーザモードで起動します。

4. ローカルファイルシステムをマウント

全ノードで、必要なローカルファイルシステムをマウントしてください。

5. 修正適用

あらかじめローカルファイルシステムにコピーしておいた修正を適用します。

6. 再起動

修正適用後、ノードを shutdown -r を使用して再起動してください。

注意

・修正適用方法の詳細は、各修正に添付の説明書を参照してください。

・クラスタアプリケーションの組込み方法については、“7.2.2.1 クラスタアプリケーションを起動する”を参照してください。また、切戻

し方法については、“7.2.2.3 クラスタアプリケーションを切り替える”を参照してください。

- 340 -

12.3.2.2 ローリングアップデートによる修正適用手順

ローリングアップデートによる修正適用手順を説明します。ここでは2ノード構成の 1:1運用待機システムを例にとって説明しています。

◆操作の流れ

◆操作手順

1. 待機ノード（node1）の停止

待機ノード（node1）へ修正を適用するため、RMSを停止してから、ノードを停止します。

この停止に伴い、切捨ての状態遷移が発生し、組込みを行うまで二重化運用状態でなくなることに注意してください。

2. 待機ノード（node1）のシングルユーザモードでの起動

シングルユーザモードで起動します。

3. 修正適用

修正を適用します。

- 341 -

4. 待機ノード（node1）の再起動


5. 待機ノード（node1）の組込み

停止に伴い修正を適用したノード（node1）が、クラスタシステムから切捨て状態となっているため、組込み操作を行ってください。

6. クラスタアプリケーションの切替え

運用ノード（node0）へ修正を適用するため、hvswitchを実行して、すべてのクラスタアプリケーションを待機ノード（node1）へ切り

替えます。

スケーラブル運用のクラスタアプリケーションが存在する場合は、その構成要素となるスタンバイ運用のクラスタアプリケーション

をすべて切り替えた後に、スケーラブル運用のクラスタアプリケーションの切替えを行ってください。

7. 運用ノード（node0）の停止

切替えが完了してから、RMS を停止し、ノードを停止します。

8. 運用ノード（node0）のシングルユーザモードで起動

シングルユーザモードで起動します。

9. 修正適用

修正を適用します。

10. 運用ノード（node0）の再起動

適用した修正をシステムへ反映するために、再起動を行ってください。

11. 運用ノードの組込み

停止に伴い修正を適用したノード（node0）が、クラスタシステムから切捨て状態となっているため、組込み操作を行ってください。

12. 切戻し

必要に応じて、切戻し操作により運用待機の配置を導入時に定義した状態に戻します。

注意

・修正適用方法の詳細は、各修正に添付の説明書を参照してください。

・クラスタアプリケーションの組込み方法については、“7.2.2.1 クラスタアプリケーションを起動する”を参照してください。また、切戻

し方法については、“7.2.2.3 クラスタアプリケーションを切り替える”を参照してください。

- 342 -

付録A PRIMECLUSTER対応製品

PRIMECLUSTERに対応する製品は以下の通りです。

・ PRIMECLUSTER Wizard for Oracle *1

・ PRIMECLUSTER Wizard for NAS

・ PRIMECLUSTER Wizard for NetVault

・ PRIMECLUSTER Wizard for NetWorker

・ PRIMECLUSTER Wizard for SAP HANA

・ Interstage Application Server Enterprise Edition

・ Symfoware Server

・ Symfoware Server Hot Standby Option

・ Systemwalker Centric Manager Enterprise Edition サーバライセンス（マネージャ用）

・ Systemwalker Centric Manager Enterprise Edition サーバライセンス（エージェント用）

・ Systemwalker Operation Manager Enterprise Edition サーバライセンス

・ Symfoware Server Enterprise Extended Edition

・ Symfoware Server Parallel Cluster Option

・ Systemwalker Service Quality Coordinator Enterprise Edition

・ Systemwalker Centric Manager Enterprise Edition

・ Systemwalker Operation Manager Enterprise Edition

・ Systemwalker Software Delivery Enterprise Edition

*1 Oracle Database との対応については、PRIMECLUSTER Wizard for Oracleのマニュアルを参照してください。

参照

PRIMECLUSTERに対応する製品のVL、サポート範囲等の詳細については、各製品のマニュアルを参照してください。

- 343 -

付録B マニュアルページ

本章では、CF 、CIP 、オペレータ介入、PAS 、クラスタリソース管理機構、RMS 、シャットダウン機構 (SF)、故障リソース履歴、Web-Based Admin View 、プロシジャリソース、およびRMSウィザードのオンラインマニュアルページ一覧を示します。

マニュアルページを表示するには、以下のコマンドを入力します。

$ man man_page_name

(注意)

なお、これらのマニュアルページを表示する場合は、環境変数 MANPATH に/etc/opt/FJSVcluster/man が含まれるように設定する必


マニュアルページのハードコピーを印刷するには、以下のコマンドを入力します。

$ man man_page_name |col-b |lpr

注意

manコマンドで表示するマニュアルページのセクション番号として“(1M)”が出力されるものがあります。この場合のセクション番号は、

“(8)”に読み替えてください。

B.1 CFシステム管理者

コマンド機能

cfconfig PRIMECLUSTER クラスタのノードを構成または構成を削除する

cfregd CFレジストリ同期デーモン

cfset /etc/default/cluster.config エントリをCF モジュールに適用もしくは変更

する

cftool ノードまたはクラスタのノード通信状態を出力する

changeng ノードグループの定義を置き換える

deleteng ノードグループを削除する

descng ノードグループの説明を置き換える

detailng ノードグループの動的拡張を表示する

newng 新規ノードグループを作成する

rcqconfig クラスタ整合状態 (クォーラム) を構成または開始する

rcqquery クラスタの整合状態 (クォーラム) の状態を取得する

showng ノードグループの名前と定義を表示する

B.2 CIPシステム管理者

コマンド機能

cipconfig CIP 2.0 を起動または停止する

ciptool クラスタ内のローカルノードとリモートノードに関するCIP 情報を取り出

す

ファイルフォーマット

- 344 -

ファイル形式

cip.cf CIP 構成定義ファイルフォーマット

B.3 オペレータ介入システム管理者

コマンド機能

clreply オペレータ介入要求メッセージに応答する

B.4 PASシステム管理者

コマンド機能

mipcstat MIPC 統計

B.5 クラスタリソース管理機構システム管理者

コマンド機能

clautoconfig 自動リソース登録を行う

clbackuprdb リソースデータベースを保存する

cldelrsc 自動リソース登録で作成したリソースを削除する

clexec クラスタノード間でコマンドを実行する

clinitreset リソースデータベースをリセットする

clrestorerdb リソースデータベースを復元する

clsetparam リソースデータベース／故障リソース特定／オペレータ介入要求の

動作環境を表示および変更する

clsetup リソースデータベースを設定する

clstartrsc リソースを活性化する (GDS のみ)

clstoprsc リソースを非活性にする (GDS のみ)

clsyncfile クラスタノード間でファイル配布を行う

ユーザコマンド

ポイント

また、Web-Based System Administration ツールWSA にclgettree コマンドもあります。

コマンド機能

clgettree リソースデータベースのツリー情報を出力する

B.6 RMSシステム管理者

- 345 -

コマンド機能

hvassert RMS のリソース状態をアサート (テスト) する

hvcm RMS 構成モニタを起動する

hvconfig RMS 構成定義ファイルを表示または保存する

hvdisp RMS のリソース情報を表示する

hvdispall RMSの全ノードのリソース情報を表示する

hvdump RMS に関するデバッグ情報を収集する

hvlogclean RMS ログファイルを削除する

hvlogcontrol ログディスクの容量を制御する

hvshut RMS をシャットダウンする

hvswitch RMS ユーザアプリケーションまたはリソースの制御を他のホストに切

替える

hvutil RMS リソースの可用性を操作する


ファイル形式

config.us RMS 構成定義ファイル

hvenv.local RMS ローカル環境変数ファイル

B.7 シャットダウン機構(SF)システム管理者

コマンド機能

cldevparam 非同期監視のチューニング可能な動作環境を変更、表示する

clmmbmonctl MMB非同期監視デーモンの動作状態を表示、起動、停止、再起動

する

clmmbsetup MMB情報を登録、変更、削除、表示する

clvmgsetup 管理OS情報を登録、変更、削除、表示する

sdtool シャットダウンデーモンのインタフェースツール

rcsd シャットダウンマネージャのシャットダウンデーモン


ファイル形式

rcsd.cfg シャットダウンデーモンの構成定義ファイル

SA_ipmi.cfg IPMIシャットダウンエージェントの構成定義ファイル

SA_blade.cfg bladeシャットダウンエージェントの構成定義ファイル

B.8 故障リソース履歴システム管理者

コマンド機能

cldispfaultrsc 現在故障が発生しているリソース一覧を出力する

- 346 -

B.9 Web-Based Admin Viewシステム管理者

コマンド機能

fjsvwvbs Web-Based Admin View を起動、停止する

wvCntl Web-Based Admin View を起動、停止、およびデバッグ情報を取得

する

wvGetparam Web-Based Admin View の環境変数を表示する

wvSetparam Web-Based Admin View 環境変数を設定する

wvstat Web-Based Admin View の操作状態を表示する

B.10 プロシジャリソースシステム管理者

コマンド機能

claddprocrsc 状態遷移プロシジャを使用するアプリケーションリソースを登録する

cldelproc 状態遷移プロシジャを削除する

cldelprocrsc 状態遷移プロシジャを使用するアプリケーションリソースを削除する

clgetproc 状態遷移プロシジャを取り出す

clsetproc 状態遷移プロシジャを登録する

clsetprocrsc 状態遷移プロシジャを使用するアプリケーションリソースの登録情報

を変更する

ユーザコマンド

コマンド機能

cldspproc 状態遷移プロシジャを使用するリソースの情報を出力する

B.11 RMS ウィザードシステム管理者

コマンド機能

clrwzconfig RMS構成定義をActivate後、PRIMECLUSTERリソースマネージャと

ミドルウェア製品との連携機能を設定する

RMS ウィザードおよびRMS アプリケーションウィザード

RMS ウィザードのマニュアルは、SMAWRhvdo パッケージをインストールすると以下のディレクトリに保存されます。

/usr/doc/packages/SMAWRhv-do/wizards.en

- 347 -

付録C トラブルシューティング

PRIMECLUSTERシステムに障害が発生した場合の、トラブル調査情報の採取方法について説明します。

C.1 トラブル調査情報の採取方法

PRIMECLUSTERシステムに障害が発生した場合は、調査に必要な以下の情報を、クラスタを構成する、すべてのノード、およびクラ

スタ管理サーバから収集します。それからカスタマサポート担当者に連絡してください。

1. PRIMECLUSTER の調査情報

－ fjsnapまたはFJQSSを使用して、エラー調査に必要な情報を収集します。

－システムの調査情報を収集します。

－クライアントのJava コンソールを収集します。

“PRIMECLUSTER Web-Based Admin View 操作手引書”の“付録B.2.2 Java コンソール”を参照してください。

－クライアントの画面のハードコピーを収集します。

“PRIMECLUSTER Web-Based Admin View 操作手引書”の“付録B.2.3 画面のハードコピー”を参照してください。

2. アプリケーションに障害が発生している場合は、アプリケーションの調査用資料

3. クラッシュダンプ

障害が発生したノードで再起動が可能な場合、OS再起動を行う前に手動でクラッシュダンプを採取してください。OSに起因する

障害の場合、クラッシュダンプが有用となります。

例）予期せぬリソース故障により切替えが発生した場合

クラスタアプリケーションの切替えが完了した後、リソース故障が発生したノードでクラッシュダンプを採取します。

クラッシュダンプの詳細については、“C.1.3 クラッシュダンプ”を参照してください。

4. 障害が再現可能な場合には、障害再現手順マニュアル

参考

・問題を報告する際は、エラー調査に必要な情報を収集します。問題の確認および障害再現の実行のために情報を提供しないと、

問題を再現および診断するのに時間がかかるか、それが不可能となる場合があります。また、トラブルシューティングが不可能に

なる場合もあります。

・調査用資料はPRIMECLUSTER システムのすべてのノードから速やかに収集します。とくにfjsnapまたはFJQSSが収集する情報

は、障害の発生後に時間が長く経過すると、必要な情報が失われてしまうことがあります。

参照

調査情報の採取手順については、"Linuxユーザーズマニュアル" を参照してください。

C.1.1 fjsnapコマンドの実行

fjsnapコマンドは、トラブルの解析に必要なシステム情報を一括で取得するツールです。PRIMECLUSTERシステムで障害が発生した

場合は、必要なエラー情報を収集して原因を追及することができます。

手順は以下のとおりです。

1. システム管理者権限でログインします。

2. fjsnapコマンドを実行します。

/usr/sbin/fjsnap -a output

- 348 -

－ output には、fjsnap コマンドを使用して収集したシステム情報の出力先となる出力ファイル名を指定します。

－クラスタを構成する一部のノードが停止している状態でfjsnapコマンドを実行した場合に、以下のメッセージが switchlog およ

び /var/log/messages に出力されることがありますが、対処は不要です。

(BM, 8) Failed sending message <message> to object <object> on host <host>.

(WRP, 11) Message send failed, queue id <queueid>, process <process>, <name>, to host <node>.

参照

fjsnap コマンドの詳細については、FJSVsnapパッケージに含まれているREADMEファイルを参照してください。

参考

fjsnapコマンドの実行タイミングについて

・エラーメッセージが出力された場合など、通常運用時のトラブル発生時には、即座にfjsnapコマンドを実行してください。

・システムハングなどにより、fjsnapコマンドが実行できない場合は、クラッシュダンプを採取してください。その後、シングルユーザ

モードで起動し、fjsnapコマンドを実行してください。クラッシュダンプの採取については、“C.1.3 クラッシュダンプ”を参照してくだ

さい。

・トラブル発生後に、ノードが自動的に再起動してしまった（シングルユーザモードで起動できなかった）場合や、誤ってマルチユー

ザモードで起動してしまった場合にも、fjsnapコマンドを実行してください。

・ fjsnapコマンドがエラーになる、またはfjsnapコマンドが復帰しないなどにより、調査情報が採取できない場合は、クラッシュダンプを

採取してください。

C.1.2 FJQSS(資料採取ツール)による資料採取

手順は以下のとおりです。

1. 以下のコマンドを実行します。

# /opt/FJSVqstl/fjqss_collect

2. 製品選択画面が表示されますので、調査資料を採取する製品の番号を指定して[Enter]を入力します。

以下のいずれかを選択します。

－ PRIMECLUSTER Enterprise Edition

－ PRIMECLUSTER HA Server

－ PRIMECLUSTER Clustering Base

－ PRIMECLUSTER Lite Pack

GDS、GLSがインストールされている場合は、上記を選択すると、それらの製品を含むPRIMECLUSTERの調査資料を一括して

採取できます。

3. 表示される画面の指示に従い、"Y[Enter]"を入力します。

4. 資料採取が完了すると、調査資料の出力先ディレクトリが表示されます。表示されたディレクトリに調査資料が作成されているこ

とを確認します。

5. 調査資料の出力先ディレクトリの配下に以下のファイルが作成されます。このファイルをカスタマサポート担当者までお送りくだ

さい。

resultYYYYMMDDHHMMSS.tar.gz

(YYYYMMDDHHMMSS: 資料採取を実行した年月日時分秒)

- 349 -

参照

FJQSS(資料採取ツール)と使用方法について

FJQSS(資料採取ツール)により、トラブル調査に必要な情報を採取できます。FJQSSについては、製品のインストール媒体に同梱され

ている“FJQSS(資料採取ツール)ユーザーズガイド”を参照してください。

FJQSSユーザーズガイドを参照するには、製品のインストール媒体の以下のファイルをブラウザから開きます。

documents/fjqss-manual_sollnx/index_jp.html

C.1.3 クラッシュダンプ

クラッシュダンプの保存ディレクトリ配下に、切替え発生時刻以降のクラッシュダンプが存在するか否かを確認してください。クラッシュ

ダンプの採取時刻はls(1)コマンドなどを使用し、クラッシュダンプのタイムスタンプで確認します。

・切替え発生時刻以降のクラッシュダンプが存在する場合

クラッシュダンプを収集してください。

・切替え発生時刻以降のクラッシュダンプが存在しない場合

障害が発生したノードで再起動が可能な場合、手動でクラッシュダンプを採取してください。

参考

クラッシュダンプの保存ディレクトリ

クラッシュダンプは異常が発生したノードにファイルとして保存されます。保存先については、"Linuxユーザーズマニュアル" を参照し

てください。

KVM仮想マシン機能を使用した環境において、シャットダウン機構によりゲストOSの強制停止が行われた場合、またはゲストOSがパ

ニックした場合、管理OSの以下のディレクトリにクラッシュダンプが保存されます。

/var/crash/<ゲストOS強制停止時刻(YYYYMMDDHHMMSS形式)>.<ゲストOSのドメイン名>.core

例：2011年4月20日12:34:56にnode1が強制停止された場合

/var/crash/20110420123456.node1.core

C.1.4 PSA関連情報

以下のPRIMEQUEST 1000 シリーズにおいてトラブルが発生した場合には、PRIMECLUSTERの障害調査情報に加え、PSA関連情

報を採取してください。

サーバ機種

・ PRIMEQUEST 1400S/1400E/1400L/1800E/1800L

getopsa コマンドを実行します。

/opt/FJSVpsa/sh/getopsa <ファイル名>

例：

/opt/FJSVpsa/sh/getopsa /tmp/node1_getopsa

参照

getopsa コマンドの詳細については、以下を参照してください。

・ PRIMEQUEST 1000シリーズ運用管理ツールリファレンス

- 350 -

C.1.5 SVmco関連情報

以下のPRIMEQUESTにおいてトラブルが発生した場合には、PRIMECLUSTERの障害調査情報に加え、SVmco関連情報を採取し

てください。

サーバ機種

・ PRIMEQUEST 1400S2/1400E2/1400L2/1800E2/1800L2

・ PRIMEQUEST 2000 シリーズ

getosvmco コマンドを実行します。

/opt/fujitsu/SVmco/sh/getosvmco <ファイル名>

例：

/opt/fujitsu/SVmco/sh/getosvmco /tmp/node1_getosvmco

参照

getosvmco コマンドの詳細については、以下のマニュアルを参照してください。


PRIMEQUEST 1000 シリーズ ServerView Mission Critical Option ユーザマニュアル


PRIMEQUEST 2000 シリーズ ServerView Mission Critical Option ユーザマニュアル

C.2 故障リソースの検出

リソースで障害が発生した場合は、以下を参照してリソースを特定できます。

・リソースの障害発生時に表示されるメッセージ

・リソースの障害履歴

・故障リソース一覧

注意

故障リソースの履歴機能を使用するには、リソースデータベースを正しく設定しておく必要があります。また、userApplication のAutoStartUp属性とPersistentFault属性をyes(1)に設定する必要があります。リソースデータベースの設定については、“PRIMECLUSTER ClusterFoundation 導入運用手引書”を参照してください。

故障リソースの検出機能を利用するためには、オペレータ介入要求を動作させる必要があります。オペレータ介入要求の動作につい

ては、“5.2 故障リソース特定とオペレータ介入要求の設定”を参照してください。

オペレータ介入機能および故障リソースの履歴機能はclwatchlogd デーモンに依存します。マルチユーザモードの場合、このデーモ

ンはrc スクリプトにより自動起動します。clwatchlogd はRMS のRELIANT_LOG_PATH 環境変数を使用します。rc スクリプトが初に

起動したときにこの変数の値が設定されます。

RMS のhvenv.local ファイルに設定されているRELIANT_LOG_PATH の値を変更したときは、clwatchlogd にSIGHUP 信号を送信す

る必要があります。clwatchlogd はこの信号を受信すると、RELIANT_LOG_PATH の新の値を取得します。この処理を実行してから

RMS を起動してください。

このマニュアルは/etc/opt/FJSVcluster/man ディレクトリにインストールされています。

man (1)コマンドを実行する前に、このディレクトリをMANPATH の先頭に追加します。通常、ディレクトリ名は.cshrc ファイル内のsetenvMANPATH で始まる行か、.profile ファイル内のexport MANPATH で始まる行に追加します。

- 351 -

C.2.1 故障リソースメッセージ

リソースの障害または復旧が検出されると、メッセージ画面がCluster Admin ポップアップ画面として表示されます。以下に故障リソー

スメッセージ画面の例を示します。

注意

上記のようにフレームタイトルが“Cluster resource management facility”となっているメッセージが表示された場合は、“PRIMECLUSTER活用ガイド＜メッセージ集＞”の“3.2 CRMビューのメッセージ”、および“第4章 FJSVcluster 形式のメッセージ”を参照してください。

重要度アイコンは、次のように定義されています。

アイコン意味

通知

警告

エラー

その他

次のようにして、故障リソースメッセージ画面に応答します。

◆操作手順

1. ＜確認＞ボタンを選択してメッセージに応答します。

2. 上矢印または下矢印をクリックして、前または次のメッセージに移動します。クリックすると、表示されたメッセージへの応答または

確認が済んでいないことを通知するメッセージが表示されます。

応答するとメッセージが削除されて、次のメッセージが表示されます。次のメッセージがない場合、応答したメッセージの前のメッセー

ジがあれば、そのメッセージが表示されます。確認または応答が済んでいないメッセージが存在しない場合、メッセージ画面は閉じま

す。メッセージの内容については“PRIMECLUSTER 活用ガイド＜メッセージ集＞”の“3.2 CRMビューのメッセージ”を参照し、過去の

メッセージを表示する方法については“C.2.2 リソースの障害履歴”を参照してください。

注意

メッセージが表示された後にWeb-Based Admin View またはCluster Admin を閉じると同じ内容の故障リソースメッセージは表示されな

くなるため、故障リソースメッセージが始めて表示されたときは、メッセージの内容を確認することを推奨します。メッセージを閉じてし

まった場合は、“Resource Fault History”画面の障害履歴を参照してください。メッセージの表示言語に関しては、“4.3.3.3 Web-BasedAdmin View の言語設定”を参照してください。

- 352 -

故障リソースメッセージが表示されて、クライアントPC にCluster Admin 画面が表示されない場合は、管理サーバに初に接続された

クライアントだけにメッセージが送信されます。

各管理サーバが故障リソースメッセージを管理します。したがって、メッセージの確認後に管理サーバを変更すると、同じメッセージが

再表示されます。これらのメッセージを削除するにはCluster Admin を閉じてから、Web-Based Admin View のGUI で [Cluster Admin]を選択して再度開きます。

C.2.2 リソースの障害履歴

リソースの障害履歴を表示する“Resource Fault History”画面は、以下の手順で表示します。

◆操作手順

1. “Web-Based Admin View”画面を開き、[Global Cluster Services] を選択します。

2. [Resource Fault History] を選択します。

- 353 -

“Resource Fault History”画面が表示されます。

注意

“Resource Fault History”画面は自動的に更新されません。新の履歴情報を表示するには、[表示] - [更新] メニューを選択し

ます。

■故障リソース一覧画面のメニュー

“Resource Fault History”画面のメニューには以下の項目があります。

メニュー機能

[表示 ]- [ 新の情報に更新] 時間範囲が現在の日時に初期化されます。大で

100 の新履歴リソースが表示されます。

[表示 ]- [故障リソース一覧] 現時点で障害が発生しているリソースのリストを表示

します(“C.2.3 故障リソースの一覧”を参照)。

[表示 ]- [終了] “Resource Fault History”画面を終了します。

[ヘルプ] - [ヘルプ] GUI ヘルプを表示します。

■時間範囲の設定

故障リソース履歴の一覧は、日付と時刻で絞って表示できます。

・ [開始時刻] - 開始時刻を設定します。

・ [終了時刻] - 終了時刻を設定します。

設定後、＜表示＞ボタンをクリックすると、指定範囲の新の故障リソース履歴を大100件まで表示します。

■キーワードによる検索

故障リソース履歴の一覧は、[キーワード] を指定して、絞り込むこともできます。

- 354 -

時間範囲を設定してある場合は、両方の条件に当てはまる新の故障リソース履歴が、大100件まで表示されます。

■一覧の見方

“Resource Fault History”画面には、以下の情報が表示されます。

・発生時刻 ― RMS がリソース障害を検出した時刻が表示されます。

・状態 ― 以下のいずれかの状態を示します。

－応答済 - オペレータはメッセージに応答済みです。

－応答未 - 応答が必要なメッセージに対してオペレータが応答していません。

－応答中 - オペレータはメッセージに応答中です。

－確認 - 応答が不要な通知メッセージです。

・メッセージ - メッセージが表示されます。

・選択情報 - 管理サーバに接続されているクライアントからのオペレータ介入メッセージの情報が表示されます。メッセージがキャン

セルされている場合、またはclreplyコマンドを使用してメッセージに応答した場合は、この列に何も表示されません。

・実行結果 - 応答処理の結果と時刻が表示されます。

■情報フィールド

画面下の情報フィールドには、履歴ファイルの取得中または読込み中にエラーが検出されたときの情報が表示されます。表示される

項目は以下のとおりです。

・処理中 - 管理サーバから履歴データを収集しています。

・指定した時刻に誤りがあります - 指定した時間範囲が正しくありません。訂正し、＜表示＞ボタンを再びクリックします。

・一部のデータ獲得に失敗しました - 履歴ファイルの一部が壊れている可能性があります。システムの運用には影響しませんが、壊

れたデータは表示されません。

C.2.3 故障リソースの一覧

“Resource Fault History”画面で [表示]－[故障リソース一覧] を選択すると、以下のような故障リソース一覧が表示されます。

故障リソース一覧画面には、以下の情報が表示されます。

・故障リソース - 故障リソースのリソース名が表示されます。

・ SysNode - 故障リソースが属しているSysNode が表示されます。

・故障時間 - RMS がリソースの障害を検出した日付と時刻が表示されます。

・ userApplication - 故障リソースが属しているuserApplication の名前が表示されます。

＜閉じる＞をクリックすると、故障リソース一覧画面を閉じます。

- 355 -

cldispfaultrscコマンドを使用して、現時点でFaulted 状態のリソースのリストを表示することもできます。

C.3 PRIMECLUSTERのログファイル

ここでは、PRIMECLUSTERのログファイルについて説明します。

C.3.1 coreファイルの出力先

PRIMECLUSTERの各プロセスが異常終了した場合にcoreが出力されるディレクトリは以下のとおりです。

出力先の変更はできません。

/

/var/opt/FJSVcluster/cores/FJSVcldev/devmmbd

/var/opt/FJSVcluster/cores/FJSVcldev/devmmbmond

/var/opt/FJSVcluster/cores/FJSVcldev/devmmbmonitord

/var/opt/FJSVcluster/cores/dcmevmd

/var/opt/FJSVwvbs/logs/node

/var/opt/FJSVwvbs/logs/server

/var/opt/FJSVwvcnf

/var/opt/SMAWsf/log

/opt/SMAW/SMAWRrms

カレントディレクトリ(コマンド)

各ディレクトリには以下のプロセスのcoreが出力されます。

/ 配下

prmdclrmdrcsd_monitordevmalogdcfregd

/var/opt/FJSVcluster/cores/FJSVcldev/devmmbd配下

devmmbd

/var/opt/FJSVcluster/cores/FJSVcldev/devmmbmond配下

devmmbmond

/var/opt/FJSVcluster/cores/FJSVcldev/devmmbmonitord配下

devmmbmonitor

/var/opt/FJSVcluster/cores/dcmevmd配下

dcmevmddcmmonddcmmstddcmevmddcmfcpddcmsynddcmprcddcmcfmddcmdbud

- 356 -

dcmcomddcmdbcddcmlckdclwatchlogd

/var/opt/FJSVwvbs/logs/node配下

wvAgent

/var/opt/FJSVwvbs/logs/server配下

java

/var/opt/FJSVwvcnf配下

wvcnfd

/var/opt/SMAWsf/log配下

rcsd

/opt/SMAW/SMAWRrms配下

bmhvdet_systemhvdet_gmounthvdet_icmphvdet_nfshvdet_prmdhvdet_execproc

C.3.2 coreファイルの設定

C.3.2.1 coreファイルの出力

アプリケーション、デーモンおよびコマンドの異常によってコアファイルが出力されることはありません。

異常発生時の原因を特定するために、必ず、coreファイルが出力されるよう設定してください。

coreファイルを出力させるには、/etc/profileを以下のように変更します。

</etc/profile>

[変更前]

ulimit -S -c 0 > /dev/null 2>&1

[変更後]

ulimit -S -c unlimited > /dev/null 2>&1

C.3.2.2 coreファイル出力先の設定

PRIMECLUSTERのOnlineScriptを使用して起動したプログラムのカレントディレクトリのデフォルトは、/opt/SMAW/SMAWRrms (環境

変数 RELIANT_PATHのデフォルト値)です。

このため、coreファイルを出力するよう設定しているシステム環境において、OnlineScript経由で起動されたアプリケーションに異常が

発生した場合、出力されるcoreファイルは /opt配下に書き込まれます。

/opt配下に大量のcoreファイルが出力されると /optファイルシステムを圧迫します。その結果、PRIMECLUSTERが動作するために必

要な情報が書き込めず、二重化運用ができなくなったり、PRIMECLUSTERの起動や切替えが正しく行われなくなったりする場合があ

ります。これらの状態を回避するために、以下のいずれかの方法でカレントディレクトリを適切なディレクトリに変更してください。

・ OnlineScriptの先頭でカレントディレクトリを変更する

・アプリケーション内でカレントディレクトリを変更する

- 357 -

また、定期的に /opt配下を確認し、coreファイルが存在する場合は、別のディレクトリに移動して /optファイルシステムを圧迫しないよう

にしてください。

C.3.3 ログレベル変更時のログ量

RMSはログレベルを変更することで、詳細な調査をすることができます。

ログレベルを変更した場合、PRIMECLUSTERで必要な動的ディスク資源の所要量が増加します。

ログレベルを変更（ログレベル 0 大値）した場合の、１日あたりのログ増加量は以下となります。

１日あたりのログ増加量概算式

（ノード数 × ８０）＋（登録リソース数 × ２５）＋２５＝１日あたりのログ増加量（単位MB）

注意

・ログの増加量は、システムの運用状況により変動するので、概算値として考えてください。

実際のシステムの増加量は、RELIANT_LOG_PATH 配下のログ量の増加傾向を確認してください。

・ログレベルを変更して、RMSを1日以上連続して動作させる運用の場合、RMSのログによるディスク容量の圧迫を避けるため、cronの設定にhvlogcleanコマンドを設定してください。詳細については、“C.3.4 RMS ログファイルのローテーションと削除”を参照して

ください。

C.3.4 RMS ログファイルのローテーションと削除

RMS は、以下の RMS 環境変数の値に従い RMS ログファイルのローテーションと削除を行います。

・ RELIANT_LOG_LIFE

・ HV_LOG_ACTION_THRESHOLD

・ HV_LOG_WARN_THRESHOLD

・ HV_LOG_ACTION

本環境変数の値は、システムの要件に応じて値を変更することができます。各RMS 環境変数の意味については“PRIMECLUSTERRMS 導入運用手引書”を参照してください。

注意

1. RELIANT_LOG_LIFE の設定による RMS ログファイルの削除は、cron から起動される hvlogcron により行われます。

hvlogcron の処理内容および注意事項については、“7.7 cron処理”を参照してください。

2. RELIANT_LOG_LIFE の設定により削除する RMS ログファイルは、そのときに RMS が出力中の RMS ログファイルを削除対

象としません。RMS を 1 日以上連続して動作させる運用で、かつ、RELIANT_LOG_LIFE の日数より古いログ情報を RMS ログファイルから分離して削除する運用としたい場合、1日1回 hvlogclean コマンドが実行されるよう、cron の設定に hvlogclean コマンドを設定してください。

- 358 -

付録D PRIMECLUSTER対応製品用の状態遷移プロシジャリソースの登録／変更／削除

クラスタアプリケーションでプロシジャリソースを使用する場合、クラスタアプリケーションの設定の前に、プロシジャリソースの登録が必

要です。

ここでは、プロシジャリソースの登録／変更／削除方法について説明します。

D.1 プロシジャリソースの登録

ここでは、プロシジャリソースの登録方法について説明します。

プロシジャリソースの登録は以下の手順で行います。本作業は、プロシジャリソースを登録する、すべてのノードで行います。

◆操作手順


プロシジャリソースを登録するノードにシステム管理者権限でログインします。

2. 状態遷移プロシジャの登録

clsetprocコマンドを使用して、状態遷移プロシジャを登録します。

参照

clsetprocコマンドの詳細については、clsetproc のマニュアルページを参照してください。

例

状態遷移プロシジャ/tmp/programをファイル名programとしてBasicApplicationクラスに登録する場合

# /etc/opt/FJSVcluster/bin/clsetproc -c BasicApplication -m program /tmp/program

ポイント

すでに登録されている状態遷移プロシジャを上書きする場合は、-oオプションを指定してください。

3. プロシジャリソースの登録

claddprocrscコマンドを使用して、プロシジャリソースを登録します。

参照

claddprocrscコマンドの詳細については、claddprocrsc のマニュアルページを参照してください。

例

状態遷移指示のSTART RUN AFTER、STOP RUN BEFOREを処理する、BasicApplicationクラスに登録した状態遷移プロシ

ジャprogramを使用し、リソースキーをSDISKとして、ノード識別名がNODE1であるノードにプロシジャリソースを登録する場合

# /etc/opt/FJSVcluster/bin/claddprocrsc -k SDISK -m program -c BasicApplication -s NODE1 -K AFTER -S BEFORE

- 359 -

D.2 プロシジャリソースの変更

プロシジャリソースの変更方法について説明します。

D.2.1 状態遷移プロシジャの修正

状態遷移プロシジャの修正は以下の手順で行います。本作業は、変更する状態遷移プロシジャを使用するプロシジャリソースが登録

されている全ノードで行います。

◆操作手順


状態遷移プロシジャを変更するノードにシステム管理者権限でログインします。

2. 状態遷移プロシジャの取出し

clgetprocコマンドを使用して、状態遷移プロシジャを取出します。

参照

clgetprocコマンドの詳細については、clgetproc のマニュアルページを参照してください。

例

BasicApplicationクラスに登録したファイル名がprogramである状態遷移プロシジャを/tmpディレクトリに取出す場合

# /etc/opt/FJSVcluster/bin/clgetproc -c BasicApplication -f /tmp/program program

3. 状態遷移プロシジャの修正

手順2.で取出した状態遷移プロシジャを、vi(1)等で修正します。

4. 状態遷移プロシジャの登録

clsetprocコマンドを使用して、状態遷移プロシジャを登録します。

登録する場合には、状態遷移プロシジャを上書きする-oオプションを指定します。

例

状態遷移プロシジャ/tmp/programをファイル名programとしてBasicApplicationクラスに登録する場合

# /etc/opt/FJSVcluster/bin/clsetproc -c BasicApplication -m program -o /tmp/program

D.2.2 状態遷移プロシジャの起動優先度の変更

状態遷移プロシジャの起動優先度の変更は以下の手順で行います。本作業は、変更する状態遷移プロシジャが登録されている、す

べてのノードで行います。

注意

状態遷移プロシジャの起動優先度を変更する場合は、クラスタアプリケーションの構成変更からプロシジャリソースを削除し、プロシジャ

リソースを再作成する必要があります。

クラスタアプリケーションの構成変更については、“第10章クラスタアプリケーションの構成変更”を参照してください。

◆操作手順

- 360 -


状態遷移プロシジャの起動優先度を変更するノードに、システム管理者権限でログインします。

2. クラスタアプリケーションのプロシジャリソースを削除

クラスタアプリケーションのプロシジャリソースの削除については、“10.5 リソースの削除”を参照してください。

3. 状態遷移プロシジャの起動優先度の変更

clsetprocrsc(1M)コマンドを使用して、プロシジャリソースが使用する状態遷移プロシジャの起動優先度を変更します。

プロシジャリソースが登録されているすべてのノードで本手順を実行した後に、次の手順に進んでください。

参照

clsetprocrsc(1M)コマンドの詳細については、clsetprocrsc(1M)のマニュアルページを参照してください。

例

ノード識別名がNODE1であるノードに登録されている、リソースクラスがBasicApplicationクラスで、リソース名がSDISKである状

態遷移プロシジャの起動優先度を10000に変更する場合

# /etc/opt/FJSVcluster/bin/clsetprocrsc -n SDISK -c BasicApplication -s NODE1 -p 10000

4. クラスタアプリケーションにプロシジャリソースを登録

クラスタアプリケーションへのプロシジャリソースの登録については、“6.7.3.7 プロシジャリソースの設定”を参照してください。


プロシジャリソースの登録情報の変更は以下の手順で行います。本作業は、変更するプロシジャリソースが登録されているすべての

ノードで行います。

注意

プロシジャリソースの登録情報を変更する場合は、クラスタアプリケーションの構成変更からプロシジャリソースを削除し、プロシジャリ

ソースを再作成する必要があります。

クラスタアプリケーションの構成変更については、“第10章クラスタアプリケーションの構成変更”を参照してください。

◆操作手順


プロシジャリソースの登録情報を変更するノードにシステム管理者権限でログインします。

2. クラスタアプリケーションのプロシジャリソースを削除

クラスタアプリケーションのプロシジャリソースの削除については、“10.5 リソースの削除”を参照してください。

3. プロシジャリソースの登録情報の変更

clsetprocrsc(1M)コマンドを使用して、プロシジャリソースの登録情報を変更します。

プロシジャリソースが登録されているすべてのノードで本手順を実行した後に、次の手順に進んでください。

参照

clsetprocrsc(1M)コマンドの詳細については、clsetprocrsc(1M)のマニュアルページを参照してください。

- 361 -

例

ノード識別名がNODE1であるノードに登録されている、リソースクラスがBasicApplicationクラスで、リソース名がSDISKであるプ

ロシジャリソースの登録情報について、これまで受信していたSTART RUN AFTER、STOP RUN BEFOREの状態遷移指示に加

え、START RUN BEFOREの状態遷移指示も受信するように変更する場合

# /etc/opt/FJSVcluster/bin/clsetprocrsc -n SDISK -c BasicApplication -s NODE1 -K BEFORE,AFTER -S BEFORE

4. クラスタアプリケーションにプロシジャリソースを登録

クラスタアプリケーションへのプロシジャリソースの登録については、“6.7.3.7 プロシジャリソースの設定”を参照してください。

D.3 プロシジャリソースの削除

プロシジャリソースの削除は以下の手順で行います。本作業は、プロシジャリソースを削除する、すべてのノードで行います。

◆操作手順


プロシジャリソースを削除するノードにシステム管理者権限でログインします。

2. プロシジャリソースの削除

cldelprocrscコマンドを使用して、プロシジャリソースを削除します。

参照

cldelprocrscコマンドの詳細については、cldelprocrscのマニュアルページを参照してください。

例

ノード識別名がNODE1であるノードに登録されている、リソースクラスがBasicApplicationクラスで、リソース名がSDISKであるプ

ロシジャリソースを削除する場合

# /etc/opt/FJSVcluster/bin/cldelprocrsc -n SDISK -c BasicApplication -s NODE1

3. 状態遷移プロシジャの削除

状態遷移プロシジャを使用するプロシジャリソースをすべて削除した結果、状態遷移プロシジャが不要となった場合は、cldelprocコマンドを使用して、状態遷移プロシジャを削除します。

参照

cldelprocコマンドの詳細については、cldelprocのマニュアルページを参照してください。

例

ファイル名がprogramとしてBasicApplicationクラスに登録されている状態遷移プロシジャを削除する場合

# /etc/opt/FJSVcluster/bin/cldelproc -c BasicApplication program

- 362 -

付録E シャットダウンエージェント設定更新機能

本章では、シャットダウンエージェント設定更新機能について説明します。

E.1 機能説明

本機能は ServerView Resource Orchestrator Virtual Edition と組み合わせてクラスタシステムを構築する場合に有効です。

本構成では、運用ノードと待機ノードと予備ノードを用意します。通常は運用ノードでクラスタアプリケーションを起動します。運用ノー

ドで異常が発生すると、クラスタアプリケーションは待機ノードに切替わります。

その後、ストレージのデータを使用して予備ノードを起動し、クラスタ構成を継続することで、更なる高可用性を実現することができま

す。

シャットダウンエージェント設定更新機能は、OSの起動時に予備ノードのBMCまたはiRMCのIPアドレスを自動で取得し、自ノードおよ

び他ノードのシャットダウンエージェントの設定を更新する機能です。

- 363 -

- 364 -

- 365 -

注意

・全ノードにおいて、BMCまたはiRMCのユーザ名とパスワードは同一にしてください。

・ RMSのPersistentFault 属性が“1”に設定されていると、正常な予備ノードで起動しても Fault 情報を保持したままになります。

(PersistentFault属性のデフォルト値は“0”)

・シャットダウンエージェントの構成定義ファイルを更新した場合、更新された構成定義ファイルは通信可能なノードにのみ、配布さ

れます。停止しているノード、または、ネットワーク通信が不可能な状態になっているノードには、配布されません。

また、同時に複数ノードを起動する場合、シャットダウンエージェントの構成定義ファイルの更新と配布が、複数ノードで同時に実

施されます。このとき、各ノードで保持するシャットダウンエージェントの構成定義ファイルの情報に不整合が発生することがありま

す。

全ノードに正しい情報が配布されていることを確認するには、全ノードが起動している状態で、いずれかのノードにおいて以下の

コマンドを実行します。

# /opt/SMAW/SMAWsf/bin/sfsacfgupdate -s

コマンドが出力した情報がノード間で異なる場合は、“E.6 復旧”の手順で復旧させてください。

E.2 動作環境

シャットダウンエージェント設定更新機能を使用するためには、以下の環境が必要です。

・サーバ機種

IPMIシャットダウンエージェント(SA_ipmi)を使用する機種

参照

IPMIシャットダウンエージェントを使用する機種については、“5.1.2 シャットダウン機構の設定”を参照してください。

注意

シャットダウンエージェント設定更新機能を使用する場合、BMCまたはiRMCに指定可能なアドレス形式は、IPv4アドレスのみで

す。

・ OS

以下の OS に対応しています。

－ Red Hat Enterprise Linux 6 (for x86)

－ Red Hat Enterprise Linux 6 (for Intel64)

－ Red Hat Enterprise Linux 7 (for Intel64)

注意

本機能は仮想マシン環境では使用できません。

・必須パッケージ

－ Red Hat Enterprise Linux 6、Red Hat Enterprise Linux 7の場合

- OpenIPMI

- ipmitool

- 366 -

rpmコマンドを実行して、上記のパッケージがインストールされていることを確認してください。パッケージがインストールされていな

い場合は、パッケージをインストールしてください。

パッケージはOSのインストール媒体に同梱されています。

E.3 設定

本機能の設定方法について説明します。

E.3.1 IPMIサービスの起動設定

シャットダウンエージェント設定更新機能は、サーバのBMCまたはiRMCのIPアドレスを取得するときに、IPMIサービスを利用するた

め、IPMIサービスの起動設定を実施します。

RHEL6の場合



# /sbin/service ipmi status

IPMIサービスが起動していないすべてのノード上で、以下のコマンドを実行し、IPMIサービスを起動します。

# /sbin/service ipmi start

Starting ipmi drivers: [ OK ]

2. IPMIサービスのランレベルの設定

全ノードで、現在のIPMIサービスのランレベルを確認します。

# /sbin/chkconfig --list ipmi

ipmi 0:off 1:off 2:off 3:on 4:off 5:off 6:off

注意

ランレベルが“on”になっている場合は、その値を控えておきます。上記の場合は、ランレベルは3 です。この値は、本機能を解

除して環境を元に戻すときに必要になります。

起動時にIPMIサービスを読み込むよう、全ノードで、以下のコマンドを実行します。

# /sbin/chkconfig ipmi on

参考

本機能を有効にしたいランレベルだけを“on”にすることも可能です。その場合は、ランレベルを 2～5の範囲で指定してくださ

い。

RHEL7の場合



“Active:”の項目が“inactive”の場合は、IPMIサービスが起動していないため、手順2.に進んでください。

“Active:”の項目が“active”の場合は、IPMIサービスが起動しているため、手順3.に進んでください。

# /usr/bin/systemctl status ipmi.service

ipmi.service - IPMI Driver

- 367 -

Loaded: loaded (/usr/lib/systemd/system/ipmi.service; disabled)

Active: inactive (dead)

2. IPMIサービスが起動していないすべてのノード上で、以下のコマンドを実行し、IPMIサービスを起動します。

# /usr/bin/systemctl start ipmi.service

3. IPMIサービスの有効化の設定

全ノードで、現在のIPMIサービスが有効化されているかを確認します。

# /usr/bin/systemctl list-unit-files --type=service | grep ipmi.service

ipmi.service disabled

上記で“disabled”と表示された場合は、起動時にIPMIサービスを読み込むよう、全ノードで、以下のコマンドを実行します。

“enabled”と表示された場合は、以下のコマンド実行は不要です。

# /usr/bin/systemctl enable ipmi.service

ln -s '/usr/lib/systemd/system/ipmi.service' '/etc/systemd/system/multi-user.target.wants/ipmi.service'

E.3.2 シャットダウンエージェント設定更新機能の有効化

本機能を有効にするために、sfsacfgupdateコマンドを実行します。

参照

sfsacfgupdateコマンドの詳細については、“PRIMECLUSTER 活用ガイド＜コマンドリファレンス編＞”を参照してください。

E.3.2.1 シャットダウンエージェント設定更新サービスの起動設定

全ノードで、以下のコマンドを実行し、本機能を有効にします。

# /opt/SMAW/SMAWsf/bin/sfsacfgupdate -e

参考

RHEL6の場合

“E.3.1 IPMIサービスの起動設定”の手順2 において、本機能を有効にしたいランレベルだけを“on”にした場合は、そのランレベルの

値を指定してください。

・例ランレベル3 および 5において、本機能を有効とする場合

# /opt/SMAW/SMAWsf/bin/sfsacfgupdate -e 35

ランレベルを省略した場合、ランレベル2 ～ 5 において、本機能が有効になります。

E.3.2.2 設定の確認

全ノードで、設定状態を確認します。

[RHEL6の場合]

# /opt/SMAW/SMAWsf/bin/sfsacfgupdate -c

Configuration file exists. [ OK ]

ipmitool command exists. [ OK ]

ipmi service has been started. [ OK ]

ipmi service's run level :

0:off 1:off 2:on 3:on 4:on 5:on 6:off

- 368 -

Configuration Update Service's run level :

0:off 1:off 2:on 3:on 4:on 5:on 6:off

[RHEL7の場合]

# /opt/SMAW/SMAWsf/bin/sfsacfgupdate -c

Configuration file exists. [ OK ]

ipmitool command exists. [ OK ]

ipmi service has been started. [ OK ]

ipmi service state. [ enabled ]

Configuration Update Service state. [ enabled ]

表示される項目と確認する内容について、以下に説明します。

Configuration file exists.

シャットダウンエージェントの構成定義ファイルの有無が表示されます。

“OK”になっていることを確認します。

“NG”の場合は、シャットダウンエージェントの構成定義ファイルが存在していません。シャットダウンエージェントの設定を見直して

ください。

ipmitool command exists.

ipmitoolコマンドの有無が表示されます。


“NG”の場合は、ipmitoolコマンドが存在していません。ipmitoolコマンドが正しくインストールされていることを確認してください。

ipmi service has been started.

IPMI サービスの起動状態が表示されます。


“NG”の場合は、IPMI サービスが起動していません。“E.3.1 IPMIサービスの起動設定”の“RHEL6の場合”または“RHEL7の場

合”の手順1を再度実施してください。

ipmi service's run level:

IPMIサービスのランレベルの状態が表示されます。

“E.3.1 IPMIサービスの起動設定”の“RHEL6の場合”の手順2 で設定したランレベルが“on”になっていることを確認します。

ランレベルが異なる場合は、“E.3.1 IPMIサービスの起動設定”の“RHEL6の場合”の手順2 を再度実施してください。

Configuration Update Service's run level:

シャットダウンエージェント設定更新機能のランレベルの状態が表示されます。

2～5 のすべて、または、いずれかで“on”になっていることを確認します。

以下のエラーメッセージが出力された場合は、“E.3.2.1 シャットダウンエージェント設定更新サービスの起動設定”を再度実施して

ください。

Configuration Update Service's run level :

sfsacfgupdate: ERROR: "sfsacfgupdate -e [<levels>]" is not executed.

ipmi service state.

IPMIサービスが有効、または無効の状態が表示されます。

“enabled”になっていることを確認します。

“disabled”の場合は、“E.3.1 IPMIサービスの起動設定”の“RHEL7の場合”の手順3 を再度実施してください。

Configuration Update Service state.

シャットダウンエージェント設定更新機能が有効、または無効の状態が表示されます。

“enabled”になっていることを確認します。

- 369 -

“disabled”の場合、もしくは以下のエラーメッセージが出力された場合は“E.3.2.1 シャットダウンエージェント設定更新サービスの起

動設定”を再度実施してください。

sfsacfgupdate: ERROR: "sfsacfgupdate -e " is not executed.

注意

“Configuration Update Service's run level”で“on”となっているランレベルが“ipmi service's run level”においても“on”となっていること

を確認してください。

一致していない場合は、いずれかの設定に誤りがあるため、“E.3.1 IPMIサービスの起動設定”の“RHEL6の場合”の手順2 および“E.3.2.1 シャットダウンエージェント設定更新サービスの起動設定”を見直してください。

E.3.2.3 BMCまたはiRMCのIPアドレスとシャットダウンエージェントの設定情報の確認

BMCまたはiRMCのIPアドレスとシャットダウンエージェントの設定情報を確認するため、いずれかのノードで、sfsacfgupdateコマンドを

実行します。

表示された内容で、以下の情報が一致していることを確認してください。

・各ノードのBMCまたはiRMCのIPアドレス(“BMC IP Address :”）

・各ノードのシャットダウンエージェントの構成定義ファイルで保持している、各ノードのBMCまたはiRMCのIPアドレス (“Configurationfile :”)

例)3ノードクラスタ(nodeA、nodeB、nodeC)の場合

各ノードのBMCのIPアドレスは以下とします。

nodeA：10.20.30.41

nodeB：10.20.30.42

nodeC：10.20.30.43


Node : nodeA

Node status : UP

Configuration Update Service status : ENABLE

BMC IP Address :

10.20.30.41

Configuration file :

nodeA 10.20.30.41

nodeB 10.20.30.42

nodeC 10.20.30.43

Node : nodeB

Node status : UP


BMC IP Address :

10.20.30.42


nodeA 10.20.30.41

nodeB 10.20.30.42

nodeC 10.20.30.43

Node : nodeC

Node status : UP


BMC IP Address :

10.20.30.43


nodeA 10.20.30.41

nodeB 10.20.30.42

nodeC 10.20.30.43

- 370 -

表示される項目について、以下に説明します。

Node :

ノード名が表示されます。

Node status :

ノードの起動状態が表示されます。

ノードが起動していれば、“UP”状態になります。“UP”以外の場合は、以降の情報は表示されません。

Configuration Update Service status :

シャットダウンエージェント設定更新機能の設定状態が表示されます。

“E.3.2.2 設定の確認”において問題がなければ、“ENABLE”状態になります。“ENABLE”以外の場合は、以降の情報は表示され

ません。

BMC IP Address :

現在のBMCまたはiRMCのIPアドレスが表示されます。


現在のシャットダウンエージェントの構成定義ファイルで保持している、各ノードのBMCまたはiRMCのIPアドレスが表示されます。

E.4 動作確認

本機能の動作確認方法について説明します。

E.4.1 OS再起動による動作確認方法

本機能は、OSの起動時に動作します。そのため、動作確認をするには、OSを再起動する必要があります。

ここでは、一時的に手動でシャットダウンエージェントの構成定義ファイルを更新し、OSを再起動して動作確認する方法を説明します。

1. シャットダウンエージェントの構成定義ファイルのバックアップ

動作確認を実施するノード(以降、nodeAとします)において、SA_ipmi.cfgをバックアップします。

# cp -p /etc/opt/SMAW/SMAWsf/SA_ipmi.cfg /etc/opt/SMAW/SMAWsf/SA_ipmi.cfg.bk

2. シャットダウンエージェントの構成定義ファイルの更新

nodeAのシャットダウンエージェントの構成定義ファイルにおいて、nodeAのBMCまたはiRMCのIPアドレスを、存在しないIPアド

レスに変更します。

# vi /etc/opt/SMAW/SMAWsf/SA_ipmi.cfg

～～～

nodeA 10.20.30.41:user:pass cycle

↓↓↓

nodeA 255.255.255.255:user:pass cycle ← 存在しないIPアドレスに変更

注意

IPアドレスを変更したとき、Syslogに以下のメッセージが表示されることがあります。sdtool -s を実行した結果、SA_ipmiがTestFailedになることがありますが、問題はありません。

SMAWsf : SA SA_ipmi to test host <node> failed

3. OSの再起動

nodeAを再起動します。

# shutdown -r now

- 371 -

4. シャットダウンエージェントの構成定義ファイルの確認

nodeAのシャットダウンエージェントの構成定義ファイルにおいて、nodeAのBMCまたはiRMCのIPアドレスが更新されていること

を確認します。

# vi /etc/opt/SMAW/SMAWsf/SA_ipmi.cfg

～～～

nodeA 10.20.30.41:user:pass cycle

5. バックアップファイルの削除

nodeAにおいて、バックアップしておいたシャットダウンエージェントの構成定義ファイルを削除します。

# rm -f /etc/opt/SMAW/SMAWsf/SA_ipmi.cfg.bk

E.5 解除

本機能の解除方法について説明します。

E.5.1 シャットダウンエージェント設定更新機能の無効化

全ノードで以下のコマンドを実行し、本機能の設定を無効化します。

# /opt/SMAW/SMAWsf/bin/sfsacfgupdate -d

E.5.2 IPMIサービスの起動設定の復元

IPMIサービスが不要の場合は、IPMIサービスのランレベルの設定を“E.3.1 IPMIサービスの起動設定”の手順2 を行う前の状態に戻

します。

E.6 復旧

本機能が動作した場合に、全ノードに正しい情報が配布されなかったときの復旧方法について説明します。

E.6.1 全ノードに正しい情報が配布されなかった場合の復旧方法

シャットダウンエージェント設定更新機能が動作するとき、他ノードで通信が不可能な状態になっていると、シャットダウンエージェント

の構成定義ファイルは他ノードに配布されません。

この場合、各ノードで保持している情報の整合性が取れず、シャットダウンエージェントが正常に動作できなくなります。

このような状況になった場合の復旧方法を、以下に例をあげて説明します。

nodeAのBMCのIPアドレスが変更になり、かつ、nodeBが停止しているため、nodeBへのシャットダウンエージェントの構成定義ファイル

の配布に失敗した場合

nodeA：10.20.30.41 → 10.20.30.51 に変更

nodeB：10.20.30.42（停止)nodeC：10.20.30.43

1. メッセージの確認

nodeA (BMCのIPアドレスが変更されたノード)において、以下のいずれかのメッセージがSyslogに出力されていることを確認しま

す。

sfsacfgupdate: ERROR: Failed to copy the backup of <file> on node <node>.

sfsacfgupdate: ERROR: Failed to distribute <file> to node <node>.

sfsacfgupdate: ERROR: Failed to change the access permission of <file> on node <node>.

sfsacfgupdate: ERROR: Failed to change the group of <file> on node <node>.

- 372 -

sfsacfgupdate: ERROR: Failed to change the owner of <file> on node <node>.

上記のメッセージが出力されている場合、<node>に対しての処理が失敗しています。

2. 停止ノードの確認

シャットダウンエージェント設定更新サービスの動作時に、他ノードがすべて停止している場合は、手順1 のメッセージは出力さ

れません。停止しているノードが存在してないかを確認してください。

3. 停止ノードの復旧

停止ノードの状態を確認し、復旧してください。

4. 現在の状態確認

いずれかのノードで以下のコマンドを実行し、現在の状態を確認します。


Node : nodeA

Node status : UP


BMC IP Address :

10.20.30.51 ←10.20.30.41から変更になっている


nodeA 10.20.30.51 ← nodeAにおいて、変更後の情報に更新されている

nodeB 10.20.30.42

nodeC 10.20.30.43

Node : nodeB

Node status : UP


BMC IP Address :

10.20.30.42


nodeA 10.20.30.41 ← nodeBにおいて、変更後の情報に更新されていない

nodeB 10.20.30.42

nodeC 10.20.30.43

Node : nodeC

Node status : UP


BMC IP Address :

11.22.33.46


nodeA 10.20.30.51 ← nodeCにおいて、変更後の情報に更新されている

nodeB 10.20.30.42

nodeC 10.20.30.43

上記の場合、nodeBで保持しているシャットダウンエージェントの構成定義ファイルの情報において、nodeAのBMCのIPアドレス

が、変更後の情報に更新されていないことがわかります。

5. 情報の復旧

正しい情報を保持しているノードで、以下のコマンドを実行し、状態を復旧します。

この場合、nodeA および nodeC の保持している情報が正しいため、nodeA または nodeCで実行します。

# /opt/SMAW/SMAWsf/bin/sfsacfgupdate -r

6. 復旧後の確認

いずれかのノードで以下のコマンドを実行し、現在の状態を確認します。

以下の場合、nodeBで保持しているシャットダウンエージェントの構成定義ファイルの情報において、nodeAのBMCのIPアドレス

が、変更後の情報に更新されたことがわかります。

- 373 -


Node : nodeA

Node status : UP


BMC IP Address :

10.20.30.51


nodeA 10.20.30.51

nodeB 10.20.30.42

nodeC 10.20.30.43

Node : nodeB

Node status : UP


BMC IP Address :

10.20.30.42


nodeA 10.20.30.51 ← nodeBにおいて、変更後の情報に更新された

nodeB 10.20.30.42

nodeC 10.20.30.43

Node : nodeC

Node status : UP


BMC IP Address :

11.22.33.46


nodeA 10.20.30.51

nodeB 10.20.30.42

nodeC 10.20.30.43

- 374 -

付録F KVM環境でPRIMECLUSTERを使用する場合

本章では、KVM環境でPRIMECLUSTERを使用する場合について説明します。

F.1 管理OSのクラスタアプリケーションでゲストOSを制御・監視する

管理OSのクラスタアプリケーションのCmdlineリソースにhvlibvirtスクリプトを登録することで、クラスタアプリケーションの起動・停止に応

じて、ゲストOSを起動・停止できます。また、ゲストOSの状態を監視できます。

hvlibvirtスクリプトは、virshコマンドにより、引数に設定されたゲストOSの起動、停止、状態チェックを行います。

hvlibvirtスクリプトを使用するCmdlineリソースの設定において、Startスクリプト、Stopスクリプト、Checkスクリプトを以下の形式で指定し

てください。

<Startスクリプト>

/opt/SMAW/bin/hvlibvirt -c -z <dom_name> -t <timeout>

<Stopスクリプト>

/opt/SMAW/bin/hvlibvirt -u -z <dom_name> -t <timeout>

<Checkスクリプト>

/opt/SMAW/bin/hvlibvirt -m -z <dom_name> -t <timeout>

<dom_name> には、対象となるゲストOSのドメイン名を指定します。

<timeout> には、ゲストOSのシャットダウン処理のタイムアウト値を秒単位で指定します。Offline処理の際、このスクリプトはゲストOSの

停止を行います。これらの処理が<timeout>で指定した時間を経過しても完了しない場合、virshのdestroyコマンド(virsh destroy<dom_name>)によりゲストOSを停止させます。

CmdlineリソースのFlagは、以下を参考に設定します。詳細は、“6.11 Cmdline リソース設定時の注意点”を参照してください。

・ NULLDETECTOR

無効 (Checkスクリプトを使うため)

・ STANDBYCAPABLE

無効 (Standby対応していないため)

・ ALLEXITCODES

無効 (Standby対応していないため)

・ TIMEOUT

デフォルト値は300秒です。ゲストOSのシステム起動/停止シーケンスが完了するまでにかかる時間よりも大きな値を設定してくださ

い。

Cmdline リソースの設定については、“6.7.3.1 Cmdlineリソースの設定”を参照してください。

参考

virshコマンドを以下の形式で実行することにより、ゲストOSのドメイン名を確認できます。

例) ゲストOSのドメイン名がdomain1の場合

# virsh list --all

Id 名前状態

----------------------------------

0 Domain-0 実行中

- domain1 シャットオフ

- 375 -

付録G KVM環境でマイグレーション機能を使用する場合

本章では、KVM環境でマイグレーション機能を使用する場合の、設計、事前設定、運用について説明します。

G.1 設計

クラスタシステムで利用できるKVMのマイグレーション機能には、以下の3種類の方式があります。

・ライブマイグレーション

稼働中のゲストOSを移動させます。

・オフラインマイグレーション

ゲストOSを一時停止状態にして移動させます。

・エクスポート／インポートによるマイグレーション

停止状態のゲストOSのXML設定ファイルを、エクスポート／インポートします。

KVMのマイグレーション機能が利用できるクラスタ構成については、“2.2.1 仮想マシン機能”を参照してください。

注意

マイグレーションするゲストOSには、virtioブロックストレージが"vdpcl"というデバイス名で追加されます。マイグレーション用にvirtioブ

ロックストレージを追加できるようにするため、以下に注意してください。

・ゲストOSのvirtioブロックストレージの数を、マイグレーションで追加するデバイス(vdpcl)を除き、27デバイス以内にしてください。

・ゲストOSのvirtioブロックストレージのデバイス名に"vdpcl"は使用しないでください。

G.2 事前設定

KVM環境でマイグレーション機能を使用する場合の事前設定について説明します。

G.2.1 管理OS異常切替機能を使用しない場合

マイグレーションを行うゲストOSとすべての管理OSにおいて、以下の手順を実施してください。

本手順は一度だけ実施すればよく、マイグレーション実施ごとに行う必要はありません。

1. 管理OSの情報ファイルの作成(ゲストOS)

いずれかのゲストOSにおいて、任意のディレクトリ配下で以下のコマンドを実行し、管理OSの情報ファイルを作成します。コマン

ドを実行すると、カレントディレクトリに” sfkvmmigrate.img.hostname”の名前でファイルが作成されます。

コマンドを複数回実行し、すべての管理OSの情報ファイルを作成してください。

なお、以前に本手順を実施済の場合、手順1～3を再実施する必要はありません。

# /opt/SMAW/SMAWsf/bin/sfkvmmigratesetup -c -i hostip -g hostname

hostip

管理OSのIPアドレスを指定します。



hostname

管理OSのホスト名を指定します。

- 376 -

2. 管理OSの情報ファイルの配置(管理OS)

手順1.で作成した管理OSの情報ファイルを各管理OSに転送し、ファイル名を“sfkvmmigrate.img“に変名して/var/opt/SMAWsfに配置します。

# mkdir -p /var/opt/SMAWsf

# cp sfkvmmigrate.img.hostname /var/opt/SMAWsf/sfkvmmigrate.img

3. 権限の変更（管理OS）

以下のコマンドを実行し、手順2.で配置した管理OSの情報ファイルの権限を変更します。

# chown root:root /var/opt/SMAWsf/sfkvmmigrate.img

# chmod 644 /var/opt/SMAWsf/sfkvmmigrate.img

4. ゲストOSの設定（管理OS/ゲストOS）

すべてのゲストOSについて、以下の手順を実施してください。

本手順は複数のゲストOSで同時に実施することも、ゲストOSを１つずつ順に実施することも可能です。

1. ゲストOSの停止

以下のコマンドをゲストOSで実施し、ゲストOSを停止します。

# /sbin/shutdown -P now

2. 管理OSの情報の参照設定

停止したゲストOSの管理OSで、以下のコマンドを実行し、ゲストOSから管理OSの情報ファイルを参照できるように設定し

ます。

[RHEL6の場合]

# virsh attach-disk domain /var/opt/SMAWsf/sfkvmmigrate.img vdpcl --cache none --mode readonly --shareable --

persistent

[RHEL7の場合]

# virsh attach-disk domain /var/opt/SMAWsf/sfkvmmigrate.img vdpcl --cache none --mode readonly --persistent

domain

ゲストOSのドメイン名を指定します。

3. ゲストOSの起動

ゲストOSを起動します。

5. 移動先管理OSのユーザID作成（管理OS)

移動先の管理OSにユーザIDを作成します。

詳細な手順は“3.2.2.2 管理OSの設定（ゲストOSのOSインストール後）”を参照してください。

6. 移動先管理OSへのログイン(ゲストOS)

全ゲストOSから、移動先の管理OSに対して、SSH初回時のユーザ問い合わせ（RSA 鍵の生成）を済ませておく必要があります。

すべてのゲストOS上で、移動先の管理OSに対して、libvirtシャットダウンエージェントに指定した管理OSのアカウントでログイン

を実行してください。





G.2.2 管理OS異常切替機能を使用する場合

マイグレーションを行うゲストOSとすべての管理OSにおいて、以下の手順を実施してください。

- 377 -

本手順は一度だけ実施すればよく、マイグレーション実施ごとに行う必要はありません。

1. kvmguests.confファイルの作成(管理OS)

すべての管理OSで、以下の手順でkvmguest.confファイルを作成してください。kvmguests.confファイルはすべての管理OSで同

一にしてください。PRIMEQUESTの場合、管理OS異常切替機能の設定時に作成済みであれば、再実施は不要です。

1. 設定の情報確認

マイグレーション時に、SSHでゲストOS(クラスタノード)にログインし、シャットダウン機構の設定を変更します。

設定には以下の情報が必要なため、事前に確認してください。

- ゲストOSのIPアドレス

- ゲストOSのドメイン名

- ゲストOSのクラスタ名

- ゲストOSのCFノード名

2. ユーザ作成（ゲストOSにroot以外でログインする場合)

マイグレーション機能が、ゲストOSにroot以外のユーザでログインする場合、ログイン用のユーザを作成します。

マイグレーションするゲストOSで以下の手順を実施してください。

1. ログイン用のユーザを作成します。

作成するユーザのパスワードは、以下の文字以外の7ビットASCII文字で設定してください。

> < " / \ = ! ? ; , &

2. 作成したユーザがrootユーザとしてコマンドを実行できるように、sudoコマンドを設定します。

rootコマンドでvisudoコマンドを実行し、表示される設定ファイルに、以下の設定を記載してください。

<(1)で作成したユーザ> ALL=(root) NOPASSWD: ALL


sfcipherコマンドを実行し、ゲストOSへSSH ログインするためのユーザ(rootまたは2)で作成したユーザ)のパスワードを暗号

化します。


# sfcipher -c



D0860AB04E1B8FA3

4. /etc/opt/FJSVcluster/etc/kvmguests.confの作成

/etc/opt/FJSVcluster/etc/kvmguests.confを以下の内容で作成します。

kvmguests.confファイルはrootユーザで作成し、パーミッションを600にしてください。

guest-name host-cfname guest-clustername guest-cfname guest_IP guest_user guest_passwd

：

- 1行に1ノード分の情報を記載してください。

- 各項目は空白1文字で区切ってください。

- kvmguests.conf ファイルは、すべてのクラスタノードで同一にしてください。

guest-name :マイグレーションするゲストOSのドメイン名を指定します。

host-cfname :“guest-name”が動作している管理OSのCFノード名を指定します。

“guest-name”が動作している管理OSで“cftool -l”を実行すると、そのノードのCFノード名が

確認できます。

- 378 -

guest-clustername :ゲストOSのクラスタ名を指定します。

ゲストOSで“cftool -c”を実行すると、そのノードのクラスタ名が確認できます。

guest-cfname :ゲストOSのCFノード名を指定します。

ゲストOSで“cftool -l”を実行すると、そのノードのCFノード名が確認できます。

guest_IP :ゲストOSのIPアドレスを指定します。



guest_user :ゲストOSへSSH ログインするためのユーザを指定します。rootまたは2)で作成したユーザを指定

します。

guest_passwd :ゲストOSへログインするためのユーザのパスワードを指定します。

3)で暗号化したパスワードを指定します。

例) 2ノード構成のゲストOS間でクラスタシステムが2セット構築されている場合





5. ゲストOSへのログイン確認

マイグレーション時に、ゲストOSへSSHでアクセスするため、SSH初回時のユーザ問い合わせ（RSA 鍵の生成）を済ませて

おく必要があります。

/etc/opt/FJSVcluster/etc/kvmguests.conf に指定したすべてのゲストOS(ノード)に対して、同ファイルに指定したユーザで

SSH接続を行い、ログインできることを確認してください。コマンドの実行は、rootユーザで行ってください。





6. /etc/opt/FJSVcluster/etc/kvmguests.confの設定確認

すべての管理OS上でsfkvmtoolコマンドを実行し、/etc/opt/FJSVcluster/etc/kvmguests.confの設定に誤りが無いか確認し

ます。設定に誤りが無い場合、以下のメッセージが出力されます。

# /opt/SMAW/SMAWsf/bin/sfkvmtool -c

Configuration file kvmguests.conf check succeeded.

上記以外のメッセージが出力された場合、/etc/opt/FJSVcluster/etc/kvmguests.confの設定を見直してください。



# sdtool -s


# sdtool -e

# sdtool -b


# sdtool -b

2. 管理OSの情報登録(管理OS)

すべての管理OSで、以下のコマンドを実行し、管理OSの情報を登録します。

# /opt/SMAW/SMAWsf/bin/sfkvmmigratesetup -c -i hostip [-w off]

- 379 -

hostip

本コマンドを実行する管理OSのIPアドレスを指定します。



-w off

ゲストOSの移動時に、ゲストOSのシャットダウン機構の重みと管理OSのシャットダウン機構の重みを連携させない場合に指

定します。

本指定が無い場合、ゲストOSの移動時に、ゲストOSのシャットダウン機構の重みと管理OSのシャットダウン機構の重みを連

携します。

本指定はすべての管理OSで同一にしてください。

3. ゲストOSの設定（管理OS/ゲストOS）

すべてのゲストOSについて、以下の手順を実施してください。





2. 管理OSの情報の参照設定

停止したゲストOSの管理OSで、以下のコマンドを実行し、ゲストOSから管理OSの情報ファイルを参照できるように設定し

ます。

# /opt/SMAW/SMAWsf/bin/sfkvmmigratesetup -s domain

domain




4. 移動先管理OSのユーザID作成（管理OS）

移動先の管理OSにユーザIDを作成します。

詳細な手順は“3.2.3.1.4 管理OSの設定（ゲストOSのOSインストール後）”を参照してください。

5. 移動先管理OSへのログイン(ゲストOS)

全ゲストOSから、移動先の管理OSに対して、SSH初回時のユーザ問い合わせ（RSA 鍵の生成）を済ませておく必要があります。

すべてのゲストOS上で、移動先の管理OSに対して、libvirtシャットダウンエージェントに指定した管理OSのアカウントでログイン

を実行してください。





G.3 運用

KVM環境でマイグレーション機能を使用する場合の運用について説明します。

- 380 -

G.3.1 ライブマイグレーション操作を行う場合

G.3.1.1 管理OS異常切替機能を使用しない場合

G.3.1.1.1 ライブマイグレーション前の操作

KVM環境でライブマイグレーションを行う前の操作について説明します。

1. クラスタの設定変更（ゲストOS）

ライブマイグレーション前に、クラスタの設定を変更します。

移動対象のゲストOSのクラスタノードで、以下のコマンドを実行します。

# /opt/SMAW/SMAWsf/bin/sfkvmmigrate -p source-domain -g

source-domain

移動対象のゲストOSのドメイン名

本コマンドを実行すると、source-domainに指定されたゲスト間クラスタの全ノードで、以下に示すクラスタ設定が変更されます。

－ CFのクラスタインタコネクトのタイムアウト値(10秒→ 600秒)

－シャットダウン機構の停止

G.3.1.1.2 ライブマイグレーション後の操作

KVM環境でライブマイグレーションを行った後の操作について説明します。


ライブマイグレーション後の、クラスタの設定を変更します。


# /opt/SMAW/SMAWsf/bin/sfkvmmigrate -u source-domain -g

source-domain




－シャットダウン機構の設定変更(管理OSのIPアドレス、管理OSのCFノード名、SFの重み)

－管理OS異常切替機能の設定変更(管理OSのCFノード名)

－シャットダウン機構の起動

2. シャットダウン機構の状態確認（ゲストOS）

ゲストOSの各ノードで以下のコマンドを実行し、ライブマイグレーション後のクラスタの設定が正しく行われたことを確認します。

# sdtool -s

注意

TestFailedまたはInitFailedが表示された場合は、シャットダウン機構の設定が変更されなかった可能性があります。

再度、手順1.から実施してください。

- 381 -

G.3.1.2 管理OS異常切替機能を使用する場合

G.3.1.2.1 ライブマイグレーション前の操作

KVM環境でライブマイグレーションを行う前の操作について説明します。

1. クラスタの設定変更（管理OS）

ライブマイグレーション前に、クラスタの設定を変更します。

移動元の管理OSのクラスタノードで、以下のコマンドを実行します。

# /opt/SMAW/SMAWsf/bin/sfkvmmigrate -p source-domain

source-domain





G.3.1.2.2 ライブマイグレーション後の操作

KVM環境でライブマイグレーションを行った後の操作について説明します。


ライブマイグレーション後の、クラスタの設定を変更します。


# /opt/SMAW/SMAWsf/bin/sfkvmmigrate -u source-domain

source-domain








ゲストOSの各ノードで以下のコマンドを実行し、ライブマイグレーション後のクラスタの設定が正しく行われたことを確認します。

# sdtool -s

注意



- 382 -

G.3.2 オフラインマイグレーション操作を行う場合


G.3.2.1.1 オフラインマイグレーション前の操作

KVM環境でオフラインマイグレーションを行う前の操作について説明します。


オフラインマイグレーション前に、クラスタの設定を変更します。


# /opt/SMAW/SMAWsf/bin/sfkvmmigrate -p source-domain -t CFtimeout -g

source-domain


CFtimeout

CFのクラスタインタコネクトのタイムアウト値(秒)

オフラインマイグレーションの実測時間に、処理遅延の許容時間として300秒を加算した時間を指定してください。


－ CFのクラスタインタコネクトのタイムアウト値(10秒→CFtimeout秒)


G.3.2.1.2 オフラインマイグレーション後の操作

KVM環境でオフラインマイグレーションを行った後の操作について説明します。


オフラインマイグレーション後の、クラスタの設定を変更します。


# /opt/SMAW/SMAWsf/bin/sfkvmmigrate -u source-domain -g

source-domain



－ CFのクラスタインタコネクトのタイムアウト値(オフラインマイグレーション前の操作で設定した値(秒)→ 10秒)





ゲストOSの各ノードで以下のコマンドを実行し、オフラインマイグレーション後のクラスタの設定が正しく行われたことを確認しま

す。

# sdtool -s

注意


- 383 -



G.3.2.2.1 オフラインマイグレーション前の操作

KVM環境でオフラインマイグレーションを行う前の操作について説明します。


オフラインマイグレーション前に、クラスタの設定を変更します。


# /opt/SMAW/SMAWsf/bin/sfkvmmigrate -p source-domain -t CFtimeout

source-domain


CFtimeout

CFのクラスタインタコネクトのタイムアウト値(秒)

オフラインマイグレーションの実測時間に、処理遅延の許容時間として300秒を加算した時間を指定してください。


－ CFのクラスタインタコネクトのタイムアウト値(10秒→CFtimeoutで設定した時間(秒))


G.3.2.2.2 オフラインマイグレーション後の操作

KVM環境でオフラインマイグレーションを行った後の操作について説明します。


オフラインマイグレーション後の、クラスタの設定を変更します。


# /opt/SMAW/SMAWsf/bin/sfkvmmigrate -u source-domain

source-domain



－ CFのクラスタインタコネクトのタイムアウト値(オフラインマイグレーション前の操作で設定した値(秒)→ 10秒)





ゲストOSの各ノードで以下のコマンドを実行し、オフラインマイグレーション後のクラスタの設定が正しく行われたことを確認しま

す。

# sdtool -s

注意


- 384 -


G.3.3 エクスポート／インポートによるマイグレーション操作を行う場合


G.3.3.1.1 エクスポート／インポートによるマイグレーション前の操作

KVM環境でエクスポート／インポートによるマイグレーションを行う前の操作は、必要ありません。

G.3.3.1.2 エクスポート／インポートによるマイグレーション後の操作

KVM環境でエクスポート／インポートによるマイグレーションを行った後の操作について説明します。


ゲストOSの各ノードで以下のコマンドを実行し、エクスポート／インポートによるマイグレーション後のクラスタの設定が正しく行わ

れたことを確認します。

# sdtool -s

注意


“G.3.1.1.2 ライブマイグレーション後の操作”の手順を実施してください。


G.3.3.2.1 エクスポート／インポートによるマイグレーション前の操作

KVM環境でエクスポート／インポートによるマイグレーションを行う前の操作は、必要ありません。

G.3.3.2.2 エクスポート／インポートによるマイグレーション後の操作

KVM環境でエクスポート／インポートによるマイグレーションを行った後の操作について説明します。


ゲストOSの各ノードで以下のコマンドを実行し、エクスポート／インポートによるマイグレーション後のクラスタの設定が正しく行わ

れたことを確認します。

# sdtool -s

注意


“G.3.1.2.2 ライブマイグレーション後の操作”の手順を実施してください。

G.4 設定変更

KVM環境でマイグレーション機能を使用する場合の設定変更について説明します。

G.4.1 事前設定の解除

ゲストOSのマイグレーションを行う必要が無くなった場合や、管理OSのPRIMECLUSTERのアンインストールの前には、マイグレーショ

ン機能を使用する場合の事前設定を解除します。

- 385 -

以下の手順を実施してください。

■管理OS異常切替機能を使用しない場合

1. ゲストOSの設定(管理OS/ゲストOS)

マイグレーションを行う必要が無くなったゲストOSに対し、以下の手順を実施してください。





2. 管理OSの情報の参照設定の解除

停止したゲストOSの管理OSで、以下のコマンドを実行し、ゲストOSから管理OSの情報ファイルを参照する設定を解除しま

す。

# virsh detach-disk domain vdpcl --persistent

domain




2. 管理OSの情報ファイルの削除(管理OS)

すべてのゲストOSでマイグレーションを行う必要が無くなった場合、各管理OSで、以下のコマンドを実行し、管理OSの情報ファ

イルを削除します。

# rm /var/opt/SMAWsf/sfkvmmigrate.img

■管理OS異常切替機能を使用する場合

1. ゲストOSの設定(管理OS/ゲストOS)

マイグレーションを行う必要が無くなったゲストOS、またはPRIMECLUSTERをアンインストールする管理OS上のすべてのゲスト

OSに対し、以下の手順を実施してください。





2. 管理OSの情報の参照設定の解除

停止したゲストOSの管理OSで、以下のコマンドを実行し、ゲストOSから管理OSの情報ファイルを参照する設定を解除しま

す。

# /opt/SMAW/SMAWsf/bin/sfkvmmigratesetup -r domain

domain




2. 管理OSの情報ファイルの削除(管理OS)

すべてのゲストOSでマイグレーションを行う必要が無くなった場合、各管理OSで、以下のコマンドを実行し、管理OSの情報ファ

イルを削除します。

- 386 -

# /opt/SMAW/SMAWsf/bin/sfkvmmigratesetup -d

- 387 -

付録H VMware環境でPRIMECLUSTERを使用する場合

本章では、VMware環境でPRIMECLUSTERを使用する場合について説明します。

参照

VMwareの詳細については、VMware vSphereのソフトウェア説明書を参照してください。

注意

サポート構成

・以下の環境および機能はサポートしていません。

－異なるバージョンのESXiホスト間でのクラスタ構成

－ N-Port ID 仮想化（NPIV）

・サードパーティ製のマルチパスソフトウェアに関するサポートについては、当社技術員（SE）に確認してください。

VMwareの機能の使用について

・ PRIMECLUSTERを導入する仮想マシンは、VMware HA、VMware FT、VMware DRS、VMware DPM など、VMwareのクラスタ

機能の対象から外してください。

・ PRIMECLUSTERを導入する仮想マシンは、以下の機能を使用できません。

－ VMware vCenter Converterによる移行

－ VMwareのスナップショット機能

－ホットクローン機能

－ Data Protection/Data Recoveryによるバックアップ

－ VMware Consolidated Backup(以降、VCB)によるバックアップ

・仮想マシンハードウェアに対する、以下のようなホット変更はできません。

－ディスクのサイズを増やす

－メモリのホット追加

－ CPU のホット追加

－スナップショットの使用

－仮想スワップまたはメモリバルーニングを引き起こすメモリのオーバーコミット

H.1 VMware環境でのクラスタシステム

VMware環境でPRIMECLUSTERを使用する場合は、ESXiホスト上のゲストOS間クラスタリング（仮想マシン機能）が可能です。

VMware環境において、ゲストOSに異常が発生すると、ゲストOS上のアプリケーションが動作できない状態となります。ゲストOSに

PRIMECLUSTERを適用することで、異常発生時には運用系のゲストOSから待機系のゲストOS上へアプリケーションの切替えが発生

し、信頼性の高いゲストOS環境を実現します。

強制停止方式

VMware環境でのクラスタシステムには、“VMware vCenter Server連携機能”と“I/Oフェンシング機能”を使用する2種類の強制停

止方式があり、いずれかの強制停止方式を選択する必要があります。

以下の環境では、I/Oフェンシング機能による強制停止方式を、それ以外の環境ではVMware vCenter Server連携機能を使用した

強制停止方式を設定してください。

- 388 -

－ VMware vCenter Serverを使用できない環境、または、ゲストOSからVMware vCenter Serverにアクセス(vCenter Serverと通信、

または操作)できない環境

－ PRIMECLUSTER 4.3A40以前でI/Oフェンシング機能を使用しているVMware環境からアップグレードする環境

VMware vCenter Server連携機能を使用した強制停止（推奨）

ゲストOSの異常発生時、VMware vCenter Serverと連携してゲストOSの仮想マシンを電源停止することで業務の切替えを実現

します。

本方式では、共用ディスクがないクラスタ環境や、1つのESXiホスト上のゲストOS間のクラスタ環境でも仮想マシンの強制停止

が可能です。

図H.1 VMware環境でのクラスタシステム（VMware vCenter Server連携機能）

I/Oフェンシング機能を使用した強制停止

SCSI-3 Persistent Reservation を排他制御機能として利用し、異常が発生したゲストOSをパニックにより停止させることで業務の

切替えを実現します。VMware vCenter Server が不要なため、クラスタを構成する仮想マシン以外のサーバを用意する必要が

ありませんが、SCSI-3 Persistent Reservation に対応した RDM (Raw Device Mapping)接続の共用ディスクが必要です。

注意

以下の環境ではI/Oフェンシング機能による強制停止方式は使用できません。

- 1つのESXiホスト上のゲストOS間のクラスタ環境

- クラスタアプリケーションを構成するノード数が3ノード以上の環境

- 共用ディスクを使用するクラスタアプリケーションが複数存在する環境

- GDSサーバ間ミラーリング構成のディスクを使用する場合

- 389 -

参考

複数のESXiホスト上のゲストOS間で共用ディスクが接続されているクラスタシステムでは、SA_icmpシャットダウンエージェントを

設定することで、ネットワーク（管理LAN/インタコネクト）経路でゲストOSの応答の有無を確認し、応答が無い場合に切替えを実

施します。このため、異常が発生したゲストOSが完全に停止していない場合（OSハング状態等）、両方のゲストOSから共用ディ

スクに同時にアクセスされる可能性があります。I/Oフェンシング機能は、SCSI-3 Persistent Reservation を利用することで両方の

ゲストOSからの同時アクセスを防止します。

図H.2 VMware環境でのクラスタシステム（I/Oフェンシング機能）

VMware vCenter Server連携機能とI/Oフェンシング機能による強制停止方式を比較した表は以下の通りです。

項目強制停止方式

VMware vCenter Server連携機能（推

奨）

I/Oフェンシング機能

構成 VMware vCenterServer

必須

（ゲストOSからVMware vCenter Serverにアクセス(vCenter Serverと通信、お

よび操作)できることと、VMwarevCenter Serverにクラスタの動作してい

る仮想マシンの停止権限のあるユー

ザを作成することが必要）

必須ではない

同一 ESXiホスト上

のゲストOS間での

クラスタ構成

可不可

クラスタアプリケー

ションを構成する

ノード数

2～16ノード 2ノード

- 390 -



奨）


クラスタアプリケー

ション構成

制限なし以下のいずれかのみ可能

・クラスタアプリケーションが1つのみ

・複数のクラスタアプリケーションのう

ち、共用ディスクがあるクラスタアプリ

ケーションが１つのみ

生存優先度の設

定可

不可

（生存優先度に関わらず、クラスタアプ

リケーションが起動しているゲストOSが

パニック）

共用ディスク必須ではない

以下が使用可

・各ESXiホストからアクセス可能なデー

タストア上に作成した仮想ディスク

・RDM(Raw Device Mapping)接続の

ディスク

注意:クラスタノード間で共用するディ

スクは、仮想ディスク(データストア)、RDMのいずれも、共用するESXiホス

ト数を8ホスト以内にする必要がありま

す。共用するESXiホスト数が8ホスト以

内であれば、クラスタノード数が16ノー

ドまで共用可能です。

必須

(SCSI-3 Persistent Reservation に対応

したRDM (Raw Device Mapping)接続

の共用ディスク)

ネイティブマルチ

パス（NMP）のパス

ポリシーすべてサポート

以下の設定のみサポート

・VMware vSphere 5.1以前の場合:「近の使用」

・VMware vSphere 5.5またはVMwarevSphere 6.0の場合:「近の使用」または「ラウンドロビン」

その他の未サポー

トの構成・機能・VMware vSphere HA・VMware vSphere FT・VMware vSphere DRS・VMware vSphere DPM・スナップショット機能

・Data Protection/Data Recoveryによる

バックアップ

・VCBによるバックアップ

・仮想マシンのサスペンド

・VMware vSphere HA・VMware vSphere FT・VMware vSphere DRS・VMware vSphere DPM・スナップショット機能

・Data Protection/Data Recoveryによる

バックアップ

・VCBによるバックアップ

・仮想マシンのサスペンド

・FCoEによるストレージ接続

・VMware vSphere vMotion・VMware vSphere Storage vMotion

異常発生時の

動作

クラスタインタコネ

クト異常

運用ノード、または、待機ノードが強制

停止され、業務の切替え、または、待

機ノードの切捨てが行われる

・SA_icmpにクラスタインタコネクトのみ

を指定した場合：

運用ノードがパニックし、業務の切替

えが行われる。

・SA_icmpにクラスタインタコネクトとそ

れ以外のネットワークを指定した場合：

業務の切替えは行われず、

LEFTCLUSTER状態となる

- 391 -



奨）


運用系のゲストOSや仮想マシンの異

常

運用ノードが強制停止され、業務の切

替えが行われる

運用ノードがパニックし、業務の切替

えが行われる

待機系のゲストOSや仮想マシンの異

常

待機ノードが強制停止され、待機ノー

ドの切捨てが行われる

待機ノードの切捨てが行われる（待機

ノードはパニックしない）

ESXiまたはサーバ

本体の故障

業務の切替えは行われず、異常の発

生したESXi上にあるノードは

LEFTCLUSTER状態となる

業務の切替え、または、待機ノードの

切捨て（運用ノードはパニックするが、

待機ノードはパニックしない）

VMware vCenterServerの故障

仮想マシンの強制停止不可－

仮想マシンと

VMware vCenterServerとの間の

ネットワークの故障

仮想マシンの強制停止不可－

異常発生時のダン

プ採取

不可

（電源断による強制停止のみのため。

そのため、クラスタノードの異常の原因

を特定できないことがある）

可

保守時の制限

事項

コールドマイグレー

ション使用時

なしクラスタを構成する２ノードが同一の

ESXiホスト上で動作するようにマイグ

レーションした場合、ゲストOS、仮想マ

シン、クラスタインタコネクト異常時の

業務切替えが行えなくなる。

注意

・ VMware vCenter Server連携機能とI/Oフェンシング機能の強制停止方式のどちらかを必ず設定してください。両方同時に設定す

る構成や、いずれの強制停止方式も設定しない構成はできません。

H.2 導入

VMware環境において、複数のESXiホスト上のゲストOS間でのPRIMECLUSTERの導入手順について説明します。

注意


・ I/O フェンシング機能はクラスタアプリケーション構築時に設定が必要です。

・ I/Oフェンシング機能は、GDSのディスククラスに登録された共用ディスク装置のLUNまたは、Fsystemリソースで制御するファイル

システムが作成されたLUNを使用します。I/Oフェンシング機能を使用する場合は、これらのLUNやディスクを含むディスククラスの

GDSリソース、または、Fsystemリソースをクラスタアプリケーションに登録してください。

・ FsystemリソースやGDSでディスクを管理していないクラスタアプリケーションでは、I/O フェンシング機能の設定は行わないでくださ

い。

・ネイティブマルチパス（NMP）のパスポリシーは、以下のように設定してください。

－ VMware vSphere 5.1以前を使用している場合

「近の使用」に設定

- 392 -

－ VMware vSphere 5.5 またはVMware vSphere 6.0 を使用している場合

「近の使用」または「ラウンドロビン」に設定

上記以外の設定はサポートしません。

Fsystemリソース

・共用ディスク上に作成したファイルシステムを Fsystem リソースとして利用する場合、同一のディスク(LUN)、またはディスククラス上

に作成されたファイルシステムは、すべて同じ userApplication に登録する必要があります。

一つのディスク(LUN)、またはディスククラス上に複数のファイルシステムを作成し、それぞれのファイルシステムを別々の

userApplication に登録して監視・制御することは、I/Oフェンシング機能の制約によりできません。

・ /etc/fstab.pclファイルには、Fsystemリソースが制御するファイルシステムのデバイスを以下のいずれかの形式で指定してください。

－ GDSを使用する場合

- /dev/sfdsk/<ディスククラス名>/dsk/<ボリューム名>

－ GDSを使用しない場合

- /dev/disk/by-id/名

- /dev/disk/by-path/名

- LABEL=<ファイルシステムのラベル名>

- UUID=<ファイルシステムのUUID>

- /dev/sd名

H.2.1 ソフトウェアのインストール

各ノードにPRIMECLUSTERに必要なソフトウェアのインストールを行います。

ここでは、以下について説明をします。

・関連ソフトウェアのインストールと設定

・アプリケーションのインストールと環境設定

H.2.1.1 関連ソフトウェアのインストールと設定




- 393 -

1. VMware vSphere の導入

下記に従い、システムディスク関連の設定、共用ディスク関連の設定、仮想ネットワークの設定を行ってください。

－システムディスク関連の設定

- vSphere Client または vSphere Web Client で仮想マシンを作成する場合、システムディスクのプロビジョニング設定は

[Eager Zeroed]を選択してください。

- SCSIコントローラのタイプは、[LSI Logic パラレル] または [VMware 準仮想化] に設定してください。

- SCSI バスの共有を [なし] に設定してください。

－共用ディスク関連の設定(I/Oフェンシング機能使用時)

- 1台目の仮想マシンの作成時、クラスタシステムで引き継ぐ共用ディスクは、Raw Device Mapping(RDM)で作成してくだ

さい。2台目の仮想マシンについては、[既存の仮想ディスクを使用] を選択し、1台目で作成したRDMディスクを指定し

てください。

- クラスタシステムで引き継ぐ共用ディスクとは別に複数のESXiホスト間で共用するデータストアを作成してください。クラ

スタシステムで引き継ぐ共用ディスクの仮想マシンディスク(.vmdk)ファイルは、このデータストアに作成してください。

- 共用ディスクの互換モードは [物理] としてください。

- 仮想デバイスノードは、システムディスクとは異なる新たなSCSIコントローラを使用するように設定してください。

（例: SCSI接続のディスク[SCSI(X:Y)]は、Xがコントローラ番号、Yがディスク番号です。システムディスクの仮想デバイ

スノードが [SCSI(0:0)] の場合は、コントローラ番号が 0 の仮想デバイスノード [SCSI(0:Y)] は使用できません。[SCSI(1:0)]などを設定してください）

- 仮想デバイスノードのコントローラ番号とディスク番号は、クラスタシステムを構成するすべてのノードで同じになるよう設


- SCSIコントローラのタイプは、ゲストOSのシステムディスクと同じ設定にしてください。

- SCSIバスの共有は、[物理] に設定してください。

- ESXi ホストにおいて、PRIMECLUSTER が共有ディスクとして使用するディスクのデバイスに対し、[永久予約] として

マークする操作を行う必要があります。

次の esxcli コマンドを使用してデバイスを永久予約としてマークします。

esxcli storage core device setconfig -d <naa.id> --perennially-reserved=true

- 394 -

設定方法については、VMware 社の Knowledge Base のサイトにて KB1016106 を参照ください。

－共用ディスク関連の設定(VMware vCenter Server連携停止機能使用時)

- 仮想ディスクを共用ディスクとする場合は、各ESXiホスト間で共用するデータストアを作成し、このデータストアに仮想

ディスクを作成してください。

- 仮想デバイスノードは、システムディスクとは異なる新たなSCSIコントローラを使用するように設定してください。

（例: SCSI接続のディスク[SCSI(X:Y)]は、Xがコントローラ番号、Yがディスク番号です。システムディスクの仮想デバイ

スノードが [SCSI(0:0)] の場合は、コントローラ番号が 0 の仮想デバイスノード [SCSI(0:Y)] は使用できません。[SCSI(1:0)]などを設定してください）

- 仮想デバイスノードのコントローラ番号とディスク番号は、クラスタシステムを構成するすべてのノードで同じになるよう設


- SCSIコントローラのタイプは、ゲストOSのシステムディスクと同じ設定にしてください。

- SCSIバスの共有は、以下のように設定してください。

- １つのESXiホスト上のゲストOS間のクラスタ環境の場合

[仮想]

- 複数のESXiホスト上のゲストOS間のクラスタ環境の場合

[物理]

－仮想ネットワークの設定

- 仮想マシンの作成時、クラスタインタコネクト用のネットワークを2系統以上作成し、それぞれを異なる物理アダプタに接

続してください。

- クラスタインタコネクトに使用する物理ネットワークアダプタを複数のクラスタで共用する場合は、vSwitchに対して、クラス

タシステムごとに異なるポートグループを割り当ててください。この場合、VLAN IDをポートグループごとに異なる値にし

てください。

注意

インタコネクトに指定するネットワークをVMwareのNICチーミングの機能を用いて束ねる場合は注意が必要です。NICチー

ミングにロードバランシングオプション(active-active構成)を指定する場合、以下のいずれかの構成を使用してください。

1. 発信元のポートIDに基づいたルート

2. 発信元MACハッシュに基づいたルート

3. 明示的なフェイルオーバー順序を使用

冗長化(active-standby)構成の場合は、上記1～3以外の構成でも問題ありません。

2. NTPの設定（ゲストOS）


本設定はPRIMECLUSTERをインストールする前にゲストOSで行ってください。

3. ゲストOSの設定（ゲストOS）

下記に従い、ゲストOSの設定を行ってください。

－システムボリュームのファイルシステムの設定

システムボリュームを配置したI/O装置が故障した場合、クラスタ切替えが発生せず、メモリ上に保持している情報を基にシス

テムの動作が継続してしまうことがあります。

システムボリュームを配置したI/O装置の故障時に、ノードをパニックさせて、PRIMECLUSTERによるクラスタ切替え運用を

行いたい場合は、システムボリュームをext3、またはext4ファイルシステムにして、以下の設定を行ってください。

- 395 -

設定

システムボリュームに含まれる各パーティション（ext3、またはext4ファイルシステム）のmountオプションに「errors=panic」

を指定します。

例) /etc/fstab に設定する場合 ( /、/var、/home が 1つのシステムボリュームに存在するとき)

LABEL=/ / ext3 errors=panic 1 1

LABEL=/boot /boot ext3 errors=panic 1 2

LABEL=/var /var ext3 errors=panic 1 3

LABEL=/home /home ext3 errors=panic 1 4

ただし、I/Oエラーがファイルシステムに伝わるまでに時間がかかり、即時切替えにならない場合があります。定期的にシステ

ムボリュームに書込みを行うことで、I/Oエラーの検出頻度を上げることができます。

－ネットワークの設定

クラスタシステムを構築するゲストOSで、業務LAN、管理LANのIPアドレスなどネットワークの設定が必要です。

本設定はクラスタとして動作させるゲストOS上で実施してください。

4. PRIMECLUSTERインストール（ゲストOS）

PRIMECLUSTERのインストールには、インストールスクリプト（CLI Installer）を使用します。

Linux(R)ソフトウェアと関連ソフトウェアが、すでにインストールされているシステムに対し、インストールスクリプトを使用してノード

単位にPRIMECLUSTERのインストールを行う方法です。また、クラスタ管理サーバへのインストールを行う場合もこの方法で行

います。

参照

インストール方法の詳細については、PRIMECLUSTERのインストールガイドを参照してください。

5. カーネルパラメタの確認／設定

環境に応じて、カーネルパラメタを変更する必要があります。

対象ノード：



PRIMECLUSTER デザインシートを確認し、カーネルパラメタの変更が必要な場合は設定し直してください。

参照


6. GDSのI/Oフェンシング機能の設定

I/Oフェンシング機能を使用する場合は、GDSのI/Oフェンシング機能の設定を行います。

/etc/opt/FJSVsdx/sdx.cfファイルに以下の行を追加します。

SDX_VM_IO_FENCE=on

対象ノード：


7. /etc/hostidファイルの設定

I/Oフェンシング機能で使用するhostidの設定を行います。

以下の手順に従い、/etc/hostidファイルの設定が必要かを確認し、必要があれば設定を行います。

- 396 -

◆確認手順

hostidコマンドを実行し、出力結果を確認します。

出力結果が 00000000 以外の場合、/etc/hostidファイルへの設定は不要です。

# hostid

a8c00101

出力結果が 00000000 の場合は、以降の設定手順に従い、クラスタを構成する全てのノードでホスト識別子(hostid の出力結果)を設定します。ホスト識別子には、ノードごとに異なる値、かつ、00000000 以外の値を設定してください。

◆設定手順

1. /etc/hostid ファイルを作成します。

# touch /etc/hostid

2. 次のpython スクリプトファイルを作成します。

[作成するスクリプトファイルの内容]

#!/usr/bin/python

from struct import pack

filename = "/etc/hostid"

hostid = pack("I",int("0x<hhhhhhhh>",16))

open(filename, "wb").write(hostid)

(<hhhhhhhh>: 指定したいホスト識別子を16進数8桁の数字で記述)

3. 作成したスクリプトファイルに実行権を付与し、実行します。

# chmod +x <作成したスクリプトファイル名>

# ./<作成したスクリプトファイル名>

4. hostid コマンドで、指定したホスト識別子が取得されることを確認します。

# hostid

hhhhhhhh

(hhhhhhhh: スクリプトファイル内で指定したホスト識別子)

8. VMware vCenter Server の構築

VMware vCenter Server連携機能を使用する場合、VMware vCenter Server を構築します。

VMware vCenter Server の構築についてはVMware 社から公開されているドキュメントを参照してください。

また、VMware vCenter Serverの構築後に、以下を実施してください。

1. VMware vCenter Server連携機能用にVMware vCenter Serverに以下の権限を適用したロールを追加してください。

- 仮想マシン-相互作用-パワーオフ

- 仮想マシン-相互作用-パワーオン

ロールを追加できない場合は、上記の権限を持つ登録済みのロールを確認してください。

2. VMware vCenter Server連携機能用にVMware vCenter Serverにユーザを作成してください。

3. クラスタとして使用する仮想マシンの権限に、2.で作成したユーザを追加し、1.で追加、または確認したロールを割り当て

てください。

注意

－仮想マシンからVMware vCenter Server への経路が途切れた場合、仮想マシンを強制停止できないため、VMware vCenterServer への経路は冗長化することを推奨します。

－作成するユーザおよびユーザのパスワードに“\”は含めないでください。“\”を含めた場合、仮想マシンの強制停止が正常

に行えなくなります。

- 397 -

注意

・変更したカーネルパラメタおよびGDSのI/Oフェンシング機能を有効にするために、関連ソフトウェアのインストールの設定が完了

後、ゲストOSを再起動してください。

・ VMware vCenter Server連携機能を使用する場合、仮想マシン名に“\”は含めないでください。含めた場合、仮想マシンの強制停

止が正常に行えなくなります。

H.2.1.2 アプリケーションのインストールと環境設定

PRIMECLUSTERシステム上で動作させるアプリケーションのインストール、および環境設定を必要に応じて行ってください。

参照

・環境設定の方法については、各アプリケーションのマニュアルを参照してください。

・ PRIMECLUSTER関連製品のVMwareの対応については、各製品のマニュアルを参照してください。

H.2.2 クラスタ構築の準備

“第4章クラスタ構築の準備”を参照し、ゲストOSでクラスタの初期設定を行ってください。

H.2.3 クラスタの構築

VMware環境でのPRIMECLUSTERのクラスタ構築手順は以下のようになります。

H.2.3.1 CF、CIPの初期設定

“5.1.1 CF、CIPの設定”を参照し、ゲストOSでCF、CIPの設定を行ってください。

H.2.3.2 シャットダウン機構の設定（VMware vCenter Server連携機能を使用する場合）

生存優先度については、“5.1.2.1 生存優先度 ”を参照してください。

VMware環境では、異常発生時、VMware vCenter Serverと連携して、異常を検出したゲストOS の仮想マシンの電源を停止することで

業務の切替えを実現します。

ここでは、SA_vwvmrシャットダウンエージェントをシャットダウン機構に設定する方法について説明します。

注意

下記の操作はすべてのゲストOS(ノード)で実行してください。

- 398 -


sfcipher コマンドを実行し、VMware vCenter Server へアクセスするためのパスワードを暗号化します。

sfcipher コマンドの使用法については、sfcipher のマニュアルページを参照してください。

# sfcipher -c



D0860AB04E1B8FA3


シャットダウンエージェントを設定します。

クラスタを構成するすべてのゲストOS（ノード）で/etc/opt/SMAW/SMAWsf/SA_vwvmr.cfg を以下のような内容で作成します。

# コメント行

CFName: cfname1

VMName: vmname1

vCenter_IP: ipaddress1

vCenter_Port: port

user: user

passwd: passwd

# コメント行

CFName: cfname2

VMName: vmname2

vCenter_IP: ipaddress2

vCenter_Port: port2

user: user

passwd: passwd

cfnameX ：CFノード名を指定します。

vmnameX ：CFName に記載したゲストOS を制御する仮想マシン名を指定します。

ipaddressX ：仮想マシンを管理するVMware vCenter Serverの IP アドレスを指定します。




(例 [1080:2090:30a0:40b0:50c0:60d0:70e0:80f0])

portX ：VMware vCenter ServerのPort番号を指定します。

デフォルト値(443)を使用する場合は、パラメタを指定せず、「vCenter_Port:」と記載してください。

user ：“H.2.1.1 関連ソフトウェアのインストールと設定”で作成したVMware vCenter Serverのユーザを指定します。

シングルサインオン(SSO)使用時は、ユーザ@SSOドメイン名を指定します。

passwd ：“user”で指定したアカウントのログインパスワードです。

1．で暗号化したパスワードを指定します。

注意

－各項目の順序は変更しないでください。

－仮想マシン名(項目VMName:)が日本語を含む場合、文字コードをUTF-8にして記載してください。

－半角空白と全角空白は異なる文字として扱います。ファイル中に空白を挿入する場合、半角空白を使用してください。

－行頭が「#」で始まる行のみコメントとして扱います。行中の「#」は設定値の一部として扱います。

例）以下の記載の場合、仮想マシン名を「vm1 # node1's virtual machine.」として扱います。

～

VMName: vm1 # node1's virtual machine.

～

－ SA_vwvmr.cfg の内容は全てのゲストOS で同一にしてください。同一でない場合、シャットダウン機構が正常に動作できな

くなる場合があります。

- 399 -

例

－シングルサインオンを使用する場合

各仮想マシンを管理する VMware vCenter Server の IP を 10.20.30.40、Port番号はデフォルト値とし、VMware vCenter Serverへの接続ユーザが Administrator、SSOドメインがvsphere.local、“1. パスワードの暗号化”で暗号化したパスワードが

D0860AB04E1B8FA3 の場合

##

## node1's information.

##

CFName: node1

VMName: vm1

vCenter_IP: 10.20.30.40

vCenter_Port:

user: [email protected]

passwd: D0860AB04E1B8FA3

##


##

CFName: node2

VMName: vm2

vCenter_IP: 10.20.30.40

vCenter_Port:

user: [email protected]


－シングルサインオンを使用しない場合

各仮想マシンを管理する VMware vCenter Server の IP を 10.20.30.40、Port番号はデフォルト値とし、VMware vCenter Serverへの接続ユーザが root、“1. パスワードの暗号化”で暗号化したパスワードがD0860AB04E1B8FA3 の場合

##


##

CFName: node1

VMName: vm1

vCenter_IP: 10.20.30.40

vCenter_Port:

user: root


##


##

CFName: node2

VMName: vm2

vCenter_IP: 10.20.30.40

vCenter_Port:

user: root



クラスタを構成するすべてのゲストOS（ノード）で/etc/opt/SMAW/SMAWsf/rcsd.cfgを以下のような内容で作成します。

CFNameX,weight=weight,admIP=myadmIP:agent=SA_vwvmr,timeout=timeout

CFNameX,weight=weight,admIP=myadmIP:agent=SA_vwvmr,timeout=timeout


weight ：SFのノードの重みを指定します。

myadmIP ：CFNameXの管理LANのIPアドレスを指定します。


- 400 -



(例 [1080:2090:30a0:40b0:50c0:60d0:70e0:80f0])


timeout ：シャットダウンエージェントのタイムアウト時間(秒)を指定します。

ここでは、45を設定します。

注意

rcsd.cfgファイルの内容はすべてのゲストOS(ノード)で同一にしてください。同一でない場合誤動作します。

例

設定例を以下に記載します。

node1,weight=1,admIP=10.0.0.1:agent=SA_vwvmr,timeout=45

node2,weight=1,admIP=10.0.0.2:agent=SA_vwvmr,timeout=45


シャットダウン機構が起動済みか確認してください。

# sdtool -s

シャットダウン機構が起動済みの場合、以下を実行してシャットダウン機構を再起動してください。

# sdtool -r

シャットダウン機構が起動していない場合、以下を実行してシャットダウン機構を起動してください。

# sdtool -b


シャットダウン機構の状態がInitWorked またはTestWorkedとなっているか確認してください。TestFailed またはInitFailed が表示

された場合は、シャットダウンデーモンの設定に誤りがないか確認してください。

# sdtool -s

H.2.3.3 シャットダウン機構の設定（I/Oフェンシング機能を使用する場合）

ここでは、SA_icmpシャットダウンエージェントをシャットダウン機構に設定する方法について説明します。

注意

下記の操作はすべてのゲストOS(ノード)で実行してください。


シャットダウンエージェントを設定してください。

クラスタを構成するすべてのゲストOS（ノード）で/etc/opt/SMAW/SMAWsf/SA_icmp.cfgを以下のような内容で作成します。

TIME_OUT=value

cfname:ip-address-of-node:NIC-name1,NIC-name2

value ：ノードの生存を確認する時間（秒）を指定します。推奨値は5（秒）です。

cfname ：CFノード名を指定します。

ip-address-of-node ：cfnameのノードの生存確認に使用する以下のいずれかのネットワークのIPアドレスを

- 401 -

指定します。複数のネットワークを使用して生存確認することも可能です。

その場合は、使用するネットワークごとに行を追加します。

LAN経路の確認には、確実な異常判定のため、複数の経路を使用することを推奨します。

ただし、確実な異常判定よりも自動切替えを優先させる場合、LAN経路には、

クラスタインタコネクトのみを設定してください。

クラスタインタコネクトのみを設定した場合、クラスタインタコネクトの通信が行えず、

それ以外のLAN経路で通信ができる状況(通信先のノードの生存が確認できた状況)で

あっても、自動切替えが可能となります。

- クラスタインタコネクト（CIPのIPアドレス）

- 管理LAN

- 業務LAN


IPv6のリンクローカルアドレスは使用できません。IPv6アドレスを指定する場合は、

角括弧[ ]で囲んでください。

(例 [1080:2090:30a0:40b0:50c0:60d0:70e0:80f0])

クラスタシステムを構成する全ゲストOS(ノード)について記載してください。

NIC-nameX ：ip-address-of-node に対して、ノードの生存確認に使用する自ゲストOS（ノード）の

ネットワークインタフェースを指定します。複数存在する場合は、「,」で区切ります。

注意

記載するネットワークインタフェースについて

－ GLSで2重化している場合は、冗長化しているネットワークインタフェースをすべて記載してください。(例 eth0,eth1)

－ NICをbondingしている場合は、bondingしているデバイスをIPアドレスの後に記載してください。(例 bond0)

－クラスタインタコネクトを記載する場合は、クラスタインタコネクトの全パスで使用するネットワークインタフェースをすべて記載

してください。(例 eth2,eth3)

－引継ぎIPアドレス（引継ぎ仮想インタフェース）は使用しないでください。

例

複数のESXiホスト上のゲストOS間クラスタ（2ノード構成）の設定例を以下に示します。

－クラスタインタコネクト(eth2,eth3)を設定した場合

TIME_OUT=5

node1:192.168.1.1:eth2,eth3

node2:192.168.1.2:eth2,eth3

－業務LAN(GLSで2重化(eth0,eth1))と管理LAN(eth4)を設定した場合

TIME_OUT=5

node1:10.20.30.100:eth0,eth1

node1:10.20.40.200:eth4

node2:10.20.30.101:eth0,eth1

node2:10.20.40.201:eth4


クラスタを構成するすべてのゲストOS（ノード）で/etc/opt/SMAW/SMAWsf/rcsd.cfgを以下のような内容で作成します。

CFNameX,weight=weight,admIP=myadmIP:agent=SA_icmp,timeout=timeout

CFNameX,weight=weight,admIP=myadmIP:agent=SA_icmp,timeout=timeout


weight ：SFのノードの重みを指定します。

I/Oフェンシング機能使用時は無効のため、1を設定してください。

myadmIP ：CFNameXの管理LANのIPアドレスを指定します。


- 402 -



(例 [1080:2090:30a0:40b0:50c0:60d0:70e0:80f0])


timeout ：シャットダウンエージェントのタイムアウト時間(秒)を指定します。

以下の値を設定します。

(TIME_OUT + 2)×確認に使用する経路の数、または、20

(値の大きな方を指定)

TIME_OUT はSA_icmp.cfgに記載したTIME_OUTの値を指します。

- 1経路(管理LAN 、業務LAN、クラスタインタコネクトから1つ)で生存確認する場合

(1) TIME_OUTが18以上の場合

TIME_OUT + 2

(2) TIME_OUTが18未満の場合

20

- 2経路(管理LAN、業務LAN、クラスタインタコネクトから2つ)で生存確認する場合


(TIME_OUT + 2)×2


20

- 3経路(管理LAN、業務LAN、クラスタインタコネクトから3つ)で生存確認する場合


(TIME_OUT + 2)×3


20

注意

rcsd.cfgファイルの内容はすべてのゲストOS(ノード)で同一にしてください。同一でない場合誤動作します。

例

2ノード構成、SA_icmp.cfgに記載したTIME_OUTの値が10、管理LANと業務LANで生存確認する場合の設定例を以下に記載

します。

node1,weight=1,admIP=192.168.100.1:agent=SA_icmp,timeout=24 (※)node2,weight=1,admIP=192.168.100.2:agent=SA_icmp,timeout=24 (※)※ timeout = (10(TIME_OUT値) + 2) × 2(管理LAN,業務LAN) = 24


シャットダウン機構が起動済みか確認してください。

# sdtool -s

シャットダウン機構が起動済みの場合、以下を実行してシャットダウン機構を再起動してください。

# sdtool -r

シャットダウン機構が起動していない場合、以下を実行してシャットダウン機構を起動してください。

# sdtool -b


シャットダウン機構の状態がInitWorked またはTestWorkedとなっているか確認してください。TestFailed またはInitFailed が表示

された場合は、シャットダウンデーモンの設定に誤りがないか確認してください。

- 403 -

# sdtool -s

H.2.3.4 クラスタリソース機構の初期設定

“5.1.3 クラスタリソース管理機構の初期設定”を参照し、ゲストOSでクラスタリソース管理機構（以降、CRM）が管理するリソースデータ

ベースを設定してください。

H.2.3.5 故障リソース特定とオペレータ介入要求の設定

“5.2 故障リソース特定とオペレータ介入要求の設定”を参照し、故障リソース特定とオペレータ介入要求の設定を行ってください。

H.2.4 クラスタアプリケーションの構築

ゲストOSでのクラスタアプリケーションの構築方法の詳細については、“第6章クラスタアプリケーションの構築”を参照してください。

I/Oフェンシング機能を使用する場合、クラスタアプリケーションの構築を実施する際に、GdsリソースまたはFsystemリソースを登録する

すべてのクラスタアプリケーションに対して、I/Oフェンシング機能の設定を行う必要があります。

H.2.4.1 I/Oフェンシング機能の設定

ここでは、GdsリソースまたはFsystemリソースを登録するすべてのクラスタアプリケーションに対して、I/Oフェンシング機能用の設定を

する方法について説明します。

I/Oフェンシング機能用の設定として、以下の2つの設定を行います。

・ Cmdlineリソースの作成とOnline/Offlineスクリプトの設定

・ userApplicationのスクリプト(PreOnline、OfflineDone、Faultスクリプト)の設定

1. Cmdlineリソースの作成とOnline/Offlineスクリプトの設定

1. Cmdlineリソースの設定において、Startスクリプト、Stopスクリプト、Checkスクリプトを次の形式で追加してください。

<Startスクリプト>

/opt/SMAW/bin/hvsgpr -c

<Stopスクリプト>

/opt/SMAW/bin/hvsgpr -u

<Checkスクリプト>

/opt/SMAW/bin/hvsgpr -m

Cmdlineリソースの作成については、“6.7.3.1 Cmdlineリソースの設定”を参照してください。

2. Cmdlineリソースの属性の設定において、AutoRecover属性を無効(0)に設定してください。その他の属性は、デフォルトの設

定を変更しないでください。

2. クラスタアプリケーションのスクリプトの設定

1. クラスタアプリケーションの設定において、PreOnline、OfflineDoneスクリプトを次の形式で追加してください。

<PreOnlineスクリプト>

/opt/SMAW/bin/hvsgpr -r

<OfflineDoneスクリプト>

/opt/SMAW/bin/hvsgpr -o

1. “Machines+Basics”の“(PreOnlineScript=)”を選択します。



1) HELP

2) -

- 404 -

3) SAVE+EXIT

4) REMOVE+EXIT



7) Machines[0]=vm21RMS







14) (FaultScript=)

15) (AutoStartUp=yes)








23) (AutoBreak=yes)


25) (HaltFlag=yes)




2. “FREECHOICE”を選択し、PreOnlineスクリプトをフルパスで入力します。

1) HELP

2) RETURN

3) NONE

4) FREECHOICE

Enter the command line to start prior to the application becoming ONLINE:4

>> /opt/SMAW/bin/hvsgpr -r

3. “Machines+Basics”の“(OfflineDoneScript=)”を選択します。



1) HELP

2) -

3) SAVE+EXIT

4) REMOVE+EXIT






10) (PreOnlineScript='/opt/SMAW/bin/hvsgpr~-r')




14) (FaultScript=)









- 405 -

23) (AutoBreak=yes)


25) (HaltFlag=yes)




4. “FREECHOICE”を選択し、OfflineDoneスクリプトをフルパスで入力します。

1) HELP

2) RETURN

3) NONE

4) FREECHOICE


>> /opt/SMAW/bin/hvsgpr -o

2. クラスタアプリケーションの属性の設定において、HaltFlag属性を有効(1)に設定している場合は、Faultスクリプトを次の形式

で追加してください。

<Faultスクリプト>

/opt/SMAW/bin/hvsgpr -f

1. “Machines+Basics”の“(FaultScript=)”を選択します。



1) HELP

2) -

3) SAVE+EXIT

4) REMOVE+EXIT






10) (PreOnlineScript='/opt/SMAW/bin/hvsgpr~-r')



13) (OfflineDoneScript='/opt/SMAW/bin/hvsgpr~-o')

14) (FaultScript=)









23) (AutoBreak=yes)


25) (HaltFlag=yes)




2. “FREECHOICE”を選択し、Faultスクリプトをフルパスで入力します。

1) HELP

2) RETURN

3) NONE

4) FREECHOICE

- 406 -


>> /opt/SMAW/bin/hvsgpr -f

H.3 運用

PRIMECLUSTERシステムの運用を管理する機能については、“第7章運用”を参照してください。

注意

・ hvswitch -f コマンドを実行してクラスタアプリケーションを起動または切り替える際、以下のメッセージが出力されて、クラスタアプリ

ケーションの起動または切替えが失敗する場合があります。

ERROR: Forcibly switch request denied, unable to kill node <SysNode名>

本メッセージは、<SysNode名> に記載されたノードがLEFTCLUSTER状態の場合に出力されます。“ PRIMECLUSTER ClusterFoundation 導入運用手引書” の“LEFTCLUSTER からの回復”の手順を行ってください。その後、クラスタアプリケーションの起動

または切替えを行ってください。

・クラスタが動作する仮想マシンに対し、「サスペンド操作」を行わないでください。誤って「サスペンド操作」を行った場合、業務が自

動で切替わらない場合があります。その際は「サスペンド操作」を行った仮想マシンの電源を停止後、手動で切替えを行ってくだ

さい。

H.4 構成変更

PRIMECLUSTERシステムの構成ノードやクラスタアプリケーションの追加、および内容変更等については、“第8章クラスタシステムの

構成変更”を参照してください。

H.5 保守

PRIMECLUSTERシステムを保守するために必要な項目と手順については、“第12章 PRIMECLUSTERシステムの保守”を参照して

ください。

- 407 -

付録I PRIMECLUSTERの起動スクリプト/起動デーモンとポート番号

RHEL6環境での、PRIMECLUSTERの起動スクリプトと起動デーモン、使用するポート番号について説明します。

使用するポート番号が他製品のポート番号と重複した場合は、“PRIMECLUSTER 活用ガイド＜トラブルシューティング編＞”の

“PRIMECLUSTERで利用しているポート番号が他製品のポート番号と重複している”を参照し、ポート番号を変更してください。

I.1 説明形式

以下の形式で説明します。

起動スクリプト

起動スクリプト名です。

機能

起動スクリプトやデーモンの機能を説明しています。

停止した場合の影響

起動スクリプトやデーモンを停止した場合の影響を説明しています。

起動デーモン

起動スクリプトから起動されるデーモンです。

使用ポート

ポート

ポート番号です。

プロトコル

プロトコルです。TCPまたはUDPになります。

Send/ Receive

ポートがデータを送出する場合“s”、受け取る場合“r”、両方の場合“s, r”を記載しています。

ネットワーク

使用するネットワークです。クラスタインタコネクト、管理LAN、業務LANのいずれかを記載しています。

対象

ポートを使用するノードを記載しています。

通信相手

ポート

通信先のポート番号です。

対象

通信先のポートを使用するノードや装置を記載しています。

備考

備考を記載しています。

I.2 起動スクリプト一覧

init

- 408 -

init (inittab)

機能

GDSの基本部


GDSの機能が使用できない

起動デーモン

/usr/sbin/sdxmond

使用ポート

なし

備考

なし

init (inittab)

機能

シャットダウン機構の監視


シャットダウン機構が異常終了した場合に再起動されない

起動デーモン

/opt/SMAW/SMAWsf/bin/rcsd_monitor

使用ポート

なし

備考

なし

/etc/rc3.d

S05poffinhibit

機能

kdumpシャットダウンエージェントの初期化


kdumpシャットダウンエージェントによる強制停止が行えない

起動デーモン

なし

使用ポート

なし

備考

物理環境のみ存在

S06clonltrc

機能

オンライントレースドライバのロード


クラスタリソース管理機構の調査資料が採取できない

- 409 -

起動デーモン

なし

使用ポート

なし

備考

なし

S07clapi

機能

クラスタリソース管理機構のオンライントレースの開始(1)


クラスタが起動できない

起動デーモン

なし

使用ポート

なし

備考

なし

S07cllkcd

機能



なし

起動デーモン

なし

使用ポート

なし

S08clrms

機能




起動デーモン

なし

使用ポート

なし

備考

なし

- 410 -

S12cf

機能

CFドライバ、CIPドライバのロード



起動デーモン

/opt/SMAW/SMAWcf/bin/cfregd

使用ポート

なし

備考

なし

S12zcldevmon

機能

MMB非同期監視の起動


非同期監視が利用できない

起動デーモン

/etc/opt/FJSVcluster/sys/devmmbd/etc/opt/FJSVcluster/sys/devmmbmond/etc/opt/FJSVcluster/sys/devmmbmonitord/etc/opt/FJSVcluster/sys/devmalogd

使用ポート

ポートプロトコルSend/

Receiveネットワーク対象

通信相手

ポート対象

7000-7100(*1)

UDP s, r 管理LAN クラスタノード 7000-7100 他クラスタノード

162(*1) UDP r 管理LAN 自クラスタノート ANY 他クラスタノード

備考

(*1) PRIMERQUESTでシャットダウン機構にSA_mmbp,SA_mmbrを設定した時に使用されます。

S13SMAWsf

機能

シャットダウン機構の起動


シャットダウン機構が利用できない

起動デーモン

/opt/SMAW/SMAWsf/bin/rcsd

使用ポート



通信相手

ポート対象

9382(*1) UDP s, r 管理LAN クラスタノード ANY 他クラスタノード

- 411 -



通信相手

ポート対象

ANY UDP s, r 管理LAN クラスタノード 623(*2) BMC/iRMC

ANY UDP s, r 管理LAN クラスタノード 161(*3) マネージメントブ

レード

備考

上記の使用ポートは、スプリットブレイン処理で使用されます。

(*1) 9382番をsfadvというサービス名に対応づけています。

(*2) PRIMERGYでシャットダウン機構にSA_ipmiを設定した時に使用されます。

(*3) ブレードサーバでシャットダウン機構にSA_bladeを設定した時に使用されます。

S11hanet

機能

デーモンの起動、および仮想インタフェースの活性


伝送路二重化機能を使用してのLANの二重化ができない

起動デーモン

/opt/FJSVhanet/etc/sbin/hanetctld/opt/FJSVhanet/etc/sbin/hanetselect (*1)/opt/FJSVhanet/etc/sbin/hanetpathmd (*2)

使用ポート



通信相手

ポート対象

1807 UDP s, r 業務LAN クラスタノード 1807 他ノード

(GSまたはSURE)

備考

(*1) GS連携方式を使用する場合のみ起動されます。

(*2) 起動の有無およびプロセス数は構成に依存します。また、監視の状態により一時的に停止する場合があります。

S24hanet2

機能

監視デーモン、およびセルフチェックデーモンの起動


伝送路監視機能およびセルフチェック機能が動作しない

起動デーモン

/opt/FJSVhanet/etc/sbin/hanetmond (*1)/opt/FJSVhanet/etc/sbin/hanetselect (*2)

使用ポート

なし

備考

(*1) セルフチェック機能を使用する場合のみ起動します。

(*2) 起動の有無およびプロセス数は構成に依存します。また、監視の状態により一時的に停止する場合があります。

- 412 -

S27SMAWsfex

機能

シャットダウンエージェント設定更新機能を起動


シャットダウンエージェント設定更新機能が動作しない

起動デーモン

なし

使用ポート

なし

備考

シャットダウンエージェント設定更新機能有効時のみ存在

S51cldbm

機能

クラスタ構成管理機構の起動



起動デーモン

/etc/opt/FJSVcluster/FJSVcldbm/daemons/dcmmond/etc/opt/FJSVcluster/FJSVcldbm/daemons/dcmmstd/etc/opt/FJSVcluster/FJSVcldbm/daemons/dcmevmd/etc/opt/FJSVcluster/FJSVcldbm/daemons/dcmfcpd/etc/opt/FJSVcluster/FJSVcldbm/daemons/dcmsynd/etc/opt/FJSVcluster/FJSVcldbm/daemons/dcmprcd/etc/opt/FJSVcluster/FJSVcldbm/daemons/dcmcfmd/etc/opt/FJSVcluster/FJSVcldbm/daemons/dcmdbud/etc/opt/FJSVcluster/FJSVcldbm/daemons/dcmcomd/etc/opt/FJSVcluster/FJSVcldbm/daemons/dcmdbcd/etc/opt/FJSVcluster/FJSVcldbm/daemons/dcmlckd/etc/opt/FJSVcluster/FJSVclrms/daemons/clwatchlogd

使用ポート



通信相手

ポート対象

9331(*1) TCP s, r インタコネクトクラスタノード ANY 自クラスタノード

9379(*2) TCP s, r インタコネクトクラスタノード ANY 自、他クラスタノー

ド



ド



9383(*7) TCP s, r インタコネクトクラスタノード ANY 他クラスタノード


- 413 -

備考

(*1) 9331番をdcmcomというサービス名に対応づけています

(*2) 9379番をdcmsyncというサービス名に対応づけています

(*3) 9378番をdcmlckというサービス名に対応づけています

(*4) 9377番をdcmfcpというサービス名に対応づけています

(*5) 9376番をdcmevmというサービス名に対応づけています

(*6) 9375番をdcmmstというサービス名に対応づけています

(*7) 9383番をdcmcom2というサービス名に対応づけています

(*8) 9384番をdcmlck2というサービス名に対応づけています

S51clrmgr

機能

クラスタリソース管理機構の起動



起動デーモン

/etc/opt/FJSVcluster/FJSVcldbm/daemons/clrmd

使用ポート

なし

備考

なし

S51clrwz

機能

クラスタアプリケーションの設定


クラスタアプリケーションが正しく構築できない、またはクラスタアプリケーションが正しく動作できない

起動デーモン

なし

使用ポート

なし

備考

なし

S52sfdsk

機能

GDSの基本部



起動デーモン

/usr/sbin/sdxlogd/usr/sbin/sdxservd/usr/sbin/sdxexd

使用ポート

なし

- 414 -

備考

なし

S53clctrl

機能

クラスタリソース管理機構の起動完了待ち合わせ



起動デーモン

/usr/sbin/sdxclc/usr/sbin/sdxcle/usr/sbin/sdxcld

使用ポート

なし

備考

なし

S53sfdsk2

機能

GDSの基本部



起動デーモン

なし

使用ポート

なし

備考

なし

S57sfcfsrm

機能

GFS共用ファイルシステム監視機構の起動制御、GFS共用ファイルシステムのマウント制御


GFS共用ファイルシステムの機能が使用できない

起動デーモン

/usr/lib/fs/sfcfs/sfcpncd/usr/lib/fs/sfcfs/sfcprmd/usr/lib/fs/sfcfs/sfchnsd/usr/lib/fs/sfcfs/sfcfrmd/usr/lib/fs/sfcfs/sfcfsd/usr/lib/fs/sfcfs/sfcfsmg

使用ポート

- 415 -



通信相手

ポート対象


9200-9263(*2)

TCP s, r インタコネクト

管理LANクラスタノード ANY 自、他クラスタノー

ド

備考

(*1) 9300番をsfcfsrmというサービス名に対応づけています

(*2) 9200番～9263番までをsfcfs-1～sfcfs-64というサービス名に対応づけています

S76clprmd

機能

プロセス監視機構の起動


プロセス監視の機能を使用しているアプリケーションが動作しない

起動デーモン

/etc/opt/FJSVcluster/FJSVclapm/daemons/prmd

使用ポート

なし

備考

PRIMECLUSTER対応製品専用です

S99SMAWRrms

機能

RMSの起動


HV_RCSTART=1が設定してあってもノード起動時にRMSが自動起動しない

起動デーモン

/opt/SMAW/SMAWRrms/bin/bm/opt/SMAW/SMAWRrms/bin/hvdet_xxxx(クラスタアプリケーションで使用するディテクタやアプリケーションが起動する)

使用ポート



通信相手

ポート対象

9786(*1) TCP s, r インタコネクトクラスタノード 9786 他クラスタノード

8000 UDP s, r インタコネクトクラスタノード 8000 他クラスタノード

備考

(*1) 9786番をrmshbというサービス名に対応づけています

他のアプリケーションが使用するポート番号と重複しないよう、他のアプリケーションのポート番号を変更してください

S99fjsvwvbs

機能

Web-Based Admin Viewの管理サーバまたは監視ノード上のデーモンを起動

- 416 -


Web-Based AdminViewによるGUIでの設定、監視ができない

起動デーモン

[プライマリまたはセカンダリ管理サーバとして動作しているノードの場合]

/opt/SMAW/SMAWcj2re/jre/bin/javawvAgent /opt/FJSVwvbs (2プロセス)/etc/opt/FJSVwvfrm/sbin/wvClEventd (0～2プロセス)/etc/opt/FJSVwvfrm/sbin/wvFaultEventd (0～2プロセス)

[上記ノード以外の場合]

wvAgent /opt/FJSVwvbs (2プロセス)/etc/opt/FJSVwvfrm/sbin/wvClEventd (0～2プロセス)/etc/opt/FJSVwvfrm/sbin/wvFaultEventd (0～2プロセス)

使用ポート



通信相手

ポート対象

9799(*1) TCP s, r 管理LAN 管理サーバ

(*5)ANY WebViewクライア

ント (*6)



ント (*6)


(*5)ANY 自、他ノード

9796(*4) UDP s, r 管理LAN 管理サーバ


備考

(*1) 9799番を fjwv_c というサービス名に対応づけています

(*2) 9798番を fjwv_s というサービス名に対応づけています

(*3) 9797番を fjwv_n というサービス名に対応づけています

(*4) 9796番を fjwv_g というサービス名に対応づけています

(*5) クラスタノードとの兼用を含む

(*6) PC

S99fjsvwvcnf

機能

クライアントにJavaアプレット、Javaクラス、HTMLコンテンツを送出するためのWWWサーバ



起動デーモン

/opt/FJSVwvcnf/bin/wvcnfd

使用ポート



通信相手

ポート対象



ント(*3)

- 417 -

備考

(*1) 8081番を fjwv-h というサービス名に対応づけています


(*3) PC

Web-Based Admin Viewのプロセス wvcnfdは、クライアントからの要求処理中に同名の子プロセスが1つ増えます。ただし、要

求処理後にはプロセスは直ちに終了します

I.3 PRIMECLUSTERが動作するうえで必要なデーモン

PRIMECLUSTERが動作するうえで必要となるPRIMECLUSTER以外のデーモンは、以下のとおりです。

・ crond

・ iscsid（注1)

・ libvirtd（注2)

・ ntpd

・ radvd (注3)

・ rsyslog (rsyslogd)

・ snmptrapd (注4)

・ tgtd（注1)

注1) サーバ間ミラーリング機能を使用する場合に必要です。

注2) libvirtdデーモンは、KVM環境の場合に必要です。

注3) radvdデーモンは、使用しているGLSの二重化方式が高速切替方式、かつIPv6通信を使用する場合にのみ必要です。

注4) snmptrapdデーモンは、MMB非同期監視を使用する場合にのみ必要です。

- 418 -

付録J PRIMECLUSTERのsystemdサービス/起動デーモンとポート番号

RHEL7環境での、PRIMECLUSTERのsystemdサービスと起動デーモン、使用するポート番号について説明します。

使用するポート番号が他製品のポート番号と重複した場合は、“PRIMECLUSTER 活用ガイド＜トラブルシューティング編＞”の

“PRIMECLUSTERで利用しているポート番号が他製品のポート番号と重複している”を参照し、ポート番号を変更してください。

J.1 説明形式

以下の形式で説明します。

Unit名

Unit名です。

機能

Unitの機能を説明しています。


Unitを停止した場合の影響を説明しています。

他Unitとの依存関係

Requires

自Unitが必要とする前提Unitです。指定Unitの起動が失敗した場合、自Unitは起動しません。

Wants

自Unitが必要とする前提Unitです。指定Unitの起動が失敗しても、自Unitは起動します。

Before

自Unitより後に起動する他のUnitです。

After

自Unitより先に起動する他のUnitです。

起動デーモン

Unitにより起動されるデーモンです。

使用ポート

ポート

ポート番号です。

プロトコル

プロトコルです。TCPまたはUDPになります。

Send/ Receive

ポートがデータを送出する場合“s”、受け取る場合“r”、両方の場合“s,r”を記載しています。

ネットワーク

使用するネットワークです。クラスタインタコネクト、管理LAN、業務LANのいずれかを記載しています。

対象

ポートを使用するノードを記載しています。

通信相手

ポート

通信先のポート番号です。

- 419 -

対象

通信先のポートを使用するノードや装置を記載しています。

備考

備考を記載しています。

J.2 systemdサービス一覧

WantedBy:multi-user.target fjsvclapi.service

機能





Requires

なし

Wants

なし

Before

なし

After

fjsvclonltrc.service

起動デーモン

なし

使用ポート

なし

備考

なし

fjsvclctrl.service

機能

クラスタリソース管理機構の起動完了待ち合わせ




Requires

なし

Wants

なし

Before

なし

- 420 -

After

fjsvclrmgr.service

起動デーモン

/usr/sbin/sdxclc/usr/sbin/sdxcle/usr/sbin/sdxcld

使用ポート

なし

備考

なし

fjsvcldbm.service

機能

クラスタリソース管理機構の起動(1)




Requires

なし

Wants

なし

Before

なし

After

fjsvclapi.servicefjsvclrms.servicesmawcf.service

起動デーモン

/etc/opt/FJSVcluster/FJSVcldbm/daemons/dcmmond/etc/opt/FJSVcluster/FJSVcldbm/daemons/dcmmstd/etc/opt/FJSVcluster/FJSVcldbm/daemons/dcmevmd/etc/opt/FJSVcluster/FJSVcldbm/daemons/dcmfcpd/etc/opt/FJSVcluster/FJSVcldbm/daemons/dcmsynd/etc/opt/FJSVcluster/FJSVcldbm/daemons/dcmprcd/etc/opt/FJSVcluster/FJSVcldbm/daemons/dcmcfmd/etc/opt/FJSVcluster/FJSVcldbm/daemons/dcmdbud/etc/opt/FJSVcluster/FJSVcldbm/daemons/dcmcomd/etc/opt/FJSVcluster/FJSVcldbm/daemons/dcmdbcd/etc/opt/FJSVcluster/FJSVcldbm/daemons/dcmlckd/etc/opt/FJSVcluster/FJSVclrms/daemons/clwatchlogd

使用ポート



通信相手

ポート対象


- 421 -



通信相手

ポート対象


ド



ド





備考

(*1) 9331番をdcmcomというサービス名に対応づけています

(*2) 9379番をdcmsyncというサービス名に対応づけています

(*3) 9378番をdcmlckというサービス名に対応づけています

(*4) 9377番をdcmfcpというサービス名に対応づけています

(*5) 9376番をdcmevmというサービス名に対応づけています

(*6) 9375番をdcmmstというサービス名に対応づけています

(*7) 9383番をdcmcom2というサービス名に対応づけています

(*8) 9384番をdcmlck2というサービス名に対応づけています

fjsvcldev.service

機能

MMB非同期監視の起動


非同期監視が利用できない


Requires

なし

Wants

なし

Before

なし

After

poffinhibit.servicey30SVmco.serviceFJSVfefpcl.servicesmawcf.servicefjsvclonltrc.service

起動デーモン

/etc/opt/FJSVcluster/sys/devmmbd/etc/opt/FJSVcluster/sys/devmmbmond/etc/opt/FJSVcluster/sys/devmmbmonitord/etc/opt/FJSVcluster/sys/devmalogd

使用ポート

- 422 -



通信相手

ポート対象

7000-7100(*1)

UDP s, r 管理LAN クラスタノード 7000-7100 他クラスタノード

162(*1) UDP r 管理LAN 自クラスタノー

ド

ANY 他クラスタノード

備考

(*1) PRIMERQUESTでシャットダウン機構にSA_mmbp,SA_mmbrを設定した時に使用されます

fjsvcldev-clmmbmonctl.service

機能

MMB非同期監視の操作


なし


Requires

なし

Wants

なし

Before

なし

After

なし

起動デーモン

なし

使用ポート

なし

備考

本サービスはclmmbmonctlコマンドを実行時のみ動作し、サービスは常に"inactive (dead)"状態です

fjsvcllkcd.service

機能

kdump用定義ファイルの確認


なし


Requires

なし

Wants

なし

- 423 -

Before

なし

After

なし

起動デーモン

なし

使用ポート

なし

備考

本サービスは起動時のみ動作し、デーモンの常駐はしないため、停止による影響はありません


機能



トラブル調査用の資料採取ができない


Requires

なし

Wants

なし

Before

なし

After

なし

起動デーモン

なし

使用ポート

なし

備考

なし

fjsvclprmd.service

機能

プロセス監視機構の起動


プロセス監視の機能を使用しているアプリケーションが動作しない


Requires

なし

- 424 -

Wants

なし

Before

smawrrms.service

After

fjsvclctrl.service

起動デーモン

/etc/opt/FJSVcluster/FJSVclapm/daemons/prmd

使用ポート

なし

備考

PRIMECLUSTER対応製品専用です

fjsvclrmgr.service

機能





Requires

なし

Wants

なし

Before

なし

After

fjsvcldbm.service

起動デーモン

/etc/opt/FJSVcluster/FJSVcldbm/daemons/clrmd

使用ポート

なし

備考

なし

fjsvclrmgr2.service

機能




- 425 -


Requires

なし

Wants

なし

Before

smawrrms.service

After

fjsvclctrl.service

起動デーモン

なし

使用ポート

なし

備考

なし

fjsvclrms.service

機能





Requires

なし

Wants

なし

Before

なし

After


起動デーモン

なし

使用ポート

なし

備考

なし

fjsvclrwz.service

機能

クラスタアプリケーションの設定

- 426 -


クラスタアプリケーションが正しく構築できない、またはクラスタアプリケーションが正しく動作できない


Requires

なし

Wants

なし

Before

smawrrms.service

After

fjsvclctrl.service

起動デーモン

なし

使用ポート

なし

備考

なし

fjsvwvbs.service

機能

Web-Based Admin Viewの管理サーバまたは監視ノード上のデーモンを起動




Requires

なし

Wants

なし

Before

fjsvwvcnf.service

After

network.target

起動デーモン

[プライマリまたはセカンダリ管理サーバとして動作しているノードの場合]

/opt/SMAW/SMAWcj2re/jre/bin/javawvAgent /opt/FJSVwvbs (2プロセス)/etc/opt/FJSVwvfrm/sbin/wvClEventd (0～2プロセス)/etc/opt/FJSVwvfrm/sbin/wvFaultEventd (0～2プロセス)

[上記ノード以外の場合]

wvAgent /opt/FJSVwvbs (2プロセス)/etc/opt/FJSVwvfrm/sbin/wvClEventd (0～2プロセス)/etc/opt/FJSVwvfrm/sbin/wvFaultEventd (0～2プロセス)

- 427 -

使用ポート



通信相手

ポート対象



ント (*6)



ント (*6)



9796(*4) UDP s, r 管理LAN 管理サーバ


備考

(*1) 9799番を fjwv_c というサービス名に対応づけています

(*2) 9798番を fjwv_s というサービス名に対応づけています

(*3) 9797番を fjwv_n というサービス名に対応づけています

(*4) 9796番を fjwv_g というサービス名に対応づけています


(*6) PC

fjsvwvcnf.service

機能

クライアントにJavaアプレット、Javaクラス、HTMLコンテンツを送出するためのWWWサーバ




Requires

fjsvwvbs.service

Wants

なし

Before

なし

After

fjsvwvbs.service

起動デーモン

/opt/FJSVwvcnf/bin/wvcnfd

使用ポート



通信相手

ポート対象



ント(*3)

備考

(*1) 8081番を fjwv-h というサービス名に対応づけています


(*3) PC

- 428 -

Web-Based Admin View のプロセス wvcnfdは、クライアントからの要求処理中に同名の子プロセスが1つ増えます。ただし、要

求処理後にはプロセスは直ちに終了します

fjsvgfsfsrm.service

機能

GFS共用ファイルシステム監視機構の起動制御、GFS共用ファイルシステムのマウント制御


GFS共用ファイルシステムの機能が使用できない


Requires

なし

Wants

なし

Before

smawrrms.service

After

fjsvclctrl.servicefjsvclrmgr2.service

起動デーモン

/usr/lib/fs/sfcfs/sfcpncd/usr/lib/fs/sfcfs/sfcprmd/usr/lib/fs/sfcfs/sfchnsd/usr/lib/fs/sfcfs/sfcfrmd/usr/lib/fs/sfcfs/sfcfsd/usr/lib/fs/sfcfs/sfcfsmg

使用ポート



通信相手

ポート対象


9200-9263(*2)

TCP s, r インタコネクト

管理LANクラスタノード ANY 自、他クラスタノー

ド

備考

(*1) 9300番をsfcfsrmというサービス名に対応づけています

(*2) 9200番～9263番までをsfcfs-1～sfcfs-64というサービス名に対応づけています

fjsvgfsfsrm2.service

機能

GFS共用ファイルシステム監視機構の停止制御、GFS共用ファイルシステムのアンマウント制御


システム停止時に、GFS共用ファイルシステムが正常に停止できない


Requires

なし

- 429 -

Wants

なし

Before

smawrrms.service

After

fjsvclctrl.servicefjsvclrmgr2.servicefjsvgfsfsrm.service

起動デーモン

なし

使用ポート

なし

備考

なし

fjsvhanet.service

機能

デーモンの起動、仮想インタフェースの活性、および伝送路監視の起動


伝送路二重化機能を使用してのLANの二重化ができない


Requires

なし

Wants

なし

Before

network.target

After

network.service

起動デーモン

/opt/FJSVhanet/etc/sbin/hanetctld/opt/FJSVhanet/etc/sbin/hanetselect (*1)/opt/FJSVhanet/etc/sbin/hanetpathmd (*1)/opt/FJSVhanet/etc/sbin/hanetmond (*2)

使用ポート(*3)



通信相手

ポート対象

1807 UDP s, r 業務LAN クラスタノード 1807 他ノード

(GS)

備考

(*1) 起動の有無およびプロセス数は構成に依存します。また、監視の状態により一時的に停止する場合があります

(*2) セルフチェック機能を使用する場合のみ起動されます

- 430 -

(*3) GS連携方式のみポートを使用します

fjsvsdx.service

機能

GDSの基本部




Requires

なし

Wants

なし

Before

fjsvclctrl.servicefjsvsdx2.service

After

iscsi.serviceiscsi-shutdown.servicetarget.service (*1)

起動デーモン

/usr/sbin/sdxlogd/usr/sbin/sdxexd/usr/sbin/sdxservd

使用ポート

なし

備考

(*1) サーバ間ミラーリング機能を使用する場合のみ依存関係があります

fjsvsdx2.service

機能

GDSの基本部




Requires

なし

Wants

なし

Before

fjsvsdxmon.service

After

fjsvsdx.servicefjsvclctrl.service

- 431 -

起動デーモン

なし

使用ポート

なし

備考

なし

fjsvsdxmon.service

機能

GDSの監視


GDSが異常終了した場合に再起動されない


Requires

なし

Wants

なし

Before

なし

After

fjsvsdx2.service

起動デーモン

/usr/sbin/sdxmond

使用ポート

なし

備考

なし

poffinhibit.service

機能



kdumpシャットダウンエージェントによる強制停止が行えない


Requires

なし

Wants

なし

Before

なし

- 432 -

After

なし

起動デーモン

なし

使用ポート

なし

備考

物理環境のみ存在

smawcf.service

機能

CFドライバ、CIPドライバのロード




Requires

なし

Wants

fjsvcldev.service

Before

smawrrms.service

After

network.target

起動デーモン

/opt/SMAW/SMAWcf/bin/cfregd

使用ポート

なし

備考

なし

smawrhv-to.service

機能

RMSの初期化処理


RMSの機能が使用できない


Requires

なし

Wants

なし

- 433 -

Before

smawrrms.service

After

なし

起動デーモン

なし

使用ポート

なし

備考

なし

smawrrms.service

機能

RMSの起動


クラスタによる業務の監視や制御ができません。業務稼働中に本Unitを停止した場合は、業務が停止します


Requires

なし

Wants

なし

Before

なし

After

network.target

起動デーモン

/opt/SMAW/SMAWRrms/bin/bm

/opt/SMAW/SMAWRrms/bin/hvdet_xxxx

(クラスタアプリケーションで使用するディテクタやアプリケーションが起動する)

使用ポート



通信相手

ポート対象

9786(*1) TCP s,r インタコネクトクラスタノード 9786 他クラスタノード

8000 UDP s,r インタコネクトクラスタノード 8000 他クラスタノード

備考

(*1) 9786番をrmshbというサービス名に対応づけています

他のアプリケーションが使用するポート番号と重複しないよう、他のアプリケーションのポート番号を変更してください

smawsf.service

機能

シャットダウン機構の起動

- 434 -


シャットダウン機構が利用できない


Requires

なし

Wants

なし

Before

なし

After

smawcf.servicefjsvcldev.service

起動デーモン

/opt/SMAW/SMAWsf/bin/rcsd

使用ポート



通信相手

ポート対象

9382(*1) UDP s, r 管理LAN クラスタノード ANY 他クラスタノード

ANY UDP s, r 管理LAN クラスタノード 623(*2) BMC/iRMC

ANY UDP s, r 管理LAN クラスタノード 161(*3) マネージメントブ

レード

備考

上記の使用ポートは、スプリットブレイン処理で使用されます

(*1) 9382番をsfadvというサービス名に対応づけています

(*2) PRIMERGYでシャットダウン機構にSA_ipmiを設定した時に使用されます

(*3) ブレードサーバでシャットダウン機構にSA_bladeを設定した時に使用されます

smawsf-sdtool-debugoff.service

機能

シャットダウン機構の操作


なし


Requires

なし

Wants

なし

Before

なし

After

なし

- 435 -

起動デーモン

なし

使用ポート

なし

備考

本サービスはsdtoolコマンドを実行時のみ動作し、サービスは常に"inactive (dead)"状態です

smawsf-sdtool-debugon.service

機能

シャットダウン機構の操作


なし


Requires

なし

Wants

なし

Before

なし

After

なし

起動デーモン

なし

使用ポート

なし

備考

本サービスはsdtoolコマンドを実行時のみ動作し、サービスは常に"inactive (dead)"状態です

smawsfex.service

機能

シャットダウンエージェント設定更新機能の起動


なし


Requires

なし

Wants

なし

Before

smawsf.service

- 436 -

After

smawcf.service

起動デーモン

なし

使用ポート

なし

備考

シャットダウンエージェント設定更新機能は、sfsacfgupdateコマンドで有効化した場合のみ、ノード起動時に動作します

smawsfmon.service

機能

シャットダウン機構の監視


シャットダウン機構が異常終了した場合に再起動されない


Requires

なし

Wants

なし

Before

なし

After

smawcf.servicesmawsf.service

起動デーモン

/opt/SMAW/SMAWsf/bin/rcsd_monitor

使用ポート

なし

備考

なし

J.3 PRIMECLUSTERが動作するうえで必要なサービス

PRIMECLUSTERが動作するうえで必要となるPRIMECLUSTER以外のサービスは、以下のとおりです。

・ crond.service

・ ipmi.service (注1)

・ iscsi.service（注2)

・ libvirtd.service（注3)

・ ntpd_service

・ radvd.service (注4)

・ rsyslog.service

- 437 -

・ target.service（注2)

注1) ipmi.serviceは、PRIMERGYでシャットダウン機構にSA_ipmiを設定した時に必要です。

注2) サーバ間ミラーリング機能を使用する場合に必要です。

注3) libvirtd.serviceは、KVM環境の場合に必要です。

注4) radvd.serviceは、使用しているGLSの二重化方式が高速切替方式、かつIPv6通信を使用する場合にのみ必要です。

- 438 -

付録K Firewallを使用する場合

Firewallを使用している場合、クラスタが正常に動作しないことがあるため、以下のどちらかの設定を行ってください。

・ PRIMECLUSTERが使用する通信インタフェースを許可する。

・ PRIMECLUSTERが使用するポート番号を許可する。

ここでは、firewalld、iptablesまたはip6tablesでFirewallを設定する場合の設定例を記載します。

実際の設定は、セキュリティポリシーに合った方法で行ってください。

参照

・ firewalldの詳細については、firewalld(1)コマンドまたはfirewall-cmd(1)のmanマニュアルなどを参照してください。

・ iptablesの詳細については、iptables(8)コマンドのmanマニュアルなどを参照してください。

・ ip6tablesの詳細については、ip6tables(8)コマンドのmanマニュアルなどを参照してください。

PRIMECLUSTERが使用する通信インタフェースを許可する場合

PRIMECLUSTERでは、管理LANとクラスタインタコネクトで通信インタフェースを使用します。両方の通信インタフェースを許可する設

定を行ってください。

以下は、クラスタインタコネクトの通信インタフェースである“cip0”の送受信を許可する設定例です。

・ firewalldの場合

zoneに登録されていないインタフェースを zone=trusted に追加する場合と、他のzoneに登録済みのインタフェースをzone=trustedに変更する場合でfirewalldの設定を変更するfirewall-cmdコマンドのオプションは異なります。

zoneに登録されていないインタフェース cip0を zone=trusted に追加

形式) firewall-cmd --permanent --zone=trusted --add-interface=<インタフェース>

例) firewall-cmd --permanent --zone=trusted --add-interface=cip0

他のzoneに登録済みインタフェース cip0の zoneを trusted に変更

形式) firewall-cmd --permanent --zone=trusted --change-interface=<インタフェース>

例) firewall-cmd --permanent --zone=trusted --change-interface=cip0

・ iptables または ip6tables の場合

形式) -A INPUT -i <入力インタフェース> -j ACCEPT

-A OUTPUT -o <出力インタフェース> -j ACCEPT

例) -A INPUT -i cip0 -j ACCEPT

-A OUTPUT -o cip0 -j ACCEPT

PRIMECLUSTERが使用するポート番号を許可する場合

“付録I PRIMECLUSTERの起動スクリプト/起動デーモンとポート番号”または、“付録J PRIMECLUSTERのsystemdサービス/起動デー

モンとポート番号”を参照し、PRIMECLUSTERが使用する、すべてのポート番号の通信を許可してください。

以下は、自ノードと他ノード間で、クラスタリソース管理機構が使用するポート番号の一部の通信を許可する設定例です。

・ firewalldの場合

特定のポート番号への通信を許可

形式) firewall-cmd --permanent --zone=<zone> --add-port=<送信先ポート番号>/<tcp/udp>

例) firewall-cmd --permanent --zone=public --add-port=9383/tcp

- 439 -

特定のポート番号からの通信を許可

IPv4とIPv6でコマンドのオプションが異なります。

IPv4の場合

形式) firewall-cmd --permanent --direct --add-rule ipv4 filter INPUT 0 -p <tcp/udp> --sport <送信元ポート番号> -j

ACCEPT

例) firewall-cmd --permanent --direct --add-rule ipv4 filter INPUT 0 -p tcp --sport 9383 -j ACCEPT

IPv6の場合

形式) firewall-cmd --permanent --direct --add-rule ipv6 filter INPUT 0 -p <tcp/udp> --sport <送信元ポート番号> -j

ACCEPT

例) firewall-cmd --permanent --direct --add-rule ipv4 filter INPUT 0 -p tcp --sport 9383 -j ACCEPT

・ iptables または ip6tables の場合

形式) -A <INPUT/OUTPUT> -p <tcp/udp> -m <tcp/udp> --dport <送信先ポート番号> -j ACCEPT

-A <INPUT/OUTPUT> -p <tcp/udp> -m <tcp/udp> --sport <送信元ポート番号> -j ACCEPT

例) -A INPUT -p tcp -m tcp --dport 9383 -j ACCEPT

-A OUTPUT -p tcp -m tcp --sport 9383 -j ACCEPT

-A INPUT -p tcp -m tcp --sport 9383 -j ACCEPT

-A OUTPUT -p tcp -m tcp --dport 9383 -j ACCEPT

注意

・ firewall-cmd の --permanentオプションによりfirewalldの設定を変更した場合はfirewalldサービスを再起動してください。

・ iptablesの設定を変更した場合は、iptablesサービスの再起動ではなく、以下のいずれかを行ってください。

－クラスタノードの再起動

－ iptables-restoreによる反映

・ ip6tablesの設定を変更した場合は、ip6tablesサービスの再起動ではなく、以下のいずれかを行ってください。

－クラスタノードの再起動

－ ip6tables-restoreによる反映

・ iptablesまたはip6tablesでstateモジュールを使用している場合、stateモジュールの設定より前に、PRIMECLUSTERの通信を許可

する設定を行ってください。

以下の例では、stateモジュール設定の前に、クラスタインタコネクトの通信を許可しています。

例) -A INPUT -i cip0 -j ACCEPT

-A OUTPUT -o cip0 -j ACCEPT

-A INPUT -m state --state RELATED,ESTABLISHED -j ACCEPT

-A INPUT -p tcp -m tcp ! --tcp-flags SYN,RST,ACK SYN -m state --state NEW -j DROP

- 440 -

付録L クラスタシステム環境をクローニングする場合

PRIMECLUSTERでは、すでに構築されているクラスタシステムをクローニングし、新しいクラスタシステムを構築できます。

注意

・以下はサポート範囲外です。

－仮想環境に構築されているクラスタシステム

－ 2ノード以上のクラスタから1ノードクラスタを構築すること(Disaster Recoveryなどにおいてみられるケース)

－ 1ノードクラスタを構築後、それを複数ノードに複製し、複数ノードクラスタを構築すること

－ 2ノード以上のクラスタノードのうちの1ノードを複数ノードに複製し、複数ノードクラスタを構築すること

・複製元と複製先はハード構成(機種やディスク搭載位置)を同一にしてください。

・ GDSで管理するディスクのサイズは、複製元と複製先のシステムで、同じサイズにしてください。

・複製先のシステムを起動する際には、事前にNICのケーブルを抜いておく、複製元を停止する、または、複製元のシステムから隔

離されたネットワークに接続するなどして、複製元のシステムとIPアドレスの重複が発生しないよう注意してください。

・クローニングにあたっては、利用するクローニングソフト/クローニング機能の条件に準拠します。

ここでは、物理環境の2ノード、運用待機構成のクラスタシステムをクローニングする場合を例に、クローニング手順について説明しま

す。

■クローニングによる構築手順

PRIMECLUSTERのクローニングによる構築手順は下記のようになります。

- 441 -

図L.1 クローニングによる構築手順

注意

複製元のクラスタシステムで、GDSを使用したシステムディスクのミラーリング設定を行っている場合は、複製元または複製先のいずれ

かのシステムで、システムディスクミラーリングを一旦解除する必要があります。

複製先のシステムが多数ある場合は、複製元でシステムディスクミラーリングを解除してからクローニングすることを推奨します。

・複製元でシステムディスクミラーリングを解除する場合

複製元でシステムディスクミラーリングを解除してからクローニングする場合の手順は以下の通りです。

1. “L.1 事前準備”において、複製元のシステムのシステムディスクミラーリングを解除します。

2. “L.2 クローニング機能を利用したシステムイメージの複製”の後、複製元のシステムで、システムディスクを再度ミラーリング

します。

3. “L.3 クラスタシステムの設定変更”において、複製先のシステムでシステムディスクミラーリングの設定を行います。

・複製先でシステムディスクミラーリングを解除する場合

複製先でシステムディスクミラーリングを解除する場合のクローニング手順は以下の通りです。

1. “L.2 クローニング機能を利用したシステムイメージの複製”の後、“L.3 クラスタシステムの設定変更”において、複製先のシ

ステムで、OSのインストールCDからシステムを起動します。

- 442 -

2. システムディスクミラーリングの設定情報を削除します。

3. システムディスクから起動してシステムディスクミラーリングの設定を行います。

以降の手順内の実行例では、以下の構成でクラスタシステムを構築している場合として記載しています。

複製元複製先

クラスタ名 PRIMECLUSTER1 PRIMECLUSTER2

CFノード名 fuji2 fuji3 fuji4 fuji5

CIP/SysNode名 fuji2RMS fuji3RMS fuji4RMS fuji5RMS

管理LANのIPアドレス 10.20.30.100 10.20.30.101 10.20.30.102 10.20.30.103

IPMI(BMC, iRMC)のIPアドレス/マネージメントブレードのIPアドレス

10.20.30.200 10.20.30.201 10.20.30.202 10.20.30.203

クラスタインタコネクトのIPアドレス 192.168.0.1 192.168.0.2 192.168.0.3 192.168.0.4

GLSの物理IPアドレス/ホスト名 10.34.214.181/primecl01

10.34.214.182/primecl02

10.34.214.191/primecl03

10.34.214.192/primecl04

GLSの仮想IPアドレス/ホスト名 10.34.214.185/takeoverIP 10.34.214.195/takeoverIP2

L.1 事前準備

クローニングを実施する前に行う事前準備について説明します。

L.1.1 GFSの構成情報バックアップ

ここでは、複製元のサーバでGFS共用ファイルシステムを使用している場合に、クローニングを実施する前に行う作業について説明し

ます。

1. 複製元のサーバで、GFS共用ファイルシステムの管理パーティションの情報をバックアップします。

運用中のいずれかのノードで以下のコマンドを実施してください。

# sfcgetconf _backup_file_

上記の例では、sfcgetconf(8)はカレントディレクトリに _backup_file_ という名称のシェルスクリプトを生成します。

注意

本手順は、共用ディスク上のデータを複製する場合に実施してください。

2. 1.で取得した _backup_file_ ファイルを編集します。

_backup_file_ファイル内のsfcadmコマンドの実行手順の行に記載されているノード名を、複製先のサーバのノード名に変更して

ください。

例：複写元のサーバのノード名（GFSを共用するノードのホスト名）がhost2, host3、複製先のサーバのノード名がhost4, host5 の場合

［変更前］

#!/bin/sh

# This file is made by:


# Thu May 26 09:23:04 2014

#---- fsid : 1 ----

# MDS primary (port) : host2 (sfcfs-1)

# MDS secondory (port) : host3 (sfcfs-1)

# MDS other :

- 443 -

# AC : host2, host3

# options :

# device : /dev/sfdsk/gfs01/dsk/volume01

sfcadm -m host2,host3 -g host2,host3 -p sfcfs-1,sfcfs-1 /dev/sfdsk/gfs01/dsk/volume01

・・・

［変更後］

#!/bin/sh

# This file is made by:


# Thu May 26 09:23:04 2014

#---- fsid : 1 ----

# MDS primary (port) : host4 (sfcfs-1)

# MDS secondory (port) : host5 (sfcfs-1)

# MDS other :

# AC : host4, host5

# options :

# device : /dev/sfdsk/gfs01/dsk/volume01

sfcadm -m host4,host5 -g host4,host5 -p sfcfs-1,sfcfs-1 /dev/sfdsk/gfs01/dsk/volume01

・・・

注意

ファイルシステムが複数存在する場合、sfcadm コマンドの実行手順の行が複数あります。すべての行のノード名を変更してくだ

さい。

3. sfcfrmdデーモンの起動方法の設定を確認します。

# sfcsetup -m

wait_bg

出力された値をメモしてください。

この値は、複製先のサーバでGFSの構成情報をリストアする際に使用します。

L.1.2 GDSの構成情報バックアップ

注意

本手順は、サーバ間ミラーリングを使用する場合は不要です。

1. 複製元のサーバで、GDSのローカルクラスと共用クラスのオブジェクト構成をバックアップします。

以下の手順は複製元のいずれかのノードで実施してください。クラスが複数ある場合は、すべてのクラスに対して行ってくださ

い。

例：クラス Class1 のオブジェクト構成情報を/var/tmp/Class1.confに出力する場合

# sdxconfig Backup -c Class1 -o /var/tmp/Class1.conf

2. 複製元のサーバで、GDSの構成情報をファイルに保存します。GDSのすべてのクラスに対して、クラスの構成情報をファイルに

出力します。

例：クラス Class1 のデータを/var/tmp/Class1.infoに出力する場合

# sdxinfo -c Class1 -e long > /var/tmp/Class1.info

L.1.3 システムディスクのミラーリング解除

システムディスクミラーリングを一旦解除してからクローニングする場合、システムディスクのミラーリングを解除します。

- 444 -

参照

システムディスクのミラーリングの解除手順については、“PRIMECLUSTER Global Disk Services 説明書”を参照してください。

注意

本手順は、システムディスクをミラーリングしたままクローニングする場合は不要です。

L.2 クローニング機能を利用したシステムイメージの複製

クローニング機能を利用し、システムイメージを複製する手順について説明します。

注意

・複製先のシステムを起動する際には、事前にNICのケーブルを抜いておく、複製元を停止する、または、複製元のシステムから隔

離されたネットワークに接続するなどして、複製元のシステムとIPアドレスの重複が発生しないよう注意してください。

・複製元のシステムと複製先のシステムでは、NICのMACアドレスが異なります。利用するクローニングソフト/クローニング機能によ

りクローニング時にNICの設定を初期化するか、クローニング後に手動でNICの設定を修正するなどしてMACアドレスを更新して

ください。

L.2.1 ディスクデータの複製

1. システムディスクの複製

システムディスクのイメージを複製先のシステムに複製します。

システムディスクのイメージを複製した後、OSや他のMWの設定値については、各製品のマニュアルを参照して変更してくださ

い。

2. GDSのローカルクラスまたは共用クラスに登録しているディスクの複製

GDSのローカルクラスまたは共用クラスに登録しているディスクは、以下のいずれかの方法で複製します。

a. GDSの占有スライスを含むディスク全体のデータを複製する。

b. GDSの占有スライスのデータのみを複製する。

c. ボリュームの領域のデータのみを複製する。

d. ディスクデータを複製しない。

データの複製に使用するソフトウェアやコピー機能の仕様(どの領域のデータを複製できるか)と、ボリューム領域のデータを複製

する必要性から、複製する範囲を決めてください。

注意

サーバ間ミラーリングを使用する場合は、サーバ間ミラーリングで使用しているローカルディスクのデータをa.またはb.の範囲で

複製してください。

L.2.2 システムディスクミラーリングの設定

“L.1.3 システムディスクのミラーリング解除”でシステムディスクミラーリングを解除した場合、複製元のシステムで、システムディスクを再

度ミラーリングします。

- 445 -

参照

設定手順は、“PRIMECLUSTER Global Disk Services 説明書”を参照してください。

注意

本手順は、システムディスクをミラーリングしたままクローニングする場合は不要です。

L.3 クラスタシステムの設定変更

システムイメージ複製先で必要なクラスタシステムの設定変更手順について説明します。

L.3.1 システムディスクミラーリングの設定情報の削除

システムディスクをミラーリングしたままシステムディスクのデータを複製した場合、OSのインストールCDからレスキューモードでシステ

ムを起動して、システムディスクミラーリングの設定情報を削除します。

参照

削除方法は、“PRIMECLUSTER Global Disk Services 説明書”の“システムディスクに関する異常【EFI】”の“システムがブートできな

い(全ブートディスク装置の故障)。”の“対処”を参照してください。この手順において、物理ディスクの交換とバックアップデータのリス

トアを行う必要はありません。

注意

・本手順でレスキューモードを終了後、システムをブートする際には、シングルユーザモードで起動してください。

・本手順は、システムディスクミラーリングを一旦解除してからクローニングした場合は不要です。

L.3.2 シングルユーザモードでの設定

以下の手順は複製先のすべてのノードで実施してください。

1. シングルユーザモードで起動します。

2. ホスト名の変更

/etc/hosts、/etc/sysconfig/network(RHEL6の場合)、/etc/hostname(RHEL7の場合) のホスト名を変更してください。

3. Web-Based Admin View のプライマリ管理サーバ、セカンダリ管理サーバ、httpip、mip の変更

1. プライマリ管理サーバおよびセカンダリ管理サーバの、IPアドレスを設定します。

# /etc/opt/FJSVwvbs/etc/bin/wvSetparam primary-server <プライマリ管理サーバのIPアドレス>

# /etc/opt/FJSVwvbs/etc/bin/wvSetparam secondary-server <セカンダリ管理サーバのIPアドレス>

2. httpip を設定します。

# /etc/opt/FJSVwvbs/etc/bin/wvSetparam httpip <クライアント向けに使用するIPアドレス>

3. mip を設定します。

# /etc/opt/FJSVwvbs/etc/bin/wvSetparam mip <自ホストを識別するためのIPアドレス>

4. CFノード名、CIP/Sysnode名、クラスタ名を変更

- 446 -

注意

クラスタ名、CFノード名の命名規則については“5.1.1 CF、CIPの設定”を参考にしてください。

1. /etc/cip.cf に記載している CFノード名、CIP/Sysnode名のうち、CFノード名となっている文字列を変更してください。

［変更前］

fuji2 fuji2RMS:netmask:255.255.255.0


［変更後］



2. /etc/hosts に記載しているCIP/Sysnode名のうち、CFノード名となっている文字列を変更してください。

［変更前］

192.168.0.1 fuji2RMS

192.168.0.2 fuji3RMS

［変更後］

192.168.0.3 fuji4RMS

192.168.0.4 fuji5RMS

3. /etc/default/clusterに記載しているCFノード名、クラスタ名を変更してください。

［変更前］

nodename fuji2

clustername PRIMECLUSTER1

device eth2

device eth3

［変更後］

nodename fuji4

clustername PRIMECLUSTER2

device eth2

device eth3

5. SFの設定解除

/etc/opt/SMAW/SMAWsf/rcsd.cfgをrcsd.orgに退避します。

# mv /etc/opt/SMAW/SMAWsf/rcsd.cfg /etc/opt/SMAW/SMAWsf/rcsd.org

6. クラスタリソース管理機構のノード名変更

以下のコマンドを実施し、クラスタリソース管理機構のノード名を変更してください。

# /etc/opt/FJSVcluster/bin/clchgnodename

7. GFSの管理パーティションの情報を削除

注意

本手順はGFS共用ファイルシステムを使用していない場合は不要です。

GFS共用ファイルシステムの管理パーティションの情報を削除します。すべてのノードで以下の操作を実施してください。

- 447 -

# rm /var/opt/FJSVsfcfs/sfcfsrm.conf

8. GLSのIPアドレスの変更

GLSを使用している場合、以下の作業を行ってください。設定の変更はすべてのノードで行ってください。

参照

設定の詳細は、“PRIMECLUSTER Global Link Services 説明書”を参照してください。

注意

手順は通信方式によって異なります。以下の手順はNIC切替方式を使用している構成で同一のネットワークのIPアドレスに変更

する場合のものです。

1. /etc/hosts ファイルを修正します。

［変更前］

10.34.214.185 takeoverIP # 仮想IP





［変更後］

10.34.214.195 takeoverIP2 # 仮想IP





2. 引継ぎ仮想インタフェースの設定をすべて削除します。

# /opt/FJSVhanet/usr/sbin/hanethvrsc delete -n all

3. ifcfg-eth0ファイルを修正し、プライマリ物理インタフェースのIPアドレスを変更します。

[primecl03]の場合

［変更前］

DEVICE=eth0

BOOTPROTO=static


HOTPLUG=no

BROADCAST=10.34.214.255

IPADDR=10.34.214.181

NETMASK=255.255.255.0

NETWORK=10.34.214.0

ONBOOT=yes

TYPE=Ethernet

［変更後］

DEVICE=eth0

BOOTPROTO=static


HOTPLUG=no

BROADCAST=10.34.214.255

IPADDR=10.34.214.191

- 448 -

NETMASK=255.255.255.0

NETWORK=10.34.214.0

ONBOOT=yes

TYPE=Ethernet


［変更前］

DEVICE=eth0

BOOTPROTO=static


HOTPLUG=no

BROADCAST=10.34.214.255

IPADDR=10.34.214.182

NETMASK=255.255.255.0

NETWORK=10.34.214.0

ONBOOT=yes

TYPE=Ethernet

［変更後］

DEVICE=eth0

BOOTPROTO=static


HOTPLUG=no

BROADCAST=10.34.214.255

IPADDR=10.34.214.192

NETMASK=255.255.255.0

NETWORK=10.34.214.0

ONBOOT=yes

TYPE=Ethernet

4. 仮想インタフェースのIPアドレスを変更します。


# /opt/FJSVhanet/usr/sbin/hanetconfig modify -n sha0 -i 10.34.214.195 -e 10.34.214.191


# /opt/FJSVhanet/usr/sbin/hanetconfig modify -n sha0 -i 10.34.214.195 -e 10.34.214.192

5. 引継ぎ仮想インタフェースの設定を再度、登録します。


参照

異なるネットワークのIPアドレスに変更する場合、仮想インタフェースのサブネットマスクやHUB監視の監視先IPアドレスを変更

する必要があります。詳細は“PRIMECLUSTER Global Link Services 説明書”を参照してください。

9. GDSの設定変更

－サーバ間ミラーリングを使用していない場合

GDSのローカルクラスと共用クラスの定義を削除します。すべてのノードで以下の操作を実施してください。

1. /etc/opt/FJSVsdx/sysdb.d/class.dbファイルからクラス名の設定を削除します。

～

Class1 ←クラス名の行をすべて削除

～

- 449 -

2. /etc/opt/FJSVsdx/sysdb.dディレクトリ配下のクラス名のファイルをすべて削除します。

# cd /etc/opt/FJSVsdx/sysdb.d

# rm Class1

3. /etc/sysconfig/devlabelファイルからすべての設定情報を削除します。

～

/etc/opt/FJSVsdx/.devlabel/Class1/sdx_dev... ←行削除

～

4. /etc/opt/FJSVsdx/.devlabelディレクトリ配下のクラス名のディレクトリをすべて削除します。

# cd /etc/opt/FJSVsdx/.devlabel

# rm -rf Class1

－サーバ間ミラーリングを使用している場合

GDSで使用するiSCSIターゲットの設定を変更します。すべてのノードで以下の操作を実施してください。

[RHEL6の場合]

1. ターゲットポータルの登録を削除します。

例）複製元ノードのサーバ間ミラーリング用IPアドレスが"192.168.56.20"の場合

# iscsiadm -m discovery --op delete --portal 192.168.56.20

2. ネットワークサービスを起動します。

# service network start

3. /etc/tgt/targets.confに記載されているIPアドレスとby-idリンクのパスを変更します。

例）IPアドレスを"192.168.56.21"、"192.168.56.11"、

by-idリンクのパスを" /dev/disk/by-id/scsi-3500000e111c56610"に変更する場合

［変更前］

# GDS netmirror definition start

<target target-0101>

initiator-address 192.168.56.20


write-cache off

<backing-store /dev/disk/by-id/scsi-3500000e111e68e00>

scsi_id SDX-01

</backing-store>

</target>

# GDS netmirror definition end

［変更後］

# GDS netmirror definition start

<target target-0101>



write-cache off

<backing-store /dev/disk/by-id/scsi-3500000e111c56610>

scsi_id SDX-01

</backing-store>

</target>

# GDS netmirror definition end

4. tgtdサービスを起動します。

# service tgtd start

- 450 -

5. 両ノードでサーバ間ミラーリングの設定ファイル/etc/opt/FJSVsdx/.sdxnetmirror_ipaddrに記載されているIPアドレスを

変更します。

［変更前］

192.168.56.10

192.168.56.20

［変更後］

192.168.56.11

192.168.56.21

6. iSCSIセッションを確立します。

手順は、“PRIMECLUSTER Global Disk Services 説明書”の“サーバ間ミラーリングを行うディスクの設定”の“iSCSIセッションの確立”を参照してください。

[RHEL7の場合]

1. ターゲットポータルの登録を削除します。

例）複製元ノードのサーバ間ミラーリング用IPアドレスが"192.168.56.20"の場合

# iscsiadm -m discovery --op delete --portal 192.168.56.20

2. ネットワークサービスを起動します。

# systemctl start network.service

以下のエラーメッセージが出力されることがありますが、動作には影響はないため、対処は不要です。

Error getting authority: Error initializing authority: Could not connect:

No such file or directory (g-io-error-quark, 1)

3. iSCSIターゲットの設定情報ファイルをコピーします。

# cp /etc/target/saveconfig.json コピー先ファイル名

4. 手順3のコピー先ファイルに記載されているIPアドレスとby-idリンクのパスを変更します。

例）サーバ間ミラーリング用の IP アドレスを "192.168.56.21" 、 by-id リンクのパスを " /dev/disk/by-id/scsi-3500000e111c56610"に変更する場合

［変更前］

{

"fabric_modules": [],

"storage_objects": [

{

～

"dev": "/dev/disk/by-id/scsi-3500000e111e68e00",

"name": "store1",

"plugin": "block",

"readonly": false,

"write_back": false,

"wwn": "4a98bfb0-7d7e-4bc8-962c-0b3cf192b214"

}

～

"portals": [

{

"ip_address": "192.168.56.20",

"iser": false,

"port": 3260

}

- 451 -

],

～

［変更後］

{

"fabric_modules": [],

"storage_objects": [

{

～

"dev": "/dev/disk/by-id/scsi-3500000e111c56610",

"name": "store1",

"plugin": "block",

"readonly": false,

"write_back": false,

"wwn": "4a98bfb0-7d7e-4bc8-962c-0b3cf192b214"

}

～

"portals": [

{

"ip_address": "192.168.56.21",

"iser": false,

"port": 3260

}

],

～

5. 手順4で編集したiSCSIターゲットの設定情報ファイルをターゲットに反映します。

# targetctl restore ファイル名

以下のメッセージが出力されることがありますが、動作には影響はないため、対処は不要です。

Unable to load target_core_user

6. iSCSIターゲットの設定が正しく行なわれていることを確認します。

# targetcli ls

［出力例］

o- / ............................................................................. [...]

o- backstores .................................................................. [...]

| o- block ...................................................... [Storage Objects: 1]

| | o- store1 [/dev/disk/by-id/scsi-3500000e111c56610 (16.0GiB) write-thru activated]

(1)

| o- fileio ..................................................... [Storage Objects: 0]

| o- pscsi ...................................................... [Storage Objects: 0]

| o- ramdisk .................................................... [Storage Objects: 0]

o- iscsi ................................................................ [Targets: 1]

| o- iqn.2003-01.org.linux-iscsi.node1.x8664:sn.6e665c7c1be0 ............... [TPGs: 1]

| o- tpg1 ................................................... [no-gen-acls, no-auth]

| o- acls .............................................................. [ACLs: 2]

| | o- iqn.1994-05.com.redhat:dee92ff9979d ...................... [Mapped LUNs: 1]

| | | o- mapped_lun0 .................................... [lun0 block/store1 (rw)]

| | o- iqn.1994-05.com.redhat:fa7eb9cf483c ...................... [Mapped LUNs: 1]

| | o- mapped_lun0 .................................... [lun0 block/store1 (rw)]

| o- luns .............................................................. [LUNs: 1]

| | o- lun0 .............. [block/store1 (/dev/disk/by-id/scsi-3500000e111c56610)]

(2)

| o- portals ........................................................ [Portals: 1]

| o- 192.168.56.21:3260 ................................................... [OK]

(3)

o- loopback ............................................................. [Targets: 0]

- 452 -

ポイント

コマンドの出力を以下の観点で確認ください。

・変更したパスが反映されていること(出力例(1),(2))

・変更したIPアドレスが反映されていること(出力例(3))

7. 手順5.でリストアしたターゲット情報を保存します。

# targetctl save

8. 両ノードでサーバ間ミラーリングの設定ファイル/etc/opt/FJSVsdx/.sdxnetmirror_ipaddrに記載されているIPアドレスを

変更します。

[変更前]

192.168.56.10

192.168.56.20

[変更後]

192.168.56.11

192.168.56.21

9. iSCSIセッションを確立します。

手順は、“PRIMECLUSTER Global Disk Services 説明書”の“サーバ間ミラーリングを行うディスクの設定”の“iSCSIセッションの確立”を参照してください。

10. RMSの自動起動抑止

RMSの自動起動を抑止します。

現在のRMSの自動機能の設定を確認し、設定に応じて以下を実施します。


1 ←この値を確認します

－ "0"が設定されている場合、RMSの自動起動が抑止されているので、手順11.へ進みます。

－ "1"が設定されている場合、以下を実施し、RMSの自動起動を抑止します。




11. 上記の手順を複製先のすべてのノードで実施完了後にすべてのノードをマルチユーザモードで起動します。

L.3.3 マルチユーザモードでの設定変更

複製先のクラスタシステムで、シングルユーザモードでの設定をすべてのノードで完了後に実施する作業です。

1. すべてのノードをマルチユーザモードで起動します。

2. クラスクラスタ整合性モニタ(CIM)を設定

複製元で使用していたCFノード名を削除し、複製先で使用するCFノード名を設定します。

本設定は、クラスタシステムを構成する任意の1ノードで実施してください。

例）複製元で使用していたCFノード名（fuji2, fuji3)/複製先で使用するCFノード名（fuji4, fuji5)の場合

# rcqconfig -d fuji2 fuji3

# rcqconfig -a fuji4 fuji5

- 453 -

3. CF設定項目の確認

変更した、CFノード名、CIP/Sysnode名、クラスタ名が正しいかどうかを確認します。

a. CFノード名、クラスタ名の確認

各ノードでcfconfig -g コマンドを実施し、設定したCFノード名、クラスタ名が正しいことを確認してください。

例)複製先で使用するCFノード名がfuji4、クラスタ名がPRIMECLUSTER2の場合

# cfconfig -g

fuji4 PRIMECLUSTER2 eth1 eth2

b. CIP/Sysnode名の確認

相手ノードに設定した全てのCIP/Sysnode名と通信できることを確認してください。全てのノードでそれぞれ確認してくださ

い。

例)相手ノードに設定したSysnode名が fuji5RMSの場合

# ping fuji5RMS

上記a、bで問題があった場合、/etc/cip.cf、/etc/default/cluster、/etc/hosts に設定したCFノード名、CIP/Sysnode名、クラスタ名に

誤りがないか確認してください。

誤りがあった場合、以下の手順を実施してください。

1. シングルユーザモードで起動してください。

2. “L.3.2 シングルユーザモードでの設定”の“4. CFノード名、CIP/Sysnode名を変更”を再度実施し、ノードを再起動してくだ

さい。

3. “L.3.3 マルチユーザモードでの設定変更”を再度実施してください。

4. クラスタリソース管理機構のクラスタ名を変更

クラスタリソース管理機構のクラスタ名を変更します。


例）複製先の新クラスタ名が"PRIMECLUSTER2"の場合

# /etc/opt/FJSVcluster/bin/clsetrsc -n PRIMECLUSTER2 1

# /etc/opt/FJSVcluster/bin/clsetrsc -n PRIMECLUSTER2 2

5. SFの設定変更

1. ブレードサーバの場合、/etc/opt/SMAW/SMAWsf/SA_blade.cfgに記載しているCFノード名、サーバブレードのスロット番

号、SNMPコミュニティ名、マネージメントブレードのIPアドレスを変更します。

例)以下のように変更する場合

SNMPコミュニティ名

public → private

CFノード名スロット番号マネージメントブレードのIPアドレス

fuji2→fuji4 1→3 10.20.30.200→10.20.30.202

fuji3→fuji5 1→3 10.20.30.201→10.20.30.203

［変更前］



fuji2 1 cycle


fuji3 1 cycle

- 454 -

［変更後］

community-string private


fuji4 3 cycle


fuji5 3 cycle

2. ブレードサーバ以外の PRIMERGY の場合、 /etc/opt/SMAW/SMAWsf/SA_ipmi.cfg に記載している CF ノード名、

IPMI(BMC,iRMC)のIPアドレスを変更します。

例) 以下のように変更する場合

CFノード名 IPMI(BMC,iRMC)のIPアドレス

fuji2→fuji4 10.20.30.200→10.20.30.202

fuji3→fuji5 10.20.30.201→10.20.30.203

［変更前］

fuji2 10.20.30.200:root:D0860AB04E1B8FA3 cycle


［変更後］



3. PRIMEQUESTの場合、以下の手順を実施します。

a. PSA/SVmcoおよびMMBの設定を変更します。設定方法については、以下のマニュアルを参照してください。

PRIMEQUEST 1000 シリーズの場合

・PRIMEQUEST 1000 シリーズ導入マニュアル

・PRIMEQUEST 1000 シリーズ ServerView Mission Critical Option ユーザマニュアル


・PRIMEQUEST 2000 シリーズ導入マニュアル

・PRIMEQUEST 2000 シリーズ ServerView Mission Critical Option ユーザマニュアル

また、PRIMECLUSTERがMMBと連携するために、RMCPのユーザを作成する必要があります。PRIMECLUSTERを構成するすべてのPRIMEQUEST上にRMCPでMMBを制御するためのユーザを必ず作成してください。RMCPでMMBを制御するためのユーザを作成するには、MMB Web-UIにログインし、“Network Configuration”メニュー

の“Remote Server Management”画面から作成します。その際、以下のようなユーザを作成してください。

・[Privilege]は「Admin」とする

・[Status]は「Enabled」とする

RMCPでMMBを制御するためのユーザの作成方法については、本体装置添付の以下のマニュアルを参照してく

ださい。


・PRIMEQUEST 1000 シリーズ運用管理ツールリファレンス


・PRIMEQUEST 2000 シリーズ運用管理ツールリファレンス

b. 複製元のCFノードのMMBの情報を削除します。

例) 複製元fuji2,fuji3のMMBの情報を削除する場合

# /etc/opt/FJSVcluster/bin/clmmbsetup -d fuji2

# /etc/opt/FJSVcluster/bin/clmmbsetup -d fuji3

- 455 -

c. clmmbsetup -a コマンドを実行し、複製先のMMB情報を登録します。clmmbsetupコマンドの使用法については、

clmmbsetupのマニュアルページを参照してください。

# /etc/opt/FJSVcluster/bin/clmmbsetup -a mmb-user



mmb-userとUser's Passwordには、手順a.で作成したユーザとパスワードを入力します。

d. MMB非同期監視デーモンが起動しているか確認します。

# /etc/opt/FJSVcluster/bin/clmmbmonctl

“The devmmbd daemon exists.”が表示された場合、MMB非同期監視デーモンは起動済みです。

“The devmmbd daemon does not exist.”が表示された場合、MMB非同期監視デーモンは起動していません。以下

を実行し、MMB非同期監視デーモンを起動してください。


4. 退避したrcsd.orgをrcsd.cfgに戻します。

# mv /etc/opt/SMAW/SMAWsf/rcsd.org /etc/opt/SMAW/SMAWsf/rcsd.cfg

5. /etc/opt/SMAW/SMAWsf/rcsd.cfgに記載しているCFノード名、管理LANのIPアドレス(admIP)を変更します。

例)以下のように変更する場合

CFノード名管理LANのIPアドレス

fuji2→fuji4 10.20.30.100→10.20.30.02

fuji3→fuji5 10.20.30.101→10.20.30.103

［変更前］

fuji2,weight=1,admIP=10.20.30.100:agent=SA_lkcd,timeout=25:SA_ipmi,timeout=25


［変更後］



6. ブレードサーバを含むPRIMERGYで、クラッシュダンプの採取にkdumpを使用する場合、kdumpシャットダウンエージェン

トの設定を行います。いずれかのノードで以下のコマンドを実行します。



(I)nitialize, (C)opy or (Q)uit (I/C/Q) ? ← Iを入力

7. シャットダウン機構を起動します。

# sdtool -b

シャットダウンデーモン(rcsd)が動作中かどうかはsdtool -sで確認できます。

# sdtool -s

全ノードでsdtool -sを実行することで、シャットダウン機構の構成状態を確認することができます。

注意

sdtool -sコマンドの表示結果で、シャットダウン機構が正常に動作していることを確認してください。

シャットダウン機構の設定が完了しているのに、初期状態がInitFailedと表示されたり、テスト状態にUnknownやTestFailedと表示されたりする場合、エージェントやハードウェアの構成設定に誤りがある可能性があります。/var/log/messages ファイ

- 456 -

ルにエラーメッセージが出力されていないかを確認してください。その後、出力されたメッセージの内容に応じた対処を実

施してください。

L.3.4 GDSの構成情報のリストア

複製先のクラスタシステムに、GDSの構成情報をリストアする作業です。

注意

本手順は、サーバ間ミラーリングを使用する場合は不要です。

1. 共用ディスクリソースの削除

複製元で共用クラスを使用している場合、クラスリソース、ディスクリソースを削除します。


1. すべてのクラスリソースを削除します。

例）クラスリソースClass1を削除する場合

#/etc/opt/FJSVsdx/bin/sdxdcrsc -R -c Class1

2. 登録されているディスクリソースのリソースIDを確認します。

以下のコマンドの出力結果の、"SHD_DISK","DISK"の下線部分がディスクリソースのリソースIDです。

# /etc/opt/FJSVcluster/bin/clgettree

～

SHD_DISK 35 SHD_Disk35 UNKNOWN

DISK 37 sdag UNKNOWN fuji4

DISK 153 sdw UNKNOWN fuji5

～

3. 2で確認したすべてのディスクリソースを削除します。

例）登録されているディスクリソースのリソースIDが 35, 37, 153 だった場合

# /etc/opt/FJSVcluster/bin/cldelrsc -r 35



2. GDSの管理情報の削除

クラスタシステムを構成するすべてのノードで、/etc/opt/FJSVsdx/sdx.udevファイルに記載されている、すべての行を削除します。

# cat /dev/null > /etc/opt/FJSVsdx/sdx.udev


4. 共用ディスクリソースの再登録

複製元で共用クラスを使用している場合、共用ディスクをリソースデータベースに再度登録をします。

手順は、“5.1.3.2 ハードウェア装置の登録”の“2. 共用ディスクの登録”を参照してください。

5. GDSの構成ファイルの物理ディスク名変更

GDSのクラスに登録するディスクの物理ディスク名が複製元と複製先のシステムで異なる場合は、sdxconfig Convertコマンド、構

成ファイル内の物理ディスク名を複製先のシステムの物理ディスク名に変更します。

例）構成ファイル/var/tmp/Class1.conf に記述されている物理ディスク sdb をsdc に変更する場合

# sdxconfig Convert -e replace -c Class1 -p sdb=sdc -i /var/tmp/Class1.conf -o /var/tmp/Class1.conf -e update

- 457 -

6. GDSの除外リストの物理ディスク名変更

除外リストを使用している環境で、除外リストに記載されている物理ディスク名が、複製元と複製先のシステムで異なる場合、除

外リストに記載されている複製先のシステムの物理ディスク名に変更します。すべてのノードで実施してください。

除外リストについては、“PRIMECLUSTER Global Disk Services 説明書”を参照してください。

7. ローカルクラスと共用クラスのオブジェクト構成情報のリストア

－占有スライスのデータを複製した場合

# sdxconfig Restore -c Class1 -i /var/tmp/Class1.conf -e chkps

－占有スライスのデータを複製しなかった場合

# sdxconfig Restore -c Class1 -i /var/tmp/Class1.conf

注意

sdxconfig Restoreコマンドでリストアした後は、共用クラスもローカルクラスになります。

以下のメッセージが出力された場合は、“PRIMECLUSTER Global Disk Services 説明書”を参照して対処してください。

ERROR: device: disk label is not matched with class class


9. クラス属性の変更

クラスが共用クラスの場合、リストアしたクラスをローカルクラスから共用クラスに変更します。

手順7．でクラスのオブジェクト構成をリストアしたノードで以下の操作を実施します。

1. GDSのボリュームを停止します。

# sdxvolume -F -c Class1

2. クラス属性を共用クラスに変更します。

# sdxattr -C -c Class1 -a type=shared,scope=fuji4:fuji5

10. RMSで使用するGdsリソースの事前設定

いずれかの1ノードで以下の操作を実施してください。

# /opt/SMAW/SMAWRrms/bin/hvgdsetup -a Class1

11. GDSボリュームの起動

手順9．において停止したGDSのボリュームに、RMSで使用しないGDSの共用クラスのボリューム（GFSで使用しているクラスな

ど）が含まれる場合は、RMS起動時に自動起動しないため、手動で起動してください。

例）GFSで使用しているクラス(gfs, gfs01)を起動する場合

# sdxvolume -N -c gfs

# sdxvolume -N -c gfs01

L.3.5 GFSの構成情報のリストア

複製先のサーバに、GFSの構成情報をリストアします。

注意

本手順は、複製元のサーバでGFS共用ファイルシステムを使用している場合に実施してください。

- 458 -

1. 複製先の任意の1ノードで管理パーティションを再初期化します。

例：/dev/sfdsk/gfs/dsk/control を管理パーティションとして初期化する場合

# sfcsetup -cf /dev/sfdsk/gfs/dsk/control

2. 各ノードで構成ノード情報を再登録します。

# sfcsetup -a /dev/sfdsk/gfs/dsk/control

3. 複製先の任意の1ノードで“L.1.1 GFSの構成情報バックアップ”の手順3でメモした、sfcfrmdデーモンの起動方法を再設定しま

す。

例：sfcfrmdデーモンの起動方法が wait_bg の場合

# sfcsetup -m wait_bg

注意

sfcfrmdデーモンの起動方法をデフォルト値waitから変更する場合に実施してください。

4. 管理パーティションが再初期化されていることを確認します。

設定した管理パーティションのパス名は、sfcsetup(8) に -p オプションを指定することで確認できます。

# sfcsetup -p

/dev/sfdsk/gfs/dsk/control

登録したノード情報は、sfcsetup(8) をオプションなしで実行することで確認できます。

# sfcsetup

HOSTID CIPNAME MP_PATH

80000000 fuji4RMS yes

80000001 fuji5RMS yes

sfcfrmdデーモンの起動方法は、sfcsetup(8)に -m オプションを指定することで確認できます。

# sfcsetup -m

wait_bg

5. すべてのノードで以下のコマンドを実行し、sfcfrmdデーモンを起動します。

# sfcfrmstart

6. 共用ディスク上のデータを複製しない場合、GFS共用ファイルシステムを作成します。

参照

GFS 共用ファイルシステムの作成方法は、“PRIMECLUSTER Global File Services 説明書”の“ファイルシステム作成”または、

“ファイルシステム作成”および“ 通信プロトコルの選択”を参照してください。

7. 共用ディスク上のデータを複製する場合、管理パーティション情報をリストアします。

“L.1.1 GFSの構成情報バックアップ”で編集したシェルスクリプトをいずれかの1ノードで実行します。

# sh _backup_file_

get other node information start ... end

GFSの管理パーティション情報がリストアできたことをsfcinfo(8)、および、sfcrscinfo(8)で確認します。

# sfcinfo -a

/dev/sfdsk/gfs01/dsk/volume01:

FSID special size Type mount

- 459 -

1 /dev/sfdsk/gfs01/dsk/volume01(1e721) 14422 META -----

1 /dev/sfdsk/gfs01/dsk/volume01(1e721) 5116 LOG -----

1 /dev/sfdsk/gfs01/dsk/volume01(1e721) 95112 DATA -----

# sfcrscinfo -m -a

/dev/sfdsk/gfs01/dsk/volume01:

FSID MDS/AC STATE S-STATE RID-1 RID-2 RID-N hostname

1 MDS(P) stop - 0 0 0 host4

1 AC stop - 0 0 0 host4

1 MDS(S) stop - 0 0 0 host5

1 AC stop - 0 0 0 host5

8. GFS共用ファイルシステムをすべてのノードでマウントします。

# sfcmntgl <マウントポイント>

L.3.6 システムディスクのミラーリング設定

システムディスクをミラーリングする場合、すべての対象ノードで、システムディスクミラーリングの設定を行います。

参照

設定手順の詳細は、”PRIMECLUSTER Global Disk Services 説明書”を参照してください。

L.3.7 クラスタアプリケーション情報の設定変更

クラスタアプリケーション情報の設定を変更します。GLSを使用している場合と引継ぎネットワークを使用する場合で手順が異なります。

L.3.7.1 GLSを使用している場合

1. クラスタアプリケーション情報の変更

1. RMS Wizard にて設定を変更するため、いずれかのノードで hvw コマンドを実行します。

# hvw -n config

2. "Main configuration menu"の"Application-Edit" を選択します。

fuji4: Main configuration menu, current configuration: config











Choose an action: 4

3. "Application selection menu" で"APP1" を選択します。


1) HELP

2) QUIT

3) RETURN

4) OPTIONS

5) APP1

Application Name: 5

- 460 -

4. “L.3.2 シングルユーザモードでの設定”の手順8 において、GLSのIPアドレスの変更を行った場合は、Glsリソースの引継

ぎIPアドレスの設定を変更します。

1. “Gls:Global-Link-Services”を選択します。






5) ApplicationName=APP1 13) Gls:Global-Link-Services(Gls_APP1)





2. “TakeoverIpaddress”を選択し引継ぎIPアドレスを変更します。

メニューの右側に、変更前のIPアドレスが表示されています。

Gls (Gls_APP1:consistent)

1) HELP 5) AdditionalTakeoverIpaddress

2) NO-SAVE+EXIT 6) TakeoverIpaddress[0]=N,10.34.214.185

3) SAVE+EXIT 7) (Timeout=60)

4) REMOVE+EXIT


3. 変更後に使用するIPアドレスが選択肢に表示されます。

変更後の引継ぎIPアドレスを選択します。

1) HELP 4) FREECHOICE

2) RETURN 5) SELECTED(10.34.214.185)

3) NONE 6) 10.34.214.195

Choose a takeover IP address for Gls: 6

4. 選択したIPアドレスが設定されたことを確認し、“SAVE+RETURN”を選択します。

Set a flag for takeover IP address: 10.34.214.195

Currently set:

1) HELP 5) AUTORECOVER(A)

2) -

3) SAVE+RETURN

4) DEFAULT

Choose additonally one of the flags: 3

5. Glsリソースの設定を保存し終了するには、“SAVE+EXIT”を選択してください。

Gls (Gls_APP1:consistent)

1) HELP 5) AdditionalTakeoverIpaddress

2) NO-SAVE+EXIT 6) TakeoverIpaddress[0]=N,10.34.214.195

3) SAVE+EXIT 7) (Timeout=60)

4) REMOVE+EXIT


5. "SAVE+EXIT" を選択し "Application selection menu" に戻った後、"RETURN" を選択し "Main configuration menu" に戻ります。

6. クラスタアプリケーションを構成するSysNodeの変更を行います。

1. "RMS-CreateMachine" を選択します。

2. "ALL-CF-HOSTS" を選択後、"Current set" に変更後の CF ノード名に基づくSysNode 名がすべて表示されている

ことを確認します。

なお、この時点では、変更前の CF ノード名に基づく SysNode 名も同時に表示されますが、後述の手順9 で不要

な SysNode 名を削除します。

- 461 -

3. "RETURN" を選択します。

4. "Application-Edit" を選択します。

5. "APP1" を選択します。

6. "Machines+Basics(app1)" を選択します。

7. "Machines[0]" を選択し、変更後の CF ノード名に基づく SysNode 名を設定します。続けて、"Machines[1]" も同様

に設定します。

8. "SAVE+EXIT" ⇒ "SAVE+EXIT" ⇒ "RETURN" と順番に選択し、hvw コマンド起動直後のメニューに戻ります。

9. "RMS-RemoveMachine" を選択後、不要な SysNode 名を順番に選択し、"Current set" に変更後の CF ノード名に

基づく SysNode 名だけが表示されるようにした後、"RETURN" を選択します。

7. "Configuration-Generate" と "Configuration-Activate" を順番に実行し、それぞれの操作が正常に終了したことを確認しま

す。

8. "QUIT" を選択し、hvw コマンドを終了します。

2. すべてのノードで必要に応じて以下を実行し、RMSの自動起動を設定します。




3. RMSを起動します。いずれかの1ノードで以下の操作を実施してください。

# hvcm -a

L.3.7.2 引継ぎネットワークを使用している場合

1. 引継ぎネットワークの業務LANのIPアドレスとホスト名の変更

すべてのノードで /usr/opt/reliant/etc/hvipalias ファイルを変更します。

参照

hvipalias ファイルの設定内容については、”6.7.3.6 引継ぎネットワークリソースの設定”を参照ください。

必要に応じて、下記のエントリを変更してください。

<node name> : 本フィールドの値を変更後のCFノード名に変更してください。

<takeover> : 引継ぎIPアドレスに関連付けられたホスト名を変更した場合は、このホスト名を変更します。

2. クラスタアプリケーション情報の変更

1. RMS Wizard にて設定を変更するため、いずれかのノードで hvw コマンドを実行します。

# hvw -n config

2. "Main configuration menu"の"Application-Edit" を選択します。

fuji4: Main configuration menu, current configuration: config










- 462 -


Choose an action: 4

3. "Application selection menu" で"APP1" を選択します。


1) HELP

2) QUIT

3) RETURN

4) OPTIONS

5) APP1

Application Name: 5

4. 引継ぎネットワークリソースのホスト名の設定を変更します。

この時の画面に小文字のリソース Adr_APP1 が表示されていない場合は、 "OPTIONS" を選択した

後、"ShowAllAvailableWizards" を選択し Adr_APP1 が表示されるようにしてから選択してください。

1. "turnkey wizard" で "IpAddresses" を選択します。












2. "Ipaddresses and ipaliase" メニューが表示されます。変更対象のホスト名が設定されている Interfaces[X] を選択しま

す。


Yet to do: specify ping hosts of an interface using its P flag

Settings of application type "Ipaddress" (consistent)

1) HELP 9) Interfaces[1]=V:takeover

2) NO-SAVE+EXIT 10) PingHostPool[0]=pinghost1

3) SAVE+EXIT 11) PingHostPool[1]=pinghost2

4) ApplicationName=Adr_APP1 12) SubApplications[0]=Lfs_APP1

5) AdditionalInterface 13) (NeedAll=yes)

6) AdditionalPingHost 14) (Timeout=60)

7) AdditionalSubApplication 15) (InterfaceFilter=)

8) Interfaces[0]=V:tussd2af


3. 表示されたメニューから引継ぎIPアドレスに関連付けられた変更後のホスト名を選択します。

(/etc/hosts ファイルのホスト名すべてが選択肢に表示されます。)

4. "SAVE+RETURN" を選択します。

5. 変更箇所のホスト名が正しいことを Interfaces[X] の設定値から確認します。

変更対象が複数ある場合は、手順2 から手順4 を変更対象の分だけ繰り返します。

すべて変更したら"SAVE+RETURN" を選択します。

6. "SAVE+EXIT" を選択します。

7. "RETURN"を選択します。

- 463 -

5. クラスタアプリケーションを構成するSysNodeの変更を行います。

1. "RMS-CreateMachine" を選択します。

2. "ALL-CF-HOSTS" を選択後、"Current set" に変更後の CF ノード名に基づくSysNode 名がすべて表示されている

ことを確認します。

なお、この時点では、変更前の CF ノード名に基づく SysNode 名も同時に表示されますが、後述の手順9 で不要

な SysNode 名を削除します。

3. "RETURN" を選択します。

4. "Application-Edit" を選択します。

5. "APP1" を選択します。

6. "Machines+Basics(app1)" を選択します。

7. "Machines[0]" を選択し、変更後の CF ノード名に基づく SysNode 名を設定します。続けて、"Machines[1]" も同様

に設定します。

8. "SAVE+EXIT" ⇒ "SAVE+EXIT" ⇒ "RETURN" と順番に選択し、hvw コマンド起動直後のメニューに戻ります。

9. "RMS-RemoveMachine" を選択後、不要な SysNode 名を順番に選択し、"Current set" に変更後の CF ノード名に

基づく SysNode 名だけが表示されるようにした後、"RETURN" を選択します。

6. "Configuration-Generate" と "Configuration-Activate" を順番に実行し、それぞれの操作が正常に終了したことを確認しま

す。

7. "QUIT" を選択し、hvw コマンドを終了します。

3. すべてのノードで必要に応じて以下を実行し、RMSの自動起動を設定します。




4. RMSを起動します。いずれかの1ノードで以下の操作を実施してください。

# hvcm -a

- 464 -

付録M バージョン毎の変更点

本章では、PRIMECLUSTER 4.4A00の仕様変更点について説明します。

以下の表に変更点の一覧を示します。

表M.1 変更点一覧

種別項目バージョン

非互換コマンド clgettree(1)コマンド (変更前) PRIMECLUSTER 4.1A20以前

(変更後) PRIMECLUSTER 4.4A00

hvdispコマンド (変更前) PRIMECLUSTER 4.1A20以前


ciptoolコマンド (変更前) PRIMECLUSTER 4.1A30以前


sdtoolコマンド (変更前) PRIMECLUSTER 4.3A10以前


hvshutコマンド (変更前) PRIMECLUSTER 4.3A20以前


hvswitchコマンド (変更前) PRIMECLUSTER 4.3A20以前


hvdumpコマンド (変更前) PRIMECLUSTER 4.3A30以前


非互換機能リソースの故障/回復の通知 (変更前) PRIMECLUSTER 4.1A20以降～

4.3A30以前


オペレータ介入要求 (変更前) PRIMECLUSTER 4.3A30以前


シャットダウン機構 (変更前) PRIMECLUSTER 4.0A20


クラスタアプリケーションの設定 (変更前) PRIMECLUSTER 4.0A20


クラスタアプリケーションの変更 (変更前) PRIMECLUSTER 4.0A20


メインCFテーブルの状態 (変更前) PRIMECLUSTER 4.0A20


shutdown時のRMSのノード状態 (変更前) PRIMECLUSTER 4.1A20以前


クラスタアプリケーションの設定と変更時の

操作方法と表示内容

(変更前) PRIMECLUSTER 4.1A30以前


Fsystemリソースの設定 (変更前) PRIMECLUSTER 4.3A30以前


Web-Based Admin Viewのクライアント環境

の変更


- 465 -

種別項目バージョン


CF起動時の動作の変更 (変更前) PRIMECLUSTER 4.3A00以前


HV_CONNECT_TIMEOUT (変更前) PRIMECLUSTER 4.3A00以前


RMSが使用するポートの変更 (変更前) PRIMECLUSTER 4.3A10以前


IPMIシャットダウンエージェントの設定 (変更前) PRIMECLUSTER 4.2A00以降～

4.3A20以前


シャットダウン機構が使用するポート番号

の変更



PRIMEQUESTのKVM環境で管理OS異

常切替機能を使用する場合の設定

(変更前) PRIMECLUSTER 4.3A10以降～

4.3A40以前


ハートビート異常検出時の強制停止対象

ノードの変更



リソースの故障形跡の表示 (変更前) PRIMECLUSTER 4.3A30以前


/etc/cip.cf ファイルの変更 (変更前) PRIMECLUSTER 4.3A30以前


CFウィザードのCF over IP設定画面の変更 (変更前) PRIMECLUSTER 4.3A40以前


KVM環境でマイグレーション機能を使用

する場合の設定

(変更前) PRIMECLUSTER 4.3A40


非互換メッセージ RMSメッセージの変更 (変更前) PRIMECLUSTER 4.3A00以前


RMSウィザードメッセージの重要度の変更 (変更前) PRIMECLUSTER 4.3A00以前


RMSコンソールメッセージの変更 (変更前) PRIMECLUSTER 4.3A20以前


オペレータ介入要求の応答メッセージの変

更



M.1 PRIMECLUSTER 4.0A20から4.4A00への変更点

■非互換コマンド

PRIMECLUSTER 4.4A00において、4.0A20から非互換となるコマンドは以下のとおりです。

・ M.1.1 clgettree(1)コマンド

・ M.1.2 hvdispコマンド

- 466 -

・ M.1.3 ciptoolコマンド

・ M.1.4 sdtoolコマンド

・ M.1.5 hvshutコマンド

・ M.1.6 hvswitchコマンド

・ M.1.7 hvdumpコマンド

■非互換機能

PRIMECLUSTER 4.4A00において、4.0A20から非互換となる機能は以下のとおりです。

・ M.1.8 オペレータ介入要求

・ M.1.9 シャットダウン機構

・ M.1.10 クラスタアプリケーションの設定

・ M.1.11 クラスタアプリケーションの変更

・ M.1.12 メインCFテーブルの状態

・ M.1.13 shutdown時のRMSのノード状態

・ M.1.14 クラスタアプリケーションの設定と変更時の操作方法と表示内容

・ M.1.15 Fsystemリソースの設定

・ M.1.16 Web-Based Admin Viewのクライアント環境

・ M.1.17 CF起動時の動作

・ M.1.18 HV_CONNECT_TIMEOUT

・ M.1.19 RMSが使用するポートの変更

・ M.1.20 シャットダウン機構が使用するポート番号の変更

・ M.1.21 ハートビート異常検出時の強制停止対象ノードの変更

・ M.1.22 リソースの故障形跡の表示

・ M.1.23 /etc/cip.cf ファイルの変更

・ M.1.24 CFウィザードのCF over IP設定画面の変更

■非互換メッセージ

PRIMECLUSTER 4.4A00において、4.0A20から非互換となるメッセージは以下のとおりです。

・ M.1.25 RMSメッセージの変更

・ M.1.26 RMSウィザードメッセージの重要度の変更

・ M.1.27 RMSコンソールメッセージの変更

・ M.1.28 オペレータ介入要求の応答メッセージの変更

M.1.1 clgettree(1)コマンド

【非互換内容】

clgettree(1)コマンドが出力するClusterクラスのリソース名が変更されています。

【変更点】

変更前 [PRIMECLUSTER 4.0A20]

リソース管理機構の初期構成設定を行うと“cluster”の固定文字列となります。

- 467 -

変更後 [PRIMECLUSTER 4.4A00]

リソース管理機構の初期構成設定を行うとCFクラスタ名と同じになります。

【注意事項】

特にありません。

M.1.2 hvdispコマンド

【非互換内容1】

“hvdisp -a”または“hvdisp -u”が出力する各リソースの“Type”の文字数が変更されています。

【変更点】


各リソースの“Type”の内容が後まで出力されます。


各リソースの“Type”の内容が後まで出力されない場合があります。

各リソースの“Type”は、“hvdisp リソース名”で出力する“Resource Type”の内容で確認することができます。

【注意事項】



StateDetails 情報が表示されるように変更されています。

【変更点】


StateDetails 情報が表示されません。


StateDetails 情報が表示されます。

【注意事項】


M.1.3 ciptoolコマンド


/usr/binへのシンボリックリンクがなくなりました。

【変更点】


/usr/binにciptoolコマンドのシンボリックリンクを作成しています。


/usr/binへのciptoolコマンドのシンボリックリンクを作成してません。

【注意事項】

ciptoolコマンドを使用する場合は、/opt/SMAW/SMAWcf/bin/ciptoolをフルパスで指定して実行してください。

- 468 -

M.1.4 sdtoolコマンド


“sdtool -s”または“sdtool -C”で表示する文字数が変更されています。

【変更点】


“sdtool -s”の“Agent”で表示する文字数は、14文字(空白含む)です。

“sdtool -C”の“Admin IP”で表示する文字数は、16文字(空白含む)です。



シャットダウン機構の管理LANのIPアドレスに、IPv6アドレスを使用している場合、“sdtool -C”の“Admin IP”で表示する文字数は、

40文字(空白含む)です。IPv4アドレスの場合は、従来どおりの文字数で表示します。

【注意事項】


M.1.5 hvshutコマンド


hvshutコマンドのタイムアウト時間を指定する環境変数RELIANT_SHUT_MIN_WAITのデフォルト値を、900(秒)から2147483647(秒)に変更しました。この変更により、環境変数がデフォルト値のままであっても、コマンドがタイムアウトしないようになりました。

ポイント

hvshutコマンドのタイムアウト時にRMSは異常終了するため、クラスタアプリケーション配下のリソースが停止せず起動したままになる場

合があります。

この状態にて、他のノードでRMSを起動し、クラスタアプリケーションを強制的に起動すると、リソースが複数ノード上で同時に起動して

いる状態となり、リソースで共用ディスクの制御を行っている場合、データ破壊が発生するおそれがあります。

【変更点】


環境変数RELIANT_SHUT_MIN_WAITがデフォルト値のままの環境で、hvshutコマンドによるリソースの停止処理が900秒以内に

完了しない場合、コマンドはタイムアウトし、RMSは異常終了します。このとき、リソースは停止せず起動したままになります。


環境変数RELIANT_SHUT_MIN_WAITがデフォルト値のままの環境では、hvshutコマンドによるリソースの停止処理が完了しない

場合でも、コマンドはタイムアウトしません。

【注意事項】

RMSを使用する場合、この環境変数は必ず構成設定に応じた値に変更してください。

M.1.6 hvswitchコマンド


クラスタアプリケーションの強制起動時(-fオプション使用時)に、RMSが起動していないノードがクラスタ内に存在する状態でクラスタア

プリケーションを起動すると、データが破損するリスクがあります。そのため、クラスタアプリケーションを強制起動する前に、RMSが起

動していないノードを強制停止する機能を追加しました。

- 469 -

【変更点】


-fオプション使用時に、RMSが起動していないノードがクラスタ内に存在し、データが破損する可能性がある場合でも、RMSはクラ

スタアプリケーションを強制起動します。


-fオプション使用時に、RMSが起動していないノードがクラスタ内に存在する場合、データが破損するリスクを低減するため、RMSは起動していないノードを強制停止してから、クラスタアプリケーションを強制起動します。ただし、ノードの強制停止に失敗した場

合、クラスタアプリケーションの強制起動は行いません。

【注意事項】

-fオプションを使用する場合は、“クラスタアプリケーションの強制切替えに関する注意”を確認してから行ってください。

M.1.7 hvdumpコマンド


hvdump(1M)コマンド実行時に使用するデフォルトの作業用ディレクトリが変更されています。

【変更点】


デフォルトの作業用ディレクトリとして、/tmp が使用されます。


デフォルトの作業用ディレクトリとして、/var/tmp が使用されます。

【注意事項】


M.1.8 オペレータ介入要求


クラスタアプリケーションの強制起動時に、RMSが起動していないノードが存在する場合、そのままクラスタアプリケーションを起動する

とデータが破損するリスクがあります。

そのため、クラスタアプリケーションを強制起動する前にRMSが起動していないノードを強制停止する機能を追加しました。

【変更点】


クラスタアプリケーションの強制起動時に、RMSが起動していないノードがクラスタ内に存在し、データが破損する可能性がある場

合でも、ユーザの操作に従いクラスタアプリケーションを強制起動します。


クラスタアプリケーションの強制起動時にデータが破損するリスクを低減するため、RMS が起動していないノードを強制停止してか

らクラスタアプリケーションを強制起動します。

【注意事項】

“PRIMECLUSTER 活用ガイド＜メッセージ集＞”の“4.2 応答（QUESTION）メッセージ”を一読してください。

M.1.9 シャットダウン機構

- 470 -


PRIMECLUSTER 4.4A00では、シャットダウン機構の設定として“SFのノードの重み”を新たに追加しています。PRIMECLUSTER4.0A20と同じ生存優先度にするためには、すべてのノードの“SFのノードの重み”に1を指定してください。詳細は、“5.1.2 シャットダウ

ン機構の設定”を参照してください。

【変更点】


生存優先度は、“userApplicationの ShutdownPriority”によって決定されます。


生存優先度は、“userApplicationの ShutdownPriority”と“SFのノードの重み”によって決定されます。

【注意事項】


M.1.10 クラスタアプリケーションの設定


PRIMECLUSTER 4.4A00 でスタンバイ運用のクラスタアプリケーションを使用している場合、 StandbyTransition 属性に、

“ClearFaultRequest|StartUp|SwitchRequest”を設定してください。本設定を行うことで、以下の場合にPRIMECLUSTER 4.0A20と同じ

く、Standbyの状態遷移を行います。

・ Faulted 状態のクラスタアプリケーションを運用状態にした場合

・クラスタアプリケーションを起動した場合

・クラスタアプリケーションを切替えた場合

クラスタアプリケーションの設定の詳細は、“6.7 クラスタアプリケーションの設定”を参照してください。

【変更点】


ホットスタンバイ運用をサポートするリソースが存在する場合、Standbyの状態遷移を行います。


ホットスタンバイ運用をサポートするリソースが存在する場合で、StandbyTransition属性に、“ClearFaultRequest|StartUp|SwitchRequest”を設定した場合のみ、Standbyの状態遷移を行います。

【注意事項】


M.1.11 クラスタアプリケーションの変更


RMS動作中にhvwコマンドを実行した場合、PRIMECLUSTER 4.0A20で表示していた以下のメニューが表示されません。

・ Application-Create

・ Application-Edit

・ Application-Remove

・ Configuration-Activate

クラスタアプリケーションの変更を行う場合、hvwコマンド実行前にRMSを停止する必要があります。これは、PRIMECLUSTER 4.0A20でも同様です。

- 471 -

RMSを停止後にhvwコマンドを実行した場合、PRIMECLUSTER 4.0A20と同じメニューを表示します。

【変更点】


RMS動作中にhvwコマンドを実行した場合、以下のメニューが表示されます。






RMS動作中にhvwコマンドを実行した場合、以下のメニューが表示されません。





【注意事項】

クラスタアプリケーションの変更を行う場合、hvwコマンド実行前にRMSを停止する必要があります。これは、PRIMECLUSTER 4.0A20でも同様です。


M.1.12 メインCFテーブルの状態


PRIMECLUSTER 4.4A00では、メインCFテーブルのローカルノードの状態として“INVALID”が新規追加されています。

メインCFテーブルの詳細については、“PRIMECLUSTER Cluster Foundation 導入運用手引書”の“4 GUI管理”を参照してください。

【変更点】


ノードの構成が無効な場合、メインCFテーブルのローカルノードの状態には“UNCONFIGURED”または“UNKNOWN”が表示さ

れます。


ノードの構成が無効な場合、メインCFテーブルのローカルノードの状態には“INVALID”が表示されます。

【注意事項】


M.1.13 shutdown時のRMSのノード状態


全ノードが停止した状態から任意のノードを起動した際、hvdisp(1M)コマンドやRMSメインウィンドウに出力される、クラスタに参入して

いないノード(SysNode)の状態表示が変更されています。

- 472 -

【変更点】


クラスタに参入していないノードの状態は、Offlineとなります。


クラスタに参入していないノードの状態は、Faultedとなります。

Faultedの原因が、ノードがクラスタに参入していないためか、Panic等によってノードが異常停止したためかは、hvdisp(1M)コマンド

やRMSメインウィンドウに出力されるノード(SysNode)の、状態の詳細情報(StateDetails属性の値)を参照することで識別できます。

状態(State) 状態の詳細情報

(StateDetails)

ノードがクラスタに参入していない場合 Faulted Shutdown

Panic等によるノードの異常停止の場合 Faulted Killed

【注意事項】


M.1.14 クラスタアプリケーションの設定と変更時の操作方法と表示内容


userApplicationの作成とプロシジャリソースの作成と変更方法、表示内容が変更されています。

【変更点】

1. スタンバイ運用のuserApplicationの作成


“Application type selection menu”の“CRM”を選択することで作成します。


“Application type selection menu”に“CRM”は表示されません。

スタンバイ運用のuserApplicationを作成する場合、“Application type selection menu”の“STANDBY”を選択します。

- 473 -

2. スケーラブル運用のuserApplicationの作成


“Application type selection menu”の“Controller”を選択することで作成します。



スケーラブル運用のuserApplicationを作成する場合、“Application type selection menu”の“SCALABLE”を選択します。

- 474 -

3. プロシジャリソースの作成


“turnkey wizard "CRM"”で“CRM”を選択後、リソースクラス名を選択することで作成および変更を行います。

※以下はBasicApplicationクラスのプロシジャリソースをuserApplicationに登録する例です。

- 475 -


“turnkey wizard "CRM"”が表示されません。

プロシジャリソースの作成および変更を行う場合、“turnkey wizard "STANDBY"”で“Procedure:リソースクラス名”を選択します。


4. プロシジャリソースのタイムアウト値の変更


“Flags[0]=OTタイムアウト時間”を選択後、“SCRIPTTIMEOUT”を選択することで変更します。


“Flags[0]=OTタイムアウト時間”は表示されません。

タイムアウト値を変更する場合、“TIMEOUT”を選択します。

- 476 -

5. プロシジャリソースのリソースクラス内優先度の変更


“Priority[0]=優先度”を選択することで変更します。


“Priority[0]=優先度”は表示されません。

リソースクラス内優先度を変更する場合、“PRIORITY”を選択します。

- 477 -

【注意事項】


M.1.15 Fsystemリソースの設定


Fsystemリソースとして使用するファイルシステムのマウントポイントを定義するファイルが変更されています。

【変更点】


/etc/fstabファイルにマウントポイントを定義していました。


/etc/fstab.pclファイルにマウントポイントを定義する必要があります。詳細については“6.7.3.2 Fsystemリソースの設定”を参照してく

ださい。

【注意事項】


M.1.16 Web-Based Admin Viewのクライアント環境


PRIMECLUSTER 4.4A00ではWeb-Based Admin Viewのクライアント環境としてLinux(R)をサポートしません。

【変更点】


Web-Based Admin Viewのクライアント環境としてLinux(R)をサポートします。


Web-Based Admin Viewのクライアント環境としてLinux(R)をサポートしません。

【注意事項】


- 478 -

M.1.17 CF起動時の動作


クラスタインタコネクトを構成する複数のネットワークインタフェースのうち、一部が認識できない場合でも、CFが起動するようになりまし

た。

【変更点】


クラスタインタコネクトを構成するすべてのネットワークインタフェースが認識できない場合、CFは起動しません。


クラスタインタコネクトを構成するネットワークインタフェースのうち、少なくとも1つが認識できた場合、CFは起動します。

【注意事項】

起動時に認識できないネットワークインタフェースがあった場合、以下のメッセージが出力されます。

CF: <NIC>: device not found.

<NIC>には、ネットワークインタフェース名が入ります(例: eth0)。

なお、このメッセージは4.0A20でも出力されます。

M.1.18 HV_CONNECT_TIMEOUT


RMS ローカル環境変数 HV_CONNECT_TIMEOUT のデフォルト値が変更となりました。

【変更点】


HV_CONNECT_TIMEOUT のデフォルト値は 5(秒)です。



【注意事項】

HV_CONNECT_TIMEOUTの詳細については、“PRIMECLUSTER RMS 導入運用手引書”の“13.3 RMS ローカル環境変数”を参照


M.1.19 RMSが使用するポートの変更


RMSが使用するポートが変更されています。

【変更点】


ポート番号:11111を使用します。


ポート番号:11111は使用しません。

【注意事項】


- 479 -

M.1.20 シャットダウン機構が使用するポート番号の変更


シャットダウン機構が使用するポート番号が変更されています。

【変更点】



sfadv 2316/udp # SMAWsf package




【注意事項】


M.1.21 ハートビート異常検出時の強制停止対象ノードの変更


高負荷などの一時的な原因でハートビート異常を検出した場合に、強制停止するノードの選択方法が変更されています。

【変更点】


高負荷などが原因で、CFが一時的に動作できない状態となりハートビート異常を検出した場合、CFが動作できない状態となって

いたノードではなく、シャットダウン機構の生存優先度が低いノードを強制停止します。



いたノードを強制停止します。

【注意事項】


M.1.22 リソースの故障形跡の表示


リソース故障時の故障リソースオブジェクトのStateDetails の表示が変更になります。これにより故障リソースが判別できるようになりまし

た。

【変更点】


StateDetails 情報は表示されません。


リソース故障時のOffline 処理完了後、故障したリソースオブジェクトのStateDetails には、Fault Occurred が表示されます。

【注意事項】


- 480 -

M.1.23 /etc/cip.cf ファイルの変更


/etc/cip.cf で設定できる項目に変更があります。

【変更点】


CIPのインタフェースには、IPv4アドレスを設定する場合、ifconfigなどの設定コマンドに指定するオプションを指定することができま

す。


CIPのインタフェースには、IPv4アドレスを設定する場合、IPアドレスとネットマスク値のみを指定することができます。

【注意事項】


M.1.24 CFウィザードのCF over IP設定画面の変更


PRIMECLUSTER 4.4A00ではCFウィザードのCF over IP設定画面で"サブネットの自動グループ化"チェックボックスが廃止され、"ブロードキャストを使用する"チェックボックスが追加されました。

【変更点】


CFウィザードのCF over IP設定画面の"サブネットの自動グループ化"チェックボックスにより自動グループ化の使用有無を制御しま

す。


CFウィザードのCF over IP設定画面の"ブロードキャストを使用する"チェックボックスによりCF over IPでのブロードキャストの使用有

無を制御します。

【注意事項】


M.1.25 RMSメッセージの変更


syslog ファイルに記録されるRMSメッセージ：(SYS, 8)が変更されています。

【変更点】


(SYS, 8): ERROR: RMS failed to shut down the host <host> via a Shutdown Facility, no further kill functionality is available.

The cluster is now hung.



The cluster is now hung. An operator intervention is required.

【注意事項】


- 481 -

M.1.26 RMSウィザードメッセージの重要度の変更


以下のRMSウィザードメッセージの重要度が変更されています。

【変更点】


WARNING: cannot grab mount lock for dostat() check_getbdev(), returning previous state


NOTICE: cannot grab mount lock for dostat() check_getbdev(), returning previous state

【注意事項】


M.1.27 RMSコンソールメッセージの変更


“M.1.6 hvswitchコマンド”の機能追加に伴い、hvswitch -fコマンド実行時に表示されるRMSのコンソールメッセージが変更されていま

す。

【変更点】


The use of the -f (force) flag could cause your data to be corrupted and could cause your node to be killed. Do not continue if the resultof this forced command is not clear.

The use of force flag of hvswitch overrides the RMS internal security mechanism. In particular RMS does no longer prevent resources,which have been marked as "ClusterExclusive", from coming Online on more than one host in the cluster.It is recommended to doublecheck the state of all affected resources before continuing.

Do you wish to proceed ? (default: no) [yes, no]:



The use of force flag of hvswitch overrides the RMS internal security mechanism. In particular RMS does no longer prevent resources,which have been marked as "ClusterExclusive", from coming Online on more than one host in the cluster. It is recommended to doublecheck the state of all affected resources before continuing.




【注意事項】


M.1.28 オペレータ介入要求の応答メッセージの変更

M.1.28.1

メッセージ：1421

- 482 -


オペレータ介入要求の1421番の応答メッセージが変更されています。

【変更点】


1421 The userApplication " userApplication " did not start automatically because not all of the nodes where it can run are online.Do you want to force the userApplication online on the SysNode " SysNode"?Message No.:numberDo you want to do something? (no/yes) Warning:Forcing a userApplication online ignores potential error conditions. Used improperly,it can result in data corruption. You should not use it unless you are certain that the userApplication is not running anywhere in thecluster.

クラスタアプリケーション " userApplication " は、クラスタアプリケーションを構成するすべての SysNode が所定時間内に起動しな

かったため、自動起動しませんでした。

クラスタアプリケーションを SysNode " SysNode " で強制起動しますか ? (no/yes) メッセージ番号: number警告:クラスタアプリケーションの強制起動は安全性チェックが無効になります。使い方を誤ると、データが破損したり整合性が失わ

れる場合があります。強制起動するクラスタアプリケーションが、クラスタ内でオンラインでないことを確認した上で実行してください。


1421 The userApplication " userApplication " did not start automatically because not all of the nodes where it can run are online.Forcing the userApplication online on the SysNode "SysNode" is possible.Warning: When performing a forced online, confirm that RMS is started on all nodes in the cluster, manually shutdown any nodeswhere it is not started and then perform it.For a forced online, there is a risk of data corruption due to simultaneous access from several nodes. In order to reduce the risk, nodeswhere RMS is not started maybe forcibly stopped.Are you sure wish to force online? (no/yes) Message No: number

クラスタアプリケーション "userApplication" は、クラスタアプリケーションを構成するすべての SysNode が所定時間内に起動しなかっ

たため、自動起動しませんでした。


警告: 強制起動を行う場合、クラスタを構成するすべてのノードでRMSが起動しているか確認し、起動していないノードは、手動で

シャットダウンしてから行ってください。強制起動では、複数ノードからの同時アクセスによるデータ破損のリスクがあります。そのリス

クを低減するため、RMSが起動していないノードを強制停止する場合があります。


【注意事項】

“PRIMECLUSTER 活用ガイド＜メッセージ集＞”の該当メッセージを一読してください。

M.1.28.2




【変更点】


1423 On the SysNode " SysNode ", the userApplication " userApplication " has the faulted resource " resource ". The userApplication" userApplication " did not start automatically because not all of the nodes where it can run are online.Do you want to force the userApplication online on the SysNode " SysNode "?Message No.:numberDo you want to do something? (no/yes) Warning:Forcing a userApplication online ignores potential error conditions. Used improperly,it can result in data corruption. You should not use it unless you are certain that the userApplication is not running anywhere in thecluster.

- 483 -

SysNode " SysNode " のクラスタアプリケーション "userApplication" は、リソース "resource" が故障しています。クラスタアプリケー

ション "userApplication" は、すべての SysNode が所定時間内に起動しなかったため、自動起動しませんでした。

クラスタアプリケーションを SysNode "SysNode" で強制起動しますか? (no/yes) メッセージ番号: number警告:クラスタアプリケーションの強制起動は安全性チェックが無効になります。使い方を誤ると、データが破損したり整合性が失わ



1423 On the SysNode " SysNode ", the userApplication " userApplication " has the faulted resource " resource ". The userApplication" userApplication " did not start automatically because not all of the nodes where it can run are online.Forcing the userApplication online on the SysNode "SysNode" is possible.Warning: When performing a forced online, confirm that RMS is started on all nodes in the cluster, manually shutdown any nodeswhere it is not started and then perform it.

For a forced online, there is a risk of data corruption due to simultaneous access from several nodes. In order to reduce the risk, nodeswhere RMS is not started maybe forcibly stopped.

Are you sure wish to force online? (no/yes) Message No: number



クラスタアプリケーションを SysNode " SysNode " で強制起動できます。





【注意事項】





・ M.2.1 clgettree(1)コマンド

・ M.2.2 hvdispコマンド






■非互換機能


・ M.2.8 リソースの故障/回復の通知


・ M.2.10 shutdown時のRMSのノード状態




- 484 -















M.2.1 clgettree(1)コマンド


clgettree(1)コマンドが出力するClusterクラスのリソース名が変更されています。

【変更点】


リソース管理機構の初期構成設定を行うと“cluster”の固定文字列となります。


リソース管理機構の初期構成設定を行うとCFクラスタ名と同じになります。

【注意事項】


M.2.2 hvdispコマンド


“hvdisp -a”または“hvdisp -u”が出力する各リソースの“Type”の文字数が変更されています。

【変更点】


各リソースの“Type”の内容が後まで出力されます。


各リソースの“Type”の内容が後まで出力されない場合があります。

各リソースの“Type”は、“hvdisp リソース名”で出力する“Resource Type”の内容で確認することができます。

【注意事項】


- 485 -


StateDetails 情報が表示されるように変更されています。

【変更点】


StateDetails 情報が表示されません。


StateDetails 情報が表示されます。

【注意事項】





【変更点】





【注意事項】





【変更点】








【注意事項】



- 486 -



ポイント





【変更点】







【注意事項】







【変更点】







【注意事項】

-fオプションを使用する場合は、“7.5.1 クラスタアプリケーションの強制切替えに関する注意”を確認してから行ってください。




- 487 -

【変更点】





【注意事項】


M.2.8 リソースの故障/回復の通知


PRIMECLUSTER 4.4A00では、インストール時のデフォルト設定が、リソースの故障/回復を通知する設定になっています。詳細は、

“5.2 故障リソース特定とオペレータ介入要求の設定”を参照してください。

メッセージ番号メッセージ概要

2700 リソース故障の回復

2701 ノード故障の回復

6750 リソース故障

6751 ノード故障

【変更点】


インストール時のデフォルト設定でリソースの故障/回復が通知されません。クラスタインストール時のAppWatchのデフォルト値は

OFFで、リソースの故障/回復は通知されません。


インストール時のデフォルト設定でリソースの故障/回復が通知されます。clsetparamでAppWatchパラメタをOFFに設定した場合の

み、リソースの故障/回復が通知されません。

【注意事項】

clsetparamでAppWatchパラメタを変更した場合、設定を有効にするためには、すべてのノードでOSの再起動が必要です。






【変更点】







- 488 -

【注意事項】



クラスタインストール時のデフォルト設定で、オペレータ介入要求が動作します。詳細は、“5.2 故障リソース特定とオペレータ介入要求

の設定”を参照してください。

【変更点】


インストール時のデフォルト設定でオペレータ介入要求は動作しません。クラスタインストール時のAppWatchのデフォルト値はOFFで、オペレータ介入要求は動作しません。


インストール時のデフォルト設定でオペレータ介入要求が動作します。clsetparamでAppWatchパラメタをOFFに設定した場合のみ、

オペレータ介入要求が動作しません。

【注意事項】


M.2.10 shutdown時のRMSのノード状態


全ノードが停止した状態から任意のノードを起動した際、hvdisp(1M)コマンドやRMSメインウィンドウに出力される、クラスタに参入して

いないノード(SysNode)の状態表示が変更されています。

【変更点】


クラスタに参入していないノードの状態は、Offlineとなります。


クラスタに参入していないノードの状態は、Faultedとなります。

Faultedの原因が、ノードがクラスタに参入していないためか、Panic等によってノードが異常停止したためかは、hvdisp(1M)コマンド

やRMSメインウィンドウに出力されるノード(SysNode)の、状態の詳細情報(StateDetails属性の値)を参照することで識別できます。

状態(State) 状態の詳細情報

(StateDetails)

ノードがクラスタに参入していない場合 Faulted Shutdown

Panic等によるノードの異常停止の場合 Faulted Killed

【注意事項】





- 489 -

【変更点】










- 490 -








- 491 -








- 492 -







- 493 -




【注意事項】





【変更点】





ださい。

- 494 -

【注意事項】





【変更点】





【注意事項】





た。

【変更点】





【注意事項】








【変更点】





- 495 -

【注意事項】






【変更点】





【注意事項】





【変更点】







【注意事項】





【変更点】







- 496 -

【注意事項】





た。

【変更点】


StateDetails 情報は表示されません。



【注意事項】





【変更点】



す。



【注意事項】





【変更点】



す。




- 497 -

【注意事項】





【変更点】







【注意事項】





【変更点】





【注意事項】





す。

【変更点】





- 498 -







【注意事項】



M.2.25.1




【変更点】
















- 499 -

【注意事項】


M.2.25.2




【変更点】


















【注意事項】







- 500 -




■非互換機能
























【変更点】





【注意事項】


- 501 -




【変更点】








【注意事項】





ポイント





【変更点】







【注意事項】







- 502 -

【変更点】







【注意事項】





【変更点】





【注意事項】











【変更点】







- 503 -

【注意事項】







【変更点】







【注意事項】





【変更点】






【注意事項】





【変更点】




- 504 -







- 505 -








- 506 -








- 507 -







- 508 -




【注意事項】





【変更点】





ださい。

- 509 -

【注意事項】



共用ディスク装置を使用する場合、監視用ディスク領域が不要になりました。

【変更点】


監視用ディスク領域を確保する必要がありました。


監視用ディスク領域を確保し、FsystemリソースとしてuserApplication に登録する必要がなくなりました。ただし、前バージョンから移

行した場合には、監視用ディスク領域をFsystemリソースとしてuserApplication に登録した構成でも運用できます。

【注意事項】





【変更点】





【注意事項】





た。

【変更点】





【注意事項】




- 510 -





【変更点】





【注意事項】






【変更点】





【注意事項】





【変更点】







- 511 -

【注意事項】





【変更点】







【注意事項】





た。

【変更点】


リソース故障時のOffline 処理完了後、故障したリソースオブジェクトのStateDetails には、何も表示されません。



【注意事項】





【変更点】



す。



- 512 -

【注意事項】





【変更点】



す。




【注意事項】





【変更点】







【注意事項】





【変更点】





- 513 -

【注意事項】





す。

【変更点】











【注意事項】



M.3.22.1




【変更点】



- 514 -














【注意事項】


M.3.22.2




【変更点】










- 515 -









【注意事項】









■非互換機能








・ RM.4.11 RMSが使用するポートの変更












- 516 -




【変更点】








【注意事項】





ポイント





【変更点】







【注意事項】







- 517 -

【変更点】







【注意事項】





【変更点】





【注意事項】











【変更点】







- 518 -

【注意事項】







【変更点】







【注意事項】





【変更点】






【注意事項】





【変更点】





ださい。

- 519 -

【注意事項】




【変更点】






【注意事項】





【変更点】





【注意事項】





た。

【変更点】





【注意事項】




- 520 -





【変更点】





【注意事項】






【変更点】





【注意事項】





【変更点】







- 521 -

【注意事項】





【変更点】







【注意事項】





た。

【変更点】





【注意事項】





【変更点】



す。



- 522 -

【注意事項】





【変更点】



す。




【注意事項】





【変更点】







【注意事項】





【変更点】





- 523 -

【注意事項】





す。

【変更点】











【注意事項】



M.4.20.1




【変更点】



- 524 -














【注意事項】


M.4.20.2




【変更点】










- 525 -









【注意事項】









■非互換機能









・ M.5.12 IPMIシャットダウンエージェントの設定











- 526 -





【変更点】








【注意事項】





ポイント





【変更点】







【注意事項】



- 527 -





【変更点】







【注意事項】





【変更点】





【注意事項】











【変更点】




- 528 -




【注意事項】







【変更点】







【注意事項】





【変更点】






【注意事項】





【変更点】



- 529 -



ださい。

【注意事項】




【変更点】






【注意事項】





【変更点】





【注意事項】





た。

【変更点】





- 530 -

【注意事項】








【変更点】





【注意事項】






【変更点】





【注意事項】


M.5.12 IPMIシャットダウンエージェントの設定


IPMIシャットダウンエージェントを使用する場合の設定手順が追加されています。

【変更点】


IPMIシャットダウンエージェントを使用する場合、以下の設定が不要でした。

－ IPMIサービスの設定

－ /etc/opt/SMAW/SMAWsf/SA_ipmi.cfgに設定するIPMI(BMC, iRMC)のパスワードの暗号化

- 531 -


IPMIシャットダウンエージェントを使用する場合、以下の設定が必要です。



【注意事項】





【変更点】







【注意事項】





【変更点】







【注意事項】





た。

- 532 -

【変更点】





【注意事項】





【変更点】



す。



【注意事項】





【変更点】



す。




【注意事項】





- 533 -

【変更点】







【注意事項】





【変更点】





【注意事項】





す。

【変更点】









- 534 -



【注意事項】



M.5.21.1




【変更点】
















【注意事項】


M.5.21.2




- 535 -

【変更点】


















【注意事項】









■非互換機能




- 536 -





















【変更点】








【注意事項】





- 537 -

ポイント





【変更点】







【注意事項】







【変更点】







【注意事項】





【変更点】





- 538 -

【注意事項】











【変更点】







【注意事項】







【変更点】







【注意事項】


- 539 -




【変更点】






【注意事項】





【変更点】






【注意事項】





【変更点】





【注意事項】



- 540 -



た。

【変更点】





【注意事項】








【変更点】


HV_CONNECT_TIMEOUT のデフォルト値は、RHEL-AS版 PRIMECLUSTER では 5(秒)、RHEL5版 PRIMECLUSTER では

30(秒)です。


HV_CONNECT_TIMEOUT のデフォルト値は、OS にかかわらず 30(秒)です。

【注意事項】

RHEL5版 PRIMECLUSTER 4.2A30 から PRIMECLUSTER 4.4A00 に変更する場合、非互換はありません。






【変更点】





【注意事項】


- 541 -




【変更点】









【注意事項】





【変更点】







【注意事項】





【変更点】




- 542 -




【注意事項】





た。

【変更点】





【注意事項】





【変更点】



す。



【注意事項】





【変更点】



す。

- 543 -




【注意事項】





【変更点】







【注意事項】





【変更点】





【注意事項】





す。

【変更点】



- 544 -









【注意事項】



M.6.21.1




【変更点】













- 545 -




【注意事項】


M.6.21.2




【変更点】


















【注意事項】



- 546 -







■非互換機能
























【変更点】






- 547 -



【注意事項】





ポイント





【変更点】







【注意事項】







【変更点】







【注意事項】


- 548 -




【変更点】





【注意事項】











【変更点】







【注意事項】







- 549 -

【変更点】







【注意事項】





【変更点】






【注意事項】





【変更点】






【注意事項】





- 550 -

【変更点】





【注意事項】





た。

【変更点】





【注意事項】








【変更点】


HV_CONNECT_TIMEOUT のデフォルト値は、RHEL-AS版 PRIMECLUSTER では 5(秒)、RHEL5版 PRIMECLUSTER では

30(秒)です。


HV_CONNECT_TIMEOUT のデフォルト値は、OS にかかわらず 30(秒)です。

【注意事項】

RHEL5版 PRIMECLUSTER 4.3A00 から PRIMECLUSTER 4.4A00 に変更する場合、非互換はありません。




- 551 -



【変更点】





【注意事項】





【変更点】









【注意事項】





【変更点】







- 552 -

【注意事項】





【変更点】







【注意事項】





た。

【変更点】





【注意事項】





【変更点】



す。



- 553 -

【注意事項】





【変更点】



す。




【注意事項】





【変更点】







【注意事項】





【変更点】





- 554 -

【注意事項】





す。

【変更点】











【注意事項】



M.7.21.1




【変更点】



- 555 -














【注意事項】


M.7.21.2




【変更点】










- 556 -









【注意事項】









■非互換機能








・ M.8.11 PRIMEQUESTのKVM環境で管理OS異常切替機能を使用する場合の設定












- 557 -

【変更点】








【注意事項】





ポイント





【変更点】







【注意事項】







- 558 -

【変更点】







【注意事項】





【変更点】





【注意事項】











【変更点】







- 559 -

【注意事項】







【変更点】







【注意事項】





【変更点】






【注意事項】





【変更点】






- 560 -

【注意事項】





【変更点】





【注意事項】





【変更点】









【注意事項】





【変更点】




- 561 -




【注意事項】


M.8.11 PRIMEQUESTのKVM環境で管理OS異常切替機能を使用する場合の設定


PRIMECLUSTER 4.4A00では、PRIMEQUESTのKVM環境で管理OS異常切替機能を使用する場合、管理OS(ノード)でもシャットダ

ウン機構の設定が必要になりました。

【変更点】


PRIMEQUESTのKVM環境で管理OS異常切替機能を使用する場合、シャットダウン機構の設定は、ゲストOS(ノード)で実施して

いました。


PRIMEQUESTのKVM環境で管理OS異常切替機能を使用する場合、シャットダウン機構の設定は、ゲストOS(ノード)だけでなく、

管理OS(ノード)でも必要になりました。この設定によって、管理OSに異常が発生したときのゲストOS間によるクラスタ切替え時間が

短縮されます。

設定の詳細は、“5.1.2.5.6 管理OSへの管理OS異常切替機能の設定(PRIMEQUESTのみ)”を参照してください。

【注意事項】





【変更点】







【注意事項】





た。

- 562 -

【変更点】





【注意事項】





【変更点】



す。



【注意事項】





【変更点】



す。




【注意事項】





す。

- 563 -

【変更点】











【注意事項】



M.8.17.1




【変更点】








1421 The userApplication " userApplication " did not start automatically because not all of the nodes where it can run are online.Forcing the userApplication online on the SysNode "SysNode" is possible.Warning: When performing a forced online, confirm that RMS is started on all nodes in the cluster, manually shutdown any nodeswhere it is not started and then perform it.For a forced online, there is a risk of data corruption due to simultaneous access from several nodes. In order to reduce the risk, nodes

- 564 -

where RMS is not started maybe forcibly stopped.Are you sure wish to force online? (no/yes) Message No: number








【注意事項】


M.8.17.2




【変更点】


















- 565 -

【注意事項】








■非互換機能



















ポイント





- 566 -

【変更点】







【注意事項】







【変更点】







【注意事項】





【変更点】





【注意事項】



- 567 -









【変更点】







【注意事項】







【変更点】







【注意事項】





【変更点】



- 568 -




【注意事項】





【変更点】






【注意事項】





【変更点】









【注意事項】





- 569 -

【変更点】







【注意事項】




PRIMECLUSTER 4.4A00では、PRIMEQUESTのKVM環境で管理OS異常切替機能を使用する場合、管理OS(ノード)でもシャットダ

ウン機構の設定が必要になりました。

【変更点】


PRIMEQUESTのKVM環境で管理OS異常切替機能を使用する場合、シャットダウン機構の設定は、ゲストOS(ノード)で実施して

いました。


PRIMEQUESTのKVM環境で管理OS異常切替機能を使用する場合、シャットダウン機構の設定は、ゲストOS(ノード)だけでなく、

管理OS(ノード)でも必要になりました。この設定によって、管理OSに異常が発生したときのゲストOS間によるクラスタ切替え時間が

短縮されます。

設定の詳細は、“5.1.2.5.6 管理OSへの管理OS異常切替機能の設定(PRIMEQUESTのみ)”を参照してください。

【注意事項】





【変更点】







【注意事項】


- 570 -




た。

【変更点】





【注意事項】





【変更点】



す。



【注意事項】





【変更点】



す。




【注意事項】


- 571 -




す。

【変更点】











【注意事項】



M.9.15.1




【変更点】







- 572 -










【注意事項】


M.9.15.2




【変更点】














- 573 -





【注意事項】






■非互換機能












【変更点】





【注意事項】








- 574 -




【変更点】







【注意事項】






【変更点】






【注意事項】





【変更点】






【注意事項】


- 575 -



PRIMECLUSTER 4.4A00では、PRIMEQUESTのKVM環境で管理OS異常切替機能を使用する場合、ゲストOSへSSHログインするた

めのユーザが変更されています。

【変更点】


ゲストOSへSSHログインするためのユーザはroot固定です。


ゲストOSへSSHログインするためのユーザはrootまたは任意のユーザです。

詳細は、“5.1.2.5.6 管理OSへの管理OS異常切替機能の設定(PRIMEQUESTのみ)”を参照してください。

【注意事項】





た。

【変更点】





【注意事項】





【変更点】



す。



【注意事項】


- 576 -




【変更点】



す。




【注意事項】



■非互換機能




・ M.11.3 KVM環境でマイグレーション機能を使用する場合の設定



PRIMECLUSTER 4.4A00では、PRIMEQUESTのKVM環境で管理OS異常切替機能を使用する場合、ゲストOSへSSHログインするた

めのユーザが変更されています。

【変更点】





詳細は、“5.1.2.5.6 管理OSへの管理OS異常切替機能の設定(PRIMEQUESTのみ)”を参照してください。

【注意事項】





- 577 -

【変更点】



す。




【注意事項】


M.11.3 KVM環境でマイグレーション機能を使用する場合の設定


PRIMECLUSTER 4.4A00では、KVM環境でマイグレーション機能を使用する場合、ゲストOSへSSHログインするためのユーザが変更

されています。

【変更点】





詳細は、“G.3.1.2 管理OS異常切替機能を使用する場合”を参照してください。

【注意事項】


- 578 -

付録N リリース情報

本章では、PRIMECLUSTER 4.4で変更されたマニュアルの変更箇所および内容について説明します。

項番版数変更箇所内容

1 4.4 2版 3.3 PRIMECLUSTERのインストール blacklistの設定にGDSモジュールを追加しまし

た。

2 4.4 2版 H.1 VMware環境でのクラスタシステム

H.2 導入

I/Oフェンシング機能で使用可能な共用ディスク

の種類を変更しました。

3 4.4 2版 I.3 PRIMECLUSTERが動作するうえで必要

なデーモン

J.2 systemdサービス一覧

J.3 PRIMECLUSTERが動作するうえで必要

なサービス

サーバ間ミラーリング機能を使用する場合の備考

を追加しました。

4 4.4 2版 L.3.2 シングルユーザモードでの設定 GDSの設定変更手順を修正しました。

- 579 -

用語集 AC(アクセスクライアント (Access Client))

アクセスクライアントを参照。

API(アプリケーションプログラムインタフェース (application program interface))

アプリケーションプログラムインタフェースを参照。

BM (ベースモニタ(base monitor))(RMS)

RMSの中心となるリソースの可用性を管理するモジュールプロセス。BM (ベースモニタ) はデーモンとディテクタから構成され、RMSが管理するオブジェクトの状態変更の調整/制御を行う。監視中のRMSオブジェクトに異常が発生した場合には、構成定義に従っ

てリカバリ処理 (ローカルリカバリまたはリモートリカバリ) を実行する。

BMC

温度・電圧の環境条件から部品やユニットまでの監視や診断を行う専用プロセッサ。

CB

Clustering Base

CF(Cluster Foundation またはCluster Framework)

Cluster Foundationを参照。

CIM

クラスタ整合性モニタ (Cluster Integrity Monitor)

CIP

クラスタインタコネクトプロトコル (Cluster Interconnect Protocol)

CLI

コマンドラインインタフェース (command-line interface)

CLM

Cluster Manager

Cluster Foundation

基本的なクラスタリング通信サービスを提供するPRIMECLUSTERモジュールの集まり。

関連項目クラスタ基盤

CRM

クラスタリソース管理(Cluster Resource Management)

DLPI

Data Link Provider Interface

DOWN (CF)

ノードが使用不可であることを示すノード状態 (DOWN状態と呼ぶ)。LEFTCLUSTER状態のノードをクラスタに再参入させるため

には、事前にそのノードの状態をDOWNに変更する必要がある。

関連項目 UP、LEFTCLUSTER、ノード状態

- 580 -

EE

Enterprise Edition

ENS(イベント通知サービス (Event Notification Services)) (CF)

イベント通知サービスを参照。

GDS(Global Disk Services)

Global Disk Servicesを参照。

GFS(Global File Services)

Global File Servicesを参照。

GFS 共用ファイルシステム

GFS 共用ファイルシステムは、共用ディスク装置を接続した複数の Linux(R) から一貫性/整合性を保った同時アクセスが可能であ

り、一部のノードがダウンしても、他のノードは処理を継続できることを特長とする共用ファイルシステムである。

GFS 共用ファイルシステムは、複数のノードから同時にマウントして使用できる。

Global Disk Services

ディスク装置に格納されたデータの可用性と運用管理性を向上させるためのボリューム管理機能を提供するサービス。

Global File Services

クラスタ内の2つ以上のノードから共有記憶ユニットのファイルシステムの直接、同時アクセス機能を提供するサービス。

Global Link Services

ネットワーク伝送路を冗長化することにより、ネットワークの高可用性を実現するサービス。

GLS(Global Link Services)

Global Link Servicesを参照。

GS連携

グローバルサーバ (GS) とGLS間の伝送路を多重化して、伝送路障害発生時に正常な経路へ切替えることにより高信頼化を実現

する方式です。

GUI(グラフィカルユーザインタフェース (graphical user interface))

グラフィカルユーザインタフェースを参照。

HA

高可用性 (high availability)

HBA

ファイバチャネルカードの別名 (Host Bus Adapter)

HBA閉塞機能

PRIMECLUSTERのノード切替を高速に実行するために、ノード切替時に切替元のHBAの機能を停止する機能。切替元で HBA内部で継続している入出力を強制停止することによってノード切替の時間短縮を図っている。

ICF

ノード間通信機構 (Internode Communication Facility)

- 581 -

I/F

インタフェース(Interface)

I/O

入出力 (input/output)

IPアドレス

インターネットプロトコルアドレスを参照。

IPエイリアス

1つの物理ネットワークインタフェースに複数のIPアドレス (エイリアス) を割り当てる機能。IPエイリアスにより、他のホストでアプリケー

ションを実行する場合にも同じIPアドレスで通信を続けることができる。

関連項目インターネットプロトコルアドレス

LAN(ローカルエリアネットワーク (local area network))

業務LANを参照。

LEFTCLUSTER (CF)

ノードが同じクラスタにある他のノードと通信できないことを示すノード状態。ノードがクラスタを離れていることになる。LEFTCLUSTERという中間状態は、ネットワークパーティションの問題を防ぐために設けられている。

関連項目 UP、DOWN、ネットワークパーティション、ノード状態

MA

非同期監視 (Monitoring Agents)

MACアドレス

MAC address。ローカルエリアネットワーク (LAN) のMAC副層で用いられる局、あるいはノードを示すアドレス。

MDS(メタデータサーバ (Meta Data Server))

メタデータサーバを参照。

MIB

Management Information Base

MIPC

Mesh Interprocessor Communication

MMB(Management Board)

PRIMEQUESTに搭載されるハードウェアの1つであるManagement Boardの略称。

NIC

ネットワークインタフェースカード (network interface card)

NIC切替方式

GLSが提供するLAN二重化方式。二重化したNICを排他使用し、Linux(R)サーバとスイッチングHUB間のLAN監視と異常検出時

の切替えを実現する。

NSM

Node State Monitor

- 582 -

OPS(Oracle パラレルサーバ (Oracle Parallel Server))

Oracleパラレルサーバを参照。

Oracleパラレルサーバ

Oracleパラレルサーバは、クラスタ化されたプラットフォームまたはMPP (massively parallel processing) プラットフォームのユーザお

よびアプリケーションにデータベースのすべてのデータへのアクセス機能を提供する。

OSD(オペレーティングシステム依存 (operating system dependant)) (CF)

オペレーティングシステム依存を参照。

PAS

Parallel Application Services

PRIMECLUSTERサービス (CF)

クラスタ化アプリケーションにサービス、および内部インタフェースを提供するサービスモジュール。

PS

パラレルサーバ (Parallel Server)

RAO

RMS-Add on

Reliant Monitor Services (RMS)

監視、および切替え機能によりユーザが指定したリソースの高可用性を維持するパッケージ。

RMCP

Remote Management Control Protocolの略。

アラートを受けたネットワーク管理者がシステムの起動、停止、強制再起動を行うためのプロトコル。

RMS(Reliant Monitor Services)

Reliant Monitor Servicesを参照。

RMS Wizard Kit

RMS Wizard Kit の各コンポーネントは、特定のアプリケーション(Oracle，R/3)のRMSウィザードツールに新しいメニュー項目を追

加する。

関連項目 RMS Wizard Tools、Reliant Monitor Services(RMS)アプリケーションのRMS Wizard

RMS Wizard Tools

RMS構成のアプリケーションの作成および管理に使用する各種設定、および管理ツールで構成されるソフトウェアパッケージ。RMSウィザードの基盤および、BM (ベースモニタ) とのインタフェースを提供する。

関連項目 RMS Wizard Kit、Reliant Monitor Services

RMS構成

複数のノードを共用リソースに接続する構成。各ノードはオペレーティングシステム、RMSソフトウェア、固有アプリケーションのコ

ピーを固有に保持する。

RMSコマンド

RMSリソースをコマンドラインから管理するコマンド。

- 583 -

SA

シャットダウンエージェント (Shutdown Agent)。シャットダウン機構からの指示を受け、対象となるノードの強制停止を実行する。

SAN(Storage Area Network)

Storage Area Networkを参照。

SC

拡張性クラスタ (Scalability Cluster)

Scalable Internet Services (SIS)

Scalable Internet ServicesのTCP接続は、各接続の通常のクライアント/サーバセッションを維持しながらクラスタノード間のネットワー

クアクセス負荷を動的に分散する。

SD

シャットダウンデーモン (Shutdown Daemon)

SDXオブジェクト (GDS)

クラス、グループ、SDXディスク、ボリュームなど、GDSが管理する資源の総称。

SDXディスク (GDS)

GDSが管理しているディスクの総称。SDXディスクは、用途に応じてシングルディスク、キープディスク、スペアディスク、および未定

義ディスクと呼ばれる場合がある。SDXディスクを単に「ディスク」と呼ぶ場合もある。

SF

シャットダウン機構 (Shutdown Facility)

SIS(Scalable Internet Services)

Scalable Internet Servicesを参照。

Storage Area Network

複数の外部記憶装置どうしを接続し、複数のコンピュータに接続する高速ネットワーク。通常はファイバチャネルの接続。

UP (CF)

ノードが同じクラスタにある他のノードと通信できることを示すノード状態。

関連項目 DOWN、LEFTCLUSTER、ノード状態

VIP

仮想インタフェース (Virtual Interface Provider)

Web-Based Admin View

PRIMECLUSTERのグラフィックユーザインタフェースを活用するための共通基盤。インタフェースはJavaで記述されている。

WK

ウィザードキッド (Wizard Kit)

WT

Wizard Tools

- 584 -

アクセスクライアント

各ノード上のGFSカーネルモジュール。メタデータサーバと通信し、共用ファイルシステムへの同時アクセス機能を提供する。

関連項目メタデータサーバ

アプリケーション (RMS)

RMSのリソース定義において、userApplicationに分類されるリソース。複数のリソースをアプリケーション単位にグループ化する際

に使用される。

アプリケーションテンプレート (RMS)

定義済みのオブジェクト定義の値の集まり。RMS Wizard kitで特定タイプのアプリケーションのオブジェクト定義を作成する際に使

用される。

アプリケーションプログラムインタフェース

アプリケーションが、OSなどのサービスプロバイダが提供するサービスを利用する際に使うインタフェース。

イーサネット

IEEE802.3にて標準化されたLAN規格。現在、特殊な用途を除いて、ほとんどの LANはイーサネットである。なお、イーサネットと

いう表現は元々10メガバイト /秒タイプのLAN規格の名称であるが、現在は高速イーサネット/ギガバイトイーサネットをも含んだ総

称としても用いられる。

イベント通知サービス (CF)

クラスタ内で発生したイベントをノード間にブロードキャストする機能を提供するPRIMECLUSTERモジュール。

インターネットプロトコルアドレス

コンピュータまたはアプリケーションに割り当てられる数値アドレス。

関連項目 IPエイリアス

インタコネクト (CF)

クラスタインタコネクトを参照。

ウォッチドッグタイマ監視

OSハングやブート異常を監視するタイマ値。

ウィザード (RMS)

テスト済みのオブジェクト定義を使って特定タイプのアプリケーションを作成するインタラクティブなソフトウェアツール。

エラー検出 (RMS)

エラーを検出するプロセス。RMSでは、ログの記録開始、ログファイルへのメッセージ送信、リカバリ処理の実行などを行う。

応答待ち時間（レイテンシ） (RMS)

データの送信要求を行ってから、実際に応答を受信するまでの時間間隔。

オブジェクト (RMS)

構成定義ファイルまたはシステムグラフでは、ノードは物理または仮想リソースを示す。

関連項目リーフオブジェクト、オブジェクト定義、ノード状態、オブジェクトタイプ

- 585 -

オブジェクトタイプ (RMS)

ディスクドライブなど監視される同種のリソースをグループ化するカテゴリ。各オブジェクトタイプにはプロパティと呼ばれる固有の属

性があり、この属性により実行する監視またはアクションの種類を限定または定義する。リソースを特定のオブジェクトタイプに関連

付けると、関連付けたオブジェクトタイプの属性がリソースに適用される。

関連項目汎用タイプ

オブジェクト定義 (RMS)

RMSの監視対象となるリソースを識別する構成定義ファイルのエントリ。定義された属性により、関連するリソースのプロパティが指

定される。オブジェクト定義に関連するキーワードにobjectがある。

関連項目属性、オブジェクトタイプ

オペレーティングシステム依存 (CF)

オペレーティングシステム本体と、OS非依存のPRIMECLUSTERモジュールとの間のインタフェースを提供するモジュール。

オペレーティングシステム本体

オペレーティングシステムのうち、常にアクティブでシステムコールを実際の処理に変換している部分。

親 (RMS)

1つ以上の子オブジェクトを保持する、構成定義ファイルまたはシステムグラフのオブジェクト。

関連項目子、構成定義ファイル、システムグラフ

オンラインメンテナンス

ホストのシャットダウンや電源オフの必要なく機器を追加、削除、または交換できる機能。

下位グループ (GDS)

他のグループに属しているグループ。下位グループにはボリュームを作成できない。

拡張性

作業負荷の増加に動的に対処するコンピューティングシステムの機能。拡張性は、特にインターネットベースのアプリケーションに

おいて、インターネットの使用量の増大に伴って重要になる。

カスタムタイプ (RMS)

汎用タイプを参照。

カスタムディテクタ (RMS)

ディテクタを参照。

仮想インタフェース (VIP)

クラスタの複数ノードをシングルシステムイメージとして見せるために、SISが使用する仮想的なIPアドレスまたはホスト名。

仮想SCSIデバイス (virtual SCSI device)

仮想マシンからアクセスできるSCSI デバイスのこと。

仮想ディスク (virtual disk)

仮想マシンからアクセスできるディスクのこと。

仮想ブリッジ (virtual bridge)

仮想ネットワークを構成する要素の1 つです。管理OS（Linux）上のブリッジモジュールで構成されます。

- 586 -

仮想マシン (Virtual Machine)

仮想化技術によって、物理的なコンピュータから分離された論理的なコンピュータ。

可用性

多くの企業が必要とする、インターネットによる24時間年中無休のアプリケーション稼動環境の達成度を示す指標。実際と計画の

使用時間の比較によってシステムの可用性が決まる。

環境変数 (RMS)

グローバルに定義された変数またはパラメタ。

管理OS (Host OS)

ドメイン0 で動作する管理用OS 。

キーワード（予約語）

プログラミング言語において、ある特別な意味を持つ用語。たとえば、構成定義ファイルのnodeキーワードは、後に続く定義の種類

を指定する。

キュー

メッセージキューを参照。

業務LAN

一般ユーザがマシンにアクセスするためのローカルエリアネットワーク (LAN)。

関連項目管理LAN

共用ディスク接続確認

ノード起動時に共用ディスク装置の電源投入漏れやケーブルの結線誤りがないことを確認する機能。

共用リソース

複数ノード間で共有されるディスクドライブなどのリソース。

関連項目専用リソース、リソース

切替え (RMS)

userApplicationの制御を監視対象の1つのホストから他のホストに切替えるRMSのプロセス。

関連項目自動切替え、指定切替え、フェイルオーバ、対称切替え

切替方式

GLSが提供するLAN二重化の方式名。

クラス (GDS)

ディスククラス (GDS)を参照。

クラスタ

1つのコンピューティングソースに統合されるコンピュータの集まり。クラスタは分散型のパラレルコンピューティングを実行する。

関連項目 RMS構成

クラスタインタコネクト (CF)

PRIMECLUSTERがノード間の通信処理で専用に使用するネットワーク接続。

- 587 -

クラスタ基盤 (CF)

基本OSの上位で動作するPRIMECLUSTERの基本モジュール。PRIMECLUSTERの上位サービスが使用する機能をCF(ClusterFoundation)インタフェースとして提供する。

関連項目 Cluster Foundation

クラスタ整合状態（クォーラム)

クラスタシステムを構成するノード間の整合性が保たれている状態。具体的には、クラスタシステムを構成する、各ノードのCFの状

態がUPまたはDOWNである状態（LEFTCLUSTERとなっているノードが存在しない）。

クラスタパーティション

クラスタノードの一部のノードの通信が停止した状態。

クラスタリソース管理機構

複数のノード間で共用されるハードウェアを管理する機構。

クラッシュダンプ採取機構

OS異常(PANIC等)が発生した場合にクラッシュダンプを採取する機構。クラッシュダンプ採取機構には、kdumpがある。

グラフ (RMS)

システムグラフを参照。

グラフィカルユーザインタフェース

ウィンドウ、アイコン、ツールバー、プルダウンメニューを使った、コマンドラインインタフェースより使いやすいコンピュータインタフェー

ス。

グループ (GDS)

ディスクグループ (GDS)を参照。

経路

PRIMECLUSTER コンセプトガイドでは、ノードとノードの間を接続する冗長化されたクラスタインタコネクトの各々のネットワーク経

路を意味している。

ゲートウェイクラスタノード (SIS)

ゲートウェイクラスタノードは外部ネットワークインタフェースを有し、すべての受信パッケージはこのノードで受信され、サービスの

スケジューリングアルゴリズムに従って選択したサービスノードに転送される。

関連項目サービス提供ノード、データベースノード、Scalable Internet Services

ゲストOS（Guest OS）

ゲストドメインで動作するOS のこと。

子 (RMS)

1つ以上の親に属し、構成定義ファイルに定義されるリソース。子は複数の親に属することが可能。また、子を保持して親ノードとな

ることも、子を持たずにリーフオブジェクトとなることも可能。

関連項目リソース、オブジェクト、親、リーフオブジェクト

高可用性

冗長リソースにより一点故障箇所を排除する概念。

- 588 -

構成定義ファイル (RMS)

監視するリソースを定義し、リソース間の相互依存性を設定するRMS構成定義ファイル。デフォルトファイル名はconfig.us。

高速切替方式

GLSが提供するLAN二重化方式の1つ。

多重化したLANを同時に使用し、Linux(R)サーバ間通信のスケーラビリティ向上と、LAN異常発生時の高速な切替えを実現する。

コンカチネーション (GDS)

複数の物理ディスクを連結すること。複数のディスクを仮想的に1つの大容量ディスクとして使用する仕組み。

上位グループ (GDS)

他のグループに属していないグループ。上位グループには、ボリュームを作成できる。

サーバ間ミラーリング (GDS)

複数のサーバのローカルディスク(内蔵ディスクなど)をネットワーク経由でミラーリングすること。

サービス提供ノード (SIS)

FTP、Telnet、HTTPなど1つ以上のTCPサービスを提供し、ゲートウェイクラスタノードからクライアント要求を受信する。

関連項目データベースノード、ゲートウェイクラスタノード、Scalable Internet Services

システムグラフ (RMS)

構成定義ファイルの作成、または解釈に使用される監視対象リソースのビジュアル表示 (マップ)。

関連項目構成定義ファイル

システムディスク (GDS)

動作中のオペレーティングシステムがインストールされているディスク。次のいずれかのファイルシステム(またはスワップ域)として現

在動作しているスライスが存在するディスク全体を指す。

Linuxの場合: /、 /usr 、 /var 、/boot、/boot/efi、またはスワップ域

指定切替え (RMS)

管理者がRMSのuserApplicationを指定したホストに切替える処理。

関連項目自動切替え、フェイルオーバ、切替え、対称切替え

自動切替え (RMS)

ある一定の条件が検出された際に、userApplicationの実行を他のホストへ自動的に切替えるRMSの処理。

関連項目指定切替え、フェイルオーバ、切替え、対称切替え

シャットダウン機構

異常が発生したノードを強制停止させるための機構。PRIMECLUSTERは、クラスタ整合性（クォーラム）が保てない状態になった

と判断した場合に、シャットダウン機構（SF）を使用して、クラスタシステムをクラスタ整合状態（クォーラム）に戻している。

状態

リソース状態を参照。

状態遷移プロシジャ

クラスタ制御からの状態遷移指示を受け取り、リソースの活性/非活性化を制御（クラスタアプリケーションの起動/停止など）するも

の。

- 589 -

冗長化

オブジェクトがクラスタ内にある他のオブジェクトのリソース負荷を引継ぐ機能、およびRAIDハードウェア、またはソフトウェアにより2次記憶装置に保存されているデータを複製する機能。

シングルディスク (GDS)

グループに属していないSDXディスクで、シングルボリュームを作成できるディスク。

シングルボリューム (GDS)

グループに属していないシングルディスク内に作成されたボリューム。データは冗長化されません。

スイッチオーバ

ユーザの要求によりユーザ業務が運用系から待機系へ処理やデータを引継ぐこと。

スクリプト (RMS)

リソースの状態遷移に対応してBM (ベースモニタ) から実行されるシェルプログラム。スクリプトによりリソースの状態が変更される場

合もある。

スコープ (GDS)

共用タイプのディスククラスにおいてオブジェクトを共用できるノード群の範囲を表す。

ストライピング (GDS)

データを一定のサイズに分割して、複数のスライスに交互に振り分けて書き込むこと。I/Oを複数の物理ディスクに分散して同時に

発行する仕組み。

ストライプ化仮想ディスク

ストライプ化仮想ディスクは複数の区画で構成される。物理パーティションや複数の仮想ディスク (通常はミラーディスク) で構成す

ることもできる。このようにして仮想ディスク上の連続したI/O処理を複数の物理ディスク上のI/O処理に変換することができる。この機

能はRAIDレベル0 (RAID0) に該当する。(富士通テクノロジー・ソリューションズ製品から移行のお客様のみ)

関連項目連結仮想ディスク、単独仮想ディスク

ストライプグループ (GDS)

ストライプ(stripe)タイプのディスクグループ。ストライピングの単位となるディスクおよび下位グループの集まり。

ストライプ幅 (GDS)

ストライピングする際の、データを分割するサイズ。

ストライプボリューム (GDS)

ストライプグループ内に作成されたボリューム。ストライピングによってI/O負荷を複数のディスクに分散させることができる。データは

冗長化されない。

スペアディスク (GDS)

故障したディスクの替わりにミラーリング状態を回復させるための予備ディスク。

専用ネットワークアドレス

RFC1918により指定された一定範囲の予約済IPアドレス。どの部門でも使用可能であるが、異なる部門が同時に同じアドレスを使

用する可能性があるため、インターネット経由で外部から参照できないようにする必要がある。

専用リソース (RMS)

1台のホストのみが使用可能で、他のRMSホストからは使用できないリソース。

関連項目リソース、共用リソース

- 590 -

属性 (RMS)

各オブジェクトタイプについて、BM (ベースモニタ) がどう処理するかを規定するオブジェクト定義の一部。

対称切替え (RMS)

すべてのRMSホストが他の任意のRMSホストからリソースを引継ぐことのできる機能。

関連項目自動切替え、指定切替え、フェイルオーバ、切替え

タイプ

オブジェクトタイプを参照。

単独仮想ディスク

単独仮想ディスクは、物理ディスクパーティションの1領域、またはパーティション全体を定義します。(富士通テクノロジー・ソリュー

ションズ製品から移行のお客様のみ)

関連項目連結仮想ディスク、ストライプ化仮想ディスク

通知メッセージ (RMS)

ディテクタがBM (ベースモニタ) に特定リソースの状態を通知するメッセージ。

停止要求

クラスタ整合状態（クォーラム）を回復するために、指定したノードを強制停止させるための指示。

ディスククラス (GDS)

SDXオブジェクトの集まり。共用タイプのディスククラスは、PRIMECLUSTERシステムで利用可能なリソースの単位でもあります。

ディスククラスを単に「クラス」と呼ぶ場合もある。

ディスクグループ (GDS)

ミラーリング、ストライピング、またはコンカチネートされる単位となるディスクまたは下位グループの集まり。同じディスクグループに

属しているディスクおよび下位グループは、そのディスクグループのタイプ属性(ミラー、ネットミラー、ストライプ、またはコンカチネー

ション)に応じて、互いにミラーリング、サーバ間ミラーリング、ストライピング、またはコンカチネートされる。

ディスクグループを単に「グループ」と呼ぶ場合もある。

ディテクタ (RMS)

特定のオブジェクトタイプの状態を監視して、リソースの状態変化をBM (ベースモニタ) に通知するプロセス。

データベースノード (SIS)

SIS構成の設定、動的データ、統計を管理するノード。

関連項目ゲートウェイクラスタノード、サービス提供ノード、Scalable Internet Services

デーモン

特定の機能を繰り返し実行する、システムに常駐するプロセス。

電源連動（制御）

PRIMEPOWERで構成されるクラスタシステムにおいて、1ノードの電源を投入すると、電源切断状態にあるその他すべてのノード

およびノードとRCIケーブルで接続されたディスクアレイ装置の電源が投入されること。

テンプレート

アプリケーションテンプレートを参照。

- 591 -

ドメイン（domain）

仮想マシンの実行単位。

ドメイン0（Domain 0）

管理OS が動作するドメインのこと。Dom0 と略される場合もある。

ドメインID（Domain ID）

ドメインが保持する固有のID のこと。

ネイティブ（native）

仮想化環境と対比して、【本来の】という意味で、仮想化していない従来環境という意味で使用。

同様に、ネイティブLinux（仮想化環境用に改造していない通常のLinux）などの使用例もある。

ネットミラーグループ (GDS)

ネットミラー(netmirror)タイプのディスクグループ。サーバ間ミラーリングされるディスクの集まり。

ネットミラーボリューム (GDS)

ネットミラーグループ内に作成されたボリューム。サーバ間ミラーリングによってデータが冗長化される。

ネットワークアダプタ

LAN関連のネットワークアダプタ。

ネットワークインタフェースカード

ネットワークアダプタを参照。

ネットワークパーティション (CF)

クラスタ内の複数ノードのインタコネクトによる通信が不可能な場合に発生する状態。ネットワークパーティション状態でアプリケー

ションが共用ディスクにアクセスし続けるとデータの整合性がとれなくなる恐れがある。

ノード

クラスタのメンバーであるホスト。コンピュータノードとはコンピュータのことを指す。

ノード間通信機構

PRIMECLUSTER CFで使用されるクラスタノード間の通信機能。クラスタノード間通信専用に設計されているため、TCP/IPよりも

オーバヘッドが少なく、メッセージの到着順も保証したデータグラム通信サービスを行うことができる。

ノード状態 (CF)

クラスタ内のすべてのノードは、同じクラスタ上にある他のすべてのノードのローカル状態を管理する。クラスタ内のノードは、すべ

てUP、DOWN、またはLEFTCLUSTERのいずれかの状態にある。

関連項目 UP、DOWN、LEFTCLUSTER

パトロール診断

ハードウェアの故障を定期的に診断する機能。

ハブ

LANや、ファイバチャネルで使用されるスター型の結線装置。

汎用タイプ (RMS)

汎用プロパティを持つオブジェクトタイプ。汎用タイプは、既存のオブジェクトタイプに割り当てることのできない監視対象リソースが

ある場合にRMSをカスタマイズするために使用される。

- 592 -

関連項目オブジェクトタイプ

非同期監視

SAの機能に加え、リモートクラスタノードの状態を監視し、そのノードのダウンを即時に検出するコンポーネント。

フェイルオーバ (RMS、SIS)

何らかの障害が発生したことを起因として、自動的にユーザ業務が運用系から待機系へ処理やデータを引継ぐこと。

SISでは、このプロセスにより障害発生ノードのバックアップノードへの切替えを行う。RMSでは、このプロセスを切替えと呼ぶ。

関連項目自動切替え、指定切替え、切替え、対称切替え

フォルトトレラントネットワーク (耐故障性を備えたネットワーク)

耐故障性（フォルトトレラント）を備えたネットワーク。耐故障性（フォルトトレラント）とは、コンピュータシステムの一部に何らかの障

害が発生した場合でも、正常な動作を保ち続ける能力のこと。よって、フォルトトレラントネットワークとはネットワークシステムの一部

に異常が発生した場合でも、正常に通信を継続できるネットワークのことを意味している。

物理IPアドレス

ネットワークインタフェースカードのインタフェース（たとえばhme0）に直接割り振られたIPアドレス。

物理マシン（physical machine）

実際のハードウェアで構成されたサーバ。仮想マシンに対比して使用される。物理サーバともいう。

プライマリホスト (RMS)

RMSの起動時にユーザアプリケーションをオンラインにするデフォルトホスト。userApplicationのオブジェクト定義中に初に記述

されたホストがプライマリホストとなる。

ボリューム (GDS)

論理ボリューム (GDS)を参照。

マウントポイント

ディレクトリツリー上でファイルシステムが接続されるポイント。

ミラーグループ (GDS)

ミラー(mirror)タイプのディスクグループ。互いにミラーリングされるディスクおよび下位グループの集まり。

ミラーボリューム (GDS)

ミラーグループ内に作成されたボリューム。ミラーリングによってデータが冗長化される。

ミラーリング (GDS)

同じデータを複数のスライスに書き込むことによって、冗長性を維持すること。一部のスライスで障害が発生したとしても、正常なス

ライスが残っていれば、ボリュームへのアクセスが継続できる仕組み。

メタデータサーバ (GFS)

ファイルシステム (メタデータ) の制御情報を一括管理するGFSデーモン。

メッセージ

1つのソフトウェアプロセスから他のプロセス、デバイス、またはファイルに伝送されるデータの集まり。

メッセージキュー

メッセージの保存場所として使用される専用のメモリ領域。

- 593 -

ユーザグループ

Web-Based Admin ViewやCluster Admin GUIが提供する環境設定、運用管理などの操作範囲を限定するもので、wvroot、clroot、cladmin、clmonの4種類がある。クラスタ管理サーバのオペレーションシステムの管理者に依頼して、個々のユーザIDを適切なユー

ザグループへ登録する。

リーフオブジェクト (RMS)

システムグラフの下位オブジェクト。リーフオブジェクトは構成定義ファイルの後に定義される。リーフオブジェクトはその配下に

子オブジェクトを持たない。

リソース (RMS)

ミラーディスク、ミラーディスク部品、データベースサーバなどの機能を提供する、専用または共用のハードウェアまたはソフトウェア

要素。ローカルリソースは、ローカルホスト上でのみ監視対象となる。

関連項目専用リソース、共用リソース

リソース状態 (RMS)

リソースの現在の状態。

リソース定義 (RMS)

オブジェクト定義を参照。

リソースデータベース (CF)

複数のノード間で共用されるハードウェアの情報を管理するデータベース。

リソースデータベースは、クラスタリソース管理機構により管理される。

リソースラベル (RMS)

システムグラフに表示されるリソース名。

リモートノード

リモートホストを参照。

リモートホスト

遠距離通信回線またはLANを使ってアクセスするホスト。

関連項目ローカルホスト

リンク (RMS)

特定リソース間の親子関係を指定する。

連結仮想ディスク

1つ以上のディスクドライブ上の複数の区画で構成され、各部を合計したものに相当する。ディスクを細かく分割する単独仮想ディ

スクと異なり、各ディスクまたはパーティションを連結して1つの大規模な論理ディスクを構成する。(富士通テクノロジー・ソリューショ

ンズ製品から移行のお客様のみ)

関連項目単独仮想ディスク、ストライプ化仮想ディスク

ローカルエリアネットワーク

業務LANを参照。

ローカルホスト

コマンドまたはプロセスを開始するホスト。

関連項目リモートホスト

- 594 -

ログファイル

重要なシステムイベントやメッセージを記録したファイル。BM (ベースモニタ)、ウィザード、ディテクタにはそれぞれ固有のログファ

イルがある。

ローリングアップデート

クラスタシステムにおいて、修正適用、保守時に使用されるアップデート手法。1ノードずつ順次修正適用を行うことで、業務を停止

せずに修正を適用することが可能となる。

論理ボリューム (GDS)

利用者が直接アクセスできる仮想ディスクデバイスの総称。利用者は、物理ディスクのスライス(パーティション)と同じように、論理ボ

リュームにアクセスできる。論理ボリュームを単に「ボリューム」と呼ぶ場合もある。

- 595 -

索　引[数字]

1：1運用待機............................................................................ 302層モデル................................................................................ 403層モデル................................................................................ 41

[A]AC...........................................................................................580API..........................................................................................580AutoRecover...........................................................................234AutoStartUp............................................................................204AutoSwitchOver..................................................................... 204

[B]BLADEシャットダウンエージェント.......................................... 12BM（ベースモニタ） (RMS).................................................... 580BMC....................................................................................... 580BMCまたはiRMCのIPアドレスとシャットダウンエージェントの設

定情報の確認........................................................................ 370

[C]CF...................................................................................... 90,580CF、CIPの設定.........................................................................93CFメインウィンドウ...................................................................241CIPのIPアドレスの変更..........................................................295Cluster Admin...........................................................................89Cluster Adminの機能...............................................................89Cluster Foundation................................................................. 580Cmdline.................................................................................. 214Cmdlineリソースの設定..........................................................181Common................................................................................... 87CRM......................................................................................... 90CRMメインウィンドウ...............................................................242

[D]DHCP........................................................................................11DOWN (CF)........................................................................... 580Dynamic Reconfiguration................................................277,282

[E]ENS (CF)................................................................................ 581

[F]Faulted状態のクラスタアプリケーションを運用可能な状態にす

る............................................................................................. 254Faultのクリアテスト......................................................................7fjsnapコマンドの実行............................................................. 348fsck..........................................................................................236Fsystem...................................................................................234Fsystemリソースの設定.......................................................... 184

[G]GDS........................................................................................ 581GDSの構成設定.................................................................... 138Gdsリソースの設定................................................................. 187GenerateとActivate................................................................. 194GFS.........................................................................................581GFS 共用ファイルシステム............................................. 154,581

GFSの初期設定..................................................................... 153Global Cluster Servicesメニューの機能...................................89Global Disk Services.............................................................. 581Global File Services................................................................581Global Link Services.............................................................. 581GLS.........................................................................................581GLS使用時のWeb-Based Admin Viewの設定.....................138GLSの初期設定.....................................................................134GLSの設定.............................................................................134Glsリソースの設定.................................................................. 188GUI......................................................................................... 581

[H]HaltFlag.................................................................................. 204HV_APPLICATION.............................................................. 228HV_AUTORECOVER...........................................................229HV_FORCED_REQUEST.....................................................229HV_INTENDED_STATE......................................................229HV_LAST_DET_REPORT................................................... 229HV_NODENAME..................................................................229HV_SCRIPT_TYPE...............................................................229

[I]IPMIサービスの起動設定..................................................... 367IPMIサービスの起動設定の復元..........................................372IPMIシャットダウンエージェント............................................... 12IPMIの設定変更....................................................................297IPアドレス................................................................................582IPエイリアス............................................................................ 582iRMCのユーザ名とパスワードの変更...................................298

[J]Java Plug-inの設定.................................................................. 84

[K]kdumpシャットダウンエージェント............................................ 12

[L]LAN........................................................................................ 582LEFTCLUSTER (CF)............................................................ 582

[M]MACアドレス.......................................................................... 582MDS........................................................................................582MMBのIPアドレスの変更...................................................... 296MMBのユーザ名とパスワードの変更................................... 297

[N]N：1運用待機........................................................................... 32NIC切替方式......................................................................... 582NODE_SCRIPTS_TIME_OUT............................................. 229NTPサーバ.................................................................................9NTPの設定...............................................................................46

[O]Online/Offlineスクリプトの設定.............................................. 160OPS.........................................................................................583

- 596 -

Oracleパラレルサーバ............................................................583OSD (CF)................................................................................583OS再起動による動作確認方法............................................. 371

[P]PRIMECLUSTER Clustering Base..........................................14PRIMECLUSTER Enterprise Edition...................................... 14PRIMECLUSTER HA Server.................................................. 14PRIMECLUSTER Lite Pack.................................................... 14PRIMECLUSTERインストール................................................ 47PRIMECLUSTERサービス (CF)........................................... 583PRIMECLUSTERシステム運用管理画面の参照方法........ 241PRIMECLUSTERシステムで発生したログを参照する........ 260PRIMECLUSTERシステムの運用操作................................ 252PRIMECLUSTERシステムの監視操作................................ 257PRIMECLUSTERシステムの保守........................................ 338PRIMECLUSTER製品の選定................................................ 14PRIMECLUSTER対応製品.................................................. 343PRIMECLUSTER対応製品用の状態遷移プロシジャリソースの

登録／変更／削除................................................................ 359PRIMECLUSTERのインストール............................................ 76PRIMEQUESTの場合............................................................. 50PSA (PRIMEQUEST Server Agent)........................................12PSA関連情報.........................................................................350

[R]Reliant Monitor Services (RMS)............................................583Resource Fault History............................................................. 89RMS...................................................................................90,583RMS Wizard Kit.....................................................................583RMS Wizard Tools.................................................................583RMS Wizardの起動............................................................... 168RMSオブジェクトの詳細情報を参照する..............................261RMS環境変数の変更............................................................334RMSグラフ..............................................................................262RMS構成................................................................................583RMSコマンド...........................................................................583RMSツリー..............................................................................247RMS停止................................................................................204RMSの運用操作....................................................................252RMSの環境設定....................................................................203RMSの初期設定....................................................................133RMSメインウィンドウ............................................................... 247RMSを起動する..................................................................... 252RMSを停止する..................................................................... 253

[S]SAN........................................................................................ 584Scalable Internet Services (SIS)............................................. 584SDXオブジェクト (GDS).........................................................584SDXディスク (GDS)................................................................584ServerViewによるハードウェア監視の設定............................ 47SIS.......................................................................................... 584StandbyTransitions................................................................. 204Storage Area Network............................................................ 584SVmco (ServerView Mission Critical Option)........................ 12switchlogとアプリケーションログ............................................ 251switchlogの表示.....................................................................260

[U]UP (CF)...................................................................................584userApplicationの運用属性の変更....................................... 329userApplicationの削除...........................................................305userApplicationの設定...........................................................168

[V]VMware環境でのPRIMECLUSTER ................................... 388

[W]Web-Based Admin View........................................................584Web-Based Admin View運用形態の決定..............................40Web-Based Admin View画面..................................................86Web-Based Admin View画面の起動......................................84Web-Based Admin View画面の起動準備..............................79Web-Based Admin View画面の終了......................................90Web-Based Admin Viewの起動確認......................................82Web-Based Admin Viewの言語設定......................................83Web-Based Admin Viewの初期設定......................................81

[あ]アクセスクライアント................................................................ 585アプリケーション (RMS)......................................................... 585アプリケーションテンプレート (RMS).....................................585アプリケーションのインストールと環境設定.............................77アプリケーションのインストールと設定......................56,62,67,75アプリケーションの環境設定..................................................160アプリケーションの構築手順とマニュアル参照箇所.............132アプリケーションプログラムインタフェース.............................585アプリケーションログの表示...................................................260異常発生時の異常検出と原因の特定..................................264移動待機（N：1運用待機の応用系）....................................... 34イベント通知サービス (CF).................................................... 585インストールスクリプト............................................................... 76インタコネクト (CF)..................................................................585インターネットプロトコルアドレス............................................ 585イーサネット............................................................................ 585ウィザード (RMS)....................................................................585ウォッチドッグタイマ監視........................................................585運用........................................................................................ 241運用からの切離し方法.......................................................... 338運用管理サーバの初期設定...................................................81運用操作................................................................................ 245運用属性の変更方法（CUI）................................................. 329運用と保守................................................................................. 9運用への組込み方法............................................................ 339エラー検出 (RMS)................................................................. 585応答待ち時間（レイテンシ）.................................................. 585オブジェクト (RMS)................................................................ 585オブジェクトタイプ (RMS)...................................................... 586オブジェクト定義 (RMS)........................................................ 586オペレーティングシステム依存 (CF)..................................... 586オペレーティングシステム本体..............................................586親 (RMS)................................................................................ 586オンラインメンテナンス...........................................................586

[か]下位グループ (GDS)............................................................. 586

- 597 -

解除........................................................................................ 372開発............................................................................................ 5拡張性.................................................................................... 586カスケード（1：1運用待機の応用系）....................................... 33カスタムタイプ (RMS).............................................................586カスタムディテクタ (RMS)...................................................... 586仮想インタフェース (VIP)...................................................... 586仮想マシン機能を使用しない場合......................................... 45仮想マシン機能を使用する場合.............................................56可用性.................................................................................... 587環境変数................................................................................ 163環境変数 (RMS).................................................................... 587環境変数の表示.................................................................... 263カーネルパラメタ...................................................................... 10カーネルパラメタの確認/設定........................... 62,67,73,75,396起動テスト...................................................................................7機能の確認.............................................................................. 15キュー..................................................................................... 587業務LAN................................................................................ 587業務LANのIPアドレスの変更................................................292業務継続性テスト.......................................................................8共用ディスク接続確認........................................................... 587共用ディスクの設定............................................................... 145共用リソース........................................................................... 587共用リソースの状態................................................................244切替え (RMS)........................................................................ 587切替えテスト............................................................................... 7切替方式................................................................................ 587キーワード（予約語）...............................................................587クライアント................................................................................40クライアント環境の準備............................................................81クラス (GDS)........................................................................... 587クラスタ....................................................................................587クラスタアプリケーションの運用操作..................................... 253クラスタアプリケーションの起動............................................. 253クラスタアプリケーションの切替え..........................................254クラスタアプリケーションの構成変更..................................... 303クラスタアプリケーションの構築............................................. 132クラスタアプリケーションの削除............................................. 305クラスタアプリケーションの状態監視..................................... 258クラスタアプリケーションの設定............................................. 165クラスタアプリケーションの停止............................................. 253クラスタアプリケーションの排他関係..................................... 196クラスタアプリケーションのフェイルオーバするタイミング....... 42クラスタアプリケーションを保守モードにする........................ 255クラスタインタコネクト................................................................10クラスタインタコネクト (CF)..................................................... 587クラスタインタコネクトの活性化................................................ 79クラスタ管理サーバ.................................................................. 40クラスタ基盤 (CF)................................................................... 588クラスタ高速切替機能の設定..................................................47クラスタ構築の準備..................................................................78クラスタシステム環境の変更.................................................. 291クラスタシステムの運用形態の決定........................................ 29クラスタシステムの運用形態の変更.......................................... 9クラスタシステムの運用構成変更.......................................... 275クラスタ制御のメッセージ監視...............................................263

クラスタ整合状態（クォーラム)...............................................588クラスタの構築..........................................................................92クラスタの状態........................................................................244クラスタの初期設定..................................................................92クラスタノード............................................................................ 40クラスタパーティション............................................................ 588クラスタ用デザインシートの確認..............................................79クラスタリソース管理機構....................................................... 588クラスタリソース管理機構の初期設定................................... 122クラスタを管理するユーザの作成............................................80クラッシュダンプ.................................................................10,350クラッシュダンプ採取機構......................................................588グラフ (RMS).......................................................................... 588グラフィカルユーザインタフェース.........................................588グループ (GDS)..................................................................... 588経路........................................................................................ 588ゲストOSの設定..............................................................61,66,73ゲストOSへのPRIMECLUSTERのインストール................. 62,67ゲートウェイクラスタノード (SIS)............................................. 588子 (RMS)................................................................................ 588高可用性................................................................................ 588交換テスト...................................................................................8構成情報／オブジェクト属性................................................ 251構成定義ファイル (RMS).......................................................589高速切替方式........................................................................ 589構築の流れ................................................................................ 2故障リソース特定とオペレータ介入要求の設定...................130故障リソースの一覧................................................................355故障リソースの検出................................................................351故障リソースメッセージ.......................................................... 352コンカチネーション (GDS)..................................................... 589

[さ]上位グループ (GDS)......................................................... 589

サブシステムハング................................................................210サンプルスクリプト.................................................................. 161サーバ間ミラーリング (GDS)..................................................589サービス提供ノード (SIS).......................................................589資源の状態............................................................................ 244資源の状態が異常となった場合の対処方法....................... 264時刻同期............................................................................... 9,10システムグラフ (RMS)............................................................ 589システム構成変更編.............................................................. 274システム設計............................................................................ 15システムダンプ......................................................................... 10システムディスクのミラー設定................................................ 139指定切替え (RMS)................................................................ 589自動切替え (RMS)................................................................ 589自動組込み............................................................................ 204シャットダウンエージェント設定更新機能............................. 363シャットダウンエージェント設定更新機能の機能説明..........363シャットダウンエージェント設定更新機能の無効化..............372シャットダウンエージェント設定更新機能の有効化..............368シャットダウンエージェント設定更新サービスの起動設定... 368シャットダウン機構..................................................................589シャットダウン機構の設定........................................................ 95障害が発生したリソースの対処............................................. 266

- 598 -

状態........................................................................................ 589状態遷移プロシジャ...............................................................589冗長化.................................................................................... 590初期構成設定........................................................................ 123シングルディスク (GDS)......................................................... 590シングルノードクラスタ運用......................................................37シングルボリューム (GDS)..................................................... 590スイッチオーバ.................................................................... 7,590スクリプト (RMS)..................................................................... 590スクリプト作成時の注意事項..................................................162スケーラブル運用.....................................................................35スケーラブル運用のクラスタアプリケーション作成................174スケーラブル型クラスタアプリケーション............................... 205スコープ (GDS)...................................................................... 590スタンバイ運用......................................................................... 30スタンバイ運用のクラスタアプリケーション作成.................... 169ストライピング (GDS).............................................................. 590ストライプ化仮想ディスク........................................................590ストライプグループ (GDS)......................................................590ストライプ幅 (GDS).................................................................590ストライプボリューム (GDS).................................................... 590スパニングツリープロトコル...................................................... 10スペアディスク (GDS).............................................................590生存優先度.............................................................................. 96製品の選定.............................................................................. 14設計....................................................................................... 2,14設定........................................................................................ 367設定の確認............................................................................ 368全ノードに正しい情報が配布されなかった場合の復旧方法372専用ネットワークアドレス........................................................ 590専用リソース (RMS)............................................................... 590相互待機.................................................................................. 31操作メニューの機能.................................................................86属性 (RMS)............................................................................ 591属性の説明............................................................................ 195その他リソースの状態............................................................ 244ソフトウェアのインストールと設定.............................................45ソフトウェアの保守..................................................................339

[た]対称切替え (RMS)................................................................ 591タイプ...................................................................................... 591タイムアウト............................................................................. 205単独仮想ディスク................................................................... 591通知メッセージ (RMS)........................................................... 591停止テスト...................................................................................8停止要求................................................................................ 591ディスククラス (GDS).............................................................. 591ディスクグループ (GDS)........................................................ 591ディスク装置の設定................................................................. 47ディテクタ................................................................................234ディテクタ (RMS)....................................................................591テスト...........................................................................................5電源連動制御........................................................................ 591テンプレート............................................................................591データベースノード (SIS).......................................................591デーモン................................................................................. 591

動作確認................................................................................ 371動作環境................................................................................ 366導入..................................................................................... 3,392導入手順とマニュアル参照箇所............................................... 4トラブルシューティング........................................................... 348

[な]二重故障................................................................................ 204ネットワークアダプタ...............................................................592ネットワークインタフェースカード........................................... 592ネットワーク環境の変更................................................. 46,61,66ネットワークセグメント............................................................... 12ネットワークの設定................................................................... 46ネットワークパーティション (CF).............................................592ノード.......................................................................................592ノード間通信機構...................................................................592ノード故障...............................................................................204ノード状態 (CF)...................................................................... 592ノードとクラスタアプリケーションの状態を相互参照する...... 259ノードのWait状態をクリアする............................................... 254ノードの状態...........................................................................244ノードの状態を監視する........................................................ 257

[は]パトロール診断.......................................................................592ハブ........................................................................................ 592汎用タイプ (RMS).................................................................. 592ハードウェア装置の登録........................................................125ハードウェアの削除................................................................280ハードウェアの追加................................................................275ハードウェアの追加/削除/変更............................................. 275ハードウェアの変更................................................................285ハードウェアのリソースの削除............................................... 305ハートビート異常.................................................................... 208引継ぎネットワークリソースの設定.........................................190非同期監視............................................................................ 593表示する資源の種類............................................................. 243ファイルシステムの作成......................................................... 155ファイルシステムの設定......................................................... 153フェイルオーバ (RMS、SIS).................................................. 593フェイルオーバ....................................................................7,204フォルトトレラントネットワーク (耐故障性を備えたネットワーク)593復旧........................................................................................ 372物理IPアドレス........................................................................593物理マシン（physical machine）..............................................593プライマリホスト (RMS)...........................................................593ブラウザの設定........................................................................ 83プロシジャリソースの削除...................................................... 362プロシジャリソースの設定...................................................... 193プロシジャリソースの登録...................................................... 359プロシジャリソースの変更...................................................... 360保守作業の流れ.................................................................... 338保守の種類............................................................................ 338ボリューム (GDS)....................................................................593ボリュームの設定....................................................................146

[ま]マウントポイント................................................................236,593

- 599 -

マニュアル................................................................................ 87マニュアルページ...................................................................344ミラーグループ (GDS)............................................................593ミラーボリューム (GDS).......................................................... 593ミラーリング (GDS)..................................................................593メタデータサーバ (GFS)........................................................ 593メッセージ............................................................................... 593メッセージキュー.................................................................... 593

[や]ユーザグループ................................................................ 80,594予約語.................................................................................... 213

[ら]リソース (RMS)....................................................................... 594リソースアイコン...................................................................... 243リソース故障........................................................................... 204リソース詳細情報................................................................... 246リソース状態 (RMS)............................................................... 594リソース定義 (RMS)............................................................... 594リソースデータベース (CF).................................................... 594リソースの削除........................................................................318リソースの障害履歴................................................................353リソースの設定........................................................................180リソースラベル (RMS)............................................................ 594リモートノード.......................................................................... 594リモートホスト.......................................................................... 594リンク (RMS)........................................................................... 594リーフオブジェクト (RMS).......................................................594連結仮想ディスク................................................................... 594ログファイル............................................................................ 595論理ボリューム (GDS)............................................................595ローカルエリアネットワーク.....................................................594ローカルホスト........................................................................ 594ローリングアップデート........................................................... 595

- 600 -

導入運用手引書 -...

Documents

Transcript of 導入運用手引書 -...