知って『得』する! Hinemos活用術

株式会社アトミテック

知って『得』する！Hinemos 活用術

2015年8月7日

大澤優人

Copyright (c) 2015 Atomitech CORPORATION1

大澤優人 (おおさわゆうと)

1987年9月7日生まれ

趣味カメラ(機種：EOS 70D)

所属株式会社アトミテック Hinemosソリューション部

日々の業務 Hinemos保守、Hinemos構築

取得した称号

Hinemos認定アソシエイト(監視)

Hinemos認定アソシエイト(ジョブ)

Hinemos認定プロフェッショナル

自己紹介

資格詳細：http://www.hinemos.info/support/certificate

http://www.hinemos.info/support/certificate


私がかかわったHinemosに関する業務の内容

Hinemos保守事例紹介 Hinemos保守事例の件数

Hinemos保守事例の一覧

Hinemos保守事例の紹介

（ソリューション紹介）

アジェンダ


これまでも多くのHinemosに関する業務を手掛けて参りました。

一例：メタウォーター株式会社様

ver.3.1.4からver.4.1.3へ Ver.3.1 ⇒ ver.3.2 ⇒ ver.4.0 ⇒ ver.4.1

サービスを停止せずにバージョンアップを行うことが必須条件

（詳細はこちら）・http://www.hinemos.info/hinemos/case/010

・http://atomitech.jp/hinemos/case/hinemos3to4/

私がかかわったHinemosに関する業務の内容

http://www.hinemos.info/hinemos/case/010

http://atomitech.jp/hinemos/case/hinemos3to4/


バージョンアップの主な流れ

ヒアリング

お客様のご要望

をお聞かせくだ

さい

ご提案

ヒアリングに沿って

最適なバージョン

アップサービスをご

提案いたします

既存データ

抽出

環境構築に向け

設計を行います

整形、変更、

補正

ご要望のバージョン

にあったデータ形式

に整形等を行います

環境構築・

テスト

設計に基づき環境

を構築しテストを

行います

切替

（移行）

リハーサルに基

づいて本番環境

に適用します

引き渡

し

お客様へお引き

渡し致します

# バージョン特定ver.3.1.4から4.1.3

# 必須条件の確認無停止で

他、対象機能、対象項目、ジョブ数、費用、スケジュールなどを確認。

ヒアリング内容から条件を満たすバージョンアップ作業を具体化。お客様に大筋合意を頂き詳細の意識合わせ。

※無停止「監視及びジョブの停止期間無く移行できること」

無停止でのバージョンアップ方式の設計を実施。

Hinemos上の監視・ジョブの定義だけでなく、Hinemosの動作に関連するsyslog周りの設定見直しも実施。

結合試験の実施後、検証環境にて、無停止でのバージョンアップのリハーサルを実施。本番環境にて、

無停止でのバージョンアップを実施。

無停止でのバージョンアップ後、監視及びジョブの動作に問題が無いことを確認した後に引き渡し。

私がかかわったHinemosに関する業務の内容（最近


そのほかにも

Hinemos ver.5.0構築

SenjuからHinemosへ移行

JP１からHinemosへ移行

Hinemos保守サポート


Hinemos保守サポートとは？

お問い合わせ対応

障害調査

修正モジュールの提供等

33 36 30

49 51 44

51 47

94

48 45

85

44

70 54

52

56 57

45 38 42

43

66

41

61

47

仕様障害調査


Hinemos保守サポートお問い合わせ件数

年間約1000件以上


1. リソース監視の結果で情報ステータスと不明ステータスが繰り返し出力される

2. プロセス監視の結果で情報ステータスと不明ステータスが繰り返し出力される

3. カーネルモードで動作するプロセスの監視

4. Hinemosメンテナンス機能について

5. Javaヒープメモリに関するHinemosInternalエラーが出力された

6. HinemosクライアントからHinemosマネージャにログインできるがビューが表示されない

7. システムログ監視の結果の通知に遅延があった

8. システムログ監視で監視漏れが発生した

9. ジョブの実行に30秒かかる？

10. Hinemosマネージャ接続におけるプロキシ中継について

11. ジョブのスケジュール実行にて月日を指定して実行したい

12. プロキシを経由したHTTP監視の方法は？

13. Hinemosエージェントレスで可能な監視について

14. rsyslog_hinemos.confのコメントアウト箇所の意味

15. Hinemosマネージャからエージェントが認識されていない事象について

16. Windowsサービス監視で監視対象のサービス名に半角空白が含まれていても監視に影響はないか

17. Hinemos 履歴保管期間変更について

18. 終了遅延の “26:00:00”と “2:00:00”の違い

19. メンテナンス設定の作成が行えない

20. イベントログ名はあっているはずなのにWindowsイベントログが監視できない

21. Hinemosのプロセスを監視したい

22. カレンダ機能の登録上限は？

23. Hinemosマネージャ2台からの1台のサーバを監視

Hinemosトラブルシューティングの事例一覧(一部)


障害調査

33 36 30

49 51 44

51 47

94

48 45

85

44

70 54

52

56 57

45 38 42

43

66

41

61

47

仕様障害調査


リソース監視の結果で情報ステータスと不明ステータスが繰り返し出力される

事象リソース監視の結果が情報ステータスと不明ステータスを繰り返し出力されている。

原因

SNMPポーリングのタイムアウトにより、値の取得に失敗している。

対処

監視対象サーバ上のSNMPエージェントとの通信でタイムアウトが発生した可能性がある。HinemosマネージャからSNMPエージェントへの経路に問題がないか確認する。

■監視対象サーバに問題があった

・SNMPエージェントがOSから値を取得するのに時間がかかった

・SNMPエージェントがダウンしていた・OSのネットワークサービスに障害が起きた・サーバのNICに障害が起きた

■マネージャ‐監視対象サーバ間のNWに問題があった・高負荷のためSNMPのパケットが失われた・ネットワーク経路が切断された・ファイアーウォール等によりパケットが遮断された・ネットワーク機器に障害が起きた・HinemosマネージャサーバのOSの

NWサービスに障害が起きた・HinemosマネージャサーバのNICに障害が起きた

【Hinemos ver.4.1 障害系 1/9 】


プロセス監視の結果で情報ステータスと不明ステータスが繰り返し出力される

事象プロセス監視の結果が情報ステータスと不明ステータスを繰り返し出力されている。

原因

SNMPポーリングのタイムアウトにより、値の取得に失敗している。

対処

基本的に、リソース監視と対処方法は同じ。

監視対象サーバ上のプロセス数が多いことにより通信が長期化し、タイムアウトした可能性があるため、対象のプロセス数を確認すること。



カーネルモードで動作するプロセスの監視

事象カーネルモードで動作するプロセスが監視できない？

環境

Linux

対処プロセス監視では、原則として、SNMPポーリングで取得した値と監視設定で

指定した値と比較し、一致した場合にプロセスが存在するものと判定する。

SNMPで取得した”hrSWRunPath”の値 ⇔ 監視対象プロセスのコマンド(パス)

SNMPで取得した”hrSWRunParameters”の値 ⇔ 監視対象プロセスのコマンド引数

net-snmpでは、カーネルモードで動作するプロセスの

”hrSWRunPath”を一律“<exited>“という文字列で返す。

プロセス監視では、カーネルモードで動作するプロセスのコマンド(パス)を

判別することができず、これらのプロセスを監視することができない。

カスタム監視を利用し、対象プロセス数をカウントするコマンドを実行すると監視ができる。

例：echo -n "NumOfProcs_kthreadd,";ps -ef|grep kthreadd|grep -v grep|wc -l



Hinemosメンテナンス機能について

事象ジョブ履歴が10万件越え、警告MSGを検知したので、メンテナンス機能のジョブ履歴削除を行った。しかし、ジョブ履歴件数が実行前と変化がなかった。

原因履歴が多すぎ。

マネージャの内部DB上で、ジョブ実行履歴削除のためのSQL文の

実行に時間がかかりすぎた(約21分)

Hinemosマネージャ(JVM)が内部DBと通信する際のソケットタイムアウト(15分)が起きた。

これにより通信が強制的に切断された。

対処メンテナンス機能の保存期間(日)を、一度に大幅に短縮するのではなく、徐々に少なくして履歴を削除する。

保存期間 31日 → 30日 (1回目)

保存期間 30日 → 29日 (2回目)

: (途中省略)

保存期間 12日 → 11日 (*回目)

保存期間 11日 → 10日 (*回目)

保存期間 31日 → 10日



Javaヒープメモリに関するHinemosInternalエラーが出力された

事象Hinemosマネージャのログ(hinemos_internal.log)に

「利用可能なメモリ容量が閾値を下回ったため、Hinemosマネージャの再起動を推奨する」

と出力されていた。

暫定対処Hinemosマネージャの再起動。

恒久的対処(1)監視項目、ジョブ数、ノード数の設定数を見直す。不要なものがないか。

(2)Hinemosマネージャサーバのメモリに余裕がある場合は、

HinemosマネージャのJavaヒープメモリのサイズを、次のどちらかに変更する。

変更対象のファイル：/opt/hinemos/etc/hinemos.cfg

・“for medium systems”・"for large systems“



HinemosクライアントからHinemosマネージャにログインできるがビューが表示されない

事象監視設定ビューやジョブ一覧ビューが表示されない(エラー表示もでない)

対処対処方法(1)

Hinemosクライアントの設定情報を削除する。

対象：“C:¥Users¥{Windowsログインユーザ名}¥AppData¥Roaming¥hinemos¥Client4.1

対処方法(2)

Hinemosクライアントをクリーンスタートする。

"C:¥Program Files (x86)¥Hinemos¥Client4.1.2"下にある「client_clean_start.vbs」を

ダブルクリックし、Hinemosクライアントを起動する。

対処方法(3)

Hinemosクライアントを再インストールする。



システムログ監視の結果の通知に遅延があった

事象システムログ監視の結果で「受信日時」と「出力日時」に差があり、

通知に遅延が発生している。

原因

瞬間的に大量(※)のsyslogがHinemosマネージャに転送されたことによって、

システムログ監視のパターマッチ処理に遅れがでてしまった。

※環境によるが、この事例の場合は、10分間に10000件

対処

(1)通知の遅延が発生した時間帯に転送されているsyslogの流量を減らす。※rsyslog.confの設定で、転送量を抑制するなど。

(2)システムログ監視やそのフィルタの件数を見直す。

(3)当該監視設定の通知を見直す。



システムログ監視で監視漏れが発生した

事象監視対象サーバでは、syslogが出力されているにもかかわらず、システムログ監視にて検知できず、通知もされていない。

/var/log/messagesを確認したところ、次が出力されていた。

原因

複数の監視対象サーバからsyslogが転送されたことにより、 rsyslogの

TCP最大接続数を超えてしまった

対処

(1)監視対象サーバ側で、HinemosマネージャへのTCPによる

syslog転送をしないようにする

ー＞TCP514からUDP514へ変更する。

(2)マネージャサーバ側で、rsyslogのTCPセッション上限数を増やす

ー＞ rsyslog_hinemos.confを編集し、セッション数を増やす。


<syslog.err> rsyslogd-2079: too many tcp sessions - dropping incomingrequest [try http://www.rsyslog.com/e/2079 ]


ジョブの実行に30秒かかる？

事象ジョブの実行に30秒かかってしまう。コマンド(スクリプト)のみを実行した場合は、一瞬で完了する。

原因

(1)即時反映用ポート(デフォルトで24005/UDP)が不通となっている。

または、

(2) Hinemosエージェントサーバで他のプロセスが24005/UDPポートを使用中

対処

(1)Hinemosマネージャサーバー＞ Hinemosエージェントサーバ方向の

24005/UDPの通信を許可する。

(2)24005/UDPを使用する他のプロセスを停止する。

または、

即時反映用ポートをデフォルト24005/UDPから変更する。



ジョブの実行に30秒かかる？

事象ジョブの実行に30秒かかってしまう。コマンド(スクリプト)のみを実行した場合は、一瞬で完了する。

原因

(1)即時反映用ポート(デフォルトで24005/UDP)が不通となっている。

または、

(2) Hinemosエージェントサーバで他のプロセスが24005/UDPポートを使用中

対処

(1)Hinemosマネージャサーバー＞ Hinemosエージェントサーバ方向の

24005/UDPの通信を許可する。

(2)24005/UDPを使用する他のプロセスを停止する。

または、

即時反映用ポートをデフォルト24005/UDPから変更する。


○ジョブ実行時のマネージャとエージェント間の通信

1. マネージャはジョブ実行指示情報を、マネージャ内部のtopicに格納する。

2. マネージャはジョブ実行対象ノードのIPアドレスの即時反映ポート(24005番)にUDPパケットを送信する。

3. UDPパケットを受信したエージェントは、Web/API経由でマネージャのtopicからジョブ実行指示情報を取得する。

なお、エージェントはマネージャからのUDPパケットを受信していない場合も、定期的(30秒間隔)にWeb/API経由でマネージャのtopicにジョブ実行指示情報が格納されていないか確認し、格納されている場合は取得する。

4. エージェントはコマンドを実行し、実行結果をWeb/API経由でマネージャに送信する。

5. マネージャは実行結果を元に次のジョブ制御を実施。


仕様

33 36 30

49 51 44

51 47

94

48 45

85

44

70 54

52

56 57

45 38 42

43

66

41

61

47

仕様障害調査


Hinemosマネージャ接続におけるプロキシ中継について

事例Hinemosの通信をプロキシサーバ経由としたい場合、必要な設定は？

対処 Hinemosマネージャ → 設定不要

Hinemosエージェント → Hinemosエージェントの設定ファイルを編集する

Hinemosクライアント → Hinemosクライアントメニューのクライアント設定を変更する

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------Hinemos ver4.1 管理者ガイド第4版「11.1 HinemosマネージャへのHTTP Proxyを経由した接続」

【Hinemos ver.4.1仕様系 1/15 】


ジョブのスケジュール実行にて月日を指定して実行したい

事例ジョブのスケジュールで年月日を設定したい。

方法

(1)カレンダ機能を設定する。

(2)ジョブスケジュールにて、作成したカレンダを指定する。

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------Hinemos ver4.1 ユーザマニュアル第4版「4 カレンダ機能」



ジョブの判定対象の時刻が機能しない

事例ジョブの待ち条件を次のように設定した。しかし、想定通りに動作しない。

ジョブネット・ジョブの設定23:55：ジョブネットAの実行(ジョブスケジュール)00:10：ジョブネットAの中にあるジョブBの実行(待ち条件の時刻判定)06:00：ジョブネットAの中にあるジョブCの実行(待ち条件の時刻判定)

設定者の想定したジョブフロー08/07 23:55にジョブネットAが実行開始

↓08/08 00:10にジョブBが実行

↓08/08 06:00にジョブCが実行

しかし、23:55にジョブネットAが実行されたところ、ジョブB、ジョブCも23:55に実行されてしまった。

方法設定者の想定どおりにジョブBとジョブCを実行するには、

・ジョブBの待ち条件(時刻)：24:10:00・ジョブCの待ち条件(時刻)：30:00:00

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------Hinemos ver4.1 ユーザマニュアル第4版「9.4.3 ジョブネット作成・変更時の留意事項」待ち条件の時刻判定方法



プロキシを経由したHTTP監視の方法は？

事例HTTP監視を行う際、プロキシを経由した監視は実施可能か。

回答

Hinemos ver4.1では、HTTP監視でHTTPリクエストを行う際に、プロキシサーバを利用するよう設定することができない。

Hinemos ver5.0では、新たにHTTP監視(シナリオ)という監視種別が追加され、プロキシサーバを利用したHTTP監視が可能。


-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------Hinemos ver5.0 ユーザマニュアル第1版「7.4 HTTP監視」P.114 指定したシナリオを元にしたHTTPリクエストにより監視を実施する場合


Hinemosエージェントレスで可能な監視について

事例Hinemosエージェントが対応していないサーバに対する監視は何が行えるのか？

回答

[Hinemosエージェントなしに利用可能な機能]・監視設定(個別) - HTTP監視(数値/文字列)・監視設定(個別) - PING監視・監視設定(個別) - サービス・ポート監視・監視設定(個別) - SQL監視(数値/文字列)・監視設定(個別) - SNMPTRAP監視

・監視設定(個別) - リソース監視・監視設定(個別) - プロセス監視(SNMP)・監視設定(個別) - SNMP監視(数値/文字列)

・監視設定(個別) - システムログ監視

・監視設定(個別) - Windowsサービス監視

[Hinemosエージェントが必要な機能]・監視設定(個別) - Hinemosエージェント監視・監視設定(個別) - ログファイル監視・監視設定(個別) - カスタム監視・監視設定(個別) - Windowsイベント監視

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------Hinemos ver4.1 ユーザマニュアル第4版「1.2 Hinemosを構成する機能」



rsyslog_hinemos.confのコメントアウト箇所について

事例rsyslog_hinemos.confのコメントアウト箇所を解除してもHinemosの動作に影響はないか。

回答影響はない。

Hinemosマネージャに転送されるsyslogが出力できるようになる。

・syslogがHinemosマネージャへ転送できているか確認できる。

・どのくらいの流量のsyslogがHinemosマネージャへ転送されているか具体的に確認できる。

ただし、流量が多いとHinemosマネージャサーバのディスク使用容量が増加するため、要注意。


# $template mytemplate,"<%pri%>%timestamp% %hostname% %syslogtag%%msg%¥n"

# $template TmpFile,"/tmp/rsyslog.log.%$year%-%$month%-%$day%"

# *.info;mail.none;authpriv.none;cron.none ?TmpFile;mytemplate


Hinemosマネージャからエージェントが認識されていない事象について

事例Hinemosのリポジトリに登録した一部のノードのHinemosエージェントが、リポジトリ[エージェント]ビューに

表示されていない。リポジトリ[ノード]ビュー上には、当該ノードは表示されている。

原因Hinemosエージェントが自身のファシリティIDを解決できていない。

対処(1)HinemosエージェントサーバからHinemosマネージャサーバに対して、

8080/TCPの通信が行えるようになっていないか確認する。(F/W等で通信がブロックされていないかなど)

(2)Hinemosエージェントは、自身のホスト名とIPアドレスを元にHinemosマネージャに

問い合わせ、自身のファシリティIDを解決する。

・条件1 [ホスト名]Hinemosのリポジトリ[プロパティ]の“サーバ基本情報 – OS –ノード名”と、対象サーバのホスト名(hostnameコマンドで表示されるホスト名)が一致しているか。

・条件2 [IPアドレス]Hinemosのリポジトリ[プロパティ]の“サーバ基本情報 - ネットワーク -IPアドレス”が、対象サーバの(実際の)IPアドレスに含まれていること

上記のいずれかの条件を満たしていない場合は、該当のファシリティIDのノードであると判定できず、

リポジトリ[エージェント]ビュー上にも表示されないため、確認すること。



Windowsサービス監視で監視対象のサービス名に半角空白が含まれていても監視に影響はないか

事例Windowsサービス監視で監視したいサービス名に半角空白を含むものを設定したい。正常に監視は可能か。

例：「XXX yyy」

回答

影響はない。

サービス名に半角空白を含むWindowsサービスを指定する場合も、

正常に監視を行うことができる。サービス名を指定する際、サービス名全体をクォートで囲む必要はない。



Hinemos 履歴保管期間変更について

事例メンテナンス機能で定期的にジョブ実行履歴やイベント履歴を削除でき、

デフォルトで31日まで履歴を保管し、それより過去は削除する。

これを93日などに保管期間を増やすことは可能か。

増やした結果、Hinemosの動作に影響はあるか。

回答

保存期間を増やすことが可能。

ただし、保存期間を延長する場合は、延長した分だけHinemosマネージャサーバのディスク使用容量が増加する。

これに気を付けていれば、動作に影響もない。



終了遅延の “26:00:00”と “2:00:00”の違い

事例次のように設定した場合、終了遅延判定の動作に違いはあるか。

終了遅延に“26:00:00”と設定した場合

終了遅延に“02:00:00"と設定した場合

回答例えば、ジョブが 2015/08/07 23:00:00 に終了したとする。

・ジョブの終了遅延「時刻」が“26:00:00”の場合ジョブセッション開始日が“2015/08/07”であり、”00:00:00”から

”26:00:00” と数えるため、“2015/08/08 02:00:00”以降に発動

・ジョブの終了遅延「時刻」が“02:00:00”の場合ジョブセッション開始日が“2015/08/07”であり、”00:00:00”から

”02:00:00” と数え、これを超えているため、 “2015/08/07 23:00:00“に発動する



メンテナンス設定の作成が行えない

質問対象のアカウントに権限を付与したのにもかかわらず、メンテナンスの設定の作成が行えない。

回答

メンテナンス機能の操作するためには、Hinemosログインユーザを

Hinemos管理者用ロール(ADMINISTRATORS)所属させる必要がある。


-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------Hinemos ver4.1 ユーザマニュアル第4版「 12.3.2 システム権限による管理表 12-3 システム権限一覧」


イベントログ名はあっているはずなのにWindowsイベントログが監視できない

事象HogeHoge Event LogというWindowsイベントログが監視できない。

対処

Windowsイベント[作成・変更]ダイアログのイベントログ欄にて、

イベントログ名を二重引用符(“)で囲って指定する

HogeHoge Event Log → “HogeHoge Event Log”



Hinemosマネージャ2台からの1台のサーバを監視

疑問Hinemosエージェントをサーバ(Linux)に2つインストールし、それぞれ別のHinemosマネージャと疎通させることは可能か？

回答

複数のHinemosエージェントをそれぞれ別のHinemosマネージャに接続させるには、以下のいずれかの方法を実施すること。

(1)Hinemosエージェントのインストール時に、接続先のHinemosマネージャとしてそれぞれ異なるHinemosマネージャサーバのIPアドレスを入力する。

(2)以下の設定ファイルで、Hinemosエージェントごとにそれぞれ異なるHinemosマネージャサーバのIPアドレスを指定する。

[設定ファイル]/opt/hinemos_agent_{識別ID}/conf/Agent.properties

[設定箇所]managerAddress=http://[HinemosマネージャのIPアドレス]:8080/HinemosWS/



各機能の登録上限は？

疑問Hinemosの機能において登録数の上限値はあるか？

回答

基本的に上限はないが、Hinemosの管理DBのカラムのデータ型の制約がある。

例えば、カレンダ機能において、1つのカレンダ設定内の詳細設定数は、

「32767」個までなど。

しかし、基本的に上限がないといっても、管理DBの制約ぎりぎりまで登録できるというわけでない。

どこかでHinemosマネージャサーバの性能要件に起因し、

Hinemosマネージャが不安定となるので、不要な設定は行わないこと。



Hinemosのプロセスを監視したい

疑問(1)Linux に導入するHinemos Managerのプロセス名とプロセス数(2)Linux に導入するHinemos Agentのプロセス名とプロセス数(3)Windows に導入するHinemos Agentのサービス名

回答

(1)Linux に導入するHinemos Managerのプロセス名とプロセス数プロセス名 : ${JAVA_HOME}/bin/java

引数 : .*-Dhinemos¥.manager.*プロセス数 : 1個以上

(2)Linux に導入するHinemos Agentのプロセス名とプロセス数プロセス名 : ${JAVA_HOME}/bin/java

引数 : .*-Dhinemos¥.agent.*

プロセス数 : 1個以上

(3)Windows に導入するHinemos Agentのサービス名

サービス名 : HinemosAgent

※Hinemosマネージャ自ら、自身のプロセスを監視することは推奨していない。

監視したい場合は、もう一台Hinemosマネージャを用意するなどして相互監視を行う。



Hinemos関連サービス

移行・構築最適なHinemos環境

を提供します。

保守

年間1,000件を超

える実績でご期待

に応えます。

開発

新機能を開発、

提供します。

あらゆるフェーズで最適なソリューションをご提供いたします。


ご不明な点等ございましたら、お気軽にブースまで

お越しください。

お問い合わせ先株式会社アトミテック Hinemosソリューション部

http://atomitech.jp/hinemos/

050-3775-7632

[email protected]

ご清聴ありがとうございました

http://atomitech.jp/hinemos/

知って『得』する! Hinemos活用術

Technology

Transcript of 知って『得』する! Hinemos活用術