1 Copyright © 2012, Oracle and/or its affiliates. All rights...

Oracle Application Quality Managementによる高品質なテストの実現

日本オラクル株式会社

製品戦略統括本部戦略製品ソリューション本部

プリンシパルセールスコンサルタント

中島良樹


以下の事項は、弊社の一般的な製品の方向性に関する概要を説明するものです。また、情報提供を唯一の目的とするものであり、いかなる契約にも組み込むことはできません。以下の事項は、マテリアルやコード、機能を提供することをコミットメント（確約）するものではないため、購買決定を行う際の判断材料になさらないで下さい。オラクル製品に関して記載されている機能の開発、リリースおよび時期については、弊社の裁量により決定されます。

OracleとJavaは、Oracle Corporation 及びその子会社、関連会社の米国及びその他の国における登録商標です。文中の社名、商品名等は各社の商標または登録商標である場合があります。


Agenda

はじめに

テストの自動化

– アプリケーションのテスト

– インフラストラクチャのテスト

– テスト・データの管理

– 監視

おわりに


はじめに


圧迫されるテストスケジュール


システムを取り巻く環境への迅速な対応

低コスト化への要求

開発サイクルの短縮化傾向

高品質なテストの実現

限られた時間やリソース制約の中で十分な品質を確保する必要がある


どのような仕事をされているかご存知ですか?

DBA

Developer

QA Engineer

Operations

Business


壁がありませんか?

開発部門運用部門


Oracle Enterprise Manager 12c

クラウド

ライフサイクル管理

クラウドスタックの

統合監視

ビジネス視点による

アプリケーション管理

セルフサービスIT シンプル・自動化ビジネス視点 | |


クラウドライフサイクル管理

Applications and

Business Services

Platform as a Service

Infrastructure

as a Service

計画

セットアップ

構築

テスト

展開

監視

管理

課金

最適化

DBaaS MWaaS


Oracle Application Quality Management アプリケーション・スタックのすべての層に対応する高品質のテスト

• アプリケーションのテスト Webアプリケーションの新規デプロイや

機能変更の際、機能・回帰テストおよび

負荷テストを自動化します

• インフラストラクチャのテストデータベース層やミドルウェア層の変更

を本番ワークロードを使ってテストします

• テスト・データの管理本番データのマスキングやサブセット化に

より、テストデータを効率的に準備します

Pre-Packaged

Apps

Composite

Apps Custom

Apps

ミドルウェア

データベース

物理&仮想サーバー

ストレージ

eCommerce

Apps

アプリケーション・スタック全体の品質管理


テストの自動化


機能テストを行う人も時間もない

負荷テスト?

アルバイトを雇わないと

システム変更によるDB性能

は?

テストデータはなんでもい

い?

スキーマ変更を本番に適用し忘

れた

死活監視だけで大丈夫かなシステム変更

によるアプリ性能は?


機能テストを行う人も時間もない


リリースのたびに行う定型化された手動テストを自動化したい

テストスクリプトの開発ではなく、テストに集中したい

定型業務やデータ入力などの作業を自動化したい

機能テストと回帰テストを自動化 Oracle Functional Testing


高度なオブジェクト認識によるスクリプト品質の向上

Document Object Model (DOM)

– HTMLやXMLをアプリケーション

から利用するためのAPI

XML Path Language (XPath)

– XML に準拠した文書の特定の

部分を指定する言語構文

Oracle Functional Testing


XPathのスマートマッチング

XPathの検索結果をランキングしオブジェクト識別を強化

① /web:a[@text='Search' OR @href='search.jsp' OR @index='0']

② /web:a[@text=‘Find' AND (@href='search.jsp' OR @index=‘3'])


text=Search href=search index=0 ① ②

リンクA text=Logout href=logout.jsp index=0 001 001

リンクB text=Search href=search.jsp index=3 110 011

リンクC text=Search href=doNotSearch.jsp index=15 100 000

リンクD text=Find href=find.jsp index=22 000 100


スケジュール実行によるテスト時間の拡大

時間とテスト環境の有効活用

– 休日や夜間に自動テストしカバレッジの拡大

– スモークテスト

実行方式

– コマンドライン

– Oracle Test Manager

– その他


[OPENSCRIPT_PATH]/openScript/runScript.bat SCRIPT_FILE [OPTIONS]


「人」と「機能テストツール」の共存と住み分け

人

– 五感

– 第六感 (意外と重要)

機能テストツール

– 繰り返し

量、時間

– (あまり) 文句を言わない



負荷テスト?アルバイトを雇わないと


何がボトルネックと考えられますか?

応答時間→

ユーザ数→

ボトルネック

応答時間の遅延が発生

DBで処理されるページ

APで処理されるページ

WEBで処理されるページ


性能テストも色々

ボリュームテスト

– 大量のスループットもしくはコネクションを発生させ、ネットワーク機器や

Webサーバの最大スループットや最大コネクション数の確認

負荷テスト

– 目標スループットの負荷を与えた時のパフォーマンスや振る舞いを確認

限界テスト

– システムの性能限界値を測定し、将来のサイジングや運用時の対応を確認

耐久テスト

– 長時間にわたり負荷を与え続け、システムの挙動を確認


開発の早い段階から手軽に負荷テストを実施したい

応答時間の遅延の原因となるサーバを特定したい

想定していないエラー画面を見落としたくない

正確かつ迅速な負荷テストにより性能問題の未然防止 Oracle Load Testing


エージェントレスによる性能監視(ServerStats)

サーバの性能情報をリアルタイムで収集

応答時間やエラーの推移とサーバの性能を相対的に確認

– Perfmon,

– Solaris/Linux (Telnet/SSH)

– Application Server (JMX/SNMP)

– Network Device (SNMP)

– Database (SQL)

– Web Page (URL)

Oracle Load Testing


ServerStatsによるOracleメトリックの取得 Oracle Load Testing

Oracle Enterprise Manager

– Oracle Database メトリック

– WebLogic JVM メトリック

– WebLogic ドメインメトリック

SQL

– 動的パフォーマンスビュー(V$)

AWR/ADDMレポート

– 負荷テスト期間中のレポートを自動的に取得


データベースのテスト

データベース層に直接アクセス可能な

テスト・スクリプトを作成

– DDL,DML,PL/SQLの実行

– SQL行数カウント・問合せテスト

Oracle Functional Testing and Oracle Load Testing


Testing @ Oracle

All testing done on massive internal clouds (Farms)

Examples of teams using ATS @ Oracle

– Fusion, EBS, Siebel, JDE, FMW, CS, ITT, Retail, FlexCube...

– IT Operations

E-Business Suite QA has 41,000+ functional scripts

2000+ ATS users @ Oracle

Load testing benchmarks up to 100,000 concurrent users

Fusion MiddleWare QA has: 2.5 million test cases and over 1000 users

Oracle Application Testing Suite is the standard tool


システム変更によるDB性能は?


Validate Fix Find Track

これまでのパフォーマンス分析

ユーザーからの報告を待つ

メトリックに関するレポートを確認する

様々なメトリックを取得し、現象と原因を関連を分析

想定される改善点を実装する

ユーザーからの報告により気づく

改善の根拠となったメトリックを日々監視する

複雑なアラートおよび通知


Find & Fix & Track Oracle Enterprise Manager - Diagnostics & Tuning Pack

問題の解決

解決方法の発見要因の分析問題の発見

• データベース特有の指標から

性能問題を発見

• 現在のセッションを分析し、遅延の原因になっているセッションやSQLを即座に特定

• データベース/SQLのチューニングアドバイスを取得、実装

• 定期レポートで経過観察 • データベース総合診断結果を参照し、

ボトルネック発生個所や影響範囲を把握

データベースのパフォーマンス問題の発見・分析・解決・予防をシームレスに実現


データベースをアップグレードする際のテストを効率化したい

インフラストラクチャ変更時の性能やエラーの違いを知りたい

アップグレードによる実行計画や統計情報の違いを知りたい

データベース・インフラストラクチャの変更テスト Oracle Real Application Testing


リアルなテストのための2つの機能

SQL Performance Analyzer (SPA)

– SQL単体テスト

– システム変更前と変更後でのSQL比較レポートを生成

– 多数のSQLを効率よくテストし、実行計画や性能の変化を確認できる

Database Replay

– システムテスト

– 本番環境のトランザクションを記録し、テスト環境で再現、比較レポート

– システム変更がデータベース性能に与える影響を包括的に評価可能

Oracle Real Application Testing


SQL Performance Analyzer

DatabaseやOSなどの様々な変更時に活用

– データベースのアップグレードやパッチ適用

– オプティマイザ統計の更新

– データベース・パラメータの変更

– データベース・スキーマの変更

e.g. add/drop, indexes, partitioning or material views …

– コンソリデーション

– OSやハードウェア、ソフトウェアの構成変更

Oracle Real Application Testing – SQL Performance Analyzer


パフォーマンスの測定

実行計画の変更とSQL文のパフォーマンスを示すレポートを生成

– 経過時間

– CPU時間

– ユーザーI/O時間

– バッファ読取り

– 物理I/O

– オプティマイザ・コスト

– I/Oインターコネクト・バイト

Oracle Real Application Testing – SQL Performance Analyzer


これからのパフォーマンス分析 Oracle Enterprise Manager + Oracle Real Application Testing

Validate

Real Application

Testing

what-if分析とチューニングの検証

Fix Find

Tuning

Pack

複雑で時間のかかるチューニングの自動化

Diagnostics

Pack

AWR/ADDMによる自動パフォーマンス診断

Track

Enterprise

Manager

アプリケーションやデータベース、

ホストなどの監視と

レポーティング

AWR: 自動ワークロード・リポジトリ, ADDM: Automatic Database Diagnostic Monitor


スキーマ変更を本番に適用し忘れた


データベース・オブジェクトの変更履歴を管理したい

OSやソフトウェアの構成情報を一元化したい

データベースのプロビジョニングやパッチ適用を自動化したい

構成情報の管理と活用 Lifecycle Management – Enterprise Manager


データベースオブジェクトの構成管理 Oracle Enterprise Manager - Database Lifecycle Management Pack

開発DB

本番DB

Ver 0.1

Ver 0.2

Ver 1.0

異なるバージョン間で

オブジェクト定義の差分比較

リリースに必要なDDLを作成、

実行し、オブジェクト定義を安全・確実に同期

“CONTRACT”という列が増えている

“MGR”列がNUMBER型からVARCHAR2に変わっている


構成管理の活用例(障害分析) Oracle Enterprise Manager - Database Lifecycle Management Pack

本番DBサーバ

本番EMサーバ

検証DBサーバ

管理エージェント

管理リポジトリ

1. 構成情報を定期収集

(オブジェクト情報はスケジュールを指定して定期収集、インフラ情報はデフォルトで定期収集)

管理エージェント

検証EMサーバ

管理リポジトリ

管理サービス管理サービス

3. 構成情報のエクスポート・インポート (検証環境と比較分析したい場合)

4. 本番DBサーバの過去・現在比較および本番・検証間比較

⇒正しく変更（リリース）されていること/されていないことを確認

5. 索引が一つ足りないことを発見 (または、構成に問題が無いことを確認)

6. 業務側にリリース漏れの可能性を報告 (または、別の観点での分析に移行)

2. 障害発生！！


テストデータはなんでもいい?


エンタープライズアプリケーションの複雑さ

アプリケーション間におけるデータの関係は?

機密データはどこにある?

ストレージのサイズは?

Human Capital

Management Supply Chain

Management Financials

Customer

Relationship

Management


Find: 機密データを特定し、参照関係を発見

Assess: 最適なマスキング・フォーマットとサブセットの基準を定義

Secure: セキュアなテスト/開発環境をプロビジョニング

Test: アプリケーションとデータのセキュリティの整合性を検証

データのマスキングとサブセットの作成

NAME SSN SALARY

AGUILAR 203-33-3234 40,000

BENSON 323-22-2943 60,000

テスト環境

NAME SSN SALARY

MILLER 112-23-4567 40,000

SMITH 111-22-3333 60,000

本番環境

010110011

101001010

000111010


データモデリングとデータ検出

アプリケーション・スキーマをスキャンし、表・列の参照関係を検出

Oracle Applicationsのメータデータから参照関係を検出

– Oracle E-Business Suite

– Oracle Fusion Applications

参照関係をリポジトリに保存

データ・サブセットの作成やデータ・マスキングの基礎として使用

アプリケーション・データモデル


データモデリングとデータ検出

機密データの検出

– マスキングテンプレートからのインポート

– 正規表現を使用したパターンマッチングによるスキャン

機密データの識別


本番データをテストに利用したい

テスト環境のストレージコストを抑制したい

テストデータの作成を効率化したい

開発およびテスト向けに本番データのサブセットを作成 Oracle Test Data Management Pack


データ・サブセット

データ・サブセットとは？

– テスト・開発用に、参照関係やその他の

特徴を保ったまま本番環境のデータを縮小

なぜデータ・サブセットか?

– 様々なアプリケーションの本番データを

コピーすることによるストレージコストの抑制

– 本番環境の特徴を持ったデータを

使用することで、よりリアルに近い環境での

開発が可能

Oracle Test Data Management Pack

メタデータアプリケーション・データ


Criteria方式によるデータの抽出 Oracle Test Data Management Pack

Asia

America

Europe FY

11

FY

13

Criteria

10%

30%

Storage

Criteria-based Storage Goal-based

メリット一貫性のあるデータをサブセット化容量の指定のみでシンプル


サブセットの作成 Oracle Test Data Management Pack

*2-nodes Intel Xeon 6-core X5675 Processor w/ 216G memory running OEL 5.5

Database size Subset size Time*

DataPump Method 1TB 200MB(20%) 1 hour 8 minutes

Clone and Delete 1TB 200MB(20%) 5 hour 49 minutes

Subset

& DataPump

Import Clone Delete


再現テストのために本番データをテストに利用したい

開発者やテスト担当者と本番データを安全に共有したい

テストデータの作成を効率化したい

機密データを難読化し、本番データを安全に共有 Oracle Data Masking Pack


セキュアなテストデータの管理 Oracle Data Masking Pack

テストに本番データを使うことによるリスク

– 機密情報や個人情報の漏洩

– 予想外の本番データ利用

予想外の本番データ利用

– ワークフローシステムの試験に本番データを使い、処理完了メールが顧客に送信された!

– NDA を結んでも、本番データをテスト準備に使っているのがテスト関係者に伝わらず、実際に商品がお客様に出荷された!


多様なマスキングフォーマット Oracle Data Masking Pack

マスキングフォーマット

– 配列リスト

– 削除

– 固定数値

– 固定文字列

– NULL値

– 後処理関数

– 元のデータの保持

– ランダム少数

– ランダム桁数

– ランダム数値

– ランダム文字列

– シャッフル

– SQL式

– 置換

– 部分文字列

– 表の列

– 切捨て

– ユーザー定義関数


事前定義済みのマスキング・フォーマットライブラリ Oracle Data Masking Pack

クレジット・カード番号

– Master Card

– Visa Card

– American Express

– Discover Card

– 任意のクレジット・カード

社会保障番号

– 米国

– カナダ

流通コード

– ISBN (International Standard Book Number)

– UPC (Universal Product Code)

電話番号

– 北米

– 米国

– 米国の州

– カナダ


事前定義済みのマスキング・フォーマットライブラリ Oracle Data Masking Pack

DM_FMTLIBパッケージ

– ターゲットデータベースで手動インストールが必要

– クレジット番号のマスキング

ランダムで一意な10桁の番号を生成

カード・タイプ接頭辞を追加

チェックサムを計算し最終桁に追加

$ORACLE_HOME/sysman/admin/emdrep/sql/db/latest/masking/ dm_fmtlib_pkgdef.sql dm_fmtlib_pkgbody.plb

AMEX (34/37xxxxxxxxxxxxN)

Visa (4xxxxxxxxxxxxxxN)

Master (5xxxxxxxxxxxxxxN)


死活監視だけで大丈夫かな


ユーザー視点監視へのアプローチ

☑ トレンドレポート

☑ サービス可用性

☑ 多くのプロトコルをカバーパッシブ監視

ネットワーク・トラフィックを

スニフィング

☑ すべての実ユーザーの性能

☑ 完全なセッション

☑ アプリケーションの全機能

アクティブ監視

ビーコンを使用して

ユーザー操作を疑似実行


ユーザーの報告よりも先にパフォーマンス遅延やエラーを発見したい

様々なプロトコルのサービスを監視したい

アプリケーション性能に起因する機会損失を低減したい

サービスの可用性やパフォーマンスを監視 Service Level Management – Enterprise Manager


アクティブ監視 – 擬似クライアント監視

一定間隔でサービスにアクセスし監視

– 実際にシステムに対してログイン、検索などの操作を行い、

可用性やパフォーマンスが維持されているかどうかをプロアクティブに監視

監視できるサービス

– ATS Transaction

– CalDAV

– DNS

– HTTP Ping

– IMAP

Oracle Enterprise Manager / Service Level Management

– JDBC SQL

– LDAP

– NNTP

– Oracle SQL

– SMTP

– TNS Ping

– WebDAV

– Web Service

– XMPP

– カスタム

スクリプト

– ホストping

– ポートチェッカ


ATS Transactionの監視 Oracle Enterprise Manager / Service Level Management

☑ ステータス/エラー

☑ 合計時間

☑ 接続時間

☑ 最初のバイト時間


ページ応答性能や可用性を監視し顧客満足度を向上したい

キャパシティプランニングやマネジメントのため性能計測したい

アプリケーション性能に起因する機会損失を低減したい

リアル・エンド・ユーザー体験監視の最適化 Oracle Real User Experience Insight


☑ レスポンス時間

☑ TCPステータス

☑ サーバー/コンテンツエラー

☑ コンテンツ(Body,Header)

パッシブ監視 – ネットワークセッションキャプチャ Oracle Real User Experience Insight

Page

response 2

Page

request

1

Browser

Acks

3

☑ IPアドレス& ロケーション

☑ リクエストURL

☑ Cookie & セッションID

☑ POST & GET 情報

☑ ユーザーによる操作中止

☑ ネットワークタイムアウト


システム変更によるアプリ性能は?


本番のWebシステムと同じ条件で負荷テストを行いたい

インフラストラクチャ変更時の性能やエラーの違いを知りたい

テストスクリプトの作成などの準備時間をできる限り短くしたい

アプリケーション・インフラストラクチャの変更テスト Oracle Application Replay Pack


アプリケーション・インフラストラクチャの変更テスト Oracle Application Replay Pack

Test

Capture Replay Analyze

& Report

Production Replay Drivers Users

App server

DB server

Storage

App server

DB server

Storage

アプリケーション・スタック全体のテスト

– ハードウェア

– ソフトウェア

Faster Testing

– テストスクリプトの開発が不要

– テストスクリプトの保守が不要

Oracle Real Application Testingの

アプリケーション・テスト版


ワークロードのキャプチャ

Oracle Real User Experience Insightを使用してアプリケーションの

パフォーマンスデータと、すべてのユーザーエクスペリエンスをキャプチャ

– HTTP(S)/NCAプロトコルをサポート

– オーバーヘッドのないキャプチャ

前提条件

– Oracle Real User Experience Insight 12.1＋

– リプレイ・ロギング・ポリシーの設定で"完全ロギング"を有効

Oracle Application Replay Pack


キャプチャ・オプション

キャプチャモード

– 同期

Oracle WebLogic Server 11g PS3 と Oracle Database 11.2.0.2 以上でサポート

WebセッションとDBの呼び出し関係を追跡

最も正確なリプレイを実現

– 非同期

ユーザー・コール(HTTP/S)のみキャプチャ

RUEIで監視されるすべてのアプリケーションをサポート



ワークロードのリプレイ

リプレイクライアント

– リプレイクライアントを分散することにより、ワークロードの並行性を維持

– 必要なリプレイクライアント数はOracle Enterprise Managerが見積

– リプレイクライアントはキャプチャ・ファイルへのアクセス権が必要

リプレイのタイミング

– すべてのキャプチャ時のタイミングを維持

– 任意に変更も可能



リプレイ・オプション

リプレイモード

– 同期

アプリケーションによって生成されたDB呼び出しをインターセプトし、ECIDに基づきSQLの実行順序を維持

– 非同期

DBの呼び出しはハンドリングされず、ユーザー・コールのみリクエスト



リプレイ・パラメータ

セッション開始時間のスケール

– リプレイの開始からセッションが接続されるまでのログイン率を制御

思考時間のスケール

– 同一セッションからの2つの連続したユーザー・コール間の経過時間を制御

リクエスト率の維持

– 取得時よりもリプレイ時の方がユーザー・コールの処理に時間がかかった場合、システムは(think_time_scaleパラメータに基づいて)コール間の思考時間を修正



トランザクショントレース補助機能 - ECID

• Execution Context ID(ECID) により複数層の実行を関連付け


Oracle

HTTP Server

JEE

DB

WebService

ECID

0000I3K7DCnAhKB5JZ4Eyf19wAgN000001,0


ビジネス主導型アプリケーション管理

User Experience Mgmt

Business Transactions Management

MW & DB Diagnostics

顧客は問題なく注文処理を行なって

いる?

注文プロセスはどこで滞ってい

る?

問題の根本的な原因は?


ビジネス主導型アプリケーション管理 Oracle Enterprise Manager 12c Release2

FMW

Diagnostics Service

Management

Real User

Experience

Insight

Business

Transaction

Management


アプリケーションパフォーマンス管理 ECIDによるエンドツーエンド管理

Middleware Management

End-User Management

Database Management

ECID

• 真のエンド・ユーザー・エクスペリエンス

• ビジネスKPIのモニタリング

• ユーザーアクションのECID/BTM IDへのリンク

• BTM IDに基づいてトランザクションをトレース

• ECIDによりJVM層でのトランザクションをトレース

• ビジネスKPIをトランザクションレベルでモニタリング

• Diag & TuningによるDBアクティビティのキャプチャ

• アクティビティとECIDをリンク

• データベースの双方向統合


Oracle Application Quality Management 製品間の連携

Application Testing Suite

Real Application Testing

Data Masking

Real User Experience Insight

Application Replay

マスキングしながらワークロードのキャプチャ

ワークロードのインポート

HTTPセッションのインポート

すべてのHTTPセッションのリプレイ


おわりに



• アプリケーションのテスト Webアプリケーションの新規デプロイや

機能変更の際、機能・回帰テストおよび

負荷テストを自動化します

• インフラストラクチャのテストデータベース層やミドルウェア層の変更

を本番ワークロードを使ってテストします

• テスト・データの管理本番データのマスキングやサブセット化に

より、テストデータを効率的に準備します

Pre-Packaged

Apps

Composite

Apps Custom

Apps

ミドルウェア

データベース


ストレージ

eCommerce

Apps




Pre-Packaged

Apps

Composite

Apps Custom

Apps

ミドルウェア

データベース


ストレージ

eCommerce

Apps


• アプリケーションのテスト • Oracle Functional Testing

• Oracle Load Testing

• Oracle Test Manager

• インフラストラクチャのテスト • Oracle Real Application Testing

• Oracle Application Replay Pack

• テスト・データの管理 • Oracle Data Masking Pack

• Oracle Test Data Management Pack


Oracle Application Quality Management 2つのワークロードによる高品質のテスト

ミドルウェア

データベース


ストレージ


Functional

Testing

Load

Testing

Application

Replay

Real

Application

Testing

Real Synthetic • Synthetic Workload

• 想定されるトランザクションをテストスクリプトとして手動作成

• 新規開発や改修などのテストを効率化

• Real Workload

• 本番環境で処理されているトランザクションからテストスクリプトを自動作成

• アップグレードや構成変更時の影響確認テストを効率化

目的に応じた高品質のテストを実現


オラクル技術の総合的な教育サービスを提供する Oracle University

集合研修（Classroom Training）

オラクル認定資格制度

Oracle トレーニング・オンデマンド

Oracle University Live Virtual Class

研修に関するお問い合わせ・ご要望はこちらから

オラクルユニバーシティ

ＴＥＬ： 0120-155-092

ＵＲＬ： http://www.oracle.com/jp/education/

オラクルユニバーシティが提供する教育サービス

高度化・多様化する最新技術に対応。世界中の研修コースが受講可能に。

体系的なカリキュラムと最新の認定資格で信頼されるエンジニアの育成をご支援します。

http://www.oracle.com/jp/education/promotion/enewsletter-171929-ja.html

http://www.oracle.com/jp/education/promotion/enewsletter-171929-ja.html

1 Copyright © 2012, Oracle and/or its affiliates. All rights...

Documents

Transcript of 1 Copyright © 2012, Oracle and/or its affiliates. All rights...