ISO/IEC/IEEE 29119 Software testing 勉強会第2回 Part 2 Test Processes

ISO/IEC/IEEE 29119 勉強会第2回 Part 2 Test processes

YAMASAKI Takashi 2014年1月28日

• 本資料は、2014年1月9日(木)に行ったISO/IEC/IEEE 29119勉強会の第1回の発表資料です。勉強会動画を視聴しながらの閲覧を推奨します。動画は次のURLからアクセスできます。http://www.ustream.tv/channel/ieee29119%E5%8B%89%E5%BC%B7%E4%BC%9A

• 発表当時から多少修正をいれていますが、基本的に発表当時と大きな違いはありません。そのため、資料には一部誤りや不明瞭な情報を含んでいます。それらについては上記の動画内で言及されていますので、動画をご参照ください。

• リリースされた国際規格のみならず、現在策定中の草案についても言及しているため、最新の情報と異なっている可能性があります。可能であれば最新の情報を確認してください。

• なお、本文中の翻訳は発表者独自のものであり、翻訳において意味が変質している可能性がありますのでご注意ください。

参考：勉強会のイベントページ http://kokucheese.com/event/index/136742/

http://www.ustream.tv/channel/ieee29119%E5%8B%89%E5%BC%B7%E4%BC%9A




http://kokucheese.com/event/index/136742/

YAMSAKI Takashi (@yamasaki696) 某セキュリティベンダーのソフトウェアテスト技術者出没場所： WACATE/JaSST/こういった勉強会/etc

Agenda

• テストプロセスの説明（100分）

• 途中休憩5～10分(予定)

本日のゴール

テスト文書 Test documentation

テストプロセス Test processes

テスト技法 Test techniques

コンセプトと定義

Concepts and definitions

ソフトウェアテストのためのプロセス評価

Process assessment model for software testing

キーワード駆動テスト

Keyword Driven Testing

1を引用

1を引用

参照

4を引用

1～4とは別。気にするな

※33063はSPICEシリーズの一規格。 29119-2をリファレンスのテストプロセスとしている

2を引用

3を引用

Part 2の目次序文(Introduction)

1. 適用範囲(scope)

2. 適合性(Conformance)

3. 引用規格(Normative reference)

4. 定義(Terms and definition)

5. 多層構造テストプロセスモデル

6. 組織的なテストプロセス

7. テストマネージメントプロセス

8. 動的テストプロセス

付属書(Annex)

参考文献(Bibliography)

Organizational Test Process

Test Management Processes

Dynamic Test Processes

Figure 3. The multi-layer relationship between test processes From ISO/IEC/IEEE 29119-1:2013




5章

6章

7章

8章


Test Management Process

Dynamic Test Process



Figure 2 – The multi-layer model showing all test processes, from ISO/IEC/IEEE 29119-2:2013 Test processes, P-11

Test

Planning

Process

Test

Monitoring &

Control

Process

Test

Completion

Process

Test Design &

Implementation

Process

Test

Environment

Set-up &

Maintenance

Process

Test

Incident

Reporting

Process

Test

Execution

Process

Organizational

Test

Process



Test

Planning

Process

Test

Monitoring &

Control

Process

Test

Completion

Process

Test Design &

Implementation

Process

Test

Environment

Set-up &

Maintenance

Process

Test

Incident

Reporting

Process

Test

Execution

Process

Organizational

Test

Process

• 概要 (Overview)

• プロセスモデル (Process Model) ※informative

• 入力 (Inputs) ※informative

• 目的 (Propose)

• 成果 (Outcomes)

• 活動 (Activities)

• タスク (Tasks)

• 情報アイテム (Information Items)

a layered processes

a layered processes

process process process

a layered processes


activity activity

activity activity

a layered processes


activity activity

activity activity

task task

task task

Test Management Processes (applied To Project Test Management)




Organizational Test Process (applied To Test Policy)

Organizational Test Process (applied To Test Strategy)

Organizational Test Policy

Organizational Test Policy

Organizational Test Strategy

Feedback on Organizational Tet Policy

Feedback on Organizational Tet Strategy

Feedback on Organizational Tet Policy

Figure 3 – Example Organizational Test Process implementation, from ISO/IEC/IEEE 29119-2:2013 P-12




テストマネージメントプロセス (プロジェクトテストマネージメントの適用)

組織的なテストプロセス (テストポリシーの適用)

組織的なテストプロセス (テスト戦略の適用)

組織的なテストポリシー

組織的なテストポリシー

組織的なテスト戦略

組織的なテストポリシーのフィードバック

組織的なテスト戦略のフィードバック

組織的なテストポリシーのフィードバック

図4「Example test management process relationship」ISO/IEC/IEEE 29119-2 Test processes P-15より引用（翻訳は独自）

組織に関するテストについての情報を提供するドキュメント、たとえばプロジェクトに依らない情報

• 組織的なテスト仕様の例

• 組織的なテストポリシー(organizational test policies)

• 組織的なテスト戦略(organizational test strategies)

• 組織的なテストプロセス(organizational test processes)

• 組織的なテスト手順(organizational test procedure)

• 経営層レベルのドキュメント

• 組織におけるテストの目的、ゴール、全体的なスコープを記述

※ Part 3では”Organizational”がなく単に”Test Policy”となっている。

Organizationalのありなしで、意味が大きく変わる単語も多いのでちょっと違和感がある。

• 組織で実行するすべてのプロジェクトにおいて実行されるテストのための包括的(generic)な要求を表現したドキュメントで、どのようにテストを実行するかの詳細を提供する

• 注１：組織的なテストポリシーによって調整される

• 注２：著しく異なるプロジェクトコンテキストをカバーするために、ひとつの組織がひとつ以上の組織的なテスト戦略を持つことができる



Test

Planning

Process

Test

Monitoring &

Control

Process

Test

Completion

Process

Test Design &

Implementation

Process

Test

Environment

Set-up &

Maintenance

Process

Test

Incident

Reporting

Process

Test

Execution

Process

Organizational

Test

Process


Develop Organizational

Test Specification

(OT1)

Monitor and Control Use of

Test Specification

(OT2)

Update Organizational

Test Specification

(OT3)

Organization Test

Specification

Controlled Organizational

Test Specification

Updated Organization

Test Specification

Figure 4 – Organizational Tet Process, from ISO/IEC/IEEE 29119-2 Test process, P-13

Inputs to activities in this process may include: • Views of primary stakeholders; • Knowledge of the current test

practices within the organization;

• Organization’s Mission Statement;

• IT Policy; • IT Project Management Policy; • Quality Policy;

• Organizational Test Policy; • Organizational Test Strategy; • Feedback on Tet Specification; • Typical test plans from the

organization; and • Industry and/or government

standards.

組織的なテストプロセス

組織的なテスト仕様を開発する

(OT1)

(組織的な) テスト仕様の

効用をモニターしコントロールする

(OT2)

組織的なテスト仕様を更新する

(OT3)

組織的なテスト仕様

コントロールされた組織的なテスト

仕様

更新された組織的なテスト仕様

目的組織的なテストプロセスの目的は、適合性を開発しモニターすることと、組織的なテスト仕様の保守すること



Test Specification

(OT1)


Test Specification

(OT2)


Test Specification

(OT3)

Organization Test

Specification


Test Specification


Test Specification

入力 (informative)

• 主要な利害関係者のビュー(Views) • 組織における現在のテストプラクティスの知識 • 組織のミッションステートメント • ITポリシー • ITプロジェクトマネジメントポリシー • 品質ポリシー • 組織的なテストポリシー • 組織的なテスト戦略 • (組織的な)テスト仕様のフィードバック • 組織が提供している一般的なテスト計画 • 業界または政府の標準



Test Specification

(OT1)


Test Specification

(OT2)


Test Specification

(OT3)

Organization Test

Specification


Test Specification


Test Specification

情報アイテム

a. 組織的なテスト仕様例：

• 組織的なテストポリシー • 組織的なテスト戦略



Test Specification

(OT1)


Test Specification

(OT2)


Test Specification

(OT3)

Organization Test

Specification


Test Specification


Test Specification

成果

a. 組織的なテスト仕様のための要求が識別される b. 組織的なテスト仕様が開発される c. 組織的なテスト仕様が利害関係者によって

同意される d. 組織的なテスト仕様がアクセス可能になる e. 組織的なテスト仕様への適合性がモニターされる

f. 組織的なテスト仕様へのアップデートが利害関係者によって合意される

g. 組織的なテスト仕様へのアップデートが作られる



(OT1)



(OT2)


(OT3)



仕様




(OT1)



(OT2)


(OT3)



仕様


OT1: 組織的なテスト仕様を開発する

a. 組織的なテスト仕様につての要求を識別する

• 組織における現在のテストプラクティス

• その他の手段によって利害関係者が開発

するもの

b. 上記要求は、組織的なテスト仕様を作るために使う

c. 組織的なテスト仕様の内容の承認を利害関係者から

得る

d. 組織的なテスト仕様の利用可能状況(availability)は、

組織における利害関係者に伝える

availability



(OT1)



(OT2)


(OT3)



仕様


OT1: 組織的なテスト仕様を開発する

a. 組織的なテスト仕様につての要求を識別する

• 組織における現在のテストプラクティス

• その他の手段によって利害関係者が開発するも

の

b. 上記要求は、組織的なテスト仕様を作るために使う

c. 組織的なテスト仕様の内容の承認を利害関係者から

得る

d. 組織的なテスト仕様の利用可能状況(availability)は、

組織における利害関係者に伝える

availability



(OT1)



(OT2)


(OT3)



仕様




(OT1)



(OT2)


(OT3)



仕様


OT2: テスト仕様の効果をモニターしコントロールする

a. 組織的なテスト仕様の使用方法は、それが

組織において効果的に使われているかどうか計測するためにモニターする

b. 組織的なテスト仕様への利害関係者の調整を促進するために、適切なアクションを取る



(OT1)



(OT2)


(OT3)



仕様




(OT1)



(OT2)


(OT3)



仕様


OT3: 組織的なテスト仕様を更新する

a. 組織的なテスト仕様の利用についてのフィードバックはレビューされる

b. 組織的なテスト仕様の利用とマネージメントとの有効性は考慮され、そして有効性を改善するためのあらゆるフィードバックと変更は測定され承認される注意：これはワークショップ、インタビューおよび他の適切な手段によってフィードバックの調査により達成することができる

c. 組織的なテスト仕様書への変更が識別され承認された場合、これらの変更が実装される

d. 組織的なテスト仕様へのすべての変更は、すべての利害関係者に含む組織の全体にわたって伝達される

Figure 5 – Example test management process relationship, from ISO/IEC/IEEE 29119-2 Test processes P-15



Test Planning

Test Monitoring & Control

Test Completion

Test Plan Updates

Test Plan Test

Results

Test Completion

Report






Test Policy & Organizational Test Strategy

Test Plan, Control

Directives

Test Plan, Test Status Reports, Test Completion Report, Test Measures

Test Plan, Control

Directives

Test Measures

Test Plan, Control

Directives

Test Measures

Feedback on Test Policy & Organizational Test Strategy

Organizational

Test

Process



Test

Monitoring &

Control

Process

Test

Completion

Process

Test Design &

Implementation

Process

Test

Environment

Set-up &

Maintenance

Process

Test

Incident

Reporting

Process

Test

Execution

Process

Test

Planning

Process

Figure 6 – Test Planning Process, from ISO/IEC/IEEE 29119-2 Test processes P-16

Test Planning Process

Understand Context (TP1)

Organize Test Plan

Development (TP2)

Design Test Strategy

(TP5)

Identify Risk Mitigation

Approaches (TP4)

Identify & Analyse Risks

(TP3)

Communicate Test Plan And Make Available

(TP9)

Gain Consensus on

Test Plan (TP8)

Determine Staffing and Scheduling

(TP6)

Record Test Plan

(TP7)

Scope

Test Plan Development Schedule

Analyzed Risks

Mitigation Approaches

Test Strategy

Schedule, Staffing Profile

Draft Test Plan

Approved Test Plan

Test Plan The process is shown as purely sequential, but in practice it may be carried out iteratively, with some activities being revisited. See text for detail.

Inputs to activities in this process may include: • Organizational Test Policy; • Organizational Test Strategy; • Regulatory Standards; • Project Test Plan (if planning

testing for a specific phase or type within a project);

• Incident reports; • Project Management Plan; • Applicable product documentation

(e.g. System Requirements, Test Item Specification);

• Software Development Plan; • Project and Product Risks; and • Test Plan Updates.

テスト計画プロセス

コンテキストを理解する (TP1)

テスト計画開発を準備する (TP2)

テスト戦略を設計する (TP5)

リスク軽減アプローチを

識別する(TP4)

リスクを識別し分析する (TP3)

テスト計画を伝達し、有効にする

(TP9)

テスト計画のコンセンサスを得る(TP8)

人材の配置とスケジュールを計測する(TP6)

テスト計画を記録する (TP7)

スコープ

テスト計画開発スケジュール

分析されたリスク

軽減アプローチ

テスト戦略

スケジュール人員配置プロファイル

テスト計画ドラフト

承認されたテスト計画

テスト計画






識別する(TP4)



(TP9)




スコープ




テスト戦略




テスト計画

目的テスト計画プロセスの目的は、テストのリソース、環境、その他の要求の早期識別とテストを可能とするスコープとアプローチを開発し、合意し、記録し、関連する利害関係者へ伝達すること






識別する(TP4)



(TP9)




スコープ




テスト戦略




テスト計画


• 組織的なテストポリシー • 組織的なテスト戦略 • 規制する標準 • プロジェクトテスト計画 ※もし、あるプロジェクトにおける特定のフェーズやタイプについてのテストを計画する場合

• インシデントレポート • プロジェクトマネージメント計画 • 適用可能な製品ドキュメント例：システム要求、テストアイテム仕様

• ソフトウェア開発計画 • プロジェクト及びプロダクトリスク • テスト計画アップデート






識別する(TP4)



(TP9)




スコープ




テスト戦略




テスト計画

成果

a. テストプロジェクトの作業のスコープが分析され理解される b. テスト計画に参加する利害関係者が識別され通知される c. テストによって取り扱われられるリスクが、リスクが顕在化のレベルの承

認とともに識別され、分析され、そして分類される d. テスト戦略、テスト環境、テストツール、そしてテストデータのニーズが識

別される例：ツール、特別な機材、テスト環境、オフィススペース

e. 人々配置とトレーニングのニーズが識別される f. 各活動(activity)がスケジュールされる g. 見積もりが計算され、そして見積もりを納得させる証拠が記録される

例：コスト、スタッフ、そしてタイムライン見積もり h. テスト計画はすべての利害関係者に承認され配布される






識別する(TP4)



(TP9)




スコープ




テスト戦略




テスト計画

情報アイテム

a.テスト計画