1

Explore Agile Testing, Dai Fujihara http://daipresents.com/ 17/09/2012Featuring “The Dark Knight Rises” http://www.thedarkknightrises.com/

テストを、壮絶に、考える。

Why Agile Testing

• アジャイル開発のようなショートスプリントのテスト情報が少ない

• サービス開発というコンテキストに従来のテストがマッチしない

• どうしようか困ってる

小さい単位でのチェックフェーズ別のチェック

これまでと今の関係

• フェーズの最後に確認

• 仕様の実現がゴール• 品質は実現度

• 短い期間で確認• リリース後に改善活動が続く

• 品質はビジネスバリュー

よくでてくる図

http://www.mountaingoatsoftware.com/scrum/figuresこのフィードバックサイクルでテストまでやらないといけない

アジャイルテストの4象限

単体テストコンポーネントテスト

機能テスト例として ストーリーテスト プロトタイプ シミュレーション

探索的テストシナリオユーザビリティテストユーザ受け入れテストアルファ / ベータ

パフォーマンス / 負荷テストセキュリティテスト「～性」テスト

Book : 実践アジャイルテスト（Agile Testing） http://bit.ly/NmCcNW

自動と手動

自動 ツール

手動

アジャイルテストの4象限

単体テストコンポーネントテスト

機能テスト例として ストーリーテスト プロトタイプ シミュレーション

探索的テストシナリオユーザビリティテストユーザ受け入れテストアルファ / ベータ

パフォーマンス / 負荷テストセキュリティテスト「～性」テスト

Book : 実践アジャイルテスト（Agile Testing） http://bit.ly/NmCcNW

自動と手動

自動 ツール

手動

綺麗に整理されているだけでは役に立たない。だから何？

現象が発生する

やりたいこと

• やらなければならないことを知り• やるべきことを確定し• あきらめたことを共有し• みんなでリスクを理解する

テストを自分たち用に整理する

単体テスト（UT）

ユーザ受け入れテスト（UAT）

探索的テストユーザビリティテスト

パフォーマンスツールセキュリティツール

自動

自動 ツール

手動

ユーザ受け入れテスト（UAT）

テストを自分たち用に整理する

単体テスト（UT）

探索的テストユーザビリティテスト

パフォーマンスツールセキュリティツール

自動

自動 ツール

手動

UTと画面の二つを自動化。大切にしたい使ってみたときの「気づき」は手動にこだわ

る作戦。

単体テスト（UT） パフォーマンスツールセキュリティツール

自動

自動 ツール

手動

ツールの範囲

探索的テストユーザビリティテスト

ユーザ受け入れテスト（UAT）

セキュリティ部分はUTでやることもできるので、やれるだけやってツールに頼る作戦

• 負荷テスト• ツールの設定を使いまわすことで楽をする

ユーザ受け入れテスト（UAT）

単体テスト（UT） パフォーマンスツールセキュリティツール

自動

自動 ツール

手動

バグ発生時に再現や値確認などをすばやく実行するためにプログラム化必須。最近は自動コード生成とかあるのでそういったところは無理して作らない。

UTの範囲

探索的テストユーザビリティテスト

• 最小単位のプログラムと処理のテスト• API・DB接続はここに含めてしまう• プログラム作成のテストエビデンスとして作る

単体テスト（UT） パフォーマンスツールセキュリティツール

自動

自動 ツール

手動

UATの範囲

探索的テストユーザビリティテスト

• UATを自動化すると単純作業の繰り返しになったので、画面テスト、シナリオテストもUATで一気に片付ける

• 画面テストはケースが大量にできるのでさらに細分化して対象を決める（後述）

ユーザ受け入れテスト（UAT）

WebDriverなどを使うと簡単に画面テストできる時代になったが、新しくウィンドウを開くとかやりにくいテストもあるのでそういうのはあきらめる。

単体テスト（UT） パフォーマンスツールセキュリティツール

自動

自動 ツール

手動

UATのはじめかた

探索的テストユーザビリティテスト

• 画面ごとのテストより機能ごとのテストのほうが影響範囲が分かりやすい

• RSpec + WebDriverだと初心者でも簡単に自動化、プログラム化できるので柔軟

ユーザ受け入れテスト（UAT）

単体テスト（UT） パフォーマンスツールセキュリティツール

自動

自動 ツール

手動

UATのトレードオフ

探索的テストユーザビリティテスト

ユーザ受け入れテスト（UAT） シンプルな機能

複雑な機能

メジャーな機能マイナーな機能

超重要

重要

このへんは日々の画面チェックでカバーされて

た

このへんは日々の画面チェックでカバーされて

た

あきらめ対象

ユーザ受け入れテスト（UAT）単体テスト（UT）

UTとUATの関係

• 自動• 実行が早い• ホワイトボックス• 網羅性を確認できる• データ準備が楽• 段階の確認

• 自動• 実行が遅い• ブラックボックス• 網羅性を確認できない• データ準備が面倒• 最終の確認

単体テスト（UT） パフォーマンスツールセキュリティツール

自動

自動 ツール

手動

手動の範囲

探索的テストユーザビリティテスト

ユーザ受け入れテスト（UAT）

「こうなっていたらいいのに」もここで洗い出し、受け入れ担当者に仕様変更か無視かの判断をしてもらう。開発者全員で時間をあわせ、せーのでテストしていくと盛り上がる

• 画面レイアウト、デザインは人の目を使う• 手動で操作、対象端末（iPhoneとか）で操作• テストでの「気づき」をチケット化してFBにつなげる

時間を有効活用する

単体テスト（UT）

ユーザ受け入れテスト（UAT）

探索的テストユーザビリティテスト

パフォーマンスツールセキュリティツール

自動

自動 ツール

手動

注力

時間削減 時間削減

時間削減

プロセスの変化

http://www.mountaingoatsoftware.com/scrum/figures

UTのフィードバックサイクル（自動）

UATのフィードバックサイクル(自動)

探索、ユーザビリティのフィードバックサイクル

(手動)

まとめ

•テストを「なんとなく」しない•テストは狙ってやる•できないことを理解し、リスクに構える

まとめ

•バグはあってもいい•デグレードはしない•UTいるの？