組み込み開発でのシステムテスト自動化の一つの考え方（STAC）

組み込み開発でのシステムテスト自動化の

一つの考え方

井芹　洋輝(STAR) システムテスト自動化カンファレンス2013

2013/12/1 @オラクル青山センター

今回の発表について

•  組み込み開発での上位テストの自動化の考え方の一例を紹介します

•  伝えたいこと – 組み込み開発ではシステムテスト・統合テストのテスト自動化は重要です

– それらのテスト自動化ではテストレベルに閉じこまらず、責務や負荷を分散しましょう

•  自己紹介 – 組み込み開発・テストのコンサル・エンジニア STAR、WACATE実行委員、TDDBC所属等

– 最近は車載のテスト自動化やシステムテスト支援に従事

組み込み開発でのシステムテストの実行自動化は有効です

自動化による回帰テストの効率化

テスト条件のスケーラビリティの向上（組み合わせやタイミング）

制御や観測の選択肢の拡充

ありがちな組み込み開発の制約

テスト自動化の活用の余地

リアルタイム性要求複雑なタイミング設計

現実世界との物理的なインターフェース

頻繁に変わる実行環境ソフトウェア以外の影響の高さ

内部観測性の低さ

タイミング依存・順序依存のバグ

環境起因のデグレードハードウェアのバグ

検出しにくい内部バグ

ありがちなテストで対応すべき課題

組み込み開発でのシステムテストの実行自動化は有効です

自動化による回帰テストの効率化

テスト条件のスケーラビリティの向上（組み合わせやタイミング）

制御や観測の選択肢の拡充

ありがちな組み込み開発の制約

テスト自動化の活用の余地

リアルタイム性要求複雑なタイミング設計

現実世界との物理的なインターフェース

頻繁に変わる実行環境ソフトウェア以外の影響の高さ

内部観測性の低さ

タイミング依存・順序依存のバグ

環境起因のデグレードハードウェアのバグ

検出しにくい内部バグ

ありがちなテストで対応すべき課題

組み合わせや、実施タイミング・同時処理の条件パターンなどを増やして、タイミング依存バグを網羅的

にカバー

ハードウェアや構成変更時の軽快なチェック

内部観測性の補強自動化の幅を広げる

組み込みでのシステムテストの実行自動化

種類手段

外部インターフェースを介した自動化

・操作ロボット・外部の冶具ツール・画像・映像解析

評価環境を用いた自動化・評価ボード上での実行・OSやフレームワークの組み換え

仮想・半仮想環境による自動化

・エミュレータやその他シミュレーションツール、ICEでの自動化

コンポーネントの置換やテスト用機能の組み込み

・MockオブジェクトやFakeオブジェクトの導入・自動操作機能、自己検証機能などの組み込み

●全体の傾向としてコストや手間がかかる/環境や条件にカスタマイズが必要/ 本番環境と異なる/完全自動化が難しい場合が多い

一般的な手段の例：

システムテスト実行自動化では、テストの責務と負荷の分散・軽減を推進しましょう

•  システムテストに閉じず、本来の品質やテストの目的に立ち戻って制約に対応しましょう

•  テストや環境面は多方面で育て、多方面で活用しましょう – コストパフォーマンスや恩恵が高まって、大きな効果を得られるようになります

テストの責務を分散しましょう

•  システムテストに制約がある場合、そもそもテストの目的に立ち戻りましょう

•  統合テストや、半自動化、その他品質確認手段でしばしばサポートできます

品質エンジニアリング

品質の目標や要求

テスト要求

テスト目的

テスト

例

システムがフリーズしないこと：機能Aでメモリリークがないこと

機能Aの想定される実行領域でメモリリークが発生しないこと

機能Aの想定条件化でメモリリークが発生しないことを確認する

ロボットでのロングランテスト






テスト要求

テスト目的

テスト

例




Valgrind+gcov+テストインプット生成コンポーネントによる自動結合

テスト







テスト要求

テスト目的

テスト

例




Valgrind+gcov+テストインプット生成コンポーネントによる自動結合

テスト


網羅的なバグ出し

最終チェック

コストパフォーマンスやバグ検出力の工場

テスト自動化の負荷を分散しましょう

•  開発ライフサイクルを多方面に支えるインフラを構築しましょう

•  自動化のためのテスタビリティを前倒しで確保していきましょう

●上位テストの実行自動化インフラ・観測点/制御点インターフェース　ログ出力、接合部、Dependency InjecIon、Dependency Lookup、JTAG等・・・テスト用内部コンポーネント　テストデータ生成機能、自己チェック機能、自動操作機能等・・・Test Double 　Test Stub、Fakeオブジェクト、Mockオブジェクトなど等・・・外部コンポーネント　評価ボード、操作ロボット、デバッガ、ICE等・・


•  開発ライフサイクルを多方面に支えるインフラを構築しましょう

•  自動化のためのテスタビリティを前倒しで確保していきましょう

●上位テストの実行自動化インフラ・観測点/制御点インターフェース　ログ出力、接合部、Dependency InjecIon、Dependency Lookup、JTAG等・・・テスト用内部コンポーネント　テストデータ生成機能、自己チェック機能、自動操作機能等・・・Test Double 　Test Stub、Fakeオブジェクト、Mockオブジェクトなど等・・・外部コンポーネント　評価ボード、操作ロボット、デバッガ、ICE等・・

開発者テスト・ユニットテスト・統合テストと共有して活

用可能

製品開発の中で開発可能


•  例）自動化されたユニットテストの用途 – 開発中のCIでのテスト • 変更やリファクタリングの支援 • バグ混入の即時検出 • テストの保守

– 統合テストでの自動化手段 • テストコードやテスト用コンポーネントの流用 • 作りこまれたテスタビリティやテスト機能の活用

– システムテストでの自動化手段 • 作りこまれたテスタビリティやテスト機能の活用


•  例）自動化されたユニットテストの用途 – 開発中のCIでのテスト • 変更やリファクタリングの支援 • バグ混入の即時検出 • テストの保守

– 統合テストでの自動化手段 • テストコードやテスト用コンポーネントの流用 • 作りこまれたテスタビリティやテスト機能の活用

– システムテストでの自動化手段 • 作りこまれたテスタビリティやテスト機能の活用

多方面で構築でき多方面で活用できるコストパフォーマンスやテストの効果が増大し、

選択肢が広がる

テストの負荷と責務の分散を支える

開発ユニットテスト・統合テスト工程

システムテスト工程

TDDによるユニットテスト・テスタビリティの構築

CIによるテスト環境の維持

テストの整理

テストコード・テストのインフラ

システムテストの担保

テストのインフラ・

テストの実施

自動化実現のインフラや制約の抽出

●全体の目的や方針に対応するアプローチや手法をとる全体テスト分析・計画の充実/テスト上流設計の整備/リスクマネジメント等の独立プロセス等 ●全体を支えるインフラを構築する CI/汎用的なTest Double/フレームワーク等

デモ

組み込み開発での継続的な自動テストの実行

•  簡易的ですが、ホスト・ターゲットテストを継続運用するテスト環境を紹介します


•  構成

開発環境 (CppUTest)

CI (Jenkins)

Repository

ターゲット環境

(Arduino)

Hostのテスト環境

(CppUTest)

ターゲットでのテスト

ホストでのテスト

ホストでのテスト（個人レベル）

ターゲットマネージャ

(独自スクリプト＋uno)

ロード・実行

Junit形式テストレポート

ログ取得生成

push

CIサーバ


ホスト向けコード

ターゲット向けコード

Link Seam

テストモジュール

本体モジュール

ソフトウェア機能として組み込み


•  構成

開発環境 (CppUTest)

CI (Jenkins)

Repository

ターゲット環境

(Arduino)

Hostのテスト環境

(CppUTest) TDDを中心にプログラミング中にテストを構築

ターゲットマネージャ

(独自スクリプト＋uno)

ロード・実行

Junit形式テストレポート

ログ取得生成

push

イテレーションごとなど定期的なタイミングでテストをまとめあげ

ホスト上のテストと実機上のテストを継続実行

実機へのロードと実行結果の受

信

たまった資産を規模の大きい統合テストやシステムテストで活用

組み込み開発でのシステムテスト自動化の一つの考え方（STAC）

Technology

Transcript of 組み込み開発でのシステムテスト自動化の一つの考え方（STAC）