JasstTokyo2017

JaSST Tokyo 2017

事例発表

品質予測モデルの構築およびプロジェクト管理への適用事例

三菱スペース・ソフトウエア株式会社鎌倉事業部生産技術部

岡野麻子

Copyright © 2016MITSUBISHI SPACE SOFTWARE CO.,LTD. All Rights Reserved

2

自己紹介• 岡野麻子（おかのあさこ）

• 三菱スペース・ソフトウエア株式会社

• 経歴

– ～2004 防衛分野の業務に従事

– 2004～2010 QAに所属

– 2010～ SEPGに所属。

• 主に、CMMIによるプロセス改善に従事。「定量的プロジェクト管理」の推進をしています。

• 統計分析（プロセス実績ベースラインやプロセス実績モデルの構築）、ツールの管理等も行っています。

• 弊社では、様々な事業分野を取り扱っており、製品も幅広くあります。使われる技術の特性があり、統計分析では非常に悩むことが多いです。


3

アジェンダ

1.発表の概要

2.背景と目的

3.品質予測モデルの構築

4.予測実施のポイント

5.適用事例の紹介

6.まとめと今後の予定

7.参考文献


4

1.発表の概要

【概要】

当事業部では、累積誤り検出密度の予測にゴンペルツ曲線を採用している。プロジェクトの初期段階からプロジェクトゴール(※)達成可否の予測を行うことができるように品質予測モデルの構築において工夫した点（データの外挿）、およびプロジェクト管理へ適用した事例について紹介する。

※プロジェクトゴール：プロジェクトの目標値（例：QCD等）


5

2.背景と目的

【背景】

プロジェクトの実績データが蓄積されてきた。このデータを活用し、プロセスを改善させて品質向上を目指す

【目的】

出荷時の品質に問題のないプロダクトにする

⇒【手段】

予測モデルを利用したプロジェクト管理の推進（CMMIレベル４(※)の考え方に基づく）

※CMMIレベル４：

「標準化されたプロセスを定量的に測定し、洗練化していく状態」

レベル４のプラクティスの一部に、予測モデルを利用したプロジェクト管理を行うことが求められている


6

【何を予測するかを決定】

目的：出荷時の品質に問題がないプロダクトにする

手段：予測モデルを利用したプロジェクト管理の推進

「出荷後の品質に問題がないこと(品質のゴール)」

の達成可否の予測を行うことにより、

早期の問題対処を行う

3.品質予測モデルの構築(1/9)


7

【尺度の選択(1/2)】

・「出荷後の品質に問題がない」プロジェクト

＝「品質のゴール」を達成した「成功プロジェクト」であると定義

・「成功プロジェクト」の実績データに基づく予測モデルを構築し、その予測に従い管理を実施することとした

「出荷後の品質に問題がないこと」を評価する尺度として出荷時残存誤り密度を採用している。



8

【尺度の選択(2/2)】

ただし、出荷時残存誤り密度は出荷後ある程度の時間を経ないと分からないデータである。そこで、「成功プロジェクト」がプロジェクト実施中にどのように「誤り」を検出していったのかという傾向と同じ軌跡をたどっていけば、出荷時残存誤り密度も同じようになると定義し、誤りの検出傾向を近似したモデルを作成することとした。

「成功プロジェクト」の各フェーズごとの「誤り検出密度」の実績データを各工程ごとに累積した「累積誤り検出密度」の予測モデルを構築



9


【データの層別】尺度「累積誤り検出密度」が決まったので、

予測モデルの構築を試みる。・・・が・・・

様々な事業のデータが存在し、

プロジェクトの特性によるばらつきが見られる

「成功プロジェクト」として分類したプロジェクトのデータに絞り、そこからさらに予測モデルを適用する試行プロジェクトの特性を考慮したデータの層別(※)を行う。

※データの層別基準（一部紹介）

言語、製造量、プロジェクト構成メンバー、開発環境等


10

【成功プロジェクト(過去実績)のデータに基づいた傾向把握】

1. 累積誤り検出密度を工程ごとにプロット

2. 工程ごとに箱ひげ図を作成

3. 四分位範囲の第３四分位を上限値、中央値を目標値、第１四分位を下限値と設定

4. 四分位範囲を使用し、累積誤り検出密度のゴールを算出

5. 最終実施工程の上下限範囲をゴールと設定

6. 最終工程部分の上下限範囲

内へ予測結果がどの程度入るか

でプロジェクトゴール達成可否

を判断


過去事例1

過去事例2

過去事例3

過去事例4

過去事例5

過去事例6

累積誤り検出密度


11


【予測モデルの決定】

予測モデルの尺度が「累積誤り検出密度」

⇒ソフトウェア開発において累積誤り検出密度は、

工程が進むにつれて、一般にS字曲線を描く

傾向がある（参考文献③三觜武, ソフトウェアの品質評価法, 日科技連出版社, 1981）

⇒この曲線を表現するためにゴンペルツ曲線を採用した

算出した「累積誤り検出密度」の目標値を使用し、ゴンペルツ曲線のパラメータを決定


12


【ゴンペルツ曲線と予測モデル】

𝑦 = 𝐾𝑎𝑏𝑥

(𝐾 > 0, 0 < 𝑎 < 1, 0 < 𝑏 < 1) ・・・(1)

変曲点： 𝑥0 =ln(−1/ ln 𝑎)

ln 𝑏,

𝑦0 = 𝐾𝑒−1

※形状は変曲点に関して点対称ではない

変曲点

𝑦

𝐾𝑎

𝑦0

𝐾

𝑥𝑥00

𝑎, 𝑏の値ににより𝑥0 ≥ 0または 𝑥0 ≤ 0


各工程の番号

ただし,目的変数 𝑦：各工程の累積誤り検出密度説明変数 𝑥：各工程の番号


13


【ゴンペルツ曲線のパラメータの決定①】(1)の両辺の常用対数をとり線形化

log 𝑦 = log𝐾 + 𝑏𝑥 log 𝑎 ・・・(2)

log(𝑦 + Δ𝑦) = log𝐾 + 𝑏𝑥+1 log 𝑎 ・・・(3)

𝑥 が１工程進むと Δ𝑦増加

log(𝑦 + Δ𝑦) − log 𝑦 = 𝑏 − 1 𝑏𝑥 log 𝑎 = 𝑏 − 1 (log 𝑦 − log𝐾)

これより𝒀 = 𝑨𝑿 + 𝑩

ただし 𝑋 ≡ log 𝑦 , 𝑌 ≡ log 𝑦 + Δ𝑦 − log 𝑦 ,𝐴 ≡ 𝑏 − 1, 𝐵 ≡ 1 − 𝑏 log𝐾

式(3)-(2)より


14


【ゴンペルツ曲線のパラメータの決定②】

パラメータ 𝐾 と 𝑏の決定(最小二乗法で 𝐴 と 𝐵 を決定、最低４工程のデータが必要)

𝑏 = 𝐴 + 1, 𝐾 = 10𝐵

1−𝑏

パラメータ 𝑎 の決定（𝑥 = 0に対する 𝑦 = 𝑦∗ を試行錯誤的に与える）

𝑎 = 𝑦∗/𝐾

これで、使用する品質予測モデルが決定。これを用いて、試行プロジェクトに適用し、予測を行う。実績値を測定するたびに予測を実施する。


15

4.予測実施のポイント(1/3)

【予測実施のポイント】

差分データ𝜟𝒚を用いたために、最低4工程のデータが必要

＝実施済の工程が4つ以上あることが必要

プロジェクト初期からの予測が出来ない・・・・

予測モデルを使用するプロジェクトすべてが４工程以上実施するとは限らない・・・

4点に満たないときは、プロジェクト計画時に設定した目標値を使用して外挿を行い、プロジェクトの初期からの予測を可能にした

※「成功プロジェクト」として層別したものと実績値の傾向が同じであれば、プロジェクトゴールの達成を予測でき、外装するデータとして妥当であると考えた


16

【品質予測実施手順】

1. 各工程における累積誤り検出密度の目標値を用いてゴンペルツ曲線を決定

2. 手順１の曲線から各工程間の累積誤り検出密度の差分を算出


𝑦

𝑦𝑛

𝐾

𝑥0

𝑦𝑛+1

差分:

𝑥𝑛 𝑥𝑛+1

𝑦𝑛+1 − 𝑦𝑛

凡例：● 目標値差分


各工程の番号

３章で作成した予測モデル

下限予測値

上限予測値


17

【品質予測実施手順】

3. 終了した工程の実績値と手順２の差分を用いて、終了していない工程の累積誤り検出密度を外挿して全工程のデータを準備

4. 準備されたデータを用いて再度ゴンペルツ曲線を決定し、品質予測モデルを導出


𝑦

𝑥0

差分を足していく

凡例：● 実績値○ 差分を用いて外挿した値


各工程の番号

３章で作成した予測モデル

上限予測値

下限予測値


18

5.適用事例の紹介(1/4)

【試行内容について】

試行プロジェクト（3工事で試行）

派生開発

プロジェクト体制は数年間ほぼ同じ

プロジェクトゴール

「成功プロジェクト」としての層別基準の一つである「出荷時残存誤り密度の達成」を設定

⇒ゴールを満たす品質予測モデルを構築し、適用

以下をプロジェクト管理の中で実施

目標値から導出した品質予測モデルを利用し、プロジェクトゴール達成可否を予測し管理

プロジェクトの初期からプロジェクトゴールの予測を行い早期に品質状況を把握、予測結果が最終工程の上下限範囲から逸脱した場合には早期の分析・処置を促す


19


【プロジェクトB 結果1】目標値から導出した品質予測モデルを適用し、プロジェクトゴール達成可否を予測し管理した結果

⇒上下限範囲には入ったが、方式設計工程終了時における累積誤り検出密度が当該工程の許容範囲を超えているので、リスクとして管理し、レビュー結果の分析を行い対策をうった結果、単体テスト工程において許容範囲に入った

0.00

0.20

0.40

0.60

0.80

1.00

1.20

1.40

1.60

過去実績に

基づく累積

実績累積

予測累積


成功プロジェクトの傾向


20

0.00

0.20

0.40

0.60

0.80

1.00

1.20

1.40

1.60指標範囲(50%)

過去実績に

基づく累積実績累積

予測累積

0.00

0.20

0.40

0.60

0.80

1.00

1.20

1.40

1.60指標範囲(50%)

過去実績に

基づく累積実績累積

予測累積


【プロジェクトB 結果2】プロジェクトの初期からプロジェクトゴールの予測を行い早期に品質状況を把握、予測結果が最終工程の上下限範囲から逸脱した場合には早期の分析・処置を促した結果

⇒①単体テスト工程での予測はゴールから逸脱するという結果が出たが、対策を実施し、最終工程ではゴールの上下限範囲内に入った

②現在、試行プロジェクトの出荷後の品質状況は、データ層別基準の一つである

「成功プロジェクト」の値に近い状態である






21


【適用事例まとめ】各工程においてプロジェクトゴールの目標とする許容範囲に予測値が収まるか否かを定量的に判断しプロジェクト管理を行うことができた

（手段の有効性を確認）

現在、試行プロジェクトの出荷後の品質状況は、データ層別基準の一つである「成功プロジェクト」の値に近い状態である

（目的の達成）

プロジェクトゴール達成へ向けた品質状況の把握を早期に行え、品質向上への取り組みを促す効果を得られたと考える


22

6.まとめと今後の予定

【まとめ】

最小二乗法で必要となる4点に満たない部分を外挿することにより導出した品質予測モデルを試行プロジェクトにて適用した結果、試行プロジェクトの出荷後の品質状況がデータ層別基準の一つである「成功プロジェクト」の値に近い状態であることから、品質予測モデルの効果を確認できた

【今後の予定】①更に試行を継続して行い、予測モデルの妥当性を検証していく②ゴンペルツ曲線は、プロジェクトゴールの予測を行うモデルである。品質状況把握の精度を高めるために、次工程以降の品質状況予測をタイムリーに行うことができるモデルを検討し、採用していく（カルマンフィルタなど）


23

7.参考文献

① 石田秀人, シグモイドのゴンペルツ曲線の求め方,http://home.a02.itscom.net/coffee/tako07.html

② 東大教養学部統計学教室編，統計学入門，東大出版会，1991

③ 三觜武, ソフトウェアの品質評価法, 日科技連出版社, 1981

④ 野中誠, 小池利和, 小室陸,データ指向のソフトウェア品質マネジメント―メトリクス分析による「事実にもとづく管理」の実践,日科技連出版社, 2012

http://home.a02.itscom.net/coffee/tako06.html


24

ご清聴ありがとうございました。

JasstTokyo2017

Data & Analytics

Transcript of JasstTokyo2017