리스크기반 테스팅 전략 STA IBM 20080229 v1.0스크립트동작정의 알람그룹...

®

STA Software Testing Consulting ServicesIBM Software Group

매니저가 알아야 할

리스크 기반 테스팅 전략

Copyright © 2008 by IBM & STA Consulting ALL RIGHTS RESERVED

2Copyright © 2008 STA Consulting

IIIIII Effective and Efficient Software TestingEffective and Efficient Software Testing

III Testing IssueTesting Issue

IIIIIIIII Risk Based Test StrategyRisk Based Test Strategy

목차


Testing Issue

테스팅 이슈테스팅 이슈

• 테스트 관리

• 테스트 효과성 및 효율성

• 테스트 제어 및 리포팅

• 테스트 완료 조건 (Exit criteria)

• 테스트 실행

• 테스트 자동화 및 테스트 환경 관리

• 정적 테스팅

• 테스트 조직 및 교육/훈련

• 테스트 프로세스 관리(계획 및 제어/ 분석 및 설계 /구현 및 실행/ 완료조건 평가 및 리포팅/마감)

• …..


성공적인 소프트웨어 테스팅은 제한된 시간과 자원 하에서의 고품질의 소프트웨어 생산 하는것이고 이를 위해서는 효과적이고효과적이고 효율적인효율적인 소프트웨어소프트웨어 테스팅테스팅이 이루어 져야 함

Efficient

Effective

Test AutomationTPI

Test Methodsincl. test기법 (조합)

Universal Rule모든 결함을 발견하는 것은

현실적으로 불가능모든 것을 테스트하기에

시간, 자금, 인력이 항상 부족

TF (To-the-point and Fast)

Effective and Efficient Software Testing


계획되었거나 원했던 (decided or desired) 테스트 결과 산출

효과적인 테스터는 테스팅 노력으로부터 어떤 결과를 도출할 것인지 결정함


No#제품

결함

개발된 TC No#

고객에 의해발견 된 결함

효과적(Effective) 테스팅효과적(Effective) 테스팅


Project Period

원했던 (desired) 테스트 결과 산출을 생산적 (효율적)으로 수행

효율적 테스터는 가용한 리소스(시간, 자금, 인력)를 적절하고 현명하게 배치 (allocate)

효율적(Efficient) 테스팅효율적(Efficient) 테스팅


제품제품 출시일출시일

TestResource

개발 초기 테스팅

테스트 프로세스 최적화

테스트 자동화 도입


효과적인 테스트 수행을 위해서는 제품의 리스크 분석을 통해 집중적으로 테스트 해야 할 부분과테스트 단계별 테스트 우선순위를 알아야 함

Risk Based Test Strategy

제품 리스크(Risk) = 장애 발생 가능성(Likelihood) X 비즈니스 손실(Damage)

테스팅은 비즈니스 리스크를 관리하는 한가지 방법

효과적이고 효율적인 테스트를 위한 최적의 테스트

Risk Based Test StrategyRisk Based Test Strategy

Product RiskProduct Risk

Risk management options

Minimize loss Pay for loss

Loss prevention Loss reduction Risk retention Risk transfer

Avoid perils System Engineering

Design review

Well-structured test and evaluation

Cost and schedule

Reserves

Insurance

Warranties



제품의 품질 관점에서 테스트 대상이 될 항목을 식별제품의 품질 관점에서 테스트 대상이 될 항목을 식별

중요하고, 복잡하고, 잠재적으로 결함이 많은 부분을 분석 (리스크 우선순위 결정)

리스크(Risk) = 장애 발생 빈도(Likelihood) X 장애로 인한 영향(Impact)

중요하고, 복잡하고, 잠재적으로 결함이 많은 부분을 분석 (리스크 우선순위 결정)

리스크리스크(Risk) = (Risk) = 장애장애 발생발생 빈도빈도(Likelihood) X(Likelihood) X 장애로장애로 인한인한 영향영향(Impact)(Impact)

리스크 정보를 근거로 대처 방안 수립 (리스크 줄이는 “테스트” 생성)리스크 정보를 근거로 대처 방안 수립 (리스크 줄이는 “테스트” 생성)

리스크 및 리스크에 대한 대응을 모니터링리스크 및 리스크에 대한 대응을 모니터링

Risk Based Test ManagementRisk Based Test Management



리스크 식별리스크 식별

리스크 요소

리스크 아이템

장애 발생 가능성(Likelihood) 영향(Impact)

리스크 아이템 1



리스크 아이템 n<35

• 기능적/기술적 아이템으로 분리

• 요구사항에 따른 상위레벨 테스트 관련 항목

• 아키텍처에 따른 하위레벨 테스트 관련 항목

• 브레인스토밍 세션 이용 가능

리스크 관리

리스크 식별

리스크 분석

리스크 계획

리스크 추적



리스크 분석리스크 분석

리스크

요소

리스크

아이템

장애 발생 가능성(Likelihood, 기술적 리스크, 개발 테스팅) 영향(Impact, 사업적 R, 인수 테스팅)

복잡성

새로운

개발의

정도

상호

관계크기

기술의 난

이도/

최신성

개발팀의

경험

미흡

사용자의

취급

중요도

경제적,

안전적

피해

사용

빈도

외부적

가시성

리스크 아이템 1 9 5 9 9 5 1 3 5 5 3

리스크 아이템 2 1 5 9 3 1 1 5 9 3 1

리스크 아이템 3 3 5 3 3 0 3 5 3 9 0

리스크 아이템 ~ : : : : : : : : : :

리스크 아이템 n 5 9 1 9 5 5 9 1 9 5

장애로 인한 영향(Impact)

장애 발생 가능성(Likelihood)

54

27

0 18 36


리스크 아이템 5리스크 아이템 15리스크 아이템 13리스크 아이템 9


리스크 아이템 8리스크 아이템 11리스크 아이템 16


리스크 아이템 9리스크 아이템 2







리스크 아이템 4리스크 아이템 18리스크 아이템 8

ITA

FTA

STA

STTA

논의필요

리스크 관리

리스크 식별

리스크 분석

리스크 계획

리스크 추적



리스크 분석 기반 테스트 전략리스크 분석 기반 테스트 전략

• 리스크 계획 : 식별된 리스크 레벨에 따라 완화정책 수립

리스크리스크 기반기반 테스팅테스팅 전략전략 수립수립

• 리스크 추적 : 리스크 레벨별 결함 및 대응 방안 분석

리스크 관리

리스크 식별

리스크 분석

리스크 계획

리스크 추적



ITA

FTA

STA

STTA

장애로 인한 영향 (Impact)


54

27

018 36

논의필요

리스크 분석 기반 테스트 전략리스크 분석 기반 테스트 전략리스크 관리

리스크 식별

리스크 분석

리스크 계획

리스크 추적



리스크 분석의 활용방안리스크 분석의 활용방안

• 테스트 일정 변경에 따른 테스트 계획 변경

• 테스트 베이시스 리뷰

• 테스트 설계 리뷰

• 테스트 완료 조건 (Exit criteria)

• 테스팅의 독립성 수준 (Level of independence)

• 경험이 가장 많고 뛰어난 인력의 배치

• 테스트 우선 순위 결정

• 재 테스트 및 리그레션(Regression) 테스팅 전략

• 리스크 기반 리포팅


테스트할 가치 있음

테스트하지 않음

반드시 테스트 해야 함

테스트 해야 함

논의필요

장애로 인한 영향(Impact) – 사업적 리스크


- 기술적 리스크

개발 테스팅에 집중

인수 테스팅에 집중

54

27

0 18 36

보고서 편집기

ArchiveServer.exe

TrendViewer.ocx

Data Process.exe

ReportRuntime.exe

Object 편집

IO Driver.exeLogServer.exe

스크립트 동작정의

알람 그룹

TimeSync.exe

On/Off 문자열

이력모델 설정

단위

WebServer.exeCross reference태그 DB


동특성

ControlManager.exe스크립트 편집기

리스크리스크 매트릭스매트릭스 (Risk Matrix)(Risk Matrix)

실시간 알람이력 알람

알람 메시지

사용자 설정

InfoUR.exe

InfoUX.exe

IO Manager.exe

DataMan.exe

WebClient.exe AlarmViewer.ocx

NetworkMan.exe

OleSvr.dllETC

리스크 분석 사례(1/2)리스크 분석 사례(1/2)



15

Coverage

0

20

40

60

80

100

120

140

160In foUD.e xe :: 태그 단위

In foUD.e xe :: 태그 O n /O ff 표시 문자열In foUD.e xe :: 태그 Cros s R e fe re n c e

In foUD.e xe :: 이력모델 설정

In foUD.e xe :: 알람 그룹

In foUD.e xe :: 실시간 알람

In foUD.e xe :: 이력 알람

In foUD.e xe :: 알람 메시지

In foUD.e xe :: 보고서 편집기

In foUD.e xe :: 트렌드 그룹 설정

In foUD.e xe :: 스크립트 편집기

In foUD.e xe :: 스크립트 동작정의

In foUD.e xe :: 공휴일 설정

In foUD.e xe :: 내부함수 목록

In foUD.e xe :: 사용자 설정

In foUD.e xe :: 다른 사용자ID로 Log In

In foUD.e xe :: 프로젝트 관리

In foUD.e xe :: R u nT ime F rame 설정

In foUD.e xe :: 시각 동기화In foUD.e xe :: LS P LC App lic a t ion 등록

In foUD.e xe :: 외부 App lic a t ion 등록In foUG .e xe

In foUR .e xeIn foUX .e xe

IO Driv e r.e xe

IO Manage r.e xe

Da ta P roc e s s .e xe , Da taMan

A la rmP roc e s s .e xe , A la rmA rc h iv e .e xe

A rc h iv e S e rve r.e xe

LogS e rv e r.e xe

S c rip tR u n t ime .e xe

W orkF low R u n t ime .e xe

S c h e du le r.e xe

T ime S y nc .e xe

Con tro lManage r.e xe

Re portR u n t ime .e xe

W e bS e rve r.e xe

W e bClie n t.e xe

A la rmV ie w e r.oc x

T re ndV ie w e r.oc xNe tw orkMan .e xe

O le S v r.d ll

RISK

TC

리스크 분석 사례(2/2)리스크 분석 사례(2/2)



O&A

Q & AQ & A


Contact Point

• 자세한 사항은 아래 연락처로 문의 바랍니다.

• 귀하의 비즈니스에 도움이 될 수 있도록 적극적으로 지원해 드리겠습니다.

권 원 일

016-362-7667

[email protected]

강 진 구

02-561-0376

[email protected]

STA

소프트웨어 테스트 컨설팅 사업부

이 현 주

011-668-7734

[email protected]

리스크기반 테스팅 전략 STA IBM 20080229 v1.0스크립트동작정의 알람그룹...

Documents

Transcript of 리스크기반 테스팅 전략 STA IBM 20080229 v1.0스크립트동작정의 알람그룹...