20 de maio de 2014

Dr. Antonio Carlos Tonini

A situação atual da futura norma ISO IEC 29.119

Engenharia de software e de Sistemas:

Testes de Software

1

20 de maio de 2014

Escopo

� Antecedentes

� Propósito da ISO IEC 29119

� Estrutura do JTC1 WG7

� Ciclo de vida das normas ISO

� Estrutura e conteúdo da ISO IEC 29119

� Situação atual da norma

� Situação atual da norma no Brasil

� Comité brasileiro

� Participação

2

20 de maio de 2014

Antecedentes

� Principais documentos do conhecimento emtestes de software (STBok): IEEE 829, IEEE 1008, BS 7925-1/-2, IEEE 1028

� Conflitos de termos e definições:

� nível, fases, etapas, …

� Inexistência de tratamento:

� Política organizacional de testes e de qualidade� Gerenciamento do processo de testes� Testes não funcionais …

3

20 de maio de 2014

Propósitos

� Ser uma norma genérica para:

� suportar vários domínios � alguns são mais orientados à padrões

(ex: segurança, telecomunicações) � alguns estão ficando mais regulados

(ex: área financeira)

� atender diversas abordagens:� cachoeira, iterativa e ágil � Projetos novos e manutenção � sistemas de informação e sistemas embarcados

� Ser uma norma certificadora (Partes1, 2 e 3)

4

20 de maio de 2014

Estrutura da International Standards Organizations

ITTF Information Technology Task ForceCS Central Secretariat

UN United NationsITU-T International Telecommunications Union

(Telecommunications Sector)JTC Joint Technical Committee 1

ISO IEC

JTC 1TC176

SC6 SC27

Telecommunications IT SecurityTechniques

TC56 SC65A

UN/ITU-T

CS/ITTF

SC37

Biometrics

SC7 WGs

SC7

Systems and Software Engineering

Quality Management Information Technology Dependability Functional Safety

5

20 de maio de 2014

Stuart Reid (coordinator)Tafline Murnane (secretary)

SC7

Secrétariat

Standards Management Group

SWG5

Systems & Software Documentation

WG2

IT Governance

WG1A

ProcessAssessment

WG10

VocabularyMaintenance

SWG22

IT ServiceManagement

WG25

Tools andEnvironment

WG4

Techniques for Specifying IT Systems

WG19

Systems Quality Management

WG23

Life Cycle Management

WG7

Software ProductMeasurement and

Evaluation

WG6

Estrutura do JTC 1 SC7

Architecture

WG42

CIF Usability

WG28

SLC Profiles and Guidelines for VSE

WG24

SWG1Business Planning

Group

WG20

Software EngineeringBody of Knowledge

WG21

SoftwareAsset Management

IT Governance

WG40

Life Cycle ProcessHarmonization Advisory

Group (LCPHAG)

Software Testing

WG26

6

20 de maio de 2014

Membros “P” e “O” do JTC 1 SC7

“P” Members

:Australia ( SA )

Belgium ( NBN ) Brazil ( ABNT )

China ( SAC ) Colombia ( ICONTEC ) Czech Republic ( CNI )

Denmark ( DS ) Finland ( SFS )

France ( AFNOR ) Germany ( DIN )

India ( BIS ) Iran, Islamic Republic of ( ISIRI )

Ireland ( NSAI ) Israel ( SII ) Italy ( UNI )Ivory Coast

Japan ( JISC ) Kazakhstan ( KAZMEMST )

Korea, Republic of ( KATS ) Luxembourg ( SEE )

Netherlands ( NEN ) New Zealand ( SNZ )

Peru ( INDECOPI ) Poland ( PKN )

Portugal ( IPQ ) Romania ( ASRO ) Slovakia ( SUTN )

South Africa ( SABS ) Spain ( AENOR )

Sweden ( SIS ) Switzerland ( SNV )

Thailand ( TISI ) USA ( ANSI )

Ukraine ( DSSU ) United Kingdom ( BSI )

Venezuela ( FONDONORMA )

“O” Members:

Argentina ( IRAM ) Austria ( ON )

Cuba ( NC ) Dominican Republic ( DIGENOR )

Estonia ( EVS ) Ethiopia ( QSAE )

Hong Kong, China ( ITCHKSAR ) Hungary ( MSZT )

Iceland ( IST ) Indonesia ( BSN )

Kenya ( KEBS ) Malaysia ( DSM )

Mexico ( DGN ) Norway ( SN )

Philippines ( BPS ) Russian Federation ( GOST R )

Serbia ( ISS ) Turkey ( TSE )

Uruguay ( UNIT )

Participating Countries: 37 Observing Countries: 19

7

20 de maio de 2014

Ciclo de vida do desenvolvimento das normas ISO

Preliminarywork item

(PWI)

Proprosal New (PN)

Working Draft (WD)

Paises

Draft International

Standard (DIS)

Disposition ofcomments(DC)

Erros técnicos e complementos

2/3 membros PMenos que 25%

rejeição

PublicationStage (PS)

JTC1 / WG

JTC1 / WG

Final Draft International

Standard (FDIS)

FinalInternationalStandard (FIS)

1ª revisão5 anos

nª revisãocada

3 anos

2ª revisão

3 anos

8

20 de maio de 2014

Disposition of comments

9

20 de maio de 2014

Parte 1Conceitos e Vocabulário

Estrutura da futura ISO IEC 29119

BS7925-1

IEEE 829 BS7925-2

Parte 2Processos de

Testes

Parte 3Documentação

Parte 4Técnicas de testes

IEEE 1008

BS7925-2

10

20 de maio de 2014

Parte 1Conceitos e Vocabulário

Estrutura da futura ISO IEC 29119

BS7925-1

IEEE 829 BS7925-2

Parte 2Processos de

Testes

Parte 3Documentação

Parte 4Técnicas de testes

Parte 5Teste dirigido por

palavra-chave

Parte 6 - ISO IEC 33.063Processo de avaliaçãopara testes de software

A partir de mai/2013

IEEE 1008

BS7925-2

11

20 de maio de 2014

Linha do tempo da ISO IC 29119

Parte 1, 2 e 3 Parte 4 Parte 5 Parte 6

12

WDWD

CDCD

20 de maio de 2014

Parte 1: Conceitos e vocabulário

� Principais conceitos sobre:

� testes de software� relacionamento testes x desenvolvimento x

manutenção� implicações sobre os modelos

de ciclo de vida� automação

� Diferentes abordagens de testes (partindo dos principais documentos de referência)

� Vocabulário

13

20 de maio de 2014

Parte 2: Processos de Testes

Processos de Gestão de Testes

Processos de Testes

Estáticos

Processos de testes em nívelOrganizacional

Processos de Testes

Dinâmicos

14

20 de maio de 2014

Parte 2: Instanciamento dos Processos de Testes

Gestão para os níveis e tipos de testesGestão para os níveis e tipos de testesGestão para os níveis e tipos de testesGestão para os níveis e tipos de testesGestão para os níveis e tipos de testes

Gestão para os níveis e tipos de testes dinâmicosGestão para os níveis e tipos de testes dinâmicosGestão para os níveis e tipos de testes dinâmicosGestão para os níveis e tipos de testes dinâmicosGestão para os níveis e tipos de testes dinâmicosGestão para os níveis e tipos de testes dinâmicos

Políticas Feed back

Estratégias Feed back

Planos Planos p/ nível

Diretivas Medidas

Planos p/ nível

Diretivas

Políticas de Testes

Estratégias de TestesEstratégias de Testes

Gestão dos Projetos de TestesGestão dos Projetos de TestesGestão dos Projetos de Testes

15

20 de maio de 2014

Parte 2: Processos de testes organizacionais

[Imodificações identificads ou correções necessárias]

[Nada detectado]

Ganho de consenso

Aprovação daespecificação

Revisão daespecificação

de testes

[Revisão considerável exigida]

Rascunho

[Nenhuma mudança]

Monitoramentoe controle do

uso daespecificção de

testes

Alteração daespecificação de

testes

[Pequenas

revisões]Especificação

publicada

Especificaçãoalterada

Desenvolvimentoda especificação

de testes

Publicação daespecificação

de testes

16

20 de maio de 2014

Parte 2: Processos de gestão de testes

Processo Organizacional de testes

Processos de Gestão de testes

Processos de testes estáticos

Planejamento

de testes

Monitoramento

e Controle

Encerramento

periódico

organizacao de testes Feedback sobre a documentação

Mudanças no plano de testes

Plano de

testes

Relatório

Resultados

Processos de testes

dinâmicos

DiretivasTécnicas

Processos de Gestão de

testes

Diretivastécnicas

Medidas

Diretivas de controle

Ajustes

17

20 de maio de 2014

Equipe e cronograma

Estratégiade Testes

Riscos analisados

Escopo

Identificar ostratamentosdos riscos

Plano de teste aprovado

Rascunho do Plano de teste

Publicar o plano de

testes

Entendimentodo contexto

Tratamento de riscos

Parte 2: Processos de planejamentode testes

Medidas

Plano de teste

Publicado

Projetar a estratégia de

testesDeterminar as equipes e oscronogramas

Documentaro plano de

testesGanharconsenso do

plano

Identificar e analisar os

riscos

Organizar o plano de testes

18

20 de maio de 2014

Parte 3: Documentação

� Organização

� Política de testes� Estratégia de testes

� Projeto de teste

� Plano do projeto de testes� Relatório de finalização

� Exemplos dos documentos (e não de templates)

� Testes

� Especificação dos testes

� Resultados dos testes

� Incidentes nos testes� Relatório de teste do

ambiente� Relatório da situação

dos teste� Relatório de

finalização

19

20 de maio de 2014

Parte 4 : Técnicas

� Técnicas para projeto de Casos de teste

� Testes Estáticos� Inspeções, walkthroughs, ...� Testes Dinâmicos� Caixa preta, caixa branca� Testes não funcionais� Testes de segurança, desempenho, usabilidade, ...

� Medição de testes (ex: para cobertura)

� Apêndices� Exemplos

20

20 de maio de 2014

Parte 5: Testes orientados por palavras chaves

� Padrão para casos de testes orientados por um conjunto pré-definido de palavras-chave, abordando:

� Conceito de palavras-chave, organização por camadas e associação com os dados

� Aplicação de testes orientados para palavras-chave

� Tarefas a serem realizadas� Sugestões para elaboração

de Frameworks

21

20 de maio de 2014

Parte 6: Processo de avaliação

� Modelo de avaliação de um processo de teste de software

� para avaliações de conformidade com um modelo de referência

� Alinhamento com as normas:

� ISO / IEC 33002 (Avaliação de Processos -Requisitos para realização de avaliações)

� ISO / IEC 33004 ( Avaliação de Processos -Requisitos para os modelos de processo)

22

20 de maio de 2014

Situação da norma no Brasil

� Parte 1 e 2:

� já foram traduzidas e revisadas� em fase de estruturação de lay-out

� Parte 3:

� Início da tradução

� Oportunidades:

� Trabalho coletivo� Vocabulário comum do grupo de software

23

20 de maio de 2014

Frequência às reuniões presenciais

� Participantes:

� CE:21.007-26 é considerado o comité com mais participações

24

2011 | 2012 | 2013 | 2014

20 de maio de 2014

Comité brasileiro da futura norma

� CE:21.007-26

� Coordenador: Fernando Gebara(Microsoft)

fernando.gebara@microsoft.com

� Coordenador técnico: Emerson Rios(Rio Soft)

rios.emerson@gmail.com

� Secretário: George de Oliveira Fialkovitz Jr(RSI Informática)

george@rsinet.com.br

25

20 de maio de 2014

Por que participar ?

� Direitos: � acesso a todo material, inclusive

a versão mais atual da norma� Formular sugestões estudadas e

fundamentadas

� Obrigações:� O Brasil é considerado um dos países que mais tem

a contribuir com a cultura e conhecimento em assuntos de software

� Termo de compromisso de NÃO divulgar e usar a norma (ainda não oficial)

� Participar efetivamente

26

20 de maio de 2014

Como participar

� Fazer contato com a coordenação do comité:

� Emerson: rios.emerson@gmail.com

� George: george@rsinet.com.br

� Tonini: antonio.tonini@usp.br

27