White Paper - Micro Focus · usando o LoadRunner 12 .00 da HP . Os testes mediram o tempo de...

Resultados do teste de desempenho do Micro Focus Solutions Business Managerpor RT Tangri, 24 de abril de 2015

White PaperSolutions Business Manager

Índice página

Quem deve ler este documento? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

Metodologia de teste . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

Arquitetura de teste de tempo de execução . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

Cenário do teste de carga . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

Sobre o conjunto de dados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

Resultados do teste de desempenho . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

Informações adicionais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

1www.microfocus.com

Quem deve ler este documento?

Este documento destina-se a administradores de sistemas ou outros interessados em

resultados de teste de desempenho para o Micro Focus® Solutions Business Manager

10 .1 .5 .1 . Este documento aborda os resultados dos testes de desempenho de 200 usuários

virtuais na versão no local do Micro Focus Work Center usando o Windows 2008 R2 e o

Oracle 11gR2 .

Metodologia de teste

O teste foi realizado em um laboratório de testes de desempenho de uma empresa privada

usando o LoadRunner 12 .00 da HP . Os testes mediram o tempo de resposta do aplicativo,

a taxa de transferência e a utilização de recursos do sistema em uma carga de 200 usuários

virtuais contra o conjunto de dados de uma grande empresa com uma pausa de tempo de

processamento de 10 segundos entre as transações . Este teste envolveu fazer o Load Runner

gerar uma carga criando usuários virtuais (um único usuário virtual é adicionado a cada

cinco segundos até o nível de carga desejado ser alcançado) para modelar a atividade do

usuário . Cada usuário virtual então executa tarefas por meio de scripts e envia solicitações

HTTP criadas . Em seguida, o LoadRunner usa um modelo de execução de threading para

criar várias instâncias de usuários virtuais únicos para criar carga e simultaneidade no

aplicativo SBM . Durante esse teste, os 200 usuários virtuais repetem 600 vezes cada caso

de uso (transação) no conjunto de desempenho . Os scripts e os conjuntos de dados usados

nesse teste podem ser fornecidos para referência mediante solicitação .

Arquitetura de teste de tempo de execução

O teste de desempenho foi realizado em uma instalação distribuída do SBM usando cinco

servidores de 64 bits separados . O ambiente incluiu uma instalação dedicada do Micro Focus

License Manager com 80 .000 licenças de assento:

Servidor 1 — SBM Application Engine Web Server (Win2008R2-IIS 7 ou Win2012R2-IIS 8.5) com 8 GB de memória

Servidor 2 — SBM JBoss1: Single Sign-On (SSO), SBM Mail Services, SBM Orchestration Engine com 8 GB no total e 4 GB de memória alocada para JBoss

http://www.microfocus.com

2

White PaperResultados do teste de desempenho do Micro Focus Solutions Business Manager

Servidor 3 — SBM JBoss2: SBM Common Services (Smart Search, Resource Management, Relationship Service, SSF Services) com 8 GB no total e 4 GB de memória alocada para JBoss

Servidor 4 — SBM Logging Services (Mongod64) com 8 GB de memória total

Servidor 5 — banco de dados Oracle 11gR2 com 16 GB de memória total

_______________________________________________________________

Nota: Na versão 10.1.5.1, o SBM Configurator permite instalar o SBM Logging Services

(MongoDB) em um servidor separado . Como parte dos testes de desempenho, o SBM

Logging Services foi instalado em um servidor separado para medir o impacto não

convencional total com uma carga de 200vu. Essa configuração geralmente é recomendada

somente se você planeja definir o nível de registro como TRACE para fins de depuração.

_______________________________________________________________

3www.microfocus.com

Cenário do teste de carga

Os testes de carga simularam o ajuste do número de tarefas comuns realizadas por 200

usuários virtuais . Usando um aplicativo padrão de monitoramento de defeitos que permite

que uma equipe monitore defeitos do produto, os testes replicaram o ciclo de vida de

defeitos a partir do envio, da aprovação e da designação . Notas e anexos são adicionados a

cada item à medida que se move pelo processo. O servidor de notificações enviou e-mails

via SMTP para um repositório de teste de servidor de correio eletrônico SMTP . Exibições

compartilhadas de atividade, backlog, feeds de calendário e exibições compartilhadas de

painel de controle de relatórios de múltiplas exibições foram executados contra o sistema .

Os testes foram realizados por um número definido de 200 usuários virtuais únicos ao

longo de uma linha de base de 20 minutos . O tempo de processamento entre cada caso de

uso (“Transação” no LoadRunner) foi de 10 segundos (com exceção para as transações do

Micro Focus Work Center: tempo de processamento de 60 segundos antes das transações de

indexador, tempo de processamento de 90 segundos antes das transações de notificação). O

workflow de desempenho consiste nas seguintes ações:

Os usuários virtuais do LoadRunner são executados em vários threads de execução

200 usuários virtuais únicos fazem login via SSO no Work Center em vuser_init

Casos de uso de repetição de iteração (aplicativo de monitoramento de defeitos)

200 usuários virtuais únicos fazem logoff via SSO do Work Center em vuser_init

Casos de uso do Work Center (SBM Application Engine)Casos de uso do Work Center executados durante a inicialização do usuário virtual contra o

conjunto de dados da grande empresa:

Login do SSO da Web

Notificação de Inicialização de Usuário Virtual Remover Tudo

Salvar Configurações Projeto Preferencial

Salvar Configurações Itens Por Página 40 E Intervalo de Sondagem da Notificação 90 Segundos

SWC Início Adicionar Widget de Relatório (usar Relatório Multiexibição 1)

SWC Início Adicionar Widget de Atividade (usar Minha Atividade)

Casos de uso do Work Center executados durante a saída do usuário virtual contra o

conjunto de dados da grande empresa:

SWC Início Excluir Widget de Relatório (usar Relatório Multiexibição 1)

SWC Início Excluir Widget de Atividade (usar Minha Atividade)

Notificação de Término de Usuário Virtual Remover Tudo

Logout do SSO da Web


4


Casos de uso do Work Center repetidos por cada usuário virtual contra o conjunto de dados

da grande empresa:

Enviar Formulário

Enviar Formulário OK (enviar item)

Entrada de Proprietário de Transição

Guia de Atividades de Monitoramento de Defeitos

Monitoramento de Defeitos Minha Atividade Após Entrada de Proprietário

Monitoramento de Defeitos Exibição Compartilhada de Feeds de Atividade Após Entrada de Proprietário

Monitoramento de Defeitos Guia Calendários

Monitoramento de Defeitos Meu Calendário

Monitoramento de Defeitos Exibição Compartilhada de Feeds de Calendário Após Entrada de Proprietário

Saída de Proprietário de Transição

Saída de Proprietário de Transição Ok

Entrada de Proprietário Secundária de Transição

Minha Atividade Após Entrada de Proprietário Secundária

Exibição Compartilhada de Atividade Todos os Itens Tenho Propriedade da Primária e da Secundária

Saída de Proprietário Secundária de Transição

Saída de Proprietário Secundária de Transição Ok

Teste de Sincronização de Transição (faz chamada de serviços Web AE síncrona)

Adicionar Nota

Adicionar Anexo À Nota (arquivo JPEG de 27KB anexado a partir do disco)

Adicionar Nota Ok (texto com tag HTML5 inclui JPG de 27KB + nota de 2KB)

Adicionar Anexo

Adicionar Anexo OK (arquivo .txt de 11KB anexado a partir do disco)

Link de Email

Link de Email Usuário de Pesquisa

Link de Email OK (mensagem com tags HTML5)

Atribuição de Transição Para CCB

Atribuição de Transição Para CCB OK

Atribuição de Transição Para Proprietário de Área

Atribuição de Transição Para Proprietário de Área OK

Exibição Social De BUG

5www.microfocus.com

Pesquisa de Texto Lucene BUGID

Pesquisa de Texto Lucene BUGStar

Pesquisa de Texto Lucene BUGIDStar

Pesquisa de Texto Lucene de Anexo

Pesquisa de Texto Lucene de Título/Descrição

Pesquisa de Texto Lucene de Título/Descrição/Estrela

Pesquisa de Texto Lucene de Remetente

Cartão de Perfil do Usuário

Cartão de Contato Registro de Cliente do AD

Adicionar e então Excluir dos Favoritos

Fixar Monitoramento de Defeitos (Aplicativo)

Selecionar Fixação de Monitoramento de Defeitos

Monitoramento de Defeitos Gerenciar Exibições

Monitoramento de Defeitos Meu Painel

Monitoramento de Defeitos Exibição Compartilhada do Painel (use Relatório Multiexibição 1)

Monitoramento de Defeitos Guia de Backlogs

Monitoramento de Defeitos Exibição de Feed de Backlog Compartilhado

Central de Relatórios

CTOSDS Duração de Tempo Decorrido

CTOSDS Duração de Tempo no Estado

CTOSDS Duração Média de Tempo no Estado

CTOSDS Tendência Aberta e Concluída

CTOSDS Tendência Inserindo Um Estado

CTOSDS Tendência de Atividade de Estado

Relatório Multiexibição 1

Listagem Estática Para EG de Desempenho

Listagem Estática Para Multiexibição de Desempenho

Todos os Problemas Por Projeto e Estado

Todos os Problemas por Tipo de Problema

Relatório de Listagem


6


Todos os Problemas Abertos

Meus Problemas Abertos

Todos os Problemas por Projeto e Tipo de Problema

Todos os Problemas por Estado

Todos os Problemas por Proprietário

UI de Notificação Ver Tudo

UI de Notificação Marcar Como Lido e Remover N (para cada objeto de notificação)

Cada Notificação de Iteração Remover Tudo

Sobre o conjunto de dados

O conjunto de dados da grande empresa usado para o teste é resumido da seguinte forma:

Nota: Além disso, o banco de dados incluía as seguintes definições de configuração:

processos = 300 (as versões mais recentes do Application Engine exigem mais sessões por usuário para mover o Work Center)

READ_COMMITTED_SNAPSHOT = OFF

Entidade do SBM Contagem

Workflows (define o processo que os itens seguem) 31

Projetos (armazenar itens do processo, como problemas e incidentes) 5.302

Usuários 21.100

Grupos do SBM 138

Pastas (armazenar favoritos pessoais e de grupo) 147.570

Problemas (processar itens que seguem um workflow) 1.130.000

Contatos (similar às entradas do bloco de endereços) 20.053

Recursos 24.249

7www.microfocus.com

Resultados do teste de desempenho

Os gráficos a seguir resumem os resultados de testes de desempenho.

Tempo de resposta médio das transaçõesO tempo de resposta para transações individuais é resumido a seguir:

Medição Tempo mínimo Tempo médio Tempo máximo

ContactCard AD Client Logging 0,009 0,017 0,052

SWC Home Delete Activity Widget 0,035 0,04 0,046

BUGIDStar Lucene Text Search 0,031 0,041 0,052

SWC Home Delete Report Widget 0,037 0,042 0,052

Add Attachment 0,031 0,053 0,096

User Profile Card 0,036 0,058 0,086

User End Notification Remove All 0,043 0,059 0,079

Defect Tracking Backlogs Tab 0,057 0,07 0,092

Defect Tracking My Calendar 0,051 0,083 0,11

Defect Tracking Calendars Tab 0,083 0,096 0,114

Add Note 0,075 0,097 0,133

Email Link Search User 0,058 0,098 0,131

All Open Issues 0,067 0,101 0,146

Listing Report 0,065 0,103 0,173

Notification UI View All 0,09 0,103 0,122

Defect Tracking Activities Tab 0,09 0,105 0,143

TitleDescription Lucene Text Search 0,083 0,11 0,19

continua na próxima página


8



My Open Issues 0,084 0,113 0,148

Notification UI MarkRead and Remove 10 0,092 0,117 0,144










Email Link 0,087 0,121 0,149

CTOSDS Time in State Duration 0,08 0,125 0,188

Add then Delete From Favorites 0,119 0,136 0,159

TitleDescriptionStar Lucene Text Search 0,112 0,152 0,214

CTOSDS Entering A State Trend 0,113 0,193 0,272

Settings Save Items Per Page 40 And Notification Poll Interval 90 Second

0,169 0,209 0,248

Defect Tracking Manage Views 0,191 0,217 0,257

BUGID Lucene Text Search 0,036 0,223 0,758

Static Listing For Multi-View Performance 0,152 0,244 0,321

Email Link OK 0,159 0,246 0,297

Defect Tracking My Activity After Owner IN 0,203 0,282 0,335

My Activity After Secondary Owner IN 0,184 0,282 0,356

Social View Of BUG 0,241 0,286 0,35

Submit Form 0,206 0,323 0,46

Transition Secondary Owner OUT 0,288 0,357 0,425

Add Attachment In Note 0,29 0,358 0,432

Transition Owner OUT 0,266 0,373 0,441

Add Note OK 0,295 0,378 0,47

Transition Assign To Area Owner 0,301 0,409 0,485

Defect Tracking Shared Calendar Feed View After Owner IN

0,323 0,415 0,469

Transition Assign To CCB 0,289 0,415 0,488

Issues by Issue Type 0,34 0,421 0,497

All Issues by Project and Issue Type 0,314 0,421 20.053

All Issues by Owner 0,338 0,426 20.053

All Issues by State 0,336 0,428 20.053

Transition Owner OUT OK 0,354 0,434 0,526

Transition Secondary Owner OUT OK 0,365 0,435 0,523

WebSSO Logout 0,377 0,448 0,551

All Issues By Project and State 0,354 0,449 0,534

PinUp Defect Tracking 0,425 0,469 0,513

Transition Owner IN 0,441 0,513 0,621

Transition Secondary Owner IN 0,419 0,55 0,662

continua na próxima página

9www.microfocus.com

Foi registado um tempo de resposta médio mais elevado para o relatório Tendência Aberta e Concluída e Pesquisa por Remetente do SBM com um banco de dados Oracle; para todas as demais transações, o tempo de resposta médio foi de 2,49 segundos ou menos.

Nenhum impacto de desempenho significativo foi observado com o Rich Text Editor habilitado para os campos de Memorando/Notas nos formulários de envio e transição.


Transition Assign To CCB OK 0,44 0,555 0,65

Add Attachment OK 0,465 0,566 0,668

Report Center 0,496 0,583 0,688

Submit Form OK 0,484 0,642 1,411

Attachment Lucene Text Search 0,558 0,663 0,862

Transition Assign To Area Owner OK 0,519 0,686 0,769

Static Listing For Performance EG 0,463 0,72 0,94

Select Defect Tracking Pin Up 0,481 0,725 0,899

Defect Tracking My Dashboard 0,497 0,745 0,96

Transition Sync Test 0,611 0,784 0,943

Each Iteration Notification Remove All 0,58 0,797 1,056

Defect Tracking Shared Activity Feed View After Owner IN 0,668 0,83 0,957

Shared Activity View All Items I Own Primary and Secondary

0,848 0,979 1,208

BUGStar Lucene Text Search 0,942 1,019 1,43

CTOSDS Elapsed Time Duration 0,868 1,028 1,191

CTOSDS State Activity Trend 0,902 1,074 1,256

Multi-View Report 1 0,873 1,11 1,287

Defect Tracking Shared Dashboard View 0,886 1,128 1,378

Settings Save Preferred Project 0,985 1,236 2,019

WebSSO Login 1,084 1,262 2,183

VUser Init Notification RemoveAll 1,122 1,542 2,443

SWC Home Add Report Widget 1,516 1,735 2,08

Defect Tracking Shared Backlog Feed View 1,374 1,843 2,474

CTOSDS Average Time To State Duration 1,794 2,208 2,569

SWC Home Add Activity Widget 2,223 2,492 2,825

Submitter Lucene Text Search 3,192 3,289 3,478

CTOSDS Open And Completed Trend 3,641 4,395 5,047


10


Nº total de transações por segundoO número total por segundo para transações HTTP executadas simultaneamente no SBM é

resumido a seguir:

Bytes de transação por segundoA quantidade de bytes por segundo para transações HTTP executadas simultaneamente no

SBM é resumida a seguir:

11www.microfocus.com

Número de transações executadas simultaneamente pela carga de 200 usuários virtuaisO número de transações HTTP executadas simultaneamente no SBM é resumido a seguir:

Uso de CPU do Servidor WebPode-se resumir o uso de CPU do Servidor Web da seguinte forma:

Uso de CPU do Servidor Web


12


Uso de memória do Servidor WebPode-se resumir o uso de memória do Servidor Web da seguinte forma:

Contagem de threads do Servidor WebPode-se resumir a contagem de threads do Servidor Web da seguinte forma:


Contagem de handle do Servidor WebPode-se resumir a contagem de handle do Servidor Web da seguinte forma:

Bytes virtuais do Servidor WebPode-se resumir os bytes virtuais do Servidor Web da seguinte forma:


14


Uso de CPU pelo Common ServicesPode-se resumir o uso de CPU pelo Common Services da seguinte forma:

Uso de memória pelo Common ServicesPode-se resumir o uso de memória pelo Common Services da seguinte forma:


Uso de CPU do Servidor de NotificaçõesPode-se resumir o uso de CPU do Servidor de Notificações da seguinte forma:

Uso de memória do Servidor de NotificaçõesPode-se resumir o uso de memória do Servidor de Notificações da seguinte forma:


16


Uso de CPU do Servidor de Banco de DadosPode-se resumir o uso de CPU do Servidor de Banco de Dados da seguinte forma:

Uso de memória do Servidor de Banco de DadosPode-se resumir o uso da memória do Servidor de Banco de Dados da seguinte forma:


Uso de CPU pelo SBM Logging ServicesO uso de CPU pelo SBM Logging Services (mongod64) é resumido abaixo . Observe que o

nível de registro do Active Diagnostics foi definido como INFO:

Uso de memória pelo SBM Logging ServicesO uso de memória pelo Logging Services é resumido abaixo . Observe que o nível de registro

do Active Diagnostics foi definido como INFO:


18


Desempenho do Relationship ServiceResultados para uma instância do Neo4J (não agrupado em cluster), JBoss 3GB Heap +

Neo4J 1GB Heap, 10 threads do worker padrão estão resumidos abaixo:

O pico de uso de CPU pelo Java do Neo4J foi de 25% durante a carga inicial (período de uso mais intensivo de CPU).

A carga inicial totalizou 1,2 milhão de registros (ExportToCSV + ImportToGraphDB), o que levou 108 minutos para terminar.

A replicação/sincronização de novos registros na tabela TS_CHANGEACTIONS foi processada a uma taxa de 2.400 registros por minuto.

Para 1.137.446 registros (e 14.118.424 relacionamentos), o uso do disco de banco de dados Neo4J foi de 3,9 GB.

Desempenho do Smart Search IndexerOs resultados do Smart Search Indexer (Lucene), Heap Java do Common Services de 4 GB,

estão resumidos abaixo:

As operações de indexação inicial ou reindexação são agora multi-threaded. 6 threads do worker de execução processaram rapidamente todas as principais tabelas em sequência.

Após a conclusão da indexação inicial ou reindexação, o indexador consultou periodicamente o banco de dados a cada 30 segundos (por padrão) para atualizar o índice com novos registros da tabela TS_CHANGEACTIONS, o que era então pesquisável através do Work Center.

A indexação inicial de 1.102.276 itens na tabela TTT_ISSUES demorou 2 horas e 6 minutos para terminar (o tamanho da pasta indexdir foi de 230 MB).

O impacto da indexação inicial de 1.102.276 itens na tabela TTT_ISSUES: Common Services Java CPU aumentou para 18%, Common Services Java Working Set aumentou para 720 MB.

O indexador concluiu a atualização de 46.357 itens de alteração em 17 minutos e 45 segundos.

O impacto do índice de atualização com novos registros da tabela TS_CHANGEACTIONS: Common Services Java CPU aumentou para 2%, Common Services Java Working Set aumentou para 457 MB.

Informações adicionais

Observe as seguintes informações de testes de desempenho:

Notas sobre a configuração Se o registro de nível TRACE no Active Diagnostics estiver habilitado para a depuração de

componentes do SBM em um sistema de 64 bits com 8 GB de RAM, o processo mongod 64 competirá por memória com o SBM Common Services e impedirá que o JBoss use o Heap de 4 GB alocado para ele.


As configurações de desempenho padrão no SBM Configurator são usadas para testes de carga:

– Envio Forçado do Servidor de Notificação = Desativado

– Throttling de Organizações = Desativado

No servidor que hospeda o SBM Common Services, as configurações do indexador são alteradas para testes de carga no SBM Configurator:

– Uso Esperado de Pesquisa = Alto

– Intervalo de Sondagem do Banco de Dados = 30 segundos

Dicas de configuração da conexão do cliente ODBC da Oracle ao servidor Oracle:

– Outra variável para o número de sessões usadas depende do tipo de conexão ODBC que o Application Engine está fazendo como um cliente ao servidor Oracle 11gR2. A conexão ODBC como Client10 (SSL) ou através do Oracle Advanced Security exige um aumento nos processos/sessões no servidor Oracle 11gR2.

– Para evitar que o servidor recusasse os erros de conexão no Application Engine Event Viewer e as exceções de conexão JDBC no server.log do JBoss no laboratório de desempenho a uma carga de 200vu contra o Work Center, aumentar o número de processos para 300 e de sessões para 400 no Oracle foi suficiente:

sqlplus system/testauto@hpq5 > alter system set processes=300 scope=spfile;

Verifique a alteração:

sqlplus system/testaut0@hpq5 > show parameters processes; > show parameters sessions;

Defeitos reportados do SBM 10.1.5.1Os seguintes defeitos foram submetidos contra o build GA do SBM 10 .1 .5 .1:

DEF261371 — SWC PERF 200vu W3WP Padrão Fuga de Contagem do Identificador de Processo

DEF267809 — SWC PERF 200vu Adicionar Widget de Atividade — Resposta mais alta com o Oracle 11gR2 em comparação com o SQL Server 2008R2 (não uma regressão)

DEF267213—SWC PERF: Relatório de Lista de Grade Editável Executado Duas Vezes. Esse problema causa um tempo de resposta maior e um CPU de banco de dados maior, embora não seja uma regressão. O relatório é executado duas vezes nas seguintes áreas:

– Quando é usado um relatório de home page

– Quando você seleciona um aplicativo que está fixado como favorito no Work Center

– Quando o relatório é usado em Meu Painel

– Quando o relatório é usado em uma exibição de feed de backlog compartilhado


20


Exclusões do teste de desempenhoOs seguintes itens foram excluídos do teste de desempenho:

As transações de relatório do sistema não estão incluídas no teste de carga de 200vu.

162-PB0092-002 | S | 05/17 | © 2017 Micro Focus. Todos os direitos reservados. Micro Focus e o logotipo Micro Focus, entre outros, são marcas registradas ou marcas comerciais registradas da Micro Focus ou de suas subsidiárias ou afiliadas no Reino Unido, Estados Unidos e outros países. Todas as outras marcas pertencem a seus respectivos proprietários.

www.microfocus.com

Micro FocusArgentina+54 11 5258 8899

Brasil+55 11 3627 0900

Colombia+57 1 622 2766

México+52 55 5284 2700

Venezuela+58 212 267 6568

Micro FocusSede da empresaReino Unido+44 (0) 1635 565200

www.microfocus.com



White Paper - Micro Focus · usando o LoadRunner 12 .00 da HP . Os testes mediram o tempo de...

Documents

Transcript of White Paper - Micro Focus · usando o LoadRunner 12 .00 da HP . Os testes mediram o tempo de...