Copyright © 2014 Splunk Inc.
Monitorando ecommercecom Splunk
2
Marcio Ghiraldelli
6 anos como arquiteto de TI no Universo OnlineArquitetura de sistemas de alta disponibilidade (PagSeguro e ShoppingUOL)Sun Certified Java Architect / MBA em Gerenciamento de Projetos PMI
3
Agenda
Monitorando transações de cartão de créditoTomada de decisões de negócio
Monitorando operação do sistemaMedindo ROI de mídia online em tempo real
4
Maior portfolio de produtos e serviços de Internet do BrasilMaior portal de conteúdo em língua portuguesa do mundoInfraestrutura de TI e Datacenter
6
Splunk @ PagSeguro
• Monitoração antes:• Baseada em banco relacional, sem escala horizontal
• Limitado às 3 ultimas horas de eventos
• Acesso a dados históricos depende de DBA
• Necessário instalar aplicação cliente em todos os computadores da equipe de monitoração
7
Descobrindo e escolhendo Splunk
Novo serviço backend
Adquirentes cartão de crédito, bancos, etc
Ferramenta de monitoração
PCI-DSS securitycompliance
8
Descobrindo e escolhendo Splunk
• Necessidades da monitoração:• Big Data centralizado
• Flexível
• Fácil de usar
• Realtime
9
<14>Mar 12 08:18:44 a5-hertz2 app=psgw-core INFO[br.com.uol.ps.gw.core.aspect.CommandExecuteLogger](qtp564660841-420:) datetime=2013-03-12 08:18:44,528
command=CreditCardSaleCommand msecs=555{creditCardResponse=null,creditCardRequestModel={
creditCardTransaction={id=9999993513, merchantCode=99999999,fiDetails={nsu=999998,authorizationCode=59999999841,time=Tue Mar 12 08:18:44 BRT 2013,rawMessage=Transacao capturada com sucesso,rawCode=0, fi=locie, integratorCode=1016999999999999991},numTransientToken=93853bdxxxxxxxxxxxxxxxxx0759e,isWallet=false, softDescriptor=CortaCortaco,
maskedNumber=547408******1525,cvv=***, brand=mastercard, paymentStatus=PAGO
Exemplo de informação de transações
10
Dashboards em tempo real
11
Dashboards em tempo real
Tempo médio de comunicação com parceiros
12
Dashboards em tempo real
Comparativo de volume de transações com semana anterior
13
Dashboards em tempo real
Tempo médio de comunicação por transação
14
Dashboards em tempo real
Desativando integrações legadas
15
Splunk @ PagSeguro• Agora:• Monitoração web com gráficos, treinamento para novos N1s diminui
de semanas para dias;
• Acesso à dados históricos com um clique
• Nivelamento de informações entre monitoração, P&D e área de negócios
17
Splunk @ ShoppingUOL
• Antes:• Time de P&D sem relatórios gráficos centralizados da saúde da
operação
• Dados de ROI de mídia online não eram em tempo real
18
Splunk Universal Forwarder
• Componente light de fácil configuração para coletar logs existentes de aplicações legadas
• Expansão da licença atual e infra (+ indexers) do Splunk para atender novo produto ShoppingUOL
• Instalação automatizada em +20 máquinas virtuais via puppet
19
Splunk Proccess Language
• Extração de dados de logs em diversos formatos legados
• rex, transaction, dedup
20
DashboardsQuantidade de ofertas coletadas por lojas
21
DashboardsVolume de documentos indexados e replicados no índice Solr
22
DashboardsPerformance de aplicações Java com Perf4J
23
DashboardsROI de Mídia Online em tempo real
24
Splunk @ ShoppingUOL
• Depois:• Time de P&D e operação com a mesma visibilidade
• Acompanhamento de campanhas de mídia online em tempo real + velocidade em tomadas de decisões de investimentos
Upgrade de arquitetura“on the fly”
26
Upgrade de arquitetura “on the fly”
Antes: 2 servidores com uma instância de Splunk
NFS Mount
Index cold buckets
Search Head and IndexerIncoming TCP data
Splunk Search User Access
27
Upgrade de arquitetura “on the fly”
Depois: 4 servidores com 4 instâncias Splunk
Search Head
Incoming TCP data
Search Head
Indexer
Indexer
TCP Load Balancer TCP Load BalancerSplunk Search User Access
Próximos passos
29
Próximos passos
• Todas as novas aplicações sendo criadas com logs no formato chave/valor, prevendo uma futura convergência no Splunk
• Instalando uma televisão no andar da área de negócios para acompanhamento em tempo real dos dashboards
• Evoluindo a arquitetura do Splunk “corporativo” para atender todos os produtos do UOL em uma infra centralizada
• Integrar Splunk com os eventos de processos ITIL/CMDB
Obrigado!
linkedin.com/in/mghiraldellitwitter.com/marciogh
Top Related