Open source apm scouter를 통한 관제 관리 jadecross 정환열 수석

1

© Copyright JADECROSS 2015

Open Source APM Scouter 를 통한 관제 / 관리

정환열 수석

[email protected]

2

1. SCOUTER 개요

2. SCOUTER 기능 OS 모니터링 WAS 모니터링 Application 모니터링 XLog

3. 활용 방안

4. Q&A

차례

3

1. SCOUTER 개요

4

Enterprise IT System

WEB DBClient WAS

Monitoring

5

모니터링의 진화

Sys-tem

Net-work Database Ser-

vice

Enterprise System

Cloud Open

Source

전사적 장애 관리

통합 자원 모니터링

서비스 모니터링DB 모니터링

???

6

SCOUTER 프로젝트

https://github.com/scouter-project/scouter

https://github.com/scouter-project/scouter

7

Scouter 특징

Open Source Software Web Application Monitoring(APM) Real-time Monitoring XLOG & Profiling Feature Stack Frequency Analyzer

8

Scouter 구성요소

<Components >

• Hiperic/Sigar• OW2/ASM• JSQLParser• HyperLogLog

9

2. SCOUTER 기능

10

데모 환경

11

OBJECT

Hardware

OS SocketDisk BufferFile Cache IPC

Java VM Heap Memory Thread

Application Server

Data Source EJB

Pool

Applica-tion

Connection PoolCache

Thread Pool

Http Session

12

Linux Monitoring (1/2) Performance Counter

성능 지표 단위 설명

CPU % CPU 사용률

Memory % 메모리 사용률

Memory | Available MB 사용가능 메모리

Memory | Total MB 전체 메모리

Memory | Used MB 현재 사용 메모리

Net | Net-InBound cnt InBound 패킷 수

Net | NetOut-Bound cnt OutBound 패킷 수

Swap | PageIn cnt Swap 파일에 write 한 Page 수

Swap | Page-Out cnt Swap 파일에서 read 한 Page

수

Swap | Total MB Swap 메모리 사이즈

Swap | Used MB Swap 메모리 사용량

Net | TcpStat-CLS cnt CLOSED 된 Connection 수

Net | TcpStat-EST cnt ESTABLISED 된 Connection 수

Net | Tcp-StatFIN cnt FIN_WAIT 상태의 Connectin 수

Net | TcpStat-TIM cnt TIME_WAIT 상태의 Connection

수

Hard-ware



A pplica-tion

Server

Data Source EJB

Pool

Applica-tion


Thread Pool

Http Session

13

Linux Monitoring (2/2) Object Request

항목 설명

Env자원 모니터링하는 agent.host 기준으로OS 환경 변수를 출력

Top Top Process 목록 출력

Disk Usage 디스크 사용량 출력

Hard-ware



A pplica-tion

Server

Data Source EJB

Pool

Applica-tion


Thread Pool

Http Session

14

Tomcat Monitoring (1/2) Performance Counter


Active Service cnt 현재 처리중인 서비스 개수

Elapsed 90% ms 상위 90% 서비스의 평균 응답시간

Elapsed Time ms 평균 응답시간

Error Rate cnt 에러가 발생하 서비스 비율

GC Count cnt Garbage Collection 횟수

GC Time ms GC 수행에 소요된 시간

Heap Total Us-age MB Heap Memory 사용량

Heap Used MB Heap Memory 사용량

Perm % % Permanent Getneration 사용비율

Perm Used MB Permanent Generation 사용량

Process Cpu % JVM 프로세스 CPU 사용률

Recent User cnt 최근 5 분동안 방문한 Unique사용자 수

Service Count cnt 서비스 호출 건수

TPS tps 초당 트랜잭션 처리건수

Today Visitor cnt 금일 방문자 수

Hard-ware



A pplica-tion

Server

Data Source EJB

Pool

Applica-tion


Thread Pool

Http Session

15

Tomcat Monitoring (2/2) Object Request

항목 설명

Thread List 현재 실행중 (RUNNABLE) 인 쓰레드 리스트

Active Ser-vice List 현재 실행중인 서비스 목록 출력

Loaded Class List 로딩된 클래스 목록 출력

Heap His-togram Heap Memory 인스턴스 현황 출력

Thread Dump 쓰레드 덤프 생성

Env WAS(tomcat) 환경변수 출력

Socket WAS 에서 오픈한 소켓 리스트 출력

System.GC 강제적으로 GC 수행

Reset Text Cache Text Cache Clear

Heap Dump hprof 형식의 Heap Dump 생성 및 출력

File Dump

서버쪽에 dump 파일 생성 Active Service List Thread Dump Thread List Heaphisto

Hard-ware



A pplica-tion

Server

Data Source EJB

Pool

Applica-tion


Thread Pool

Http Session

16

Request Processor Monitoring Performance Counter


Bytes Received bytes 요청된 Request 의 Bytes

Bytes Sent bytes 응답한 Response 의 Bytes

Error Count cnt Reqeust 중 에러가 발생한 횟수

Processing Time sec Request 에 평균 처리시간 ?

Request Count cnt 서비스 요청 건수

Hard-ware



A pplica-tion

Server

Data Source EJB

Pool

Applica-tion


Thread Pool

Http Session

17

DataSource Monitoring Performance Counter


Conn Active cnt Active Connection 수

Conn Idle cnt Pool 에 대기하고 있는 Idle Con-nection 수

Hard-ware



A pplica-tion

Server

Data Source EJB

Pool

Applica-tion


Thread Pool

Http Session

18

XLog 개요

하나의 트랜잭션 ( 서비스 수행 ) 을 하나의 점으로 표현하는 차트 X 축 : 종료 시간 Y 축 : 응답시간

19

XLog - Profiling

20

XLog - Pattern

21

XLog – Pattern Demo

22

MariaDB Monitoring

23

3. SCOUTER 활용방안

24

SCOUTER Position

OS/network

WAS systemService level

Application

개발 테스트 운영

코딩 / 개발단위

기능테스트

통합테스트부하테스트성능테스트

통합테스트가오픈테스트

모니터링유지 / 보수

D : SCOUTER

A BC

E

SCOUTER 의 IT 지원 / 운영 위치

개발자

시스템 관리자QA/ 테스터

EMSSMSNMS

ITSMITRMITIL

AMSDashBoard

ITEnvironment

A 개발지원 , 소스 관리

B기능 테스트 , 테스트케이스 , 단위테스트소스코드 커버리지소스코드 프로파일링

C시스템 통합 테스트안정성 테스트부하 테스트 , 성능 테스트

D성능 모니터링 , 장애진단 . 성능저하 원인분석부하량 분석 , 사용자 분석 , 용량 산정시스템 안정적 운영 지원

E 네트워크 시스템 자원 관리

25

Q & A

Open source apm scouter를 통한 관제 관리 jadecross 정환열 수석

Technology

Transcript of Open source apm scouter를 통한 관제 관리 jadecross 정환열 수석