AWS 와함께하는금융권HPC

Jungin Lee

Amazon Web Services

Time : 10:30 - 11:20

Agenda

1.AWS란 무엇인가?

2.왜 HPC는 AWS와 최적의 조합인가

• 시간

• 비용

• 무제한의 컴퓨팅 용량

3.HPC 적용을 위한 툴과 파트너 생태계

4.유안타 증권 사례 발표

Consumer Business

Tens of millions of active customer accounts

Eight countries:US, UK, Germany, Japan, France, Canada, China,

Italy

SellerBusiness

Sell on Amazon websites

Use Amazon technology for your own retail

website

Leverage Amazon’s massive fulfillment cent

er network

IT InfrastructureBusiness

Cloud computing infrastructure for hosting web-scale solutions

1 million registered customers in over 190

countries

총 13개의지역에 AWS Region이위치하고있으며, 각 Region은 2개

이상의 Availability Zone이라고하는독립적인데이터센터로구성됨

5

AWS 위에서는 서버 확장/축소가 불과 몇 분안에 일어나며, API를 통한 자동화

를 이용하여 비즈니스의 민첨함과 순간 확장성을 극대화 함

On demand Pay as you go

Uniform Available

Compute

Storage

SecurityScaling

Database

NetworkingMonitoring

Messaging

Workflow

DNS

Load Balancing

BackupCDN

Auto Scaling Case Study Rich APIs

ec2-run-instances ami-b232d0db

--instance-count 5

--availability-zone eu-west-1c

--instance-type m1.medium

ENTERPRISE APPS

DEVELOPMENT & OPERATIONSMOBILE SERVICESAPP SERVICESANALYTICS

DataWarehousing

Hadoop/Spark

Streaming Data Collection

Machine Learning

Elastic Search

Virtual Desktops

Sharing & Collaboration

Corporate Email

Backup

Queuing & Notifications

Workflow

Search

Email

Transcoding

One-click App Deployment

Identity

Sync

Single Integrated Console

PushNotifications

DevOps Resource Management

Application Lifecycle Management

Containers

Triggers

Resource Templates

TECHNICAL & BUSINESS SUP

PORT

Account Management

Support

Professional Services

Training & Certification

Security & Pricing Reports

Partner Ecosystem

Solutions Architects

MARKETPLACE

Business Apps

Business Intelligence

DatabasesDevOps Tools

Networking

Security

Storage

RegionsAvailability Zones

Points of Presence

INFRASTRUCTURE

CORE SERVICES

ComputeVMs, Auto-scaling, & Load Balancing

StorageObject, Blocks, Archival, Import/Export

DatabasesRelational, NoSQL, Caching, Migration

NetworkingVPC, DX, DNS

CDN

Access Control

Identity Management

Key Management & Storage

Monitoring & Logs

Assessment and reporting

Resource & Usage Auditing

SECURITY & COMPLIANCE

Configuration Compliance

Web application firewall

HYBRID ARCHITECTURE

Data Backups

Integrated App Deployments

DirectConnect

IdentityFederation

IntegratedResource Management

Integrated Networking

API Gateway

IoT

Rules Engine

Device Shadows

Device SDKs

Registry

Device Gateway

Streaming Data Analysis

Business Intelligence

MobileAnalytics

약 70여개의서비스를제공중

AWS Korean Customers

금융 규제기관의 AWS 사용

Agenda

1.AWS란 무엇인가?

2.왜 HPC는 AWS와 최적의 조합인가

• 시간

• 비용

• 무제한의 컴퓨팅 용량

3.HPC 적용을 위한 툴과 파트너 생태계

4.유안타 증권 사례 발표

금융권에서의 HPC는클라우드가제공하는가치를최적으로활용할수

있으며, AWS는가장많은경험과파트너를축적하고있음

Time

Cost

Unlimited Cores(On-demade)

결과도출시간절감

비용절감

확장성과무제한컴퓨팅

금융권에서의 HPC는클라우드가제공하는가치를최적으로활용할수

있으며, AWS는가장많은경험과파트너를축적하고있음

Time

Cost

Unlimited Cores(On-demand)

결과도출시간절감

비용절감

확장성과무제한컴퓨팅

분석해야할너무많은데이터그리고한정적인시간…

하지만, 역시나부족한 Computing 자원

HPC Farm을구성해보지만…

?

HPC Farm을구성해보지만…

여전히 Job은 Queue에쌓이고대기열은생기기마련

Queue의 비효율성• HPC 사용자는 가장 빠르게

결과를 얻고 싶어하며, 기존의한정된 자원을 점유하기 위해내부적으로 Queue를 만들게 됨

• IT 관리자는 이미 구매한리소스에 대해 최대한의Utilization을원함

• 자연스레 Job Queue는 IT

자원을 관리하기 위한 Buffer의역할을 하게 되어 Delay가일어나게 됨

AWS에서는 대기열을 최소화 하여 시간 단축

20 Cores x 100 시간=

2,000 Cores x 1 시간

최대한의병렬화를통해같은가격을투자하여, 더짧은시간에결과를얻어볼수있음

Time: +00h

<10 cores

Elastic Capacity(탄력적 용량)

Time: +24h>1500 cores

Elastic Capacity(탄력적 용량)

Time: +72h

<10 cores

Elastic Capacity(탄력적 용량)

Time: +120h

>600 cores

Elastic Capacity(탄력적 용량)

금융권에서의 HPC는클라우드가제공하는가치를최적으로활용할수

있으며, AWS는가장많은경험과파트너를축적하고있음

Time

Cost

Unlimited Cores(On-demand)

결과도출시간절감

비용절감

확장성과무제한컴퓨팅

On-Demand

장기계약없이시간당과금으로사용한만큼만과금되는구조

Spicky한이벤트성워크로드, 일반적인온디맨드모델

다양한 AWS 요금제 종류

Reserved

1년혹은 3년의장기계약으로 One-time

Fee가포함되며이를통해 Discount를받는가격모델

Spot

AWS가보유한Capacity중사용하지않고있는부분에대해입찰을통해고객에게최대 90%

저렴하게사용가능

HPC와같은워크로드에적합

On-demand 가격 알아보기

500 Cores365일사용

(100% Utilization)

500 Core한달 20일사용(66% Utilization)

500 Cores하루 8시간사용(33% Utilization)

66% Saving!

$17K/mo $11K/mo $5K/mo

On

On-demand

Reserved capacity

100%

Capacity Over Time

Spot

0%

AWS Spot의개념

Spot 요금제 사용을 위한 기본 5가지

Fault toleranceStateless Multi-AZLoosely coupled

Instance Flexibility

“HPC와완벽한 Fit을가진요금제”

Spot 요금제는 HPC 유저들의기본!

You pay the

market price

입찰 가격(Bid Price) Vs 시장 가격(Market Price)

On-demand 가격

10~20% 에형성

Spot 가격 알아보기

500 Cores365일사용

(100% Utilization)

500 Core한달 20일사용(66% Utilization)

500 Cores하루 8시간사용(33% Utilization)

$17K/mo $11K/mo $5K/mo

$2~3K/mo $1~2K/mo $0.5~1K/mo

80~90% More Saving!!!

Building Computer

Models and Running

Simulations

This is

Big Compute

최대 시점 60,000 코어의 컴퓨팅 파워 사용이를 구성하기 위해 다양하게 구성된 Region, 인스턴스 타입 사용

금융권에서의 HPC는클라우드가제공하는가치를최적으로활용할수

있으며, AWS는가장많은경험과파트너를축적하고있음

Time

Cost

Unlimited Cores(On-demand)

결과도출시간절감

비용절감

확장성과무제한컴퓨팅

Traditional IT

Capacity

(전통적 IT 인프라

Capacity)

Elastic capacity(탄력적용량)

Capacity

TimeYour IT needs (실제 IT 니즈)

Fast Growth

과잉 투자

Variable peaks

작업큐에 쌓이기 시작함

결과 도출에 Delay 생성

Elastic capacity(탄력적용량)

35

Customer Case: Number of Servers Provisioned

AWS Lambda(Serverless Computing)

AWS Lambda

• 짜여진 코드만 입력하면, 특정 이벤트에 응답하여 코드 실행을해주는 Compute 서비스

• 백엔드의 하드웨어, OS, CPU 등 자원을 자동적으로 관리하여신경쓸 필요 없음

• Master와 다량의 Walker노드로 구성되는 서로 Parallel하게 진행되는 Job에 사용될 수 있음

• 실제 수행된 시간에 대해서 100ms 단위로 과금되기 때문에 1

시간 이내의 워크로드에대해서도 효과적

No server is easier to manage than “no server.”

어떠한서버라도 “No Server – 서버를두지않는것” 보다간편할수없다

- Werner Vogels

Benefits of AWS Lambda

연속적인확장이가능관리할서버가없다

AWS Lambda automatically scales your application by running code in response to each trigger. Your code runs in

parallel and processes each trigger individually, scaling precisely with the siz

e of the workload.

Subsecond 의과금체계

With AWS Lambda, you are charged for every 100ms your code executes and the number of times your code is triggered. You don't pay anything when your co

de isn't running.

AWS Lambda automatically runs your code without requiring you to provision or manage servers. Just write the code and

upload it to Lambda.

1 2 3

Key Scenarios

Data processingStateless processing of discrete or streaming updates to your data-store or message

bus

Control systemsCustomize responses and response workflows to state and data changes within AW

S

App backend developmentExecute server side backend logic in a cross platform fa

shion

Agenda

1.AWS란 무엇인가?

2.왜 HPC는 AWS와 최적의 조합인가

• 시간

• 비용

• 무제한의 컴퓨팅 용량

3.HPC 적용을 위한 툴과 파트너 생태계

4.유안타 증권 사례 발표

AWS Marketplace에는 35개의카테고리에걸쳐 2,700여개이상의소프트웨어가 925개이상의 ISV로부터제공되고있으며, HPC 및 Finance 관련된솔루션은약 90여개제공중

• Business Intelligence: Visualizations, Batch Analytics Tools

• Network Infrastructure• Security: Web Application

Firewall, Key Management• Relational Databases• Storage: Backup, Cloud

NAS, Archive, Disaster Recovery

• Media & Entertainment: Media Streaming, Load Balancer, Edge Cache and Origin Server

FIS Prophet

CFN Cluster & Star Cluster(MIT)

Whitepapers

• 매달 정기적으로 기본, 개발자, 아키텍트, 시스템 오퍼레이션코스를 운영하고 있음 (바로 가기)

• AWS의 전문 컨설턴트가 직접 IT 프로젝트 컨설팅• 데이터 센터 마이그레이션, 빅 데이터, 비용 절감 등

• AWS의 업무 경험을 증명하고 신뢰성을 얻기 위한 자격프로그램

• 종류, 난이도에 따라 다양한 자격 시험

Infrastructure

Devices

App Store

+

+정기 교육

프로페셔널서비스

AWS 자격증

• 파트너와 함께 금융권의 다양한 Workload에 대한 기술적 검증지원Game DevelopmentPoC 지원

+

• 24/365 기술지원 서비스 , 한국어 기술지원 서비스Game DevelopmentAWS Support

+

금융권의 HPC 클라우드적용을위해교육, 컨설팅, PoC 등다양한방면에서프로그램을제공하고있음

Agenda

1.AWS란 무엇인가?

2.왜 HPC는 AWS와 최적의 조합인가

• 시간

• 비용

• 무제한의 컴퓨팅 용량

3.HPC 적용을 위한 툴과 파트너 생태계

4.유안타 증권 사례 발표