AWS re:Invent 특집(4) – 개발자를 위한 신규 서비스 총정리(윤석찬)
-
Upload
amazon-web-services-korea -
Category
Technology
-
view
2.242 -
download
7
Transcript of AWS re:Invent 특집(4) – 개발자를 위한 신규 서비스 총정리(윤석찬)
© 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved.
윤석찬
@channyunAWS 테크에반젤리스트
개발자를 위한
AWS 신규 서비스 총정리
2016년 12월 re:Invent 특집 온라인 세미나
강연 중 질문하는 법
전체 공개로 답변된 내용은 검은색, 질문자 본인에게만 공개로 답변된 내용은 붉은 색으로
돌아옵니다. 비공개 답변을 원하시면 [비공개]라고 하시고 질문하세요!
Day 1 - 컴퓨팅 서비스
A Broad Spec t rum Of Compute Capab i l i t i es I n The AWS C loud
P2M4 D2 X1 G2T2 R3 I2 C4
General Purpose GPU
General Purpose
Dense storage Large memory
Graphics intensiveMemory intensive High I/O
Compute intensiveBurstable
A Broad Spec t rum Of Compute Capab i l i t i es I n The AWS C loud
M4 D2 X1 G2T2 R3 I2 C4
General Purpose GPU
General Purpose
Dense storage Large memory
Memory intensive High I/O
Compute intensiveBurstable
P2
Graphics intensive
T2.nano
0.5GiB
1 vCPU
The T2 Fami l y : Low-Cos t I ns tances Wi th Burs tab le Per fo rmance
T2.micro
1 GiB
1 vCPU
T2.small
2 GiB
1 vCPU
T2.medium
4 GiB
2 vCPU
T2.large
8 GiB
2 vCPU
Expand ing The T2 Fami l y Wi th Larger I ns tance Types
T2.large
8 GiB
2 vCPU
T2.xlarge
16 GiB
2 vCPU
T2.2xlarge
32 GiB
2 vCPU
2X memory 4X memory
T2.medium
4 GiB
2 vCPU
T2.small
2 GiB
1 vCPU
T2.micro
1 GiB
1 vCPU
T2.nano
0.5GiB
1 vCPU
R3
244 GiBmemory
DDR3
32 vCPUs
L3 cache
R3 : Memory - In tens i ve App l i ca t i ons on EC2
H i gh pe r fo rmance da tabasesD i s t r i bu ted memory cachesIn -memory ana l y t i c sGenome assemb l y & ana l ys i s
R4: Next Genera t i onMemory -Opt imized Ins tances
488 GiBmemory
DDR4
64 vCPUs
L3 cache
R4
2X vCPUs
R3
244 GiBmemory
DDR3
32 vCPUs
L3 cache 1.8X size
2X fast
2X memory
H i gh pe r fo rmance da tabasesD i s t r i bu ted memory cachesIn -memory ana l y t i c sGenome ana l ys i s
I2
365k IOPS
244 GiB memory
32 vCPUs
6.4 TB SSD
I2 : Runn ing I /O-In tens i ve
App l i ca t i ons on EC2N oS QL da tabases
(C assand ra and MongoD B )S ca l e ou t t r ansac t i ona l da tabases
D a ta w a rehous i ngH adoop
C l us te r f i l e sys tems
I2
365k IOPS
32 vCPUs
I 3 : Nex t Genera t i onI /O- In tens i ve Ins tances 3.3 million
IOPS
488 GiBmemory
64 vCPUs
15.2 TBNVMe SSD
I3
2X vCPUs
2X memory
2.3X storage
9X IOPS
Coming Soon
N oS QL da tabases(C assand ra and MongoD B )
S ca l e ou t t r ansac t i ona l da tabasesD a ta w a rehous i ngH adoopC l us te r f i l e sys tems
244 GiB memory
6.4 TB SSD
C4
36 vCPUs
“Haswell”
60 GiB memory
4 Gbpsto EBS
C4 : Compute -Opt imizedIns tances
Web se rve rsB a tch p rocess i ng
D i s t r i bu ted ana l y t i c sH i gh pe r fo rmance sc i ence
& eng i nee r i ngA d se rv i ng
C4
36 vCPUs
“Haswell”
60 GiBMemory
C 5 : N e x t G e n e r a t i o nC o m p u t e - O p t i m i z e d
I n s t a n c e s w i t h I n t e l “ S k y l a k e ”
AVX 512 2X performance
Coming Soon4 Gbpsto EBS
72 vCPUs
“Skylake”
144 GiBmemory
C5
12 Gbpsto EBS
2.4X memory
3X throughput
2X vCPUs
A Broad Spec t rum Of Compute Capab i l i t i es I n The AWS C loud
P2M4 D2 X1 G2T2 R4 I3 C5
General Purpose GPU
General Purpose
Dense storage Large memory
Graphics intensiveMemory intensive High I/O
Compute intensiveBurstable
W h a t A b o u t H a r d w a r e A c c e l e r a t i o n ?
F 1 I n s t a n c e sNew Instance Family With Customizable Field Programmable Gate Arrays
Run Your Custom Logic On EC2
Preview Available
B r i n g i n g H a r d w a r e A c c e l e r a t i o n To A l l
F1 Ins tances
F 1 I n s t a n c eW i t h y o u r c u s t o m l o g i c r u n n i n g o n a n F P G A
D e v e l o p , s i m u l a t e , d e b u g& c o m p i l e y o u r c o d e
P a c k a g e a s F P G A I m a g e s
B r i n g i n g H a r d w a r e A c c e l e r a t i o n To A l l
F1 Ins tances
FPGA Images Available In AWS Marketplace
F 1 I n s t a n c eW i t h y o u r c u s t o m l o g i c r u n n i n g o n a n F P G A
D e v e l o p , s i m u l a t e , d e b u g& c o m p i l e y o u r c o d e
P a c k a g e a s F P G A I m a g e s
We Love Ourse l ves Some Compute
General Purpose GPU
General Purpose
Dense storage Large memoryBurstable
Memory intensive High I/O
Compute intensive
Simple VPS FPGAs
P2M4 D2 X1 G2T2 R4 I3 C5Lightsail F1
Graphics intensive
Elastic GPUs On EC2
P o s t g r e S Q L F o r A u r o r aAurora is now fully compatible with both PostgreSQL and MySQL
Preview Available Today
Fully PostgreSQLCompatible
Several times better performance than typical
PostgreSQL database
Scalable, Durable and Secure
Migrate FromRDS For PostgreSQL
Amazon Aurora PostgreSQL-Compat ib le Ed i t ion
Several times better performance than typical
PostgreSQL database
Scalable, Durable and Secure
Migrate FromRDS For PostgreSQL
Amazon Aurora PostgreSQL-Compat ib le Ed i t ion
Fully PostgreSQLCompatible
1/10th The Cost Of Commercial Grade
Databases
W h a t D o P e o p l e W a n t M o s t I n T h e N e x t V e r s i o n O f S n o w b a l l ?
More storage capacity
To not have to keep two copies of data
Send some data to cloud and keep some on
device
Compute for analysis
A W S S n o w b a l l E d g eA New Hybrid Device With On-Board Storage & Compute
Generally Available
AW S Snow ba l l Edge : Pet ab y t e -Sc a le Da t a Tr ans p or t , W i t h O n -b oa rd Com p ut e
E-ink shipping label
Rugged enclosure
Color controltouchscreen
Rack mountable
Integrated cable housing100TBcapacity
On-device encryption
Clustering capabilities
100 TBstorage
S3 endpoint
Greengrassinside
Lambda on m4.4xl equivalent
Automatic sharingacross devices
AW S Snow ba l l Edge : Pet ab y t e -Sc a le Da t a Tr ans p or t , W i t h O n -b oa rd Com p ut e
W h a t A b o u t F o r E x a b y t e s ?
W e ’ r e G o i n g To N e e d A B i g g e r B o x …
AW S S n o w m o b i l e
Generally Available
I n t r o d u c i n g
AWS Snowmob i le : 100PB Conta iner
45-foot long rugged container
& truck
Connect to your datacenter with
fiber cable
Fill ‘er Up! Transports Data To AWS
AWS Snowmob i le :E x a b y t e - S c a l e D a t a Tr a n s p o r t
With 10Gbps, dedicatedconnection
~ 2 6 y e a r s
AWS Snowmob i le :E x a b y t e - S c a l e D a t a Tr a n s p o r t
With 10Gbps, dedicatedconnection
~ 6 m o n t h s
With AWS Snowmobile(s)
~ 2 6 y e a r s
강연 중 질문하는 법
전체 공개로 답변된 내용은 검은색, 질문자 본인에게만 공개로 답변된 내용은 붉은 색으로
돌아옵니다. 비공개 답변을 원하시면 [비공개]라고 하시고 질문하세요!
Day 2 - 개발 운영 지원 서비스
A W S O p s W o r k s F o r C h e f A u t o m a t eF u l l y m a n a g e d C h e f s e r v e r
N E W
P r e p a r e
G e n e r a l l y A v a i l a b l
A m a z o n E C 2 S y s t e m s M a n a g e rC o l l e c t i o n o f A W S t o o l s f o r p a c k a g e i n s t a l l a t i o n , p a t c h i n g , r e s o u r c e c o n f i g u r a t i o n , a n d t a s k a u t o m a t i o n
N E W
P r e p a r e
G e n e r a l l y A v a i l a b l e
A W S C o d e B u i l d
N E W
O p e r a t e
G e n e r a l l y A v a i l a b l e
B u i l d s e r v i c e f o r c o m p i l i n g s o u r c e c o d e a n d r u n n i n g u n i t t e s t s
S o u r c e
A W S C o d e C o m m i t
B u i l d
A W S C o d e B u i l d
S t a g i n gP r e - p r o d u c t i o n
P r o d u c t i o nA W S C o d e D e p l o y
A W S C o d e P i p e l i n e
O p e r a t e
N E W
MonitorProvisionDeployTestBuildCode
CodeCommit
CodePipeline
CodeDeploy
CloudFormation
CloudWatch
OpsWorks
Elastic Beanstalk
CodeBuild
A W S D e v O p s L i f e C y c l e
O p e r a t e
A W S P e r s o n a l H e a l t h D a s h b o a r d
N E W
R e s p o n d
P e r s o n a l i z e d v i e w o f A W S s e r v i c e h e a l t h
G e n e r a l l y A v a i l a b l e
N E W
Ta r g e t i n g
Ta r g e t e d p u s h n o t i f i c a t i o n s f o r m o b i l e a p p s
A m a z o n P i n p o i n t
G e n e r a l l y A v a i l a b l e
I n t e g r a t e d w i t h :
F u l l y m a n a g e d d a t a c a t a l o g a n d E T L s e r v i c e
S 3 , R D S , R e d s h i f t & a n y J D B C - c o m p l i a n t d a t a s t o r e
A W S G l u eN E W
Build Your Data
Catalog
Generate And Edit
Transformations
Schedule And Run Your Jobs
A W S B a t c hF u l l y m a n a g e d b a t c h p r o c e s s i n g s e r v i c e
N E W
P r e v i e w A v a i l a b l e
E C 2 C o n t a i n e r
c l u s t e r - s t a t e -s e r v i c e
C o n t a i n e r d a e m o n -
s c h e d u l e r
N E W
blox.github.io
개발자가 관심 있을 만한
주요 신규 서비스 소개 & Demo
Amazon Athena - 서버리스 대화식 질의 서비스
§ Amazon Athena는 표준SQL을 사용해 Amazon S3에 저장된 데이터를간편하게 분석할 수 있는대화식 쿼리 서비스
§ 서버 없이 S3에 저장한파일의 스키마 정의 후바로 질의 가능
§ 질의를 위해 스캔한 TB당5달러 비용
ü 표준 (ANSI) SQL 지원ü ETL 필요 없음ü 빠른 성능 및 자동 확장ü 데이터 전처리나 인프라 운영
필요 없음
EC2 Elastic GPUs (미리보기)
• Elastic GPU를 통해 기존 EC2에그래픽 가속 기능 추가
• M4, C4, X1 인스턴스에 추가 가능
• Full GPU 인스턴스 보다 비용 효과적
• OpenGL-호환 그래픽 애플리케이션에최적화 (3D 모델링 등)
• AWS Graphics Certification Program를 통한 그래픽 소프트웨어업체 지원
1GiBG P U M e m o r y
2 G iB
4 G iB
8 G iB
기존 EC2인스턴스
Amazon Lightsail – 가상 사설 서버 호스팅
• 간편하고 이해하기 쉬운 AWS 서버 호스팅• 확장성 및 고가용성을 그대로 활용하면서 손쉽게 서버 운영
Launch VM
Attach SSD Storage
Assign Static IP
ConfigureDNS
Create Security Groups
Create Instance
GO!
Created By Amazon Lightsail
ManageIAM
$5Per month
Amazon Lightsail – 가상 사설 서버 호스팅
• 기존 AWS 서비스 연결 가능 및 API 및 CLI을 통한 제어 가능• 사용한 만큼 종량 과금제 그대로 적용 (데이터 사용료 추가 가능)• 1개월 프리티어 제공
AWS Lambda@Edge
• 기능 소개§ CloudFront Edge 로케이션에서 람다
함수 실행 가능§ Lambda@Edge는 HTTP 헤더를 분석하여
호출에 대한 간단한 응답 (라우팅 혹은리다이렉션)을 처리할 수 있는 기능
§ 현재 Node.JS만 제공
• 주요 사용 사례§ HTTP 헤더 검사, 접근 제어§ 모바일 디바이스 탐지§ A/B 테스트§ 크롤러 또는 봇 신속 처리§ 장애 시 사용자 친화적인 URL 리다이렉트
AWS Step Functions
• 시각적 워크플로를 사용해 분산 앱 및마이크로서비스 구성 요소 조정 및 실행
§ 자동으로 각 단계를 트리거 및 추적하고오류가 발생할 경우 재시도하므로애플리케이션이 의도대로 정상적으로 실행
§ 앱을 단계별로 배열 및 시각화할 수 있는그래픽 콘솔 제공
§ 각 단계의 상태를 기록하여, 잘못된 경우빠르게 문제를 진단하고 디버깅 가능
• 상태 변경이 일어나는 경우만 과금
AWS Step Functions - 사용 사례
메소드 호출 함수 순차 실행 DB 저장 실행 대기열
Tim Bray의 세션 강추!https://www.youtube.com/watch?v=75MRve4nv8s
AWS Step Functions - 1. 애플리케이션 단계 정의
순차 단계 분기 단계(경로 선택) 병렬 단계
AWS Step Functions - 2. 단계별 실행 상태 파악
AWS Step Functions - 3. 확장 및 앱 안정성 파악
Amazon Greengrass
스마트 홈 농업 현장 공장 지역
Embed Lambda Compute (& Other AWS Services) in Connected Devices
AWS 서버리스 프로그래밍 모델을 그대로 활용하여 원격지 컴퓨팅에서 활용임베디드 기기 및 원격 대용량 데이터 처리에 용이
IoT 기기제조
Greengrass 런타임 설치
= +
로컬 컴퓨팅 로컬 데이터 캐싱기기간 보안 통신 로컬 메시징
AWS Greengrass: 로컬 컴퓨팅, 메시징, 데이터 캐싱
IoT 기기제조
Greengrass 런타임 설치
로컬 Lambda 함수 지원
AWS 콘솔에서관리 가능
클라우드 프로그래밍모델 활용
로컬 통신 및데이터 통합
=
=
Lambda Everywhere!
AWS X-Ray - 분산 애플리케이션 추적 서비스
• 마이크로서비스 시작과 끝에 대한 디버깅 및 추적• 서비스에 대한 시각적 토폴로지 제공• 개별 요청에 대한 로그 추적• 성능 이슈 및 오류 발생 원인에 대한 확인 및 문제 해결
호출에 대한 전체 과정 파악
사용자 요청이 애플리케이션을통과하는 전체 과정을 추적
애플리케이션 성능 개선
지연 시간이 늘어나는 위치를빠르게 확인한 후 성능이
저하되는 특정 서비스 및 경로에대한 문제 해결 가능
애플리케이션 문제 식별
트레이스 데이터 태깅 및필터링을 통해 어느 위치에서
무엇이 성능 문제를 유발하는지정확히 파악
AWS X-Ray - 서비스 맵 기능
AWS X-Ray - 데이터 태깅 및 추적 기능
AWS X-Ray - 에이전트 설치 및 추적
1. Amazon EC2
2. Amazon ECS (Docker)
3. AWS Node.JS (SDK)
AWS Shield - Managed DDoS Protection
• 항시 네트워크 감시를 통한 감지
• Layer 3 혹은 4의 일상적 공격 패턴
감지 및 대응
• 모든 사용자에게 무료로 제공
표준 기능 고급 기능
• 대량 특수 공격에 대한 탐지 및 차단
• ELB, CloudFront, Route53 지원
• Layer 3 혹은 4의 특수 공격 대응
• AWS WAF 기능 포함
• 준 실시간 CloudWatch 알림 및 사후
분석 가능
• 24/7 전담 DDoS 대응팀 지원
• ELB, CF, Route53의 DDoS 공격에
대한 빌링 차단
• 월 3,000$ + 데이터 비용 (연간 계약)
Amazon AI 서비스
Amazon Rekognition딥러닝 기반 이미지인식 및 분석 서비스
Amazon Polly딥러닝 기반
음성 합성 서비스
Amazon Lex딥러닝 기반 자동 음성인식 및 자연어 처리
대용량 이미지를 통한 딥러닝 트레이닝을 통한 이미지 인식, 검색 서비스
객체 및 장면인지
얼굴 감정인식
얼굴 유사성비교
얼굴 인식
Amazon Rekognition
f7a3a278-2a59-5102-a549-a12ab1a8cae8 &v1
02e56305-1579-5b39-ba57-9afb0fd8782d&v2
Face ID & vector<float>Face
4c55926e-69b3-5c80-8c9b-78ea01d30690&v3
tran
sfor
med
stor
ed
{f7a3a278-2a59-5102-a549-a12ab1a8cae8, 02e56305-1579-5b39-ba57-9afb0fd8782d,4c55926e-69b3-5c80-8c9b-78ea01d30690}
IndexFace Collection
Amazon Rekognition API
Amazon Rekognition - Deep Learning Process
Training
Amazon Rekognition - Deep Learning Process
Conv 1 Conv 2 Conv n
…
…
Feature Maps
Fully Connected
Layer
Amazon Rekognition 서비스 요금
1. 정식 출시: US East (N. Virginia), US West (Oregon), EU (Ireland)2. 가격 모델: 사용한 만큼 (12개월까지 월 5,000장까지는 프리티어 제공)
이미지 분석 티어 1,000장당 가격월 백만장까지 $1.00월 9백만장까지 $0.80다음 9백만장까지 $0.80다음 9천만장까지 $0.60
1억장 이상 $0.40
Amazon Polly• 딥 러닝 기술을 사용하여 실제 사람 목소리처럼 음성을 합성
§ 다양한 음성 및 언어 지원 (24개 언어 47개 목소리)§ 빠른 실시간 합성 속도로 라이브 서비스 가능 (Amazon Lex 지원)§ SSML을 통한 시맨틱 음성 기능 지원§ 개발자가 합성된 파일, 무제한 저장 및 재생 배포 가능§ 글자당 과금 및 저렴한 비용 (허클베리핀의 모험 영어본 2.5달러 수준)
• 맥락에 따른 자동음성 합성
Amazon Polly
“The temperature in WA is 75°F”
“The temperature in Washington is 75 degrees Fahrenheit”
"We live for the music", live from the Madison Square Garden.
"We live(리브) for the music", live(라이브) from the Madison SquareGarden.
Polly를 이용한 음성으로 읽어주기 서버리스 앱
RSS Feed Amazon Polly
Amazon CloudWatch
Amazon S3AWS Lambda
1. Trigger
2. Check
3. Content
4. Text 5.Audio
6.Audio
https://github.com/awslabs/amazon-polly-sample
Amazon Lex (Preview!)• 음성 및 텍스트를 사용해 대화형 인터페이스 서비스
§ Lex 콘솔을 통해 빠르고 쉽게 채팅 봇 개발 가능§ 알렉사 음성 인식과 자연어 처리 등 딥러닝 기술 활용§ 완전 관리 클라우드 서비스 및 종량 요금 체계
• 진료 예약 Amazon Lex 봇 개발 사례
FacebookMessengerMobile
Book Hotel
“Book a Hotel inNYC”
Hotel Booking
New York City
Natural Language Understanding
Intent/Slot Model
UtterancesHotel BookingCity New York City
CheckIn Nov 30th
CheckOut Dec 2nd
“Your hotel is booked for Nov 30th”
Polly Confirmation: “Your hotel is booked for Nov 30th”
“Can I go ahead with the booking?
a
in NYC
Automatic Speech Recognition
Amazon Lex를 이용한 호텔 예약 시나리오
Amazon Lex
Automatic Speech Recognition (ASR)
Natural Language Understanding (NLU)
Same technology that powersAlexa
Cognito CloudTrail CloudWatch
AWS Services
ActionAWSLambda
Authentication &Visibility
SpeechAPI
Language API
Fulfillment
End-Users
Developers
Console
SDK
Intents, Slots, Prompts, Utterances
Input: Speech or Text
Multi-Platform Clients: Mobile, IoT, Web,
Chat
API
Output:Speech (via PollyTTS) or Text
Amazon Lex 기술 구조
AWS 클라우드로 AI 서비스를 정복하세요!
P2 Amazon Machine Learning
Deep LearningAMI and template
Investment inMXNet
Amazon Rekognition Amazon Polly Amazon Lex
인공 지능 기술에 대한 진입장벽이 낮아집니다!
강연 중 질문하는 법
전체 공개로 답변된 내용은 검은색, 질문자 본인에게만 공개로 답변된 내용은 붉은 색으로
돌아옵니다. 비공개 답변을 원하시면 [비공개]라고 하시고 질문하세요!
516
0
250
500
750
1000
1250
2008 2009 2010 2011 2012 2013 2014 2015 2016
Pace Of I nnova t i on : New Capab i l i t i es Da i l y
La
un
ch
es
24
~1000
48 61 82159
280
722
Most Robus t , Fu l l y -Fea tu red
Techno lo gy In f ras t ruc tu re
P l a t fo rm
HYBRID ARCHITECTURE
Data Backups
Integrated App Deployments
DirectConnect
IdentityFederation
Integrated Resource Management
Integrated Networking
VMware Integration
MARKETPLACE
Business Apps
DatabasesDevOps Tools
NetworkingSecurity StorageBusiness Intelligence
INFRASTRUCTURE
Availability Zones
Points of Presence
Regions
CORE SERVICESComputeVMs, Auto-scaling, Load Balancing, Containers, Cloud functions
StorageObject, Blocks, File, Archivals, Import/Export
DatabasesRelational, NoSQL, Caching, Migration
CDN NetworkingVPC, DX, DNS
Access ControlIdentity Management
Key Management & Storage
Monitoring & Logs
SECURITY & COMPLIANCE
Resource & Usage Auditing
Configuration Compliance
Web application firewall
Assessment and reporting
TECHNICAL & BUSINESS SUPPORT
Support Professional Services
Account Management
Partner Ecosystem
Solutions Architects
Training & Certification
Security & Billing Reports
Optimization Guidance
ENTERPRISE APPS
Backup
Corporate Email
Sharing & Collaboration
Virtual Desktops
IoT
Rules Engine
Registry
Device Shadows
Device Gateway
Device SDKs
DEVELOPMENT & OPERATIONSMOBILE SERVICESAPP SERVICESANALYTICS
DataWarehousing
Hadoop/Spark
Streaming Data Collection
Machine Learning
Elastic Search
PushNotifications
Identity
Sync
Resource Templates
One-click App Deployment
Triggers
Containers
DevOps Resource Management
Application Lifecycle Management
API Gateway
Transcoding
Queuing & Notifications
Workflow
Search
Streaming Data Analysis
Business Intelligence
MobileAnalytics
Single Integrated Console
Mobile App Testing
Data Pipelines
Petabyte-Scale Data Migration
Database Migration
Schema Conversion
Application Migration
MIGRATION
S U P E R P O W E R S
W i t h A W S , I t C a n F e e l L i k e Yo u H a v e B e e n G i v e n
질문을 남겨주세요!
세미나 설문조사
발표 자료/녹화 영상http://bit.ly/awskr-webinar