Post on 11-Apr-2017
2017년 제조업 IT 기술 트렌드
새로운 비즈니스 모델에서 데이터 및 분석 활용
현장 운영 데이터 마이닝
공장 자동화 및 예방/사전 유지보수
지능형 앱 및 원활한 현장 통신
스마트 데이터, 스마트 의사결정 – not Big & Big Data 관리
수동 프로세스의 자동화, 실행 가능한 메트릭
공급망 협력 및 가시화
4차산업 혁명의 제조업의 방향현장 중심형 스마트팩토리 프레임웍크
맞춤형 생산공장 구현을 통한 제조 경쟁력 확보
현장 중심형 Smart Factory
Simply단순하게
Easily 쉽고 편하게
Quickly빠르게
Safely 안전하게
설비자동화
업무자동화
설비·업무의 자동화
휴먼에러제로화
기술·기능표준화
데이터현재화
빅데이터체계화
업무의 지능화 제조 데이터의 가시화
출처:kmac
TRANSFORMATION
Click & Mortar O2O à On-Demand
Process Innovation Industry 4.0
Mobile IoT
Big Data Machine/Deep Learning
Connected Car Self-driving (Autonomous)
GE의 비즈니스 트랜스포메이션
GE Digital
GE Capital Divestiture
Alstom Acquisition
IT/OT Convergence
Cybersecurity
Cloud
1
2
3
4
5
6
“어젯밤 잠들 때는 산업재 제조 기업이었지만, 오늘 아침 일어나면 소프트웨어/분석 기업이되어 있을 것입니다.”
Jeff Immelt, GE Chairman & CEO
2015년 re:Invent에서 GE CIO의 발표
This is no longer an experiment, it is inevitable, GE CIO, Jim Fowler, Oct 2015
GE는 140년된 전통적 제조업체이지만 이제는 플랫폼 제공 스타트업체임
• 9,000개의 기업내 워크로드를 AWS로 전환 (산재된 300여 ERP 포함)
• 앞으로 3년내에 34개의 데이터센터를 4개의 센터로 축소
• Oil & Gas의 경우 기존 대비 52%의 비용 절감
• 비즈니스 어플리케이션 제공 속도 77% 향상
AWS는 앞으로의 140년을 같이 할 파트너
GE 전환 가속화 Acceleration
• 머신-기계 및 제조/생산 시스템을 위한 오픈,
그러나 보안은 강화된 아키텍처
• 플랫폼 기반의 시스템 및 분석 체계
• 제조 공정상의 문제와 이슈를 해결할 수 있는
기반의 최적화된 어플리케이션
• 주요 중점 사항:- 센서 기반 및 인지 가능한 머신
- 분석 기반의 가시화
- 통합된 시스템
- 표준화 그리고 아키텍처
- 빅데이터와 분석
New Way Working model
DevOps ModelTraditional Model
DevOps: myGEAviation-운영배포 사이클 주기 단축: 4일에서 몇 시간으로-고객에게 제공되는 다양한 서비스 제공 5배 빨리-고객/시장 대응 +240% 향상 speed-to-market
일반적 연구/개발, 개발/운영, 혁신/개선 프로세스에서 지속적으로 서비스개발/운영이 통합되고 지속적으로 발전 시키는 프로세스와 환경으로 전환
자동 리호스팅 Re-Hosting클라우드 마이그레이션 솔루션 Racemi 혜택
• 소스 서버에 배포• 안전, 방화벽 친화적• 라이브 캡처, 낮은 오버헤드, 내구성 지원
• 간단한 Command형 인터페이스• AWS Identity and Access
Management (IAM) 및 AWS STS 서비스를 통해 보안 위임 지원
• 한 번의 캡처를 통한 다량 배포 가능
GE 방화벽
https (443)
파일이동
Amazon EC2 Instances
물리적 서버
가상 기계
에이전트 OG 서브넷
OG 서브넷
Dynacenter Server
공통 서브넷
사업 간 서비스 상태마이그레이션 가속 자동화사이클 시간 단축 단순화비용 혜택
4 클라우드 서비스 CTQ’s
S3Shuttles3 게시 및 구독 Java + AWS Native Services
• 유연한 버킷/폴더 구성• 다중 업로드 활용• AWS SDK가 포함된 STS 지원
• 업로드 시 SNS 알림• SNS가 SQS대기열에 알림
• SQS와 느슨하게 결합• 간단한 명령 행 인터페이스• 선택적 배송 알림
S3 스토리지 버킷HTTP를 통한
파일 이동
목적지SQS 알림 대기열소스
S3 Shuttle
HTTP를 통한파일 이동
완료 알림
사업 간 서비스 상태마이그레이션 가속 자동화사이클 시간 단축 단순화비용 혜택
4 클라우드 서비스 CTQ’s
Philips의 디지털 헬스케어 플랫폼클라우드 기반 오픈 소스 디지털 플랫폼 서비스 제공
• 15PB 규모의 데이터를
AWS에서 분석
• AWS IoT를 통한 디바이스
연계 및 센서 데이터 축적
• AWS에 700만 디바이스/
센서/모바일앱 연계
Cloud is the core foundation of Philips’ Healthcare Platforms:
Moving from Legacy to Future proof
100+ Sites 3500+ Servers
Extremely high Fixed
costs
Old End-of-term
Infrastructure
No incentives to Decomm &
Modernize Governance
42%
3%
25%
1st tier Datacenter
30% Decommission Infra
Local compute(Darkroom operated)
Workload Split
레거시에서 클라우드-퍼스트에 이르기까지
• “Break-Fix” • SLA 기반 관리 서비스• 예상치 못한 사업중단• 복잡한 공급망 새로운 수요 발생• 다양한 버전• 확장 불가능• 예약 용량 지불• “after the fact” 보고
• “Always On”을 위한 설계• SLA 기반 관리 서비스• 셀프 프로비저닝, 소비자 주도• 일반 시장 유효 서비스• 확장가능 리소스• 사용한 만큼 지불• “실시간“ 사용 & 성과Does not represent a
Philips location
Creating a Landing Zone - Internet Centric Networking
The Internet
Sites
Private Network – ProviderInternet Edge
SaaS Cloud
ISP
Cloud Gateway
1Cloud
Gateway 2
Cloud Gateway
N
Partner Tier1 DC
siteMPLS
Direct Connect
MPLS
JohnDeere사의 농기계 플랫폼 서비스
Remote Control
원격 조종
MobileConnect
모바일 연계
SeamlessAnalysis
지속적 분석
모바일 원격에서 무인 자동화로 확대하여Precision Agriculture 정밀 농업 실현
JohnDeere사의 농기계 플랫폼 서비스
Connected Mobile Networks
JDLink telematics à JDLink telematics àJohn Deere Farm Sight à MyJohnDeere Platform
사물 인터넷 – John Deere
§ 장치 연결 및 관리
§ 장치 연결 및 데이터 보안
§ 장치 데이터에 따른 처리 및 작동
§ 언제든지 장치 상태 읽기 및 설정 가능
John Deere사의 기술 정보 솔루션 담당 부사장 Patrick Pinkston은 178년 된 본회사가 어떻게 아마존 클라우드를 사용하였는지 설명하고 있다.
John Deere는 AWS IoT 솔루션을 통해 개별작물 및 토지 면적에 대한 농민들의 작물 재배추적을 가능케 함
https://www.youtube.com/watch?v=uq4kQPsM4cQ
제품·서비스에서 시스템들의 시스템으로
Product Service Platform&Eco
글로벌 최대 농업 기계/장비 제조 업체인John Deere는 단지 스마트 팩토리 및제품에서 벗어나 농업 분야의 산업 경계를서비스로 확대하고 농장 자동화와 현대화를위한 플랫폼 서비스 회사로 재탄생
Smart, Connected Product의 기능
• 모니터링-제어-최적화-자율화 4가지로 구분
• 각 기능은 이전 단계의 기능에 기반하여 구현
• 예를 들어 제품이 제어 기능을 갖기 위해서는 반드시 모니터링 기능이 전제되어야 함
모니터링
센서 및 외부 데이터 소스를통해 하단의 종합적 모니터링수행:• 제품 상태• 외부 환경• 제품 운영 및 사용
모니터링에 기반하여 변동사항에 대한 경보 및 알람작동
제품 혹은 제품 클라우드내장 소프트웨어는 하단기능 수행:• 제품 기능 제어• 사용자 경험(UX) 개인화
모니터링 및 제어 기능은제품 운영 최적화알고리즘을 통해 하단 기능수행:• 제품 성능 향상• 사전 예측 진단, 서비스 및
수리
모니터링, 제어 및 최적화기능의 조합으로 하단기능 수행:• 자율적 제품 운영• 타 제품 및 시스템과의
운영을 위한 자체 조정• 자율적 제품 향상 및
개인화• 자가 진단 및 서비스
제 어
최적화
자율화
새로운 시스템 아키텍처
스마트,커넥티드 제품위치,조건,사용등관련데이터외부
가격,날씨,공급업체재고등관련데이터
기업서비스 이력,품질보증상태
등관련데이터
데이터 레이크비가공 데이터,다양한
포맷등으로 구성
서술 진단 예측 지시제품상태,환경,운영 서술
제품성능감소 및고장 원인검토
패턴에 기반하여임박사건예측
결과 개선 및문제해결 솔루션탐색
비즈니스 고객 파트너
데이터소스
분석
가공하지않은데이터
심층정보
기본정보사용패턴등
제어와최적화성능향상 SW
업그레이드등통해
IT와 OT와의 결합
OT
IT
CONVERGENCE
…
…
Transactional data: orders, supply network, product design …
MATERIALS & TRANSPORT
CONTROLLERS SENSORS, ACTUATORS
MACHINES & EQUIPMENT
FINANCIALS HR LOGISTICS QUALITY CRMERP
Real-time data: control, safety, security …
IoT = IT+OT à The Connected Enterprise
실시간 Supply Chain 분석 체계
• Input batches• Processing
temperature, humidity, pressure
• Dimensions• Weight• Strength• Date of shipment• Carrier• Shipping service• Batch ID
Commodity
• Input batches• Processing
temperature, humidity, pressure
• Dimensions• Weight• Strength• Date of shipment• Carrier• Shipping service• Serial no.
Part
• Input serial no.• Processing
temperature, humidity, pressure
• Dimensions• Weight• Date of shipment• Carrier• Shipping service• Serial no.
Module
• Model• Configuration• Input serial no.• Processing
temperature, humidity, pressure
• Dimensions• Weight• Destination• Dealer, customer• Chassis no.
Product
• Tracking ID• Label• Pick-up station• Delivery station• Current location• Environmental
data
• Tracking ID• Label• Pick-up station• Delivery station• Current location• Environmental
data
• Tracking ID• Label• Pick-up station• Delivery station• Current location• Environmental
data
AWS Kinesis
실시간 Supplier Networks Analytics
실시간 물류 데이터 수집 및 분석, 공급 업체/OEM/물류 파트너 네트워크 개방 플랫폼
§ 물류 지연에 대한 실시간 경보§ 날씨, 제품 품질 등의 신호 기반 실시간 선제 조치 트리거
분산된 공급망이 생성하는 전세계 정보 분산과일치하는 데이터 수집 및 분석 인프라 제공
§ 실시간 데이터 수집 : Kinesis§ 수집 된 데이터의 안전하고 내구성있는 스토리지 : S3§ 신호에 대한 데이터 분석 : EMR§ 패턴 감지를위한 빠른 분석 : Redshift§ SAP와 같은 추가 워크 플로우에 연결할 수있는 커넥터
프레임 워크 및 확장 가능한 플랫폼
Engineering Workplace: PLM
모든 제품 데이터 관련 데이터 인프라 지원(엔지니어링~품질 보증~판매 후 문서화)
데이터 중복을 피하기 위해 OEM, 중장비 PLM 시스템에 공급 업체, 엔지니어링 서비스 제공 업체, 판매 업체 네트워크 등 연결 à 제품 개발주기 단축
§ 핵심 PLM 인프라를위한 EC2, RDS 및 VPC 엔지니어링데이터를 위한 안전성
§ 비용 효율적인 계층형 스토리지 솔루션을 위한 빌딩 블록S3 / Glacier
§ 파트너 에코 시스템 (Siemens, Dassault 또는 PTC와 같은PLM 공급 업체, 데이터베이스 공급 업체, 계층형 스토리지솔루션 제공 업체) 및 시스템 통합 업체
엔지니어링 데이터 호스트 글로벌 인프라 제공
PLM: Siemens Teamcenter on AWS
• Full Cloud or Hybrid 제공
• Training, Dev & Test, HA Production, Disaster Recovery
Siemens Frameworks and Best Practices
Engineering Workplace: 시뮬레이션
P2C4
클라우드의 HPC 클러스터 온 디맨드 엔지니어링 시뮬레이션더 많은 모델의 시뮬레이션 능력은 더 많은 혁신을 가져 오지만,컴퓨팅 용량을 계획하는 방법은 "n+1"시뮬레이션 실행의 한계 비용 감소, 제품 개발주기 단축
데이터 세트: 거대하지만 효율적으로 데이터를 저장하며, CPU를 데이터 분석에 더 가깝게 제공
§ C4 인스턴스 : CPU 최적화 (인텔)§ P2 인스턴스 : GPU 최적화 (엔비디아)
§ 스팟(Spot)으로 모델 예약 구매
§ 다양한 운영 체제
최신 CPU, 스토리지 및 네트워크 기술을갖춘 컴퓨팅 최적화 인스턴스 유형 제공
PLM: Engineering Collaboration
• Centralized Data Storage
• Global low-latency Access andCollaboration
Engineering Workplace Simulation 사례
“클라우드는 우리가 전에보다 빨리 혁신 할 수있는 기회를 제공합니다.”- Ayumi Tada, IT System Administrator, Honda R&D
§ 충돌 및 재료 역학 시뮬레이션§ 유체 및 열역학 시뮬레이션§ 차체 공기 역학§ 전자기 및 전자기장 시뮬레이션
자동차 부문의 시뮬레이션
§ AWS Spot에 확장 가능 HPC 클러스터 배포(최대 1000 개의 C3 인스턴스)
§ 보다 정확한 결과를 위해 이전보다 많은 시뮬레이션 실행
혼다 재료 역학 시뮬레이션
제조업에 제안드리는 AWS 서비스
High PerformanceCompute
Internet of Things
Modeling and Simulation
Archive
CorrelationAnalysis
Mobile DeviceVarious
Sensors
HTTPS
Device
PersistentStream
Intelligent Services By Deep Learning
Artificial Intelligence
Connected, Automated, Control
Big Data Micro Data
IoT 도입을 위한 고려 사항
ThingsSense & Act
CloudStorage& Compute
IntelligenceInsights &Logic → Action
Connectivity
Domain expertise/Applications
System Integration (internal and external)
IOT Strategy/ Business Model
IoT의 3대 기본 사항
ThingsSense & Act
CloudStorage& Compute
IntelligenceInsights &Logic → Action
Intelligence
Things
Cloud orchestration
Re-definition of “IoT”
The AWS IOT Data flow model
Customers Devices, things
and data sources
The AWS IOT Platform AWS Cloud Services
AWS IOT – Unique Value Proposition
Lex Machine LearningPolly Rekognition
Customers Devices, things and data sources
The AWS IOT Platform
Network Compute Storage
ScaleProduct DevelopmentMarketplaceIntegration
IoT, Seamless Connected Device
왕복지연
간헐적 연결
고가의 대역폭
Cloud
SensorMachineDevice Factory
기기를 다시 작성하거나 프로그램하지않는 한 기기의 기본적 내용으로 제한.임베디드 소프트웨어 프로그래밍및 업데이트에는 전문적 기술이필요.
클라우드에서 원활하게 IoT 애플리케이션 실행로컬디바이스/장치에서 제한된애플리케이션독자적 실행
일관성과 기능 서비스를 갖추기 위해 프로그래밍모델에서유연성이필요장치가 자체적으로 이해할 수 있고, 신호가 있을때클라우드 연계, 필요할때상호통신.
클라우드에 최적화된IoT 서비스를디바이스에 임베디드
AWS IOT – Seamless Connected Device
A W S G r e e n g r a s sEmbed Lambda Compute (& Other AWS Services) in Connected Devices
Use The Same AWS Programming Model In Devices And The Cloud
Loca l Compute , Messag ing & Data Cach ing
Local compute
Local data caching
Securecommunications
Local messaging
클라우드에 최적화된 IoT 서비스를 디바이스에 임베디드
제조업 IoT 도입 사례
IoT
고장 예측자산 업타임 확대, 서비스 비용 절감
적응형 진단가동 시간 향상, 서비스 및 보증비용 절감
IoT 장치관리장치무결성 및 운영비 절감
상태 기반 정비능률개선, 서비스 비용 절감
자산 최적화자산 성과 및 능률개선
자산활용상품 디자인 및 준수 개선
제조업 內 IoT
§ 고장 예측 (자산 업타임 개선)§ 품질보증스코어링 (보증비용 절감)§ 성과 데이터 (상품차별화 개선)
§ 조건부 정비(지원 비용 절감)
§ 예측형 진단(지원 비용 절감)
§ 고장 예측 (자산 업타임 개선)§ 자산 최적화 (운영 가시성)§ IoT 장치관리
(OTA 운영 구성 및 원격관리)
장비 OEM
수집
판단
분석
결합
제조사/공장 고객
글로벌 IoT Case Study - Seeed Studio
시드 스튜디오는 공장형 제조기업
하드웨어 스타트업에게 저렴한 비용으로 소량생산이 가능
시제품까지 완성 가능한 One Stop Solution 제공
SMT LineMake Shop
(3DP/밀링머신/CNC)
Incubating Space + Open Source HW 모듈
협력사(디자인/대기업)
HW Startups
제품 디자인과 설계 – Make Shop을 통한 프로토타입 제작 및
평가 – 금형 설계 – 양산 과정 에 이르기 까지 Startup들의
아이디어를 실제로 제품화하는데 필요한 Ecosystem 구축
Seeed Studio의 Open Source HW 제품군을이용한 IoT 제품+서비스 개발 프로세스
• Seeed Studio의 강점은 자체 Open Source HW 제품군을 전세계 IoTStartup/기업들에게 제공
• IoT 기기에 연동되는 Application 개발시필요한 Cloud 서비스까지 지원하기위해 AWS와도 제휴를맺고 있음
• AWS입장에서는 Seeed Studio는전세계 HW Startup과협업하는중요한 Premium Partner임
Agile Manufacturing 시스템 체계 구축
Seeed Studio의 IoT 제품을 기획-개발하는데즉시 사용가능한 Starter Kit
• HW Startup이 어떤 IoT 서비스를 개발할것인가에따라 고를 수 있는 Startker Kit 제공• AWS-Seeed Studio간의관계는 수평적인 전략적 제휴관계
- Seeed Studio는 중국내 IoT Startup들이 자연스럽게 AWS의 IoT를 도입및활용
A Flywheel For Data
Machine LearningDeep LearningAI
Better Products
Better Analytics
Object StorageDatabasesData warehouseStreaming analyticsBIHadoopSpark/PrestoElasticsearch
More Users
More Data
Click streamUser activityGenerated contentPurchasesClicksLikesSensor data
A Flywheel For Data
Machine Learning &Artificial Intelligence
Big Data Analytics
More Users Better Products
More Data Better Analytics
Machine Learning 기계 학습
Collect
Validation data Test dataTraining data
Model training Model validation Final predictions
수집
학습데이터 확인/처리데이터
테스트 데이터
모델학습 모델검증
최종 예측
Data
Output
Computer
Program
개인화
문서 분류
부정방지
추천엔진
고객이탈방지
processing Use Case
신상품 예측 상품평가 분석 ASIN 상품식별번호전환 상품검사(시각화)
딥러닝 정의 Deep Learning – Advanced ML
Neural Networks : A collection of simple, trainable mathematical units that collectively learn complex functions
Where traditional machine learning focuses on feature engineering, deep learning focuses on end-to-end
learning based on raw features
The Advent of Deep Learning
Algorithms
DataProgrammingModels
GPUs&Acceleration
image understanding
natural language processing
speech recognition
autonomy
Machine Learning 기계 학습
Collect
Validation data Test dataTraining data
Model training Model validation Final predictions
수집
학습데이터 확인/처리데이터
테스트 데이터
모델학습 모델검증
최종 예측
Data
Output
Computer
Program
개인화
문서 분류
부정방지
추천엔진
고객이탈방지
processing Use Case
신상품 예측 상품평가 분석 ASIN 상품식별번호전환 상품검사(시각화)
Amazon AI
Life-like SpeechPolly Lex
Conversational Engine
RekognitionImage Analysis
Image Recognition And Analysis Powered By Deep Learning
Text To Speech Powered By Deep Learning
Natural Language Understanding & Automatic Speech Recognition
Powered By Deep Learning
Polly: 자연스러운 음성 서비스
텍스트를 자연스러운음성으로 변환
47개 목소리 24개 언어 지연 시간 감소및 실시간
완전한 관리
음질 및 발음
1. 자동, 정확 텍스트 프로세싱
2. 이해하기 쉬운
3. 텍스트에 의미 부여
4. 맞춤형 발음
기사 및 블로그
교육 자료
챗봇 (Lex)
공표
Amazon Rekognition
사물 및 풍경 인식 얼굴 분석 얼굴 비교 얼굴 인식
S3, Lambda, Polly, Lex와 통합
딥러닝 기반 이미지 인식 서비스수많은 이미지를 검색, 검증, 조직화
Amazon Lex - 특장점
텍스트 및 음성 언어 이해 : Alexa와 동일한 기술로 구동
엔터프라이즈 SaaS 커넥터 : 엔터프라이즈 시스템에 연결
채팅 서비스 개발 및 구축
서비스 제공자를 위한 설계 : 대화를 구축 할 수있는효율적이고 직관적 인 도구. 자동으로 탄력성/확장성이 있다.
버전 관리 및 네이밍(Alias) 지원
Amazon Lex – 도입 유형 Use Cases
정보봇서비스 - Informational Bots모든고객의매일 일상적질의에 대한챗봇서비스Chatbots for everyday consumer requests
어플리케이션봇 - Application Bots모바일 어플리케이션에 강력한 인터페이스 연계Build powerful interfaces to mobile applications
• 뉴스 업데이트• 날씨정보• 스포츠경기
스코어
기업 생산성봇 – Enterprise Productivity Bots기업의 업무에서 생산성 향상과 업무 과정상에 지원Streamline enterprise work activities and improve efficiencies
• 매출 확인• 마케팅상황/결과• 실시간 재고 파악
IoT봇 – Internet of Things (IoT) Bots디바이스 상호자굥에서 인터페이스를 통한 대화(컨트롤)가능Enable conversational interfaces for device interactions
• 웨어러블• 원격 어플리케이션• 자동화
Enterprise Connectors with Mobile Hub
Amazon Lex
Mobile App
Mobile Hub SaaS Connector
Amazon API Gateway
AWS Lambda
1: Understand user intent
Amazon API Gateway
AWS Lambda
3: Translate REST response into natural language
Mobile Hub Custom Connector
2: Invoke a SaaS application or an existing business application
Business Application
Firewall
User Input
High Performance Compute 고성능 컴퓨팅
결과 시간 저비용 탄력성 전세계 접근성보안 확장성
• 대용량, 계산 집약적 작업의 일괄 처리
• 결과에 대한 집계, 보고, 시각화 필요
• 고성능 CPU, 네트워크, 스토리지 요구
• 다양한 수준의 클라우드 성숙도를 가진 ISV에 기반한 워크플로우
Modeling and Simulation
클라우드의 기업용 HPC를 위한 동기 부여
Cloud for HPC ScalabilityCloud for Secure Global CollaborationCloud for Big Data
Amazon Linux 또는 3.10 버전 이상의 Linux kernel 사용
OS 버전
P-states를 사용하여 프로세서 변동성 감소CPU 선호도를 사용하여 CPU 코어 스레드 연결
Intel MPI 권장
프로세서 상태 및 선호도
MPI 라이브러리
하이퍼스레딩 켜고 끄기 테스트보통 꺼져 있는 것이 좋지만, 항상 그런 것은 아님
하이퍼스레딩
최대 EC2 인스턴스 크기에서의 최고 성능네트워크 초과 신청 없는 배치 그룹 전체 단면적 대역폭
1M PPS 이상의 성능, 인스턴스 간 대기 시간 감소Proprietary Elastic Network Adaptor현재 20Gbps, 30Gbps 출시 예정
AWS 전매 네트워킹
향상된 네트워킹
Migrating HPC to AWS
Shared File Storage
Cloud-based, auto-scaling HPC clusteron EC2
License managers and clusterhead nodes with job schedulers
3D graphics virtual workstation
AWS Direct Connect
On-Premises IT Resources
Thin or Zero Client- No local data -
Storage CacheAmazon S3and Glacier
HPC에 주목하는 AWS
HPC 워크로드는 AWS 고객의 최우선 순위
제조, 자동차, 우주항공, 반도체, 생명과학, 금융 서비스, 에너지, 연구 분야 등
HPC와 함께하는 AWS
§ 머신러닝
§ 데이터센터, 네트워크, 서버 설계
§ 고객 상품 설계
§ 로봇 공학
§ 반도체 설계
§ 소매 및 금융 분석
AWS의 Big Data 도구
Amazon S3
Amazon Kinesis
AmazonDynamoDB
Amazon Redshift
Amazon Elastic
MapReduce• 무엇이든 저장
• 오브젝트스토리지
• 확장성
• 내구성99.999999999%
• 실시간 처리
• 뛰어난 처리능력; 탄력적
• 쉬운 사용
• EMR, S3, Redshift, DynamoDB 연계
• NoSQL DB
• 지속적 확장성
• 관리 필요없음
• 한자리 수밀리세컨드의low-latency
• 관계형 데이터웨어파우스
• 병렬처리
• 페타바이트
• 연간 1 테라바이트에대한 완전관리서비스 비용:$1,000
• Hadoop/HDFS 클러스터
• Hive, Pig, Impala, Hbase
• 완전관리서비스제공, 쉬운 사용
• 온디맨드, 스팟
• S3, DynamoDB, Kinesis와견고하게 연계
Legacy Data Architectures Exist as Isolated Data Silos
Hadoop Cluster
SQL Database
Data Warehouse Appliance
Data Lake 혜택
하나의 중앙집중형 장소에서 모든 소스의모든 데이터 저장 및 분석
모든 데이터를 하나의 장소에
사전 정의된 스키마에 맞출 필요 없이빠르게 데이터 수집
신속 데이터 수집
분리된 스토리지 및 컴퓨팅을 통해각 요소의 크기 조정 가능
스토리지 vs 컴퓨팅
스키마-온-라이트가 아닌스키마-온-리드를 통해 즉각적 분석이 가능
모든 데이터를 하나의 장소에