전태균 (SATREC INITIATIVE)한국직업능력개발원 / 2016.12.26
인공지능 (Artificial Intelli-gence)
변화와 능력개발
Contents 우주항공 분야 적용 사례
▫ Application: Single Image Super-Resolution▫ Application: Object Detection▫ Application: Trend Monitoring
인공지능 발전 전망
인공지능 관련 역량개발
결론
인공지능 : 변화와 능력개발 Page 2
Contents 우주항공 분야 적용 사례
▫ Application: Single Image Super-Resolution▫ Application: Object Detection▫ Application: Trend Monitoring
인공지능 발전 전망
인공지능 관련 역량개발
결론
인공지능 : 변화와 능력개발 Page 3
HIGH QUALITYULTIMATE DISPLAY
4 TIMES FULL HD
TV 광고같지만
모두 원하고 있습니다
카메라를 살펴보면 ..
인공지능 : 변화와 능력개발 Page 6
Source: http://www.productchart.com/cameras/
인공지능 : 변화와 능력개발 Page 7
Source: http://www.productchart.com/cameras/
크면 좋은데 , 비싸요
인공지능 : 변화와 능력개발 Page 8
downscaling
고화질 저화질
upscaling
고화질 저화질?
Interpolate: align coordinates
Super-resolution: high-freq. content
BIG! SHARP!Low resolution
High resolution + Good qualityHigh resolution + Low quality
≈
Ground truth
SuperResolution: End-to-End learning
인공지능 : 변화와 능력개발 Page 12
우리가 가지고 있는 사진
( 출력 )강제로 화질을 낮춘 사진
( 입력 )𝑋 𝑌
SuperResolution: End-to-End learning
인공지능 : 변화와 능력개발 Page 13
Input
Interp.Patch
enhance
Output
& average
�̂�= 𝑓 (𝑥 )
딥러닝은 여기에 !
딥러닝 관련 연구 : SuperResolution ECCV 2016, C. Dong et al. (The Chinese University of Hong
Kong)▫ FSRCNN: “Accelerating the Super-Resolution Convolutional Neural Net-
work”
CVPR 2016, W. Shi et al. (Magic Pony Technology) ESPCN: “Real-Time Single Image and Video Super-Resolution Using
an Efficient Sub-Pixel Convolutional Neural Network”
CVPR 2016, J. Kim et al. (Seoul National University)▫ DRCN: “Deeply-Recursive Convolutional Network for Image Super-Resolution”▫ VDSR: “Accurate Image Super-Resolution Using Very Deep Convolutional Net-
works”
ECCV 2014, C. Dong et al. (The Chinese University of Hong Kong)▫ SRCNN: “Image Super-Resolution Using Deep Convolutional Networks”
인공지능 : 변화와 능력개발 Page 15
딥러닝 관련 연구 : SuperResolution
인공지능 : 변화와 능력개발 Page 16
SRCNN [Dong2014] VDSR [Kim2016], DRCN [Kim2016]
SRCNN: 딥러닝의 첫 적용
인공지능 : 변화와 능력개발 Page 17
Simple 3-Layer CNN▫ End-to-end mapping (LR-HR)▫ Convolution and ReLU
C. Dong et al., “Learning a Deep Convolutional Network for Image Super-Resolution”, ECCV (2014) [Link]
SRCNN: Network Architecture
인공지능 : 변화와 능력개발 Page 18
CONV
INPUT
ReLU
CONV
ReLU
CONV
OUTPUT
CONV Convolutional layer
ReLU Rectified Linear Unit
POOL Pooling layer
No dimension reduction with poolinglayer1 layer2 layer3
Cost function
▫ Evaluation▫ Peak Signal-to-Noise Ratio (PSNR)
SRCNN: Summary Advantage and Disadvantage
(+) Demonstrated the feasibility of an end-to-end learning.
(-) Context of small image regions (13x13)
(-) Only works for a single scale (x3)
(-) Slow to converge (learning rate = 10-5)
인공지능 : 변화와 능력개발 Page 19
인공지능 : 변화와 능력개발 Page 20
SRCNN [Dong2014] VDSR [Kim2016], DRCN [Kim2016]
SISR 에 대한 첫 딥러닝 시도
Context Region (13x13) x3 만 고려 학습이 느림
VDSR: Very Deeper SR
인공지능 : 변화와 능력개발 Page 21
Deeper model▫ Depth: 20 layers
Residual learning▫ Simplify the learning goal
Single model for multiple scales▫ Combine various scale factors for training data
VDSR: Deeper model
인공지능 : 변화와 능력개발 Page 22
VDSR: Residual learning
인공지능 : 변화와 능력개발 Page 23
VDSR: single model for multiple scale
DRCN: Recursive model
인공지능 : 변화와 능력개발 Page 24
DRCN: Skip-connection
인공지능 : 변화와 능력개발 Page 25
SRCNN [Dong2014] VDSR [Kim2016], DRCN [Kim2016]
SISR 에 대한 첫 딥러닝 시도
Context Region (13x13) x3 만 고려 학습이 느림
20 레이어로 학습 가능 Context Region (41x41) Scale (x2, x3, x4) 빠른 학습 Recursion model ( 모델축소 )
Results using VDSR
인공지능 : 변화와 능력개발
KOMPSAT-3 Images
Page 26
인공지능 : 변화와 능력개발
VDSR x2(2400x3440)
Origin(1200x1720)
Page 27
인공지능 : 변화와 능력개발
VDSR x2(2400x3440)
Origin(1200x1720)
Page 28
인공지능 : 변화와 능력개발
VDSR x2(3206x4272)
Origin(1603x2136)
Page 29
인공지능 : 변화와 능력개발
VDSR x2(3206x4272)
Origin(1603x2136)
Page 30
인공지능 : 변화와 능력개발
VDSR x2(3206x4272)
Origin(1603x2136)
Page 31
Contents 우주항공 분야 적용 사례
▫ Application: Single Image Super-Resolution▫ Application: Object Detection▫ Application: Trend Monitoring
인공지능 발전 전망
인공지능 관련 역량개발
결론
인공지능 : 변화와 능력개발 Page 32
인공지능 : 변화와 능력개발 Page 33
물체 검출 + 딥러닝
인공지능 : 변화와 능력개발 Page 34
AI-powered cameras make thermal imaging more accessible (2016)FLIR Boson (http://www.flir.fr/cores/content/?id=74595)
인공지능 : 변화와 능력개발 Page 35
물체 검출 + 딥러닝
인공지능 : 변화와 능력개발 Page 36
물체 검출 = 주어진 이미지에서
특정 종류의 물체가
어디에 있는지찾아내는 것
인공지능 : 변화와 능력개발 Page 37
DOG DOG
CAT CAT
물체 검출 = Localization+
Classification
인공지능 : 변화와 능력개발 Page 38
물체 검출
물체검출
인공지능 : 변화와 능력개발 Page 39
전역적 / 지역적 특징(Global/local fea-
tures)
인공지능 : 변화와 능력개발 Page 40
Scale Invariant Feature Transform (1999)
물체검출
인공지능 : 변화와 능력개발 Page 41
부분 기반 특징(Part-based features)
전역적 / 지역적 특징(Global/local fea-
tures)
인공지능 : 변화와 능력개발 Page 42
Articulated Part-based Model for Joint Object Detection and Pose Estimation (2011)
인공지능 : 변화와 능력개발 Page 43
시각적 말뭉치(Bag-of-Visual-Words)
부분 기반 특징(Part-based features)
전역적 / 지역적 특징(Global/local fea-
tures)
인공지능 : 변화와 능력개발 Page 44
Recognizing and Learning Object Categories (2007)
CVPR short course (http://people.csail.mit.edu/torralba/shortCourseRLOC/index.html)
인공지능 : 변화와 능력개발 Page 45
시각적 말뭉치(Bag-of-Visual-Words)
기계학습(Machine learning)
부분 기반 특징(Part-based features)
전역적 / 지역적 특징(Global/local fea-
tures)
인공지능 : 변화와 능력개발 Page 46
(The lousy painter)
0 10 20 30 40 50 60 700
0.05
0.1
x = data
• Generative model
0 10 20 30 40 50 60 700
0.5
1
x = data
• Discriminative model
0 10 20 30 40 50 60 70 80
-1
1
x = data
• Classification function
(The artist)
Discriminative vs. Generative (ICCV 2009)
인공지능 : 변화와 능력개발 Page 47
물체 검출 + 딥러닝
인공지능 : 변화와 능력개발 Page 48
물체 검출 = 주어진 이미지에서
특정 종류의 물체가
어디에 있는지찾아내는 것
= Region Proposal + Classification
물체 검출을 위한 딥러닝 모델
R-CNN (R. Girshick et al., CVPR 2014)
SPPnet (K. He et al., ECCV 2014)
Fast R-CNN (R. Girshick, ICCV 2015)
Faster R-CNN (S. Ren et al., NIPS 2015)
AttentionNet (D. Yoo et al., ICCV 2015)
YOLO (J. Redmon et al., CVPR 2016)
인공지능 : 변화와 능력개발 Page 49
물체 인식 적용 사례 : 건물 탐지 (NVIDIA)
인공지능 : 변화와 능력개발 Page 50
Exploring the SpaceNet Dataset Using DIGITS (2016)
NVIDIA Devblog (https://devblogs.nvidia.com/parallelforall/exploring-spacenet-dataset-using-digits/)
물체인식 적용사례 : 차량 검출 (LLNL)
인공지능 : 변화와 능력개발 Page 51
물체인식 적용사례 : 차량 검출 (LLNL)
인공지능 : 변화와 능력개발 Page 52
Contents 우주항공 분야 적용 사례
▫ Application: Single Image Super-Resolution▫ Application: Object Detection▫ Application: Trend Monitoring
인공지능 발전 전망
인공지능 관련 역량개발
결론
인공지능 : 변화와 능력개발 Page 53
Recurrent Neural Networks
인공지능 : 변화와 능력개발 Page 54
Neural Networks
▫ Inputs and outputs are independent
Recurrent Neural Networks
Sequential inputs and outputs
...
𝑥 𝑥 𝑥
𝑜
𝑠𝑠
𝑠𝑠
𝑜 𝑜
...
𝑥𝑡 −1𝑥𝑡 𝑥𝑡+1
𝑜𝑡− 1
𝑠𝑠
𝑠𝑠
𝑜𝑡𝑜𝑡+1
Design Patterns for RNN
인공지능 : 변화와 능력개발 Page 55
Blog post by A. Karpathy. “The Unreasonable Effectiveness of Recurrent Neural Networks” (2015)
Trend Monitoring: World Oil Storage Index
인공지능 : 변화와 능력개발 Page 56
Orbital Insight (https://orbitalinsight.com/solutions/world-oil-storage-index/)
Trend Monitoring: World Oil Storage Index U.S. Energy Information Administration (EIA: 미국 에너지 관리
청 )
인공지능 : 변화와 능력개발 Page 57
Orbital Insight (https://orbitalinsight.com/solutions/world-oil-storage-index/)
Contents 우주항공 분야 적용 사례
▫ Application: Single Image Super-Resolution▫ Application: Object Detection▫ Application: Trend Monitoring
인공지능 발전 전망
인공지능 관련 역량개발
결론
인공지능 : 변화와 능력개발 Page 58
인공지능 발전 전망
Artificial “Narrow” Intelligence▫ 한 분야를 잘하는 인공지능 ▫ Is TRAINED or just PROGRAMMED
Artificial “General” Intelligence▫ 사람처럼 하나를 배우면 열을 아는 인공지능▫ Is EDUCATED
Artificial “Super” Intelligence▫ 어떤 사람보다 모든 분야에 뛰어난 인공지능▫ 과연 존재할까 ??
인공지능 : 변화와 능력개발 Page 59
인공지능 (Artificial Intelligence)
인공지능 : 변화와 능력개발 Page 60
범용 인공지능 (Artificial “General” Intelli-gence) Deep Reinforcement Learning (DeepMind)
▫ DQN paper• www.nature.com/articles/nature14236
▫ DQN source code• https://sites.google.com/a/deepmind.com/dqn/
인공지능 : 변화와 능력개발 Page 61
범용 인공지능 (Artificial “General” Intelli-gence) Deep Reinforcement Learning (AI = RL + DL)
▫ 스스로 문제를 정의하고 Reinforcement Learning = Objective
▫ 스스로 그 문제를 풀어내는 능력Deep Learning = Mechanism
인공지능 : 변화와 능력개발 Page 62
RL + DL = General Intelligence
범용 인공지능 (Artificial “General” Intelli-gence) 7 C’s of Learning
▫ Choose: we are self-service learners. We follow what interests us, what is meaningful to us, what we know is important.
▫ Commit: we take ownership for the outcomes. We work until we’ve gotten out of it what we need.
▫ Crash: our commitment means we make mistakes, and we learn from them.
▫ Create: we design, we build, we are active in our learning.
▫ Copy: we mimic others, looking to their performances for guidance.
▫ Converse: we talk with others. We ask questions, offer opinions, debate posi-tions.
▫ Collaborate: we work together. We build together, evaluate what we’re doing, and take turns adding value.
인공지능 : 변화와 능력개발 Page 63
범용 인공지능 (Artificial “General” Intelli-gence) Meta-learning
인공지능 : 변화와 능력개발 Page 64
범용 인공지능 (Artificial “General” Intelli-gence) Meta-learning Learning-to-learn Responsibility for own learning Development of personal skills Change management Flexibility
인공지능 : 변화와 능력개발 Page 65
범용 인공지능 (Artificial “General” Intelli-gence) 더 읽어볼 만한 것들
▫ A page on AGI in Wikipedia▫ An article on Scholarpedia▫ A survey paper
Artificial General Intelligence: Concept, State of the Art and Future Prospects, by Ben Goertzel
▫ A gentle introduction to AGI, by Pei Wang▫ The introduction chapter of Artificial General Intelligence, by Cassio Pen-
nachin and Ben Goertzel▫ The introduction chapter of Advances in Artificial General Intelligence, by Pei
Wang and Ben Goertzel▫ Mapping the Landscape of Human-Level Artificial General Intelligence, report
from an “AGI roadmap” workshop▫ Comparative table of cognitive architectures: a collective effort sponsored by
the BICA SOCIETY
인공지능 : 변화와 능력개발 Page 66
슈퍼 인공지능 (Artificial “Super” Intelli-gence) Nick Bostrom – “SuperIntelligence”
▫ 과학 기술 창조 , 일반적인 지식 , 사회적 능력 등을포함한 전 영역에서 모두 , 제일 총명한 인류의두뇌보다 훨씬 총명한 지능
▫ 과연 현실로 다가올까요 ?
더 읽어볼만한 것들▫ The AI Revolution: The Road to Superintelligence
▫ The AI Revolution: Our Immortality or Extinction
인공지능 : 변화와 능력개발 Page 67
직업의 미래 : 4 차 산업혁명과 일자리
20 년후 내 직업은 ?
인공지능 : 변화와 능력개발 Page 68
http://channel.mk.co.kr/event/2016/job/
사라지는 일자리
인공지능 : 변화와 능력개발 Page 69
직종 순위 컴퓨터 대체 확률 (%)
전화상담원 582 99
권리분석사 581 99
보험 손해사정인 580 99
시계 수리공 579 99
화물 , 창고업무 종사자 578 99
세무대리인 577 99
회계관리인 576 99
보험청구인 575 98
중개인 574 98
물건 수주 종사자 573 98
대출 관련 종사자 572 98
보험조정인 571 98
스포츠경기 심판 570 98
은행 창구 직원 569 98
직종 순위 컴퓨터 대체 확률 (%)
동판화가 , 판화가 568 98
포장기계 조작공 567 98
조달업무 종사자 566 98
신용분석사 565 98
파트타임 영업사원 564 98
손해사정인 , 평가사 , 조사관 563 98
운전사 / 영업직 사원 562 98
무선통신사 561 98
법률비서 560 98
회계업무 종사자 559 98
모델 558 98
레스토랑 , 커피숍 직원 557 97
신용등급 부여자 및 서무 556 97
농산물 및 식품과학 기술자 555 97
사라지지 않는 일자리
The Future of Employment: How susceptible are jobs to auto-mation. (Michael Osborne and Carl Frey, Oxford Martin School, 2015)
인간이 작업 환경에서 기계에 비해 가질 수 있는 9 가지 장점 ▫ 사회지각력 (social perceptiveness)▫ 협상력 (negotiation)▫ 설득력 (persuasion)▫ 관계성 (assisting and caring for others)▫ 독창성 (originality)▫ 예술성 (fine arts)▫ 손가락 기교 ( 혹은 손 끝 기술 ) (finger dexterity)▫ 손재주 (manual dexterity)▫ 작업환경의 열악성 (the need to work in a cramped work space)
인공지능 : 변화와 능력개발 Page 70
사라지지 않는 일자리
인공지능 : 변화와 능력개발 Page 71
직종 순위 컴퓨터 대체 확률 (%)
임상심리사 및 기타 치료사 1 0.28
공업기계 설치 및 정비원 2 0.3
비상경영 관리자 3 0.3
정신건강 상담 치료사 4 0.31
음향치료사 5 0.33
작업치료사 6 0.35
발교정기 및 보철 인공기관 치료사 7 0.35
사회복지사 8 0.35
치아 및 양악관절 전문의사 9 0.36
소방 및 방재업무 관리자 10 0.36
다이어트 및 영양 관리사 11 0.39
임업 및 벌목업자 12 0.39
안무가 13 0.4
외과의사 14 0.42
직종 순위 컴퓨터 대체 확률 (%)
심리치료사 15 0.43
경찰 및 치안담당 관리자 16 0.44
일반 치과의 17 0.44
초등학교 교사 ( 특수학교 제외 ) 18 0.44
의료과학자 ( 임상학자 제외 ) 19 0.45
초중등학교 교직원 20 0.46
수족 전문의 21 0.46
교내 심리 상담사 22 0.47
심리상담사 23 0.48
의복 및 직물 패턴 디자이너 24 0.49
전시 기획자 25 0.55
인사관리 담당자 26 0.55
스포츠 및 레크리에이션 강사 27 0.61
훈련 및 강화 훈련교관 28 0.63
생겨나는 일자리 : 인터넷
인공지능 : 변화와 능력개발 Page 72
1990s Internet
생겨나는 일자리 : 스마트폰
인공지능 : 변화와 능력개발 Page 73
(2007) Appstore & Android mar-ket
(2007) iPhone vs Android
생겨나는 일자리 : 인공지능
인공지능 : 변화와 능력개발 Page 74
Contents 우주항공 분야 적용 사례
▫ Application: Single Image Super-Resolution▫ Application: Object Detection▫ Application: Trend Monitoring
인공지능 발전 전망
인공지능 관련 역량 개발
결론
인공지능 : 변화와 능력개발 Page 75
다양한 현실 문제들
인공지능의 문제 = 사람의 문제
게으른 사고방식 ?
어떻게 사람을 편하게 할 것인가 ?
경력 vs 경험
다양한 challenges & competitions
윤리적 문제들
인공지능 : 변화와 능력개발 Page 76
현실의 문제들 : Kaggle
인공지능 : 변화와 능력개발 Page 77
현실의 문제들
인공지능 : 변화와 능력개발 Page 78
앞으로의 문제들 (OpenAI) 인공지능의 지능을 어떻게 평가할 것인가 ?
▫ 사람 (IQ: intelligence quotient)▫ 인공지능 (?)
가정부 로봇은 과연 만들 수 있을까 ?▫ 범용적 목적 , 다양한 일을 수행 가능한 로봇
인공지능 : 변화와 능력개발 Page 79
앞으로의 문제들 (OpenAI) 자연어를 이해하는 인공지능
▫ 현재 : 기본적인 대화 , 질의응답 , 기계번역▫ 미래 : 복잡한 대화 , 문서이해 , 복잡한 자연어 명령 이해
인공지능 : 변화와 능력개발 Page 80
Watson (IBM) Siri (Apple)
앞으로의 문제들 (OpenAI) 하나의 Agent 가 다양한 게임을 수행
인공지능 : 변화와 능력개발 Page 81
앞으로의 문제들 (OpenAI) Deep Q-Networks (DeepMind)
인공지능 : 변화와 능력개발 Page 82
Human (grey) / DQN (blue)
문제 해결 기법
Structure and Interpretation of Computer Programs
인공지능 : 변화와 능력개발 Page 83
컴퓨터과학 , 수학 , 통계 , 프로그래밍
뭘 공부해야 할까요 ?
무작정 수학을 공부하기보다 “부족한 바탕지식이 무엇인지 ?” 먼저 깨닫자 .
이후에 차곡 차곡 한 조각씩 메꾸어 가면 , 적어도 방향을 잃어버리는 일은 없다 .
이산 수학 : 전산학
▫ 기본 개념을 정석으로 다루고 있고
▫ 문제가 풍부하며
▫ 전산에서 어떻게 , 왜 쓰이고 있는지 , 그 연계성을 명확히 밝혀놓은 것
인공지능 : 변화와 능력개발 Page 84
컴퓨터과학 , 수학 , 통계 , 프로그래밍
확률 , 통계 : 시뮬레이션
미적분 , 선형대수 : 2D/3D 그래픽스
인공지능 : 변화와 능력개발 Page 85
대수학 : 함수형 프로그래밍
극한 , 수열 : 알고리즘 해석 , 분석
인공지능 : 변화와 능력개발 Page 86
코딩 능력
오픈 소스 (Open Source)
인공지능 : 변화와 능력개발 Page 87
오픈 코스 (Open Course) MIT OCW Coursera Udacity edX OpenLearning FutureLearn
인공지능 : 변화와 능력개발 Page 88
커뮤니케이션
SNS 는 과연 인생의 낭비인가 ?
인공지능 : 변화와 능력개발 Page 89
윤리적 인공지능 디자인 지침서
IEEE Ethically Aligned Design (EAD)
인공지능 : 변화와 능력개발 Page 90
윤리적 인공지능 디자인 지침서
AI / AS 가 인권을 침해하지 않도록 어떻게 보장 할 수 있습니까 ?▫ How can we ensure that AI/AS do not infringe human rights?
도덕 과부하 - AIS 는 일반적으로 서로 충돌 할 수있는 여러 가지 표준 및 값의 영향을 받습니다 .▫ Moral overload – AIS are usually subject to a multiplicity of norms and values
that may conflict with each other.
인공지능 : 변화와 능력개발 Page 91
https://www.technologyreview.com/s/542626/why-self-driving-cars-must-be-programmed-to-kill/
윤리적 인공지능 디자인 지침서
연구원과 개발자는 점점 더 자율적이며 능력이 있는 인공 지능 시스템의 개발과 배치에서 보다 복잡한 윤리적 및 기술적 안전 문제에 직면 할 것입니다 .▫ Researchers and developers will confront a progressively more complex set
of ethical and technical safety issues in the development and deployment of increasingly autonomous and capable AI systems.
어떻게 개인을 존중하도록 개인 정보에 관한 동의를 재정의 할 수 있습니까 ?▫ How can we redefine consent regarding personal data so it honors the indi-
vidual?
인공지능 : 변화와 능력개발 Page 92
윤리적 인공지능 디자인 지침서
전쟁터에서 인간의 감독을 배제하는 것은 부주의 한 인권 침해와 부주의 한 긴장감의 상승으로 이어질 수 있습니다 .▫ Exclusion of human oversight from the battlespace can too easily lead to in-
advertent violation of human rights and inadvertent escalation of tensions.
인공지능 : 변화와 능력개발 Page 93
http://futureoflife.org/open-letter-autonomous-weapons#signatories
Contents 우주항공 분야 적용 사례
▫ Application: Single Image Super-Resolution▫ Application: Object Detection▫ Application: Trend Monitoring
인공지능 발전 전망
인공지능 관련 역량 개발
결론
인공지능 : 변화와 능력개발 Page 94
결론
인공지능 기술은 우주항공분야의 다양한 곳에 사용될 수 있다 . 그 시장은 곧 열릴것이며 , 앞으로 발전 가능성은 무궁무진하다 .
딥러닝의 발달로 기존의 어려웠던 문제들이 하나씩 해결 되고 있다 .
AGI 그리고 ASI 가 21 세기 안에 나타날 것이다 .
더욱 인간다운 고민을 하시기 바랍니다 .
인공지능 : 변화와 능력개발 Page 95
Top Related