1962호2020.09.02.

「주간기술동향」은 과학기술정보통신부 「ICT 동향분석 및 정책지원」 과제의 일환으로 정보통신기획평가원(IITP)에서 발간하고 있습니다.

「주간기술동향」은 인터넷(http://www.itfind.or.kr)을 통해 서비스를 이용할 수 있으며, 본 고의 내용은 필자의 주관적인 의견으로 IITP의 공식적인 입장이 아님을 밝힙니다.

정보통신기획평가원의 「주간기술동향」 저작물은 공공누리 “출처표시-상업적 이용금지” 조건에 따라 이용할 수 있습니다. 즉, 공공누리의 제2유형에 따라 상업적 이용은 금지하나, “별도의 이용 허락”을 받은 경우에는 가능하오니 이용하실 때 공공누리 출처표시 지침을 참조하시기 바랍니다.(http://www.kogl.or.kr/info/license.do 참고)

예시) “본 저작물은 ‘OOO(기관명)’에서 ‘OO년’ 작성하여 공공누리 제O유형으로 개방한 ‘저작물명(작성자:OOO)’을 이용하였으며, 해당 저작물은 ‘OOO(기관명), OOO(홈페이지 주소)’에서 무료로 다운받으실 수 있습니다.”

1962호

기획시리즈 2개인비행체 및 무인이동체 분야 지능형 반도체 기술/5G 표준화 동향

[권혁록/대한항공 항공기술연구원]

Ⅰ. 서론

Ⅱ. PAV 및 UAV 관련 지능형 반도체 기술 동향

Ⅲ. 항공교통관리시스템 및 5G 표준화

Ⅳ. 결론

ICT 신기술 123D 콘텐츠 기술의 연구동향

[백정열/주식회사 아이투엑스]

Ⅰ. 서론

Ⅱ. 3D 콘텐츠 생성의 개념

Ⅲ. 3D 콘텐츠 생성 요소 기술

Ⅳ. 시사점과 향후 전망

ICT R&D 동향 24자동 백업 및 복원을 위한 디스크 쓰기 지연 기술

[김종/포항공과대학교]

6DoF 지원 초고화질 몰입형 비디오의 압축 및 전송 핵심 기술

[강제원/이화여자대학교]

주간기술동향 2020. 9. 2.

2 www.iitp.kr

*

I. 서론

2019년 9월 4일 국토교통부와 산업통상자원부는 드론택시 등 신개념 항공교통수단으

로 활용될 미래형 개인비행체(Personal Air Vehicle: PAV) 개발 및 교통산업 활성화

등을 위해 자동차, 항공, 서비스 업계와 민·관 합동 발전전략협의체를 구축 운영하기 위한

공동 기술 협약 체결을 진행하였다[1]. 또한, 2020년 6월 4일 부총리 겸 기획재정부 장관

* 본 내용은 권혁록 과장(☎ 042-868-6402, hrgwon@koreanair.com)에게 문의하시기 바랍니다.** 본 내용은 필자의 주관적인 의견이며 IITP의 공식적인 입장이 아님을 밝힙니다.

최근 국내외에서 많은 관심을 받고 있는 개인비행체(Personal Air Vehicle: PAV) 및 무인항공기(Unmanned Aerial Vehicle: UAV)의 성공적인 개발을 위해서는 배터리, 엔진 등의 추진시스템 그리고 기체 저중량 설계를 위한 소재나 구조 최적 설계 등의 전통적인 항공기 기술 개발뿐만 아니라 제어, 안전, 통신, 항행, 보안 등의 관련 기술 개발이 필요하다. 이에 따라 최근에는 자동/자율 비행, 이동 경로 예측, 관제와 같은 항공기의 안전 운항을 위한 첨단 지능형 반도체 기술과 원활한 통신 트래픽 처리를 위한 5G 시스템 적용 기술 개발이 활발하다. 본 고에서는 현재 국내의 PAV 및 UAV 연구의 현주소를 살펴보고, 성공적인 비행체와 통합 관제 및 운용 시스템 개발을 위한 지능형 반도체 및 5G 동향에 대해서 알아보고자 한다.

chapter 1

개인비행체 및 무인이동체 분야지능형 반도체 기술/5G 표준화 동향

•••권혁록 ‖ 대한항공 항공기술연구원 과장

기획시리즈

기획시리즈-디바이스

정보통신기획평가원 3

주재로 열린 제2차 혁신성장전략회의에서 “한국형 도심항공교통(Urban Air Mobility:

UAM) 로드맵”을 발표하였다. 이를 통해 2025년 3차원 교통수단의 상용 서비스 개시를

목표로, 대규모 민·관 합동 실증사업을 통해서 가능성을 확인하고, 막대한 신규 산업 시장,

일자리, 생산유발 및 부가가치를 창출하고자 하였다[2].

무인항공기(Unmanned Aerial Vehicle: UAV) 분야에 있어서는 2000년대 초반부터

현재까지 민수용 및 군수용으로 많은 개발이 이루어지고 있으며, 한국항공우주연구원, 대

한항공, 한국항공우주산업, 유콘 등에서 정부 주도로 다양한 크기와 용도의 무인기들을

개발해오고 있다[3]. 특히, 이러한 UAV의 경우에는 사람이 탑승하지 않기 때문에 PAV에

비해서 개발 제약사항 및 운용의 위험도가 낮아 이미 실용화 단계에 이르렀다.

그리고 PAV 및 UAV의 성공적인 개발과 보다 넓은 영역으로의 상용화/활용화를 위해

서는 비행체 자체의 성능 개선도 중요하겠지만, 제어, 안전, 통신 관련 등의 기술이 동시에

발전되어야 한다. 본 고에서는 비행체의 지능형 서비스를 가능하게 하는 지능형 반도체

기술과 비행체/지상체, 비행체/비행체 간의 대용량의 빠른 데이터 처리를 위해 필수적으

로 필요한 5G 기술에 대한 적용 사례 및 동향을 살펴보고자 한다.

<자료> 안성원, “지능형 반도체 등 전자부품의 변화”, 월간 SW 중심사회 2018년 2월호, 2018, pp.36-43.

[그림 1] 지능형 반도체의 활용 영역

주간기술동향 2020. 9. 2.

4 www.iitp.kr

II. PAV 및 UAV 관련 지능형 반도체 기술 동향

지능형 반도체란 시스템에 실장되어 인식·추론·학습·판단 등의 지능형 서비스 구현을

위한 소프트웨어(Software: SW)와 시스템 반도체(System on Chip: SoC)가 융합된 반

도체를 말한다[4]. 지능형 반도체는 사물인터넷(Internet of Things: IoT)의 활성화 및

딥러닝/머신러닝 등의 기술의 발달을 통해 다량의 데이터를 효율적이고 의미 있게 처리하

여 [그림 1]과 같이 자율주행차량이나, 드론 등의 기술적 성숙도를 이끌 수 있는 핵심

요소 부품으로 각광을 받고 있다[6].

이러한 지능형 반도체 개발을 위해 [그림 2]와 같이 기존 반도체의 폰노이만 구조에서의

중앙처리장치(Central Processing Unit: CPU)와 메모리 간의 병목현상을 탈피하기 위

해 인간의 뉴런의 작동 구조에 착안한 뉴로모픽(Neuromophic) 구조를 적용하여 메모리

연산/통신/입출력에 대한 기능들을 하나로 통합하는 기술을 개발하고 있으며[7],[8], 국

내·외 많은 연구자들이 하드웨어적으로 고도화된 지능형 반도체 개발을 위해서 노력하고

있다. 최근 MIT 연구진들은 [그림 3]에 나타나 있듯이, 뉴로모픽 칩 내부에 물리적 인공신

경망을 가장 효과적으로 구현할 수 있는 크로스바 어레이(Crossbar Array) 제작에 최적

의 소자인 멤리스터(Memristor)의 성능 개선을 위해 Ag-Cu 전도성 채널을 사용하여

<자료> Geoffrey W. Burr, et al., “Neuromorphic Devices and Architectures for Next-Generation Cognitive Computing,” IEEE ISCAS, 2017.

S. J. Ben Yoo and D. A. B. Miller, “Nanophotonic Computing: Scalable and Energy-Efficiency Computing with Attojoule Nanophotonics,” IEEE Photonics Society Summer Topical Meeting Series, 2017.

[그림 2] 폰 노이만 구조 및 뉴로모픽 구조

기획시리즈-디바이스

정보통신기획평가원 5

수만 개 이상의 인공 뇌의 시냅스를 제작하기에 이르렀다[9].

이러한 지능형 반도체 기술이 발달되면 PAV 및 UAV에 직접 적용이 가능한 분야는

“감지 후 회피 시스템(Sense-And-Avoid: SAA)”이다. SAA는 최근 한국정보통신기술협

회에서 신규로 정의한 개념으로, 안정적인 항공기의 운항 및 운용을 위해서는 필수적인

무인기의 기능이다. 기존의 유인항공기의 경우 사람이 항공기 주변 상황을 직접 보고 회피

하는 방식이 주로 사용되었으며, 무인항공기의 경우에는 항공기 간의 충돌 사고를 미연에

방지하기 위한 기술 개발의 필요성이 요구되었다. [그림 4]와 같이 SAA 기술은 충돌 가능

성을 최소로 줄이기 위해서 고해상도 레이더(Radio Detection and Ranging: RADAR),

라이다(Light Detection and Ranging: LiDAR), 그리고 소나(Sound Navigation and

Ranging: SONAR) 등과 같은 센서에 의해 계측된 비행경로 주변 환경 정보를 이용하여

<자료> Y. Hanwool, et al., “Alloying Conducting Channels for Reliable Neuromorphic Computing,” Nature Nanotechnology, 2020.

[그림 3] Ag-Cu Alloy 멤리스터 칩

<자료> M. Skowron, et al., “Sense and Avoid for Small Unmanned Aircraft Systems: Research on Methods and Best Practices,” Proc IMechE Part G: J Aerospace Engineering, Vol.233, No.16, 2019, pp.6044-6062.

[그림 4] 무인기 시스템(Unmanned Aircraft System: UAS)의 감지 후 회피(Sense-And-Avoid: SAA) 기능

주간기술동향 2020. 9. 2.

6 www.iitp.kr

비행체에서 직접 계산을 통해 판단하거나, 지상통제소(Ground Control Station: GCS)

에 전달하여 회피에 대한 판단을 연결된 통신망을 이용하여 전달받아 경로에 반영하는

방식으로 구동된다[10]. 계측된 정보를 GCS로 전송하여 경로 변경에 대한 정보를 전달받

아서 최종적으로 드론에 장착되어 있는 비행제어장치(Flight Control Unit)에 전달하려

면 필연적으로 지연 현상이 발생하게 되고, 충분한 충돌 회피 시간을 확보하지 못하게

된다. 따라서 최근에는 비행체 자체적으로 SAA를 위한 플랫폼을 사용하고 있는데, NVIDIA

의 Jetson AGX Xavier 제품은 초당 연산속도가 32테라옵스(Tera Operations Per

Second: TOPS)로 기존의 TX2 시리즈에 비해서 약 24배 증가되었다([그림 5(좌)] 참조).

또한, Intel은 Movidius Myriad X 제품을 Stick 타입으로 개발하였다. 연산속도는 1테

라옵스이며, USB Stick 타입으로 개발되어 활용성이 높은 제품이다([그림 5(우)] 참조).

현재 이러한 UAV 및 PAV에 적용이 가능한 SAA 기술을 위한 지능형 반도체 개발에

있어서 핵심적으로 고려해야 하는 부분이 크기/중량/전력/비용(Size, Weight and Power,

Cost: SWaP-C) 및 저지연(Low Latency) 설계이다. 무인기 시스템의 경우 과도한 무게

나 부피는 비행체 성능 저하에 큰 영향을 미치게 되며, 큰 최대 출력(Peak Power)의

경우에도 비행체 전원 설계에 부담을 주게 된다. 따라서 이를 극복하기 위해 소형/저전력

지능형 반도체를 드론에 적용하는 연구가 수행되고 있다. 유럽의 네델란드, 벨기에, 프랑

스의 협력으로 설립된 반도체 연구소 IMEC에서는 RADAR 시스템에 유용한 세계 최초

Spiking Neural Network 기반 칩을 개발하였다([그림 6] 참조). 이 칩은 드론 적용을

위해서 최소 30㎼의 저전력에서 동작하도록 설계되고, 비행 시에는 수 밀리초(Milisecond,

[NVIDIA Jetson AGX Xavier] [Intel Movidius Myriad X]

[그림 5] 지능형 반도체의 종류

기획시리즈-디바이스

정보통신기획평가원 7

ms) 이내에 사물의 인지 및 충돌 방지에 사용할 수 있도록 개발되었다[11]. IMEC에 의하

면 소리, SONAR, RADAR, LiDAR 등의 정보를 실시간으로 통합 처리하는 것이 가능하

며, 드론에 적용할 경우 SAA 분야에서 획기적인 기술 발전을 이룰 수 있을 것으로 예상되

고 있다.

III. 항공교통관리시스템 및 5G 표준화

전 세계적으로 PAV 및 UAV의 개발 및 보급이 급속도로 증가하고 있으며, 앞서 언급했

듯이 정부에서는 한국형 도심항공교통 로드맵을 가지고 미래 교통혁명에 대해서 대비하고

있다. 이를 위해서 무인비행체의 비행 성능, 제어 특성, 그리고 앞서 언급했던 충돌 방지를

위한 지능형 반도체 개발 및 적용 이외에 필수적으로 고려해야 하는 사항이 있다. 그것은

새로운 “항공교통관리시스템(UAS Traffic Management: UTM) 구축”이다. [그림 7]에

서 알 수 있듯이, 일반적으로 PAV 및 UAV는 민간여객기나 군용비행체보다 낮은 저고도

운행을 하게 될 것이며, 이에 맞는 저고도 비행지역에 대한 교통 관리가 필요하다[12].

UTM의 관리 아래 모든 비행체가 실시간으로 연결되어 있어야 하며, 기상, 위치정보, 비행

경로 등의 정보를 공유하여 운항의 안정성과 효율성을 높여야 한다. 국제표준화기구

(International Organization for Standardization, ISO)의 경우 TC20/SC16 “Unmanned

Aircraft System” 분과위원회를 개설하여 7개의 WG으로 현재 표준안 개발을 진행 중이

<자료> IMEC, “IMEC Builds World’s First Spiking Neural Network-Based Chip for Radar Signal Processing,” IMEC Website,2020.

[그림 6] IMEC의 Spiking Neural Network 기반 지능형 반도체

주간기술동향 2020. 9. 2.

8 www.iitp.kr

다. 또한, 국제민간항공기구(International Civil Aviation Organization: ICAO)에서

는 무인기 패널 구성을 통해 무인기 표준 권고안 개발을 진행하고 있으며, WG3(Detect

and Avoid), WG5(Operation), WG6(ATM) 등의 표준권고안을 2020년 발행할 계획이다.

UTM 관련 비영리 민간협회인 Global UTM Association(GUTMA)에서 출간한 “UAS

Traffic Management Architecture”에 따르면, UTM 전체 시스템은 [그림 8]과 같이

나타낼 수 있으며, 여기서 제일 핵심적인 기술은 각 구성요소 간 통신시스템이라는 것을

확인할 수 있다[13].

UTM과 UAV/PAV의 통신을 위해서는 5G 시스템이 가장 적합할 것으로 보고 있으며,

국내외 다양한 드론 제조업체들 및 통신업체들도 이 분야에서 협업하고 있다. 과학기술정

보통신부에서도 무인항공기 기술개발사업과 무인기 관련 5G 분야의 지원을 통해 기술의

고도화 및 5G 활용 선도적 드론 서비스 모델을 창출하고자 하고 있다[14].

<자료> United States Department of Transportation Federal Aviation Administration, “UTM Concept of Operations V2.0,”FAA Website, 2020.

[그림 7] 공역별 UTM 관제

기획시리즈-디바이스

정보통신기획평가원 9

또한, 무인항공기 통신으로의 5G 적용을 위해서 표준화 관련 연구도 진행되고 있는데,

[그림 9]와 같이 이동통신 관련 단체들 간의 공동 연구 프로젝트인 3GPP(3rd Generation

Partnership Project)에서는 세계적으로 적용 가능한 3세대 이동통신 시스템 규격의 작

성을 목적으로 활발한 연구를 이어오고 있다. 특히, Release라는 단위로 구조화되어 있으

며, 2020년 1월부터 Release 17을 진행하고 있는데, Release 17 항목에 ‘5G Multicase

Broadcast’, ‘Edge Computing in 5G’, ‘Access Traffic Steering’, ‘Switch and

Splitting support in the 5G system Architecture’, ‘Unmanned Aerial System’ 등

5G 관련 표준 규격 연구가 진행 중이다[15].

<자료> Global UTM Association, “UAS Traffic Management Architecture,” GUTMA Website, 2017.

[그림 8] UTM 시스템 개략도

주간기술동향 2020. 9. 2.

10 www.iitp.kr

IV. 결론

UAV는 최근 취미의 영역에서 벗어나 민간/군용 활용을 통해 다양한 수요를 창출하고

있으며, PAV의 경우 새로운 혁신적인 도심형 교통수단으로 발돋움하기 위해서 세계적으

로 개발이 이루어지고 있다. 성공적인 기술개발 및 실용화를 위해서 비행체의 안정성/생

존성을 높이기 위한 다양한 노력이 필요하며, 특히 경로 관리 및 충돌 방지를 위한 지능형

반도체 개발이 정부 및 민간차원에서 활발히 진행되고 있다. 또한, 공역에 비행체를 운용

하게 되는 경우 필수적으로 먼저 개발해야 하는 것이 항공교통관리시스템(UTM)이며,

UTM에서 중추적인 역할을 담당하게 될 5G 기술에 대한 표준화 연구도 진행되고 있다.

이미 상용화가 시작되고 있는 UAV 택배 서비스, 응급 구호 물품 전달, 이동형 통신 중계

기 구축 및 하늘 위에 펼쳐지는 모빌리티 혁명이라 일컬어지는 도심 항공 모빌리티

(Urban Air Mobility: UAM)가 항공 분야 및 관련 분야의 협업을 통해서 성공적인 생태

계를 갖추기를 기대해본다.

<자료> 3GPP, “Release 17” 3GPP Website, 2020.

[그림 9] 3GPP Release 17 구성 항목

기획시리즈-디바이스

정보통신기획평가원 11

[ 참고문헌 ]

[1] 산업통상자원부 보도자료, “민관이 손잡고 미래형 개인 비행체[PAV] 띄운다”, 2019. 9. 4.[2] 국토교통부 보도자료, “2025년, 교통체증 없는 ‘도심 하늘길’ 열린다”, 2020. 6. 2.[3] 윤철용, 강왕구, “무인항공기 개발 현황 및 발전 방향,” 한국방송공학회 하계학술대회, 2015,

pp.310-311.[4] 하영욱, 김태완, “지능형 반도체의 주요 응용분야 시나리오와 핵심가치”, ETRI Insight Report

2019-02, 2019. [5] 김동철, “반도체 시장의 새로운 바람, 지능형 반도체”, IITP, 주간기술동향, Vol.1797, 2017,

pp.14-23. [6] 안성원, “지능형 반도체 등 전자부품의 변화”, 월간 SW 중심사회 2018년 2월호, 2018, pp.36-43.[7] Geoffrey W. Burr, et al., “Neuromorphic Devices and Architectures for Next-Generation

Cognitive Computing,” IEEE ISCAS, 2017.[8] S. J. Ben Yoo and D. A. B. Miller, “Nanophotonic Computing: Scalable and Energy-

Efficiency Computing with Attojoule Nanophotonics,” IEEE Photonics Society Summer Topical Meeting Series, 2017.

[9] Y. Hanwool, et al., “Alloying Conducting Channels for Reliable Neuromorphic Computing,” Nature Nanotechnology, 2020.

[10] M. Skowron, et al., “Sense and Avoid for Small Unmanned Aircraft Systems: Research on Methods and Best Practices,” Proc IMechE Part G: J Aerospace Engineering, Vol.233, No.16, 2019, pp.6044-6062.

[11] IMEC, “IMEC Builds World’s First Spiking Neural Network-Based Chip for Radar Signal Processing,” IMEC Website, 2020.

[12] United States Department of Transportation Federal Aviation Administration, “UTM　Concept of Operations V2.0,” FAA Website, 2020.

[13] Global UTM Association, “UAS Traffic Management Architecture,” GUTMA Website, 2017.

[14] 과학기술정보통신부 보도자료, “5G 활용 드론 운영·기술개발 등 혁신적 무인항공기 기술개발에 내년 269억원 투자”, 2019. 12. 27.

[15] 3GPP, “Release 17,” 3GPP Website, 2020.

주간기술동향 2020. 9. 2.

12 www.iitp.kr

*

I. 서론

2009년 영화 ‘아바타’가 발표된 후 3D 콘텐츠 생성에 대한 관심이 매우 높아졌으며

그에 대한 기술도 많이 발전하게 되었다. 그 전에는 3D 콘텐츠는 오로지 컴퓨터를 통해

전문가에 의해 생성되었다. 즉, 오로지 사람의 감각에 의한 생성에 의존했지만, 2010년

이후 다중 카메라 촬영을 통한 3D 콘텐츠 자동화 기술들이 발표되기 시작하였고 이에

따라 컴퓨터 비전(Computer Vision) 전문가들의 활동이 많아졌다.

최근에는 인공지능/빅데이터 기술의 급격한 발전으로 기존 기술에 인공지능 기술이 더

해져 보다 양질의 콘텐츠를 생성할 수도 있으며 생성 시간도 많이 단축되었다. 즉, 기존의

전문 인력에 의해 수행되어야 할 작업들이 인공지능 기술에 의해 이루어지고 있다. 더욱이

최근 4차 산업혁명의 키워드인 3D 프린터 산업과 VR/AR 산업이 핫이슈로 떠오른 상황

에서 3D 콘텐츠 산업은 더욱 활발해지고 있다. 이러한 배경에서 본 고에서는 인공지능

기술 기반의 3D 콘텐츠 관련 요소기술 동향에 대해 소개하고 향후 전망에 대해 논하고자

한다. 이를 위해, 먼저 II장에서는 3D 콘텐츠 생성의 개념에 대해 살펴보고, III장에서는

3D 콘텐츠 생성 요소 기술들에 대해 정리 및 소개하며, 마지막 IV장에서는 시사점과 향후

* 본 내용은 백정열 대표이사(vabel100@chol.com)에게 문의하시기 바랍니다.** 본 내용은 필자의 주관적인 의견이며 IITP의 공식적인 입장이 아님을 밝힙니다.

chapter 2

3D 콘텐츠 기술의 연구동향

•••백정열 ‖ 주식회사 아이투엑스 대표이사

ICT 신기술

ICT 신기술

정보통신기획평가원 13

전망에 대해 언급한다.

II. 3D 콘텐츠 생성의 개념

3D 콘텐츠란 3차원 공간에서 이동이 자유롭고, 제작된 3D 모델을 대상으로 확대나

축소, 그리고 회전 변환이 가능한 디지털콘텐츠를 의미하며, 콘텐츠 표면에 재질과 색을

입혀 이미지나 동영상, 그리고 VR의 형태로 제공된다. 특히, 기존에는 영화나 애니메이션

에서 주로 활용되었지만 요즘은 VR/AR 플랫폼 상에서 더욱 많이 활용되고 있는데, 그

이유는 영화나 애니메이션에서는 단편적 측면만 확인할 수 있으나 VR/AR 상에서는 360

도 모두 확인이 가능하며 콘텐츠의 확대/축소가 가능하기 때문이다.

3D 콘텐츠의 생성 과정은 크게 세 단계로 나뉜다. 그 중 첫 번째가 모델링(Modeling)

과정이며 두 번째가 렌더링(Rendering) 과정 그리고 마지막 단계가 애니메이션(Animation)

과정이다[2].

먼저, 모델링(Modeling) 기술은 [그림 1]과 같이 원하는 다양한 형태의 유형·무형의

물체들을 컴퓨터를 활용하여 실체화하는 과정에 필요한 기술로서, 최근에는 3D 스캐너를

이용한 3D 모델 생성기술, 실사 기반의 콘텐츠 모델링 기술 등이 개발되고 있다[2].

모델링과 관련하여, 최근 2D 이미지를 기반으로 3D화하는 인공지능 기술들이 발표되

고 있다[3].

<자료> ARTSTATION

[그림 1] 모델링 과정

주간기술동향 2020. 9. 2.

14 www.iitp.kr

두 번째 렌더링(Rendering) 기술은 [그림 2]와 같이 모델링된 콘텐츠에 그림자 처리과

정 및 색상/농도의 변화 등을 거쳐 사실감을 부여하는 필요기술로, 정교한 조명효과를

가지는 영상을 렌더링하기 위해서는 많은 시간을 필요로 하기 때문에 고품질과 실시간성

의 두 가지 목적을 만족시키기 위한 다양한 기법들이 개발되고 있다[3].

마지막으로 애니메이션(Animation) 기술은 렌더링된 캐릭터에 동작을 부여하는 기술

이다. 애니메이션 기술은 렌더링된 캐릭터에 특정 동작을 부여하는 리깅(Rigging) 기술과

연속 동작을 부여하는 애니메이션 기술로 구분된다. 최근 공개된 기술들을 살펴보면, 2D

이미지로부터 포즈를 인식하고 스켈레톤 데이터를 추출하는 기술들이 공개되고 있다,

이러한 세 단계를 거치면서 3D 콘텐츠를 생성하고 여기에 동작을 부여하여 다양한 포

즈의 콘텐츠들을 생성할 수 있다.

III. 3D 콘텐츠 생성 요소 기술

본 3장에서는 공개된 3D 콘텐츠 생성관련 요소기술에 대해 소개한다. 3D 콘텐츠 생성

솔루션을 보유한 기업의 기술에 대해서 언급하기보다는 GitHub이나 공개 소프트웨어

형태로 일반에게 공개되어 있는 기술들에 대해 살펴본다.

<자료> ARTSTATION

[그림 2] 렌더링 과정

ICT 신기술

정보통신기획평가원 15

1. AaronJackson/vrn: DVN(Direct Volumetric Regression) 기술을 활용하여 단일

얼굴 이미지를 3D로 재구성하기

2D 사진의 얼굴을 3차원으로 재구성하는 기술이며 2017년 9월에 논문이 발표되었다

[7]. 이 기술은 VRN(Volumetric Regression Network) 기술을 기반으로 한다[7]. VRN

은 2D 사진의 RGB 값을 입력값으로 액세스하고 3차원 볼륨을 다시 입력값으로 넣는

방식으로 회귀시킨다[7]. 즉, 먼저 3D 랜드 마크의 2D 투영을 감지하면 원본 이미지와

함께 누적시키고 누적된 스택은 3차원 재구성 네트워크로 공급되어 3차원 볼륨이 직접

회귀된다. 이때 3DMM(3D Morphable Model) 피팅 기능은 활용하지 않는다. 또한, 본

기술의 CNN 기술은 2D 얼굴 이미지를 3D 볼륨으로 매핑하기 위한 학습을 진행한다[7].

→

이러한 3D 세그먼테이션을 위한 CNN 아키텍처는 “hourglass Network”를 기반으로

하며, 여기서 “hourglass Network”는 “Skip Connection”과 “residual learning”을 사

용하는 fully convolutional network의 확장이다[7].

본 기술의 단점은 얼굴을 3D 재구성 시 안 보이는 뒷면의 모습을 복셀화할 수 없다는

것이며, 본 기술의 소스코드는 깃허브에서 확인할 수 있다[7].

<자료> Aaron S. Jackson외 3인, “Large Pose 3D Face Reconstruction from a Single Image via Direct Volumetric CNN Regression” CVPR, 2017.

[그림 3] AaronJackson/vrn

주간기술동향 2020. 9. 2.

16 www.iitp.kr

2. “DeepHuman: 3D Human Reconstruction from a Single Image”

이 기술 역시 2D 사진 이미지로부터 3D 콘텐츠를 생성하는 공개 기술이며 “AaronJackson/

vrn” 기술과의 차이점은 전신을 대상으로 한다는 점이다. 이 논문은 ‘Tsinghua대학’과

‘Beihang대학’에서 2019년 3월에 발표되었다[5].

본 기술은 SMPL(Skinned Multi-Person Linear) 파일을 기반으로 한다[5]. 깃허브에

서 ‘DeepHuman’ 자료들을 다운받아보면 대용량의 SMPL 파일들을 확인할 수 있다[5].

SMPL 모델은 자연스러운 인간의 자세에서 다양한 신체 모양을 정확하게 나타내는 스키

닝된 정점 기반 모델로, Megahedron 환경에서의 3D 파일이며 ‘Syndesis Corporation’

사에서 개발한 3D 렌더링 소프트웨어와 연관되어 있으며 또한 3D 객체를 저장하고 있다.

그러나 Megahedron 환경 개발이 중단되어 더 이상 업데이트되지 않고 있다[5].

2D 사진을 선택하면 사진 속 포즈와 유사한 SMPL 파일을 찾아 해당 SMPL 파일을

파싱하는 방식으로 동작한다.

‘DeepHuman’에서 사용되는 기반 기술은 HMR(Human Mesh Reconstruction) 기

술을 기반으로 하며, 이는 다수 개의 Scale을 기반으로 Volumetric Regression 기능을

수행하는 방법이다. HMR 기술은 [그림 5]와 같이 다음과 같은 순서로 복셀화가 이루어진

다[5].

<자료> Zerong Zheng 외 3인, DeepHuman: 3D Human Reconstruction from a Single Image, CVPR2019, 2019. 3.

[그림 4] DeepHuman

ICT 신기술

정보통신기획평가원 17

3. SMPLify: 3D Human Pose and Shape from a Single Image

‘SMPLify’ 기술은 캐릭터의 포즈 추정(Pose Estimation)에 대한 기술로, 2016년

ECCV를 통해 발표되었다[6].

캐릭터의 포즈를 추정하는 기술이 발전되는 이유는 보다 자연스러운 3D 콘텐츠를 생성

하기 위해서는 자연스러운 동작을 부여해야 하는데, 이를 위해서는 기존 캐릭터의 포즈를

[그림 5] HMR 동작 순서

<자료> Matthew Loper 외 3인, “SMPL: A Skinned Multi-Person Linear Model,” ECCV, 2016.

[그림 6] SMPLify datasets

주간기술동향 2020. 9. 2.

18 www.iitp.kr

인식하는 기술이 필요하기 때문이다[6].

SMPL은 기존 렌더링 엔진과 호환되고 동시에 애니메이션 제어가 가능한 현실적인 인

체 모형 및 포즈 모델이며 남성과 여성의 몸 모양의 선형 모델을 기반으로 한다. 또한,

이 모델의 파라미터로는 레스트 포즈 템플릿(Rest Pose Template), 블렌드 웨이트(blend

weights), 포즈 종속적 블렌드 쉐이프(pose-dependent blend shape)를 활용한다[6].

SMPL 모델은 LBS(linear blend skinning) 기법과 DQBS(Dual-Quaternion blend

skinning) 기법을 사용함으로써 이전 기술과 차별성을 두고 있다[6].

LBS 기법은 두 개 이상의 뼈의 변환 행렬을 정점 위치를 계산하여 정해진 가중치에

비례해서 값을 섞는 방법으로서, 보통 값과 값 사이의 특정한 위치를 가져올 때 쓰이는

방법이며 수학적으로 생각해보면 울퉁불퉁한 곡선에 해당되는 게 아니라 선형적으로 값을

보간하는 방법이다[6].

이는 각종 애니메이션 산업에서 활용되고 있지만 결정적인 단점이 존재하는데, 바로

“Candy Wrapper”라는 문제점을 해결하지 못하는 것이며, 이를 보완하기 위해 DQBS

기법을 사용한다[6].

본 기술의 소스코드는 깃허브에서 확인할 수 있으며, 계속적으로 단점을 보완함으로써

‘smplify-x’와 ‘TF_SMPL’이라는 이름의 공개소스로 발표되고 있다.

4. DeeperCut: 정밀하고 빠르게 재구성할 수 있는 다중인력의 포즈 예측 모델

본 기술은 다중 인력의 포즈를 예측하는 기술이며 가장 많이 사용되는 기술로, 2016

년 11월에 논문이 발표되었다[8].

‘DeeperCut’에서는 세 가지 관점에서 핵심요소들을 중점으로 최적화시킴으로써 영상

이나 사진 속 여러 명의 사람들의 포즈를 인식하고 예측할 수 있는 기술이다.

먼저, ‘deeper’는 최신 딥러닝 기술을 기반으로 하는 성능 좋은 신체 부위 검출기술이

며, 두 번째는 ‘stronger’으로, 이는 여러 사람이 각각 다른 포즈를 취한 경우 신체부위

간에 페어와이즈(Pairwise) 기술을 통해 여러 사람들의 포즈를 인식하는 기술이다[8]. 세

번째는 ‘faster’이며, 이는 “image-conditioned pairwise” 기술의 실행 속도를 빠르게

하여 런타임 시간을 줄이는 기술이다[8].

ICT 신기술

정보통신기획평가원 19

본 기술을 응용하면 영상 속에서 등장하는 인물에 대한 포즈를 인식하고 스켈레톤 데이터를 추출할 수 있다.

5. Mixamo

Mixamo는 미국 샌프란시스코에 본사를 두고 있는 3D 컴퓨터 그래픽 기술 회사이다.

이 회사에서는 보다 쉽게 3D 캐릭터 애니메이션을 위한 웹 기반 서비스를 제공하고 있으

며 빠른 프로토타입 제작이나 메인 제작에 쓰일 애니메이션 클립이 필요한 경우에 사용할

수 있다[10].

Mixamo는 어도비(Adobe)사에 인수되었으며, Adobe Fuse를 이용하여 자신만의 3D

모델링을 할 수 있어, 직접 캐릭터를 제작한 후 대상 캐릭터에게 수많은 애니메이션 클립

을 Auto Rigging할 수도 있고, 작업물을 언리얼이나 유니티 엔진에서 곧바로 적용이 가

<자료> Eldar Insafutdinov 외 4인, “DeeperCut: A Deeper, Stronger, and Faster Multi-Person Pose Estimation Model,” CVPR, 2016.

[그림 7] DeeperCut

주간기술동향 2020. 9. 2.

20 www.iitp.kr

능하도록 Export시킬 수도 있다.

6. charliememory/Pose-Guided-Person-Image-Generation

이 기술은 2D 사진 이미지를 입력으로 하면 사진 이미지 상의 포즈를 인식하여 포즈에

대한 특징점(Feature Point)을 도출해 주는 기술이다[9]. 포즈에 대한 특징점들을 추출하

고 학습된 다양한 딥러닝 모델을 활용하여 다른 포즈의 이미지를 도출해 낼 수 있다. 즉,

앞모습의 사진으로 뒷모습이나 옆모습의 포즈 이미지를 추출할 수 있는 기술이다[9].

이 기술의 논문은 2017년 5월부터 2018년 1월까지 여섯 차례에 걸쳐 리비전되어 발표

되었다. 본 기술(Pose Guided Person Generation Network)은 모델을 기반으로 한다.

이는 Stage1과 Stage2로 나뉘는데, Stage1은 N개의 잔차 블록(Residual Block)과 1개

의 Fully-connected 레이어로 구성되어 있고, Stage2는 N-2개의 컨볼루션 블록을 포함

하여 ‘fully convolutional’ 구조로 되어 있다[9].

[그림 8] Mixamo 서비스

ICT 신기술

정보통신기획평가원 21

IV. 시사점과 향후 전망

근래 5G 시대에 이르러 3D 프린터와 VR/AR 산업이 급격하게 발달하고 있고, 이에

따라 실감형 3D 콘텐츠에 대한 관심도가 높아지고 있으며 더불어 관련 기술도 많이 발전

되어 공개되고 있다. 2D 이미지로부터 3D 콘텐츠의 생성 기술, 나아가서는 포즈 인식

및 설정 기술에 이르기까지 다양한 기술들이 속속 발표되고 있으며, 이 기술들의 표준화에

대한 노력들도 더해지고 있으나 아직은 우리나라가 이 분야에 대해 목소리를 높이지는

못하고 있는 실정이다.

정부는 지난 2019년 10월 관계 부처 합동으로 수립한 “콘텐츠산업 3대 혁신전략”, “실

감콘텐츠산업 활성화 전략(2019~2023)”을 발표했으며, 이에 대한 후속조치로 2020년

3월 “제1차 실감콘텐츠 정책협의회”를 개최했다[15].

정부의 “실감콘텐츠산업 활성화 전략”에 따르면, 전 세계 실감콘텐츠 시장은 2023년에

약 411조 원 규모로 성장할 것으로 예상되고 있는 가운데, 미국, 중국, 유럽, 일본 등의

<자료> Liqian Ma 외 5인, “Pose Guided Person Image Generation,” CVPR, 2018.

[그림 9] 포즈에 대한 특징점 추출

주간기술동향 2020. 9. 2.

22 www.iitp.kr

국가에서는 실감콘텐츠 관련 핵심 기술 개발에 정부 차원의 적극적 투자가 이루어지고

있으며, MS, 구글, 애플, 페이스북 같은 글로벌 기업들도 시장 선점을 위해 움직이고 있는

것으로 파악되었다[15].

그러나 아직 우리나라는 앞서 말했듯이 실감콘텐츠 분야의 경쟁력이 글로벌 수준에 비

해 많이 뒤떨어지고 있으며, 그에 대한 증거로서 발표되는 공개 기술은 모두 해외에서

발표되고 있다. 이에 따라 우리 정부도 실감콘텐츠 정책협의회를 거쳐 “다양한 정책 수단

을 총동원해 올해 안에 가시적인 성과를 창출하고, 실감콘텐츠 분야가 5G 핵심 산업으로

성장할 수 있도록 지속 노력할 것”이라고 발표했으며, 관련 산업의 성장을 지원하고 생태

계 조성을 위해 기업 성장지원 펀드를 조성하고 규제를 개선하고 실감콘텐츠 전문 인력

양성도 확대할 것이라고 발표했다[15].

이렇듯 정부의 적극적 지원에 힘입어 우리나라도 민·관이 협력하여 실감콘텐츠 기술의

글로벌화에 주력함으로써 진정한 문화기술 강국이 되어가길 기대해본다.

[ 참고문헌 ]

[1] 최병호, “3D 산업/기술 현황과 전망”, 한국전자부품연구원, 2010. 9. 30.[2] 한국콘텐츠진흥원, “3D 입체 콘텐츠 제작기술 동향”, 문화기술(CT) 심층리포트, 2010. 7.[3] 이승욱 외 7인, “인공지능을 이용한 3D 콘텐츠 기술 동향 및 향후 전망”, 한국전자통신연구원, 전

자통신동향분석 34권 4호, 2019. 8.[4] 한국콘텐츠진흥원, “2018년 상반기 콘텐츠산업 동향분석 보고서 - 애니메이션·캐릭터산업편”, 2018.

11.[5] Zerong Zheng 외 3인, “DeepHuman: 3D Human Reconstruction from a Single Image,”

CVPR2019, 2019. 3.[6] Matthew Loper 외 3인, “SMPL: A Skinned Multi-Person Linear Model,” ECCV, 2016.[7] Aaron S. Jackson 외 3인, “Large Pose 3D Face Reconstruction from a Single Image via

Direct Volumetric CNN Regression,” CVPR, 2017.[8] Eldar Insafutdinov 외 4인, “DeeperCut: A Deeper, Stronger, and Faster Multi-Person

Pose Estimation Model” CVPR, 2016.[9] Liqian Ma 외 5인, “Pose Guided Person Image Generation” CVPR, 2018.[10] mixamo, “https://www.mixamo.com/#/”[11] Rogerio E Da Silva 외 2인, “Using LSTM for Automatic Classification of Human Motion

Capture Data,” VISIGRAPP, 2019.[12] Long QUAN, “The challenges of 3D Reconstruction with Deep Learning,” ICPR, 2018.

ICT 신기술

정보통신기획평가원 23

[13] Lukas Pohler 외 2인, “Uncertainty-based Human Motion Tracking with Stable Gaussian Process State Space Models,” IFAC, 2019.

[14] 김미경, 차의영, “스켈레톤 벡터 정보와 RNN 학습을 이용한 행동인식 알고리즘”, 방송공학회, 2018.

[15] 정보통신전략위원회, “5G 시대 선도를 위한 실감콘텐츠산업 활성화 전략(19~23)”, 2019. 10.

주간기술동향 2020. 9. 2.

24 www.iitp.kr

*

I. 결과물 개요

II. 기술의 개념 및 내용

1. 기술의 개념

디스크 쓰기를 일정기간 지연함으로써 디스크를 자동으로 백업 및 복원하는 기술

- 디스크에 바로 데이터를 쓰지 않고 보조 저장장치에 미루어 두었다가 이상 행동이

* 본 내용은 김종 교수(☎ 054-279-2257)에게 문의하시기 바랍니다.** 본 내용은 필자의 주관적인 의견이며 IITP의 공식적인 입장이 아님을 밝힙니다.***정보통신기획평가원은 현재 개발 진행 및 완료 예정인 ICT R&D 성과 결과물을 과제 종료 이전에 공개하는 “ICT

R&D 사업화를 위한 기술예고”를 2014년부터 실시하고 있는 바, 본 칼럼에서는 이를 통해 공개한 결과물의 기술이전, 사업화 등 기술 활용도 제고를 위해 매주 1~2건의 관련 기술을 소개함

개발목표시기 2020. 12. 기술성숙도(TRL)개발 전 개발 후

TRL 2 TRL 4

결과물 형태 Software, Patent 검증방법 자체 평가 및 현장검증단 평가

Keywords 디스크 백업

외부기술요소 100% 개발기술 권리성 특허

chapter 3-1

자동 백업 및 복원을 위한 디스크 쓰기 지연 기술

•••김종 ‖ 포항공과대학교 교수

ICT R&D 동향

ICT R&D 동향

정보통신기획평가원 25

발견되지 않으면 디스크에 데이터를 씀으로써 악성 프로그램의 악의적인 디스크 쓰

기를 방지

- 기존 HDD나 SDD에 디스크 컨트롤러를 부착하여 사용 가능하므로 다양한 종류의

저장장치에 손쉽게 적용이 가능

- 호스트 독립적으로 동작하므로 호스트 운영체제에 종속되지 않으며 호스트가 악성

프로그램에 감염되더라도 디스크 컨트롤러는 감염되지 않아 보다 안전한 디스크 복

원이 가능

2. 기술의 상세내용 및 사업화 제약사항

기술의 상세내용

- 본 기술의 명칭은 “자동 백업 및 복원을 위한 디스크 쓰기 지연 기술”로서, 기존

디스크에 추가로 부착되어 자동 백업 및 복원을 지원하는 디스크 컨트롤러 및 디스

크 컨트롤러 드라이버를 포함하며, 디스크의 쓰기 명령을 일정기간 지연함으로써

악성 프로그램의 악의적인 디스크 쓰기를 방지함

[그림 1] 기술개념도

주간기술동향 2020. 9. 2.

26 www.iitp.kr

- 디스크 쓰기 명령을 받은 디스크 컨트롤러는 보조 저장장치에 디스크 쓰기 명령을 임시로 적용하고, 이에 대한 정보를 주소 변환 테이블에 저장하며, 이후 이상 행동이 발견되지 않을 때 주소 변환 테이블을 통해 미루어 두었던 디스크 쓰기 명령을 본 디스크에 다시 적용함

기술이전 범위

- 디스크 쓰기 지연을 위한 외부 디스크 컨트롤러- 자동 백업 및 복원을 위한 디스크 컨트롤러의 인터페이스- 자동 백업 및 복원을 위한 디스크 컨트롤러 드라이버

사업화 제약사항

- 디스크 컨트롤러를 보다 저비용으로 제작하기 위한 디스크 컨트롤러 회로 설계 및 제작에 필요한 추가 비용이 필요

III. 국내외 기술 동향 및 경쟁력

1. 국내 기술 동향

국내 보안 기업을 중심으로 다양한 백업 소프트웨어 개발 및 배포- 하우리, 안랩, 이스트시큐리티 등의 보안 기업들이 암호화된 데이터를 백업을 통해

복원하는 프로그램을 개발 및 배포 중

2. 해외 기술 동향

해외 학회에서 데이터 자동 백업 및 복원에 관한 다양한 기술이 제안되고 있으나 한계점 존재 - 미국 Georgia Tech에서 SSD의 Out-of-place Write 특성을 이용하여 SSD의 데

이터를 보호하는 복원 시스템을 제안- 이탈리아 Politecnico di Milano에서 파일의 Shadow Copy를 만들어 기존 파일

을 보호하는 파일 시스템을 제안

ICT R&D 동향

정보통신기획평가원 27

3. 표준화 동향

디스크 백업에 대한 사설/공적 표준 기구에서 진행하고 있는 표준화 작업은 없는 상태

4. 관련 보유특허

5. 기술적 경쟁력

IV. 국내외 시장 동향 및 전망

1. 국내 시장 동향 및 전망

최근 다양한 랜섬웨어의 출현으로 인해 데이터 보호에 대한 요구가 커지고 있는 상태

- 2017년 워너크라이(WannaCry)로 인한 대형 영화 상영관 마비 등 랜섬웨어의 피해

사례가 늘어나면서 데이터의 보호에 대한 경각심이 높아지는 추세

- 2018년 정보보호 관련 국내 시장 규모는 3조 원에 이르며 2021년에 이르러서는

4조 원에 달할 것으로 예상되고 있음

No. 국가 출원번호(출원일) 상태 명칭

1 미국 10925928 (2004.08.26) 등록 System and method for using file system snapshots

for online data backup

2 한국 1020160101368 (2016.08.09) 등록 데이터 보호 및 복구 기능을 갖는 USB 메모리 장치

경쟁기술 본 기술의 우수성 및 차별성

백업 소프트웨어기존의 백업 소프트웨어는 호스트에 종속적으로 동작함으로써 호스트가 랜섬웨어에 감염 시 함께 영향을 받을 수 있으나, 본 기술은 호스트와 독립적으로 동작함으로써 호스트 감염 시에도 안전하게 복원 가능

자동 백업을 지원하는 SSD 펌웨어

SSD 펌웨어 레벨에서 자동 백업 및 복원을 지원하는 기술은 SSD 펌웨어의 수정을 요구하기 때문에 기존 시스템에 적용하기 어려우나, 본 기술은 디스크에 디스크 컨트롤러를 부착함으로써 자동 백업 및 복원을 지원하므로 기존 시스템에도 손쉽게 적용 가능

주간기술동향 2020. 9. 2.

28 www.iitp.kr

2. 해외 시장 동향 및 전망

국내와 마찬가지로 랜섬웨어에 대응하기 위한 다양한 데이터 보호 방안을 모색 중

- 2016년 7월 네덜란드 경찰청, EPO(European Police Office) 등 4개의 기관이

“The No More Ransom Project”를 시작

- 2018년 정보보호 관련 세계 시장 규모는 125조 원에 이르며 2021년에 이르러서는

183조 원에 달할 것으로 예상되고 있음

3. 제품화 및 활용 분야

V. 기대효과

1. 기술도입으로 인한 경제적 효과

최근 랜섬웨어와 같은 악성 프로그램은 사용자의 데이터를 삭제하거나 암호화함으로

써, 개인적 나아가 국가적 차원에서 상당한 경제적 피해를 발생시키고 있으며, 이를

방지함으로써 피해를 감소시킬 수 있음

2. 기술사업화로 인한 파급효과

사용자가 특별한 조작 없이 기존 디스크에 부착하기만 하면 자동으로 백업 및 복원을

지원해주므로 사용자가 보안에 대한 배경 지식 없이도 손쉽게 사용자의 데이터를 보호

받을 수 있고 이에 따라 사회 전반의 정보 보안수준이 향상될 수 있음

활용 분야(제품/서비스) 제품 및 활용 분야 세부내용

데스크톱과 서버 데스크톱과 서버에 해당 디스크 컨트롤러를 부착함으로써 악성 프로그램으로 인해 데이터가 삭제되거나 암호화되는 것을 방지

외장 하드디스크 외장 하드디스크에 본 기술을 접목함으로써 악성 프로그램으로 인해 외장 하드디스크의 데이터가 삭제되거나 암호화되는 것을 방지

ICT R&D 동향

정보통신기획평가원 29

*

I. 결과물 개요

II. 기술의 개념 및 내용

1. 기술의 개념

6DoF(Degree of Freedom) 몰입형 비디오란 인간이 완전한 입체감을 느끼는 모든

물리적인 요소, 즉 양안 시차, 주시, 운동 시차, 초점 네 가지 입체 요인을 모두 제공하

* 본 내용은 강제원 교수(☎ 02-3277-2347)에게 문의하시기 바랍니다.** 본 내용은 필자의 주관적인 의견이며 IITP의 공식적인 입장이 아님을 밝힙니다.***정보통신기획평가원은 현재 개발 진행 및 완료 예정인 ICT R&D 성과 결과물을 과제 종료 이전에 공개하는 “ICT

R&D 사업화를 위한 기술예고”를 2014년부터 실시하고 있는 바, 본 칼럼에서는 이를 통해 공개한 결과물의 기술이전, 사업화 등 기술 활용도 제고를 위해 매주 1~2건의 관련 기술을 소개함

개발목표시기 2020. 12. 31. 기술성숙도(TRL)개발 전 개발 후

TRL 3 TRL 6

결과물 형태 SW-Program 및 기술문서 검증방법 자체검증, 3자검증

Keywords 6DoF 비디오, 압축, 전송, 딥러닝, 가상시점 생성

외부기술요소 open source 활용 권리성 특허, SW

chapter 3-2

6DoF 지원 초고화질 몰입형 비디오의 압축 및 전송 핵심 기술

•••강제원 ‖ 이화여자대학교 교수

ICT R&D 동향

주간기술동향 2020. 9. 2.

30 www.iitp.kr

여 입체감의 왜곡이나 시각 피로를 현저히 줄이고 사용자의 움직임에 따른 자연스러운

사실감을 제공하는 360도 전방위 비디오 콘텐츠임

향후 5~10년 내 상용화가 가능할 것으로 예상되는 6DoF 지원 전방위 360도 비디오에

는 대표적으로 라이트필드(Light Field)와 다시점 360도 비디오가 있으며, 취득, 생성,

처리 및 전달에 관한 기술 개발이 MPEG(Moiving Picture Expert Group)과 관련

산업계에서 초미의 관심사가 되고 있음

고품질의 6DoF 몰입형 비디오를 HMD(Head Mounted Display)를 통해 감상하기

위해서는 8K 이상의 해상도를 갖는 초다시점 비디오의 전송과 자연스럽고 부드러운

시점 변환 제공을 위한 3차원 깊이 정보 처리, 시청 환경에 따른 빠른 관심시점 화면

전송이 필수적임

6DoF 비디오의 데이터 처리량의 급격한 증가와 전송 대역폭의 한계가 큰 문제가 되어

고효율 압축, 저지연 전송 관련 연구를 수행함

2. 기술의 상세내용 및 사업화 제약사항

기술의 상세내용

- 본 과제에서는 사용자의 움직임에 따른 자연스러운 운동 시차와 자유 시점을 제공하

여 공간감을 극대화하도록 하는 6DoF 지원 초고화질 몰입형 비디오 처리를 위한

압축 및 전송에 관한 핵심 요소기술을 개발함

- (압축) 6DoF 몰입형 비디오의 HMD 사용자 관심시점 추정 모델 기반 다시점 영상

[그림 1] LF, 다시점 360 비디오를 포함하는 6DoF 몰입형 비디오의 취득, 생성, 처리, 전송 및 재현 개념도

ICT R&D 동향

정보통신기획평가원 31

및 깊이 정보의 압축 및 가상시점 생성에 관한 연구 수행

- state-of-the-art 3차원 다시점 영상 콘텐츠 부호화 기술인 MV-HEVC(Multi-

view Extension of Hight Efficiency Video Coding) 대비 주관적/객관적 화질

기준 2배 압축 성능 달성을 목표로 딥러닝 기반 주 시점 추정 모델 개발, 다시점+

깊이 정보를 포함하는 몰입형 비디오 부호화 기술 개발, 그리고 뷰 포트(View port)

생성 알고리즘 개발 수행

- (전송) 초고화질 전방위 360도 비디오의 저지연 스트리밍을 위한 시차기반 움직임

제한 타일링 및 뷰 포트 기반 전송 요소 기술 연구 수행

- MV-HEVC 기반 다시점 적응적 시차 움직임 제한 타일 기법(MCTS), 멀티유저 환경

의 뷰 포트 기반 360 비디오 스트리밍 기술, 멀티 유저를 위한 360 VR 서버-클라이

언트 시스템 개발

기술이전 범위

- 6DoF 비디오 압축 SW

- 6DoF 비디오 전송 네트워크 시스템, 렌더러

사업화 제약사항

- 해당사항 없음

III. 국내외 기술 동향 및 경쟁력

1. 국내 기술 동향

3차원 몰입형 비디오 기술 개발을 위해 산·학·연이 협력하여 주요 원천·응용기술 개발

을 진행 중

- 학계에서는 이화여자대학교 연구진 등이 다시점 비디오 압축 기술을 MV-HEVC

등의 3차원 비디오 국제 압축 표준에 핵심요소 기술로 채택하고, 딥러닝 기술 기반

비디오 부호화 연구 개발을 진행 중

- 또한, 가천대학교에서는 2017년 다시점 비디오 관심영역 전송기술을 독일 프라운호

주간기술동향 2020. 9. 2.

32 www.iitp.kr

퍼와 HEVC 참조소프트웨어(HM16.18)에 채택하는 등의 국제적 공동연구가 활발한

상황

- 삼성전자, LG전자, ETRI, KETI를 중심으로 초다시점 비디오의 VR(Virtual Reality)

하드웨어 및 소프트웨어 기술 개발을 진행

2. 해외 기술 동향

독일 프라운호퍼 HHI 연구소는 고품질 VR 콘텐츠의 4K HEVC 타일 기반 스트리밍

기술을 개발하고 IBC 2016에서 시연

미국 Netflix사는 MPEG-DASH 및 HTML5 기반의 적응형 360도 전방위 비디오 스트

리밍 기술 개발을 진행

3. 표준화 동향

MPEG-I는 VR 관련 표준화를 3DoF, 3DoF+, 6DoF 3단계로 구분하고 단계별 목표를

명시(2022년 6DoF 표준 완성 목표)

MPEG-I Video Group은 라이트필드 비디오의 압축, 깊이 지도 생성 기술 Depth

Estimation Reference Sotfware(DERS), 정합 기술을 중심으로 다양한 탐색 실험을

과제명 “Windowed 6DoF”에서 진행 중으로, Windowed 6DoF 환경에서는 사용자

시청 시점 수가 제한적이기 때문에 가상시점 영상 생성 기술 View Synthesis Reference

Software(VSRS) 연구를 진행 중

같은 그룹의 “Omnidirectional 6DoF” 과제에서는 다시점 360도 3차원 비디오를

이용하여 촬영, 정합, 깊이 정보 추정, 가상시점 합성 및 부호화에 대한 탐색 실험을

진행 중으로, MV-HEVC를 이용한 실험을 진행 중

이외에 MPEG-I에서는 6DoF 지원 콘텐츠로 포인트 클라우두, 덴스 라이트필드 비디

오를 고려중이나 가까운 미래에 상용화는 어려울 전망

ICT R&D 동향

정보통신기획평가원 33

4. 기술적 경쟁력

IV. 국내외 시장 동향 및 전망

[표 1] 국내 가상현실 시장규모 전망

경쟁기술 본 기술의 우수성 및 차별성

MV-HEVC

- MPEG-I에서 사용 중인 HEVC 다시점 비디오 확장 표준인 MV-HEVC의 참조 코덱을 이용하여 다시점 비디오 압축 효율을 위한 알고리즘 구현

- 동일 PSNR 화질에서 약 30%의 비트를 절감(BD-rate saving) 효과로 1.4배의 압축 효율 제공

VSRS

- 주시점 및 보조시점을 구분하여 보조시점을 다운샘플링하고 복호 측에서 복원하는 시스템 구성

- 깊이 정보를 다운샘플링 후 전송하고 복호 측에서 Super resolution으로 복원하여 깊이 정보 기반의 가상 이미지 생성으로 시점을 합성

구분 2018년 2021년 2023년

한국 시장 규모(억 원) 27,999 57,271 86,543

<자료> 한국VR산업협회 준비위원회

<자료> 골드만삭스

[그림 2] 가상현실 체험기기 연매출 전망(10억 달러)

주간기술동향 2020. 9. 2.

34 www.iitp.kr

1. 국내시장 동향 및 전망

국내 지식재산권 현황

- VR 기술 관련 표준화 활동의 결과로 2014년, 2015년에 출원이 매우 활발

- 전세계 등록된 VR 특허 중 국내 특허가 약 20%로 높은 점유율을 차지

2. 해외 시장 동향 및 전망

본 기술/제품과 직접적 경쟁관계에 있는 국외 기관·기업 현황

- MPEG에서는 2016년부터 라이트필드, 다시점 360도 비디오, 포인트 클라우드 등의

3차원 전방위 비디오의 압축 표준(MPEG-I)을 진행 중으로, 국내외 유수 기관들이

활발히 기술 개발을 수행 중

국외 지식재산권 현황

- 2015년 기준 소니, 마이크로소프트, 삼성이 가장 많은 VR 특허 보유

3. 제품화 및 활용 분야

V. 기대효과

1. 기술도입으로 인한 경제적 효과

가상현실 미디어 서비스의 확산은 콘텐츠의 고부가가치화 및 디스플레이 산업의 고도

화 등 스마트미디어 산업의 전반적인 성장을 견인

특히, 360도 VR 기반의 광고, 유료콘텐츠 등 새로운 수익 모델을 창출하고, 이 수익의

콘텐츠/서비스 사업 간 분배를 통해 관련 산업의 동반 성장이 기대

유사홀로그램 공연장에서의 6DoF 기술 지원 등 다양한 형태의 VR 콘텐츠 및 디바이스

활용 분야(제품/서비스) 제품 및 활용 분야 세부내용

VR 장비 및 방송 시스템 6DoF 비디오의 방송, 전송, 저장을 위한 시스템, HMD 장비 등

ICT R&D 동향

정보통신기획평가원 35

의 확산을 통해 VR 관련 산업의 부가가치 확대 및 중소기업 생태계를 활성화

VR 산업 성장 및 생태계 활성화로 콘텐츠 제작, 방송 기술, 카메라 관련 제조업 등

VR 연관 신규 일자리 창출에 기여

2. 기술사업화로 인한 파급효과

다시점 카메라를 이용한 자유시점 지원 VR 비디오 콘텐츠의 대용량 고속처리/압축/전

송을 위한 핵심기술을 확보

향후 고화질 실감서비스를 효율적으로 제공하기 위해서는 전송 품질(전송률 및 전송지

연)에 대한 성능이 보다 엄격하게 요구될 것으로 예상되며, 이를 만족할 수 있는 전송

핵심 기술 확보가 기대

분할영상 스트리밍 기술 표준화를 통해 관련 기술들의 발전이 가속화할 전망

딥러닝 기반의 관심영역 중심적인 효율적인 전송 방식으로 하드웨어적 한계로 제한되

었던 영상 화질의 한계를 극복할 것으로 기대

의료/교육/방송/스포츠/재난방송 등 다양한 타 산업과의 연계로 고품질의 대국민 공공

서비스 확대 제공이 가능

대다수의 국민이 접근 가능한 방송망을 통하여 고품질의 자유시점 VR 서비스를 보편적

서비스로 제공하여 사회적 국민 서비스 향상이 가능

정보통신기획평가원은 주간기술동향의 ICT 기획시리즈에 게재할 “방송·콘텐츠” 분야 원고를

모집하고 있습니다.

관심 있는 전문가 분들의 많은 참여를 바랍니다.

원고 주제 : 방송·콘텐츠 관련 기술·시장·정책 동향

(※ 제목과 목차는 저자가 자율적으로 결정)

제출 자격 : 대학, 연구기관, 산업체 재직자

접수 기간 : 2020년 7월 16일~9월 15일 기간 내 수시접수

제 출 처 : 주간기술동향 원고접수메일(wttrends@iitp.kr)로 제출

원고 양식: 파일참조(원고양식)

원고 분량: 13페이지 내외

기타

- 게재 원고에 대하여 소정의 원고료 지급(200자 원고지 10,000원/1매, 최고 40만 원)

- 기획시리즈 칼럼은 매주 1편씩 발간 예정

- 원고제출 시 반드시 원고심의의뢰서(첨부파일참조)를 함께 제출하여 주시기 바랍니다.

- 게재된 원고로 인해 지적재산권 침해문제가 발생할 경우, 원고저자는 원고료 반환, 게시물 삭제 및

정보통신기획평가원이 입게 될 손실·비용에 대한 배상 등의 불이익을 받을 수 있습니다.

제출 및 문의처

- (34054) 대전광역시 유성구 유성대로 1548 정보통신기획평가원

기술정책단 융합정책팀 주간기술동향 담당

- Tel : 042-612-8296, 8210 / Fax : 042-612-8209 / E-mail : wttrends@iitp.kr

주간기술동향 원고 공모

사업책임자: 문형돈(기술정책단장)

과제책임자: 이성용(융합정책팀장)

참여연구원: 이재환, 이효은, 권요안, 김용균, 박주혁, 김우진, 전영미(위촉)

통권 1962호(2020-34)

발 행 년 월 일 : 2020년 9월 2일발 행 소 : 편집인겸 발행인 : 석제범등 록 번 호 : 대전 다-01003등 록 년 월 일 : 1985년 11월 4일인 쇄 인 : ㈜승일미디어그룹

(34054) 대전광역시 유성구 유성대로 1548(화암동 58-4번지)

전화 : (042) 612-8296, 8210 팩스 : (042) 612-8209

6

http://www.iitp.kr