가상, 증강 및 혼합현실을 위한 디지털 홀로그래피 기술 연구 동향디지털...

12
2 www.iitp.kr * 임용준 김진웅* 한국전자통신연구원 선임연구원 한국전자통신연구원 책임연구원 * 디지털 홀로그래피 기술은 일반적으로 빛의 파동적인 특성을 모두 기록하고 재현할 수 있어, 자연스러운 3차원 입체 디스플레이 시스템을 구현할 수 있는 기술로 평가받고 있다. 디지털 홀로 그램 기술에 기초한 3차원 디스플레이 시스템은 다른 3차원 디스플레이 시스템과는 달리 수렴 - 초점 불일치 문제가 발생하지 않는 것으로 알려져 있으며, 이로 인해 3차원 영상 콘텐츠 시청에 따르는 피로감이 발생하지 않는다. 본 고에서는 증강현실 및 가상현실 분야와 관련된 최근의 디지털 홀로그래피 기술 연구 결과를 살펴본다. I. 서론 디지털 홀로그래피 기술은 전자적인 제어 방법을 바탕으로 빛의 물리적인 특성을 기록 및 재현하 여 자연스러운 형태로 3차원 물체를 표현할 수 있는 기술로 여겨지고 있다[1]. 3차원 영상을 표현하 기 위한 디지털 홀로그래피 기술은 물체로부터 산란되어 나오는 빛의 파면 특성을 간섭 현상을 바탕으로 CCD(Charge Coupled Device)와 같은 영상 획득 장치에 기록하고, 회절 현상을 이용하 여 디스플레이 소자로부터 재현하는 것이라 할 수 있다[2]. 빛의 물리적인 특성은 진폭정보와 위상정 보로 표현될 수 있으며, 1990년대 이후 급속도로 성장하고 있는 마이크로 디스플레이 소자 기술을 바탕으로 기존의 아날로그 방식의 홀로그래피 기술과 구분될 수 있는 디지털 홀로그래피 기반의 3차원 디스플레이 기술관련 연구가 본격적으로 시작되었다[3]. 한편으로, 최근 화두가 되고 있는 4차 산업혁명의 핵심 기술 분야들 가운데 하나로서 가상(virtual), 증강(augmented), 혼합(mixed) 현실 기술에 대한 연구가 활발히 진행되고 있다[4]. * 본 내용은 임용준 선임연구원(☎ 042-860-5984, [email protected])에게 문의하시기 바랍니다. ** 본 내용은 필자의 주관적인 의견이며 IITP의 공식적인 입장이 아님을 밝힙니다. 가상, 증강 및 혼합현실을 위한 디지털 홀로그래피 기술 연구 동향

Transcript of 가상, 증강 및 혼합현실을 위한 디지털 홀로그래피 기술 연구 동향디지털...

Page 1: 가상, 증강 및 혼합현실을 위한 디지털 홀로그래피 기술 연구 동향디지털 홀로그래피 기술은 일반적으로 빛의 파동적인 특성을 모두 기록하고

2 www.iitp.kr

주간기술동향 2018. 12. 26.

*

임용준 김진웅*

한국전자통신연구원 선임연구원

한국전자통신연구원 책임연구원 *

디지털 홀로그래피 기술은 일반적으로 빛의 파동적인 특성을 모두 기록하고 재현할 수 있어,

자연스러운 3차원 입체 디스플레이 시스템을 구현할 수 있는 기술로 평가받고 있다. 디지털 홀로

그램 기술에 기초한 3차원 디스플레이 시스템은 다른 3차원 디스플레이 시스템과는 달리 수렴

- 초점 불일치 문제가 발생하지 않는 것으로 알려져 있으며, 이로 인해 3차원 영상 콘텐츠 시청에

따르는 피로감이 발생하지 않는다. 본 고에서는 증강현실 및 가상현실 분야와 관련된 최근의

디지털 홀로그래피 기술 연구 결과를 살펴본다.

I. 서론

디지털 홀로그래피 기술은 전자적인 제어 방법을 바탕으로 빛의 물리적인 특성을 기록 및 재현하

여 자연스러운 형태로 3차원 물체를 표현할 수 있는 기술로 여겨지고 있다[1]. 3차원 영상을 표현하

기 위한 디지털 홀로그래피 기술은 물체로부터 산란되어 나오는 빛의 파면 특성을 간섭 현상을

바탕으로 CCD(Charge Coupled Device)와 같은 영상 획득 장치에 기록하고, 회절 현상을 이용하

여 디스플레이 소자로부터 재현하는 것이라 할 수 있다[2]. 빛의 물리적인 특성은 진폭정보와 위상정

보로 표현될 수 있으며, 1990년대 이후 급속도로 성장하고 있는 마이크로 디스플레이 소자 기술을

바탕으로 기존의 아날로그 방식의 홀로그래피 기술과 구분될 수 있는 디지털 홀로그래피 기반의

3차원 디스플레이 기술관련 연구가 본격적으로 시작되었다[3]. 한편으로, 최근 화두가 되고 있는

4차 산업혁명의 핵심 기술 분야들 가운데 하나로서 가상(virtual), 증강(augmented), 혼합(mixed)

현실 기술에 대한 연구가 활발히 진행되고 있다[4].

* 본 내용은 임용준 선임연구원(☎ 042-860-5984, [email protected])에게 문의하시기 바랍니다.

** 본 내용은 필자의 주관적인 의견이며 IITP의 공식적인 입장이 아님을 밝힙니다.

가상, 증강 및 혼합현실을 위한 디지털 홀로그래피 기술 연구 동향

Page 2: 가상, 증강 및 혼합현실을 위한 디지털 홀로그래피 기술 연구 동향디지털 홀로그래피 기술은 일반적으로 빛의 파동적인 특성을 모두 기록하고

정보통신기술진흥센터 3

기획시리즈 – AR·VR·MR

본 고에서는 디지털 홀로그래픽 디스플레이 시스템의 3차원 디스플레이로서 다른 방식의 3차원

디스플레이와 차별되는 특징 및 기술관련 주요 사항을 설명하고, 최근에 소개된 홀로그래픽 디스플레

이 기술 관련 연구 동향에 대해서 소개한다. 또한, 가상현실(Virtual Reality), 증강현실(Augmented

Reality) 및 혼합현실(Mixed Reality)에 적용될 수 있는 디지털 홀로그래피 기술 관련 최근 연구

내용을 간략히 소개한다.

II. 디지털 홀로그래피 기술 개요

1. 디지털 홀로그래피 기술의 장점

현재의 3차원 디스플레이 기술은 더욱 실감나는 영상을 제공하는 방향으로 발전하고 있으며,

구글 및 마이크로소프트 등과 같은 세계적인 대기업들이 다양한 가상 및 증강현실을 위한 제품을

출시하고 있다[5]. 일반적으로, 3차원 디스플레이 기술에는 안경을 착용하거나 렌티큘러(lenticular)

렌즈를 이용하는 양안시차 방식, 집적 영상(integral imaging) 방식, 체적형 방식 그리고 홀로그래

피 방식 등으로 구분지을 수 있다[6]. 이 가운데에서 양안시차 방식은 가장 간단한 방식이며, 이미

상용화가 많이 이루어진 방식이다. 그러나 양안시차 방식은 단순히 수평 방향의 시차만을 제공하고,

불연속적인 시점을 가지게 되어 편안한 3차원 영상을 시청할 수 없다. 뿐만 아니라, 사람이 3차원

사물을 인지할 때에는 두 눈의 동공 방향이 물체에 수렴하는 위치가 수정체의 두께조절로 맞추는

초점의 위치와 동일하다. 그러나 2차원 구조의 평면 디스플레이 소자로부터 3차원 영상을 만들

(a) 현실세계에서의 실제 물체 인지에서의 초점-수렴 일치 (b) 3차원 영상 장치에서의 초점-수렴 불일치 문제

<자료> ETRI, “디지털 홀로그래픽 디스플레이 기술 동향”, 전자통신동향분석 2017. 10. 1.

[그림 1] 초점-수렴 일치(현실세계) 및 초점-수렴 불일치 문제(3차원 영상)

Page 3: 가상, 증강 및 혼합현실을 위한 디지털 홀로그래피 기술 연구 동향디지털 홀로그래피 기술은 일반적으로 빛의 파동적인 특성을 모두 기록하고

4 www.iitp.kr

주간기술동향 2018. 12. 26.

경우에는 수렴-초점이 일치하지 않는 현상이 나타나게 되며, 이로 인해서 영상 시청자는 피로감을

느끼게 된다[6]. 즉, 현실세계에서 사람의 눈이 사물을 인지하는 과정에서는 양안의 수렴-초점이

일치하지만([그림 1] (a) 참조), 2차원 디스플레이 패널에서 3차원 영상을 시청하는 경우에 있어서는

양안의 수렴-초점이 일치하지 않는 문제가 일어날 수 있다([그림 1] (b) 참조). 디지털 홀로그래피

기술이 3차원 영상을 디스플레이하기 위해서 적용될 때에는 수렴-초점 불일치에 의한 시청 피로감

이 나타나지 않게 된다[6]. 수렴-초점 불일치를 해결할 수 있는 근본적인 이유는, 디지털 홀로그램

영상은 진폭 및 위상정보를 바탕으로 사물로부터 산란되는 빛의 현상을 구현함으로써 현실에서와

동일하게 3차원 영상을 형성할 수 있기 때문이다.

3차원 영상이 사람의 눈으로 전달될 때에는, 입력 영상에 포함되어 있는 깊이 인지 요소(depth

cue)에 의해서 3차원 영상을 인식하게 된다. [표 1]에서는 심리적 요인과 물리적 요인으로 크게

범주를 나눌 수 있는 3차원 디스플레이에서의 깊이 인지 요소에 대해서 분류를 하였고, 다시점

디스플레이, 체적형 디스플레이 그리고 디지털 홀로그래픽 디스플레이 기술에서 표현 가능한 깊이

인지 요소들에 대해서 나타내었다. [표 1]과 같이 디지털 홀로그래픽 디스플레이는 모든 깊이 인지

요소들을 표현할 수 있는 기술이며, 앞서 기술한 초점-수렴 불일치에 의한 피로감을 유발하지 않는

장점을 지니고 있다[7].

[표 1] 3차원 디스플레이 방식에 따른 깊이 인지 요인

구분 다시점 디스플레이 체적형 디스플레이 디지털 홀로그래피

심리적 요인(psychological depth cues)

선원근법(linearperspective)

가 가 가

가려짐 또는 중첩(occlusion or overlapping)

가 가(부분적) 가

텍스처 구배(texutre gradient)

가 가(부분적) 가

사전인지(prior knowledge)

가 가 가

물리적 요인(physiological depth cues

초점조절(accomodation)

불가(초다시점은 가)

가 가

수렴(vergence)

가 가 가

양안시차(binocular disparity)

가 가 가

운동시차(motion parallax)

가 가 가

<자료> ETRI, “디지털 홀로그래픽 디스플레이 기술 동향”, 전자통신동향분석 2017. 10. 1.

Page 4: 가상, 증강 및 혼합현실을 위한 디지털 홀로그래피 기술 연구 동향디지털 홀로그래피 기술은 일반적으로 빛의 파동적인 특성을 모두 기록하고

정보통신기술진흥센터 5

기획시리즈 – AR·VR·MR

2. 디지털 홀로그래피 주요 기술

디지털 홀로그램은 Lohmann과 Paris에 의해 처음으로 제안되었으며[8], 디지털 홀로그래피의

원리는 Goodman과 Lawrence에 의해 이론적인 바탕을 마련하였다[9]. 디지털 홀로그래피 기술은

크게 두 가지로 구분할 수 있으며, 홀로그램 영상을 획득하는 기술과 홀로그램 영상을 디스플레이

하는 기술로 나눌 수 있다[10]. 디지털 홀로그램 영상을 획득함에 있어서는, 실제 사물의 3차원

정보를 획득하는 방법과 컴퓨터 그래픽으로부터 영상을 획득하여 이를 홀로그램 영상으로 만드는

기술로 세분화 할 수 있다. 실제 사물에서 직접적으로 홀로그램 영상을 획득하는 기술은 간섭 현상을

응용하는 만큼 기술적인 한계성이 존재한다. 그러나 최근 컴퓨팅 기술이 급속도로 발전함에 따라서

컴퓨터 생성 홀로그램(Computer-Generated Hologram: CGH)은 디지털 홀로그래픽 디스플레

이에 적용될 수 있는 다양한 콘텐츠를 제공할 수 있는 환경을 만들어 가고 있다[10]. 실제 사물을

직접적으로 획득할 수 있는 기술로서는 주로 광 스캐닝 홀로그래피(Optical Scanning Holography)

와 위상이동 간섭계(Phase Shifting Interferometer)를 이용한 홀로그램 영상 획득 기술이 대표적

이다[10]. 디지털 홀로그램 영상 디스플레이 기술에 있어서 가장 기본적이며 핵심적인 소자는 빛의

진폭 또는 위상을 표현할 수 있는 소자인 공간 광 변조기(Spatial Light Modulator: SLM)이며,

이를 기본적인 영상 표시 장치로 구성하여 3차원 홀로그램 영상을 형성한다.

3. 디지털 홀로그래피 기술에서의 SBP

디지털 홀로그래픽 디스플레이 기술은 현재의 3차원 디스플레이 기술 가운데 가장 이상적인 형태

(a) 홀로그램 영상 획득 기술 (b) 디지털 홀로그램 영상 디스플레이 기술

<자료> ETRI 자체작성

[그림 2] 디지털 홀로그래피 주요 기술

Page 5: 가상, 증강 및 혼합현실을 위한 디지털 홀로그래피 기술 연구 동향디지털 홀로그래피 기술은 일반적으로 빛의 파동적인 특성을 모두 기록하고

6 www.iitp.kr

주간기술동향 2018. 12. 26.

의 3차원 디스플레이 기술로 여겨지고 있으나 극복해야 할 몇 가지 문제가 여전히 남아 있다. 극복해

야 할 가장 근본적인 문제는 위상 또는 진폭 신호를 표시할 수 있는 SLM의 물리적인 한계상황으로

부터 발생한다. 즉, SLM의 전체적인 크기는 홀로그램 전체 영상의 크기를 결정하게 되고, 각 요소

픽셀의 크기는 디지털 홀로그램 영상을 시청할 수 있는 시청각도를 결정하기 때문이다. 홀로그램을

시청할 수 있는 시청각도와 홀로그램 영상의 전체 크기를 나타내기 위해서 공간 대역 곱(Space

Bandwidth Product: SBP)을 정의한다. SBP는 다음과 같은 수식으로 표현할 수 있으며[11],

이에 대한 이해를 돕기 위한 내용은 [그림 3]에 나타나 있다.

×

위의 수식에서 Sx와 Sy는 수평 및 수직 방향의 SLM의 크기를 나타내며, 픽셀 수와 픽셀 크기(또

는 픽셀 간격)의 곱으로부터 구할 수 있다. θ는 수평 방향 및 수직 방향의 시청 각도를 결정하는

회절각도를 나타내며, 픽셀 크기와 SLM을 비추는 레이저 광원의 파장으로부터 정해질 수 있다.

III. 가상 및 증강 현실을 위한 최근의 디지털 홀로그래피 기술 연구 동향

최근의 가상 및 증강현실 기술의 개발과 더불어 보다 더 사실적이며 자연스러운 3차원 영상 구현

을 위한 일환으로서 디지털 홀로그래피 기술의 연구가 병행되어 진행되고 있다. 일반적인 SLM을

<자료> ETRI 자체작성

[그림 3] 디지털 홀로그래픽 디스플레이 시스템의 SBP

Page 6: 가상, 증강 및 혼합현실을 위한 디지털 홀로그래피 기술 연구 동향디지털 홀로그래피 기술은 일반적으로 빛의 파동적인 특성을 모두 기록하고

정보통신기술진흥센터 7

기획시리즈 – AR·VR·MR

바탕으로 구현한 디지털 홀로그래픽 디스플레이 시스템과 기존의 광학 소자를 홀로그래피 방식을

바탕으로 구현한 홀로그래픽 광학 소자(Holographic Optical Element: HOE) 기술을 응용하여

사용자 체험환경을 제공하는 연구가 주목을 받고 있다. 한편으로, 고속으로 그래픽을 처리할 수

있는 그래픽 가속기의 성능이 발전하고 있으며, 이는 실시간으로 3차원 영상과 상호작용할 수 있는

디지털 홀로그래피 디스플레이 장치에 대한 구현 수준을 높여가고 있는 상황이다. 본 장에서는 디지

털 홀로그래피와 관련된 최근의 연구를 디스플레이 시스템, HOE를 응용한 디스플레이 시스템 그리

고 CGH 계산과 관련된 연구 동향에 대해서 설명한다.

1. 시야창 방식의 디지털 홀로그래픽 디스플레이 시스템 연구 동향

시야창 방식의 디지털 홀로그래픽 디스플레이 시스템은 독일의 SeeReal사에 의해서 알려진 기술

이다[12]. 기존의 디지털 홀로그래픽 디스플레이 시스템에서는 홀로그램 영상의 크기를 증대하기

위해서는 전체적인 디스플레이 패널의 크기를 크게 구성해야만 하였고, 이로 인한 요소 픽셀의 크기

증대에 따른 시야각의 손실이 일반적으로 나타나게 되었다. 하지만, SeeReal사에서는 시야창 형태

로 나타나는 특정한 영상 영역을 사람의 동공 크기와 비슷하게 형성하여 디지털 홀로그램 영상을

시야창 내에서만 볼 수 있게 구성하였다. SLM에서 제공할 수 있는 시야각을 충분히 사용할 수

있는 장점이 있지만, 관찰자의 눈이 시야창을 벗어나게 되면 홀로그램 영상을 시청할 수 없게 되는

단점이 나타난다. 이를 해결하기 위해서 동공추적장치를 추가적으로 구성하여 관찰자의 동공 위치에

따라서 홀로그램 영상을 시청 가능하게 하였다[12]. 한편, 국내의 한국전자통신연구원(ETRI)에서는

시야창 방식의 홀로그램 영상 형성 방법을 바탕으로 360도 전방향에서 홀로그램 영상을 관찰할

수 있는 디스플레이 기술 개발에 성공하였다[13]. 단색 영상뿐만 아니라 적색, 녹색 및 청색의 레이

저 광원을 적용하여 1,024개의 홀로그램 영상을 초당 15fps(frame per second)의 속도로 수평

360도 방향에서 다수의 시청자가 각각 다른 시점의 3차원 영상을 시청할 수 있는 시스템을 개발하

였다[14],[15].

[그림 4]에는 시야창 방식의 특징에 대한 개략도를 나타내었다. 첫 번째 렌즈에 의해서 형성되는

공간 주파수 영역인 필터 평면에는 디지털 홀로그램 영상만을 통과시키는 대역 통과 필터가 위치하

게 되고 렌즈 2에 의해서 확대된 홀로그램 영상면이 렌즈 2의 위치에 놓이게 되는데 렌즈 2의

초점거리에 시야창이 형성되며, 이 때의 시야창 크기는 확대되어 형성된 홀로그램 영상면에서의

픽셀 간격(p)과 홀로그램 영상평면으로부터 시야창까지의 거리(d) 그리고 SLM을 비추는 레이저

광원의 파장(λ)에 의해서 결정되며 수직 방향의 시야창 크기(w)는 dλ/p로 나타낼 수 있다.

Page 7: 가상, 증강 및 혼합현실을 위한 디지털 홀로그래피 기술 연구 동향디지털 홀로그래피 기술은 일반적으로 빛의 파동적인 특성을 모두 기록하고

8 www.iitp.kr

주간기술동향 2018. 12. 26.

[그림 4]에 기술되어 있는 시야창 방식의 디지털 홀로그래픽 디스플레이 시스템 기술을 바탕으로

개발한 독일 SeeReal사의 디지털 홀로그래픽 디스플레이 시스템이 [그림 5]에 나타나 있다. 개발

제품명은 VISIO 20이며, 액정표시장치(Liquid Crystal Device: LCD)를 SLM으로 이용하였으며,

동공추적장치를 통해서 시청자의 위치에 따라 홀로그램 영상을 시청할 수 있게 된다. 또한, HOE

기술을 도광판으로 접목한 기술을 적용한 시스템을 추가적으로 소개하였다[16]. 국내의 ETRI에서

구현한 테이블 탑 홀로그래픽 디스플레이 시스템의 개략도와 실제 시스템이 [그림 6]에 나타나 있다.

고속 동작이 가능한 DMD(Digital Micro-mirror Device)를 SLM으로 적용하여 15fps 이상의

동작속도로 홀로그램 영상 콘텐츠를 시청할 수 있다. 고속으로 동작하는 DMD를 활용하여 시간

다중화 기술을 구현한 디지털 홀로그래픽 디스플레이 시스템이며, 다수의 SLM을 이용하는 기존의

공간다중화 기술과는 차별성을 갖는 시스템이다. 뿐만 아니라, 기존의 시야창 방식의 디지털 홀로그

<자료> ETRI 자체작성

[그림 4] 시야창 방식의 디지털 홀로그램 영상 디스플레이 기술 개념도

[그림 5] 독일 SeeReal사의 VISIO 20 [그림 6] ETRI의 테이블 탑 홀로그래픽 디스플레이 시스템

Page 8: 가상, 증강 및 혼합현실을 위한 디지털 홀로그래피 기술 연구 동향디지털 홀로그래피 기술은 일반적으로 빛의 파동적인 특성을 모두 기록하고

정보통신기술진흥센터 9

기획시리즈 – AR·VR·MR

래픽 디스플레이 시스템에서는 동공추적장치가 필요하였으나, ETRI의 테이블 탑 홀로그래픽 디스

플레이시스템에서는 렌티큘러 렌즈를 적용하여 수직시야각을 증대함으로써 추가적인 동공추적장치

의 적용문제를 해결하였다.

2. 홀로그래픽 광학 소자 기술을 응용한 최근의 연구

최근 미국의 마이크로소프트사에서는 HOE를 바탕으로 컬러 영상을 형성할 수 있는 증강현실용

HMD(Head-Mounted Display)를 시장에 선보였다. HOE를 이용하여 씨스루(see-through) 디

스플레이를 구현하였고, 이를 이용하여 증강현실을 체험할 수 있는 기기를 구현하였다[17]. 여기에

서 사용된 HOE는 홀로그래피 기술을 바탕으로 적색, 녹색 및 청색의 삼원색을 결합하는 광학 소자

의 역할을 하는 것으로 알려져 있다. HMD의 설계에 있어서는 아이박스(eyebox)를 디자인하는

것이 핵심적인 기술이라 할 수 있으며, 아이박스를 형성할 수 있는 각종 광학기기 및 디스플레이

장치가 적용되어야 한다[18]. HOE를 이용한 HMD에 대한 개념의 이해를 돕기 위한 설명을 [그림

7]에 나타내었다.

[그림 7]과 같이 마이크로디스플레이(microdisplay) 기기에서 형성되는 영상은 광 결합 구조 및

HOE를 이용한 컬러 결합 소자 등에 의해서 아이박스 영역 내부에 전달되며, 사용자는 최종적으로

HOE를 통해서 보여지는 영상을 현실세계와 함께 보게 되는 구조이다. Microsoft사에서는 적색용,

녹색용 그리고 청색용 HOE를 각각 제작하여 이들의 정렬도를 향상하여 균형잡힌 색상을 구현하였다.

한편, HUD(Heads Up Display)는 자동차 또는 항공기 등에서 필요한 중요한 정보를 전방의

유리창 등에 나타나게 하는 디스플레이 장치이다. 최근 미국의 아리조나대학교 연구진은 기존 HUD

<자료> ETRI 자체작성

[그림 7] HOE를 적용한 HMD 기기의 기술 개념도

Page 9: 가상, 증강 및 혼합현실을 위한 디지털 홀로그래피 기술 연구 동향디지털 홀로그래피 기술은 일반적으로 빛의 파동적인 특성을 모두 기록하고

10 www.iitp.kr

주간기술동향 2018. 12. 26.

의 제약사항이었던 아이박스의 크기를 획기적으로 증대시킨 HOE를 구현하였고 이를 차량 및 비행

기용에 적용이 가능한 수준의 HUD기술로 개선하였다[19]. HOE를 바탕으로 도파관(waveguide)

에 영상 신호를 포함하는 빛을 결합시키고 이를 도파관으로부터 영상을 추출하는 HOE에 전달하는

방법을 우선적으로 적용하였고, 최종 영상 출력단에 HOE를 추가하여 도파로를 통해서 전달되는

영상 신호를 추출하는 기술을 바탕으로 기존의 아이박스 크기 문제를 해결하였다. 아리조나대학교

연구진들이 제안한 구성을 HUD로 사용할 때, 사용자는 250mm 떨어진 위치에서 12°(수평)×

8°(수직)의 시야각과 190mm(수평)×150mm(수직) 크기를 제공하는 아이박스 이내에서 최대 약

1m의 깊이를 갖는 영상을 체험할 수 있다.

국내의 인하대학교에서는 HOE를 이용하여 동적인 방법으로 아이박스를 복제하고 초점심도를

제어할 수 있는 씨스루 형태의 HMD 구현 기술을 개발하였다[20]. 또한, HOE를 적용하여 초점면

을 변경함에 따라서 발생하는 영상 왜곡을 보상하는 방안에 대한 연구를 수행하였다. 1920(수평)

×1080(수직) 해상도를 갖는 액정기반의 SLM을 마이크로 디스플레이 소자로 적용하였고, 직경

15mm의 크기를 갖는 HOE를 제작하였다. 제작된 HOE는 다중의 오목거울로서의 기능을 담당하

게 되며, 적용한 HOE는 초점거리를 5cm로 설정하였을 때, 17°(수평)×17°(수직)의 시야각 범위

를 제공한다.

3. CGH관련 최근 기술 연구 동향

디지털 홀로그램 영상을 획득하기 위한 과정 및 데이터 처리는 방대한 양의 계산 시간을 필요로

한다. 급속도로 발전하고 있는 컴퓨팅 속도의 개선에도 불구하고, 홀로그램 연산을 실시간으로 처리

하기에는 아직 그 성능적인 측면이 부족한 현실이다[21]. 홀로그램을 처리하는데 필요한 계산과정에

서 소요되는 시간적인 문제는 홀로그램 기술이 상용화에 이르지 못하는 커다란 문제로 작용하고

있다. 최근에는 컴퓨터 생성 홀로그램에 대한 이론적인 연구를 바탕으로 하여 획득 및 처리에 필요한

소요시간을 개선하는 연구가 주목을 받고 있으며, 가상 및 증강현실에 디지털 홀로그래피 기술을

적용하기 위해서는 연산시간 소요 문제는 개선 또는 해결되어야 한다.

일본 치바(Chiba)대학의 연구진은 FPGA(Field Programmable Gate Array) 기술을 바탕으로

디지털 홀로그램 계산에 특화된 고속 처리 컴퓨터를 개발하고 있으며, 최근 HORN(HOlographic

ReconstructioN)-8의 개발에 관한 내용을 NATURE ELECTRONICS지에 게재하였다[22]. 일본

치바대학의 HORN에 대한 연구는 1992년부터 시작되었고, 그 첫 번째 연구결과로서 1993년에

HORN-1을 발표한 이후 2018년 현재까지 약 30년에 걸쳐서 연구를 진행해 오고 있다. 2018년에

Page 10: 가상, 증강 및 혼합현실을 위한 디지털 홀로그래피 기술 연구 동향디지털 홀로그래피 기술은 일반적으로 빛의 파동적인 특성을 모두 기록하고

정보통신기술진흥센터 11

기획시리즈 – AR·VR·MR

발표된 HORN-8에서는 8개의 FPGA가 하나의 컴퓨팅 보드를 구성하고 있으며, 약 1억 개의 픽셀

수로 구성되는 홀로그램 영상을 10fps의 속도로 제공할 수 있음을 보였다.

또한, 치바대학의 연구진은 디지털 홀로그램 연산속도의 개선연구를 바탕으로 디지털 홀로그램

영상과 실시간에 준하는 속도로 상호 작용이 가능한 디스플레이 시스템을 개발하였다[23]. 치바대학

의 디지털 홀로그래픽 디스플레이 시스템에서는 동작 센서가 장착되어 영상 시청자의 손가락 동작을

감지하고 이를 디지털 홀로그램 영상의 회전, 확대 및 축소로 전환하여 디스플레이 할 수가 있다.

그래픽 연산처리장치(Graphic Processing Unit: GPU)를 적용하여 홀로그램 연산을 병렬처리하

는 기술을 바탕으로, 실시간으로 디지털 홀로그램 영상과 사용자의 손동작을 상호작용할 수 있는

디스플레이 기술을 구현하였다. 동작을 감지하기 위해서 Leap Motion 센서를 적용하였으며, 고속

으로 연산처리된 디지털 홀로그램 영상을 표시하기 위해서 액정기반의 위상 변조 SLM을 사용하였

다. 적용된 SLM의 해상도는 1,920(수평)×1,080(수직)이며, 픽셀 간격은 8.0μm(수평)×8.0μm

(수직)이다. SLM에 표시되는 평균적인 홀로그램 연산처리 속도는 27.6ms이며, 1,709개의 점광원

으로 구성되는 컬러 디지털 홀로그램 영상으로 확장하였을 경우에 있어서는 22.6ms의 계산 속도로

처리하였다.

국내의 삼성전자에서도 디지털 홀로그램을 처리할 수 있는 단일 칩 FPGA 기반의 홀로그래픽

영상처리장치(Holographic Video Processor)를 개발하였다[24]. 1,920(수평)×1,080(수직)의

해상도를 갖는 홀로그램을 1초당 16장을 생성할 수 있음을 보였다. 홀로그래픽 영상처리장치를

구현하기 위해서 겹층(layered)으로부터 홀로그램 영상을 계산하는 CGH 알고리즘을 채택하였다.

삼성전자의 단일 칩 기반 홀로그래픽 영상처리장치는 구성 면에서의 단순함과 가격 경쟁력을 바탕으

로 모바일 및 웨어러블 애플리케이션에서 적용 가능한 수준으로 구현하였다.

IV. 결론 및 시사점

디지털 홀로그래픽 디스플레이 장치에서는 SLM의 사용에 따라 동반되는 SBP 문제를 해결하는

기술이 가장 중요하다. 또한, 가상 및 증강현실 분야에 디지털 홀로그래피 기술이 적용되기 위해서는

영상 정보가 나타나는 특정 영역인 아이박스를 홀로그래피 기술을 응용하여 설계하는 것이 가장

핵심적이라 할 수 있다. 그리고 현재의 가상 및 증강현실에서의 latency 관련된 문제와 동일하게

디지털 홀로그램 영상을 구현하기 위해서는 대용량의 연산을 실시간으로 처리하는 문제를 해결해야

한다. 따라서, 본 고에서는 SBP를 극복할 수 있는 시야창 기반의 최근 홀로그래픽 디스플레이 시스

Page 11: 가상, 증강 및 혼합현실을 위한 디지털 홀로그래피 기술 연구 동향디지털 홀로그래피 기술은 일반적으로 빛의 파동적인 특성을 모두 기록하고

12 www.iitp.kr

주간기술동향 2018. 12. 26.

템 관련된 연구를 소개하였고, HOE를 적용하여 아이박스를 확장하는 연구와 관련된 연구를 소개하

였으며, 디지털 홀로그램 영상을 처리하기 위한 홀로그램 데이터 계산 및 처리와 관련된 최근의

연구 동향을 살펴보았다. 향후, 디지털 홀로그래피 기술은 3차원 디스플레이 기술과 홀로그래픽

광학 소자 기술을 응용하여 가상 및 증강현실을 제공하는 디바이스에서 많은 혁신적인 연구 결과가

나올 것으로 기대된다.

[ 참고문헌 ]*

[1] Physics Today, “Three-dimensional displays, past and present,” Vol.66, No.4, 2013, pp.36-41.

[2] Applied Optics, “Three-dimensional display technologies of recent interest: principles, status,

and issues,” Vol.50, No.34, 2011, pp.H87-H115.

[3] SPIE Press, “Analog and Digital Holography With MATLAB,” 2015.

[4] Optics and Photonics News, “Optical Dreams, Virtual Reality,” Vol.27, No.6, 2016, pp.24-31.

[5] Goldman Sachs, “Profiles in innovation of virtual & augmented reality,” 2016. 1. 13.

[6] Advanced Optics and Photonics, “Three-dimensional display technologies,” Vol.5, 2013, pp.456-

535.

[7] ETRI, “디지털 홀로그래픽 디스플레이 기술 동향,” 전자통신동향분석, 2017. 10. 1.

[8] Applied Optics, “Binary Fraunhofer holograms generated by computer,” Vol.6, 1967, pp.1739-

1748.

[9] Applied Physics Letter, “Digital image formation from electronically detected holograms,” Vol.11,

1967, pp.77-79.

[10] IEEE TRANSACTIONS ON INDUSTRIAL INFORMATICS, “Review on the State-of-the-Art

Technologies for Acquisition and Display of Digital Holograms,” Vol.12, No.3, 2016, pp.886-901.

[11] Roberts & Company, “Introduction to Fourier Optics,” 3rd ed., 2005.

[12] Proceedings of SPIE, “Large real-time holographic displays: from prototypes to a consumer

product,” 72370S, 2009. [13] Optics Express, “360-degree tabletop electronic holographic display,” Vol.24, 2016, pp.24999-

25009.

[14] OSA Technical Digest, “360-degree Tabletop Color Holographic Display,” W3A.1, 2017.

[15] Applied Optics, “360-degree color hologram generation for real 3D objects, ”Vol.57, No.1, 2108,

pp.A91-A100.

[16] Applied Optics, “Large real-time holographic 3D displays: enabling components and results,”

Vol.56, 2017, pp.F45-F52.

[17] https://www.microsoft.com/en-us/hololens.

[18] Journal of Vision, “The zone of comfort: Predicting visual discomfort with stereo displays,”

* 본 연구는 2018년도 정부(과학기술정보통신부)의 재원으로 ‘범부처 Giga KOREA 사업’의 지원을 받아 수행된 연구임[GK18D0100, 디지털 홀로그래픽 테이블탑형 단말 기술 개발]

Page 12: 가상, 증강 및 혼합현실을 위한 디지털 홀로그래피 기술 연구 동향디지털 홀로그래피 기술은 일반적으로 빛의 파동적인 특성을 모두 기록하고

정보통신기술진흥센터 13

기획시리즈 – AR·VR·MR

Vol.11, No.8, 2011.

[19] Applied Optics, “Holographic waveguide heads-up display for longitudinal image magnification,”

Vol.57, No.9, 2018.

[20] Optics Express, “Optical see-through holographic near-eyedisplay with eyebox steering and

depth of field control,” Vol.26, No.21, 2018.

[21] Journal of Information Display, “Recent progresses in computer generated holography for

three-dimensional scene,” Vol.18, No.1, 2017, pp.1-12.

[22] Nature Electronics, “High-performance parallel computing for next-generation holographic

imaging,” Vol.1, 2018, pp.254-259.

[23] Scientific Reports, “Interactive Holographic Display Based on Finger Gestures,” Vol.8, 2010:1-7,

2018.

[24] IEEE TRANSACTIONS ON INDUSTRIAL ELECTRONICS, “A Single-Chip FPGA Holographic Video

Processor,” doi: 10.1109/TIE.2018.2835424, 2018.