(KRnet (Korea Internet Conference) 2016 발표)
2016.06.20.
3
스마트 스페이스 개념 및 필요성
IoT 물리 공간 정보가 사이버 가상 공간에 투영된 미디어 서비스 환경에서 사용자에게 지능형 맞
춤 서비스를 제공하기 위한 미디어-IoT가 연동된 새로운 형태의 미디어
기존 미디어 서비스는 IoT 환경에서 수집된 데이터를 활용하여 상황 맞춤형 서비스를 제공에 한계점을 노출
IoT 기기를 활용하여 상황 정보를 파악하고 지능형 서비스를 제공하기 위한 새로운 미디어 서비스 요구
물리적 현실 세계와 가상 객체 간의 연결을 효과적으로 나타내고 관리할 수 있는 미디어 처리 기술 요구
IoT 환경에서 가상 객체 환경을 제공하여 손쉽고 빠른 상황 맞춤형 서비스 환경 제공
다양하고 새로운 자율 미디어 서비스 창출 환경 제공
미디어 및 주변 환경과 연결된 정보를 이용하여 사용자에게 최적화된 서비스 경험 제공
*출처 : 스마트미디어R&D 추진계획(2015-2020), 미래창조과학부, 2015
초연결 미디어(IoM : Internet of Media)
4
스마트 스페이스 개념 및 필요성
※ HMD : Head Mounted Display HUD : Head Up Display
Physical Space Smart Space
5
스마트 스페이스 개념 및 필요성
혼합현실(Mixed Reality) 스크린에 가상 공간과 현실 공간이 중첩되어 정보 제공하는 서비스
증강 현실(Augmented Reality) : 현실 공간을 기반으로 가상 정보를 결합
증강 가상(Augmented Virtuality) : 가상 공간을 기반으로 현실 정보를 결합
가상 정보의 범위를 오감으로 확대하는 추세임(예: Touched Echo/독일 드라스덴)
가상현실(Virtual Reality) : CG로 생성된 가상의 상황이나 환경을 사람의 감각 기관을 통해 체
감하고 상호작용하는 서비스
가상 현실/혼합 현실
< 혼합현실 범위>
< 혼합현실 서비스> <Touched Echo/독일 드라스덴>
6
스마트 스페이스 개념 및 필요성
<기존 미디어 서비스> <스마트 스페이스>
초연결미디어
“현실공간을 스크린으로 가상과 현실의 상호작용”
7
공간상황을 이해하고 현실계-가상계가 연결된 지능형 혼합현실 공간 실현을 위한 핵심기술 개발 및 공간상의 객체간 상호작용이 가능한 새로운 몰입형 스크린 미디어 서비스 구현
가정 사무실 회의실
스마트 객체 생성 및제어 기술
인체 기반 사용자인터페이스 기술
지능형
혼합 현실
공간 실현
OPS 서비스네트워킹 기술
의미 기반공간 상황 이해 기술
스마트스페이스 요소 기술
OPS1
※ OPS (Orchestrated Personal Space)SS (Smart Space)
OPS2 OPS3
1
2
3
4
8
SS 요소 기술 - 공간 상황 이해 기술
단순 수치 기반 상황 센싱/응용
- 센서에서 제공하는 단순 수치
데이터만 활용 (좌표 값, 식별자)
- 여러 센서들이 제공하는 값을 해석
하는 것은 개개 응용의 몫
- 서비스를 받는 사용자와 무관하게
미리 지정된 상황에만 반응
의미 기반 공간 구성 및 복합 상황 이해 기술
공간 상황에 맞는 시의적절한 서비스 제공
지속적 사용자 상호작용을 통한 학습 및 서비스 진화
식별자
좌표
센서
의미기반 상황 이해
지속적 공간관찰
고정 서비스
의미적 공간 상황 추론, 사용자 학습, 자율 성장
사용자 인터랙션 학습
시공간 적합서비스 제공
다양한 센서
상호작용 경험 기반 자율 성장 및 적응 기술
TabletON the table
사물의 위치, 사용자 행위 학습 등에 의한 의미 기반 공간 상황 이해를 통한의미적 공간 상황 추론하여 사용자의 시공간에 적합한 서비스 제공을 위한 기술
9
SS 요소 기술 - 공간 상황 이해 기술
다중 센서관리
상황 기반 센서연동 관리
다중 센서 활용사용자 위치 추적
카메라-프로젝터 장치 제어 공간 객체 정보
검색 및 추론사용자 정의 복합상황 기술 언어
4W 기반공간 상황
인지 서비스
온톨로지
공간 상황 구성 및 이해의미 기반
스마트 스페이스
Bayesian 필터 기반 다중 센서 사용자 위치 추정과 사용자 인식을 연동을 통한
사용자 추적기술 개발
3D 공간 객체 모델을 기반으로 동적으로 객체간 의미적 공간 관계 추론 기술 개발
4W기반 상황 관리 모듈 및 기계학습기반 상황 추론 기술 개발
* 4W : Where, When, Who, What
10
SS 요소 기술 – 스마트 객체 생성 및 제어 기술
GPS/이미지 기반의 증강 현실
- 사전 정의된 제한된 환경
- 근거리 대상
- 가시화 중심
공간 정보 기반 가상 겍체 생성
이종 센서의 융합을 통한 공간 인식가상 객체의 생성 및 제어
`
Mixed Reality
실 생활 공간에서의 실시간 공간 인지 및 혼합 현실
다양한 현실 객체와의 인터랙션 및 사용자간 협업
가상/실 객체 연동 기술
엔터테인먼트 중심의 응용
실생활 환경에서의 몰입형 미디어 서비스를 제공하기 위한 스마트 객체 생성 및 제어 기술
11
SS 요소 기술 – 스마트 객체 생성 및 제어 기술
※ IMU : Inertial Measurement Unit
HMD위치 추적알고리즘
가상 객체포지셔닝
다중공간지원가상/실 객체 연동 제어
On-body UI
원격 공간
객체 제어
상황 기반 객체 제어 (사용자/공간)
다중 센서 기반실시간 3D 객체 생성 원격전송
Depth센서:
RGB센서:
Depth센서:
IMU센서:
RGB센서:
영상기반 위치/자세추적 + IMU를 이용한 자세추적을 통한 HMD 추적 오차 개선• 조도 등 주변 환경변화에 의해 발생하는 영상 기반 HMD 위치 추적 오차로 인한
가상 객체의 흔들림 현상 개선
GPU 기반 3D 메쉬 생성 알고리즘 구현을 통한 메쉬 생성 속도 향상• 범용 프로세서 대비 약 7배 이상 객체 생성 속도 개선
가상스크린을 통한 혼합현실 기반 원격공간 모니터링 제공
12
SS 요소 기술 – 스마트 객체 생성 및 제어 기술
IMU기반 자세 추정
타겟 공간 3D 맵 생성
공간 내 관심객체
3D map 맵핑및 추적
영상 정보획득
IMU 정보획득
IMU 필터링알고리즘
자세 추정
위치 및 자세추정
구면 보간(spherical
interpolation)
회전군(rotation group)의 비선형기하학적 구조를 반영한 확률모델- Left-translated diffusion distribution- Wrapped normal distribution- Bingham distribution
매개변수 재귀적 베이지안 필터(Parametric recursive Bayesian filter)- 자세, 각속도의 평균, 공분산 추적
객체포지셔닝
IMU를 이용한 HMD 자세추적 오차 개선으로 가상 객체 렌더링 품질 향상
• IMU를 이용한 정밀한 자세추적 알고리즘 설계 및 성능 검증
• 정지 상태에서 0.5초간 total variation < 0.06° (기존값: < 2.7°)
13
SS 요소 기술 - 인체기반 인터페이스 기술
인체를 활용한 Eye-free 지원 사용자 인터페이스 기술 다양한 사용자 인터페이스 기술
- 기기마다 다른 편의성 증대 포인트
- 대부분 TV가 대상
- 과도한 제스처로 인한 불편
다양한 모달리티 적용
스마트스페이스의 객체 특성을 고려한직관적이면서 편리한 사용자 인터페이스
인체를 활용한 스마트스페이스 객체 제어
신체 감각을 활용한 Eye-free 기반 직관적 객체 제어 환경 제공
학습형 UI를 통한 개인 특성 반영 및 인식 정밀도 향상
스마트 스페이스 응용 서비스 제공을 위해인체를 활용하여 직관적으로 실객체 제어를 위한 학습형 사용자 인터페이스 기술
14
SS 요소 기술 - 인체기반 인터페이스 기술
※ PiAM : Palm interaction module
글로벌 스마트스페이스를 활용한 원격 객체 제어 적용
PiAM 입력(터치, Swipe) 인터페이스 확장
3x2영역 기반
포인팅 정확도
확인
(성공률 92%)
Smart Curtain
- Swipe를 활용
한 open/close
사용자 입력 패턴 분석 및 학습을 통한 인식 정확도 개선
Smart Lamp
–제스쳐(1,2,3)를
활용한 칼라 제어
PiAM : HMD 기반 on-body 사용자 입력 인터페이스
• 학습형 on-body 사용자 입력을 위한 머신 러닝 기반 제스처 인식 향상 기능 제공
원격 객체 제어를 위한 PiAM 사용자 인터렉션 테스트베드 구축
• 공간 3D 모델 구축 및 객체 특징점 추출을 통한 UI 등록 기능 설계 및 구현
대전(ETRI)-독일(TUDA) 글로벌 스마트스페이스 테스트베드를 통한 스마트 객체(스마트커텐, 전구) 원격 제어 시험
15
SS 요소 기술 - OPS 서비스 네트워킹 기술
단말 의존적 서비스 네트워킹
동적 오버레이 네트워킹사용자 중심 유무형 IT 자원 통합 관리
시공간 제약 없이 분리된 네트워크의 자원 사용
자유로운 IT 자원 활용을 통한 개인/협업 업무 생산성 향상
공간 제한적 서비스 네트워킹
로컬프린터
로컬스캐너
로컬서버
원격프린터
원격스캐너
원격서버
LAN LAN
별도 연결 설정
OPSServer
동적 개인 가상 네트워크 기술(SSDPN)
OPS 프레임워크 기술
사용자 공간 구성
시공간 제약 없이 자유로운 개인 작업 환경 구성을 위한 SSDPN(Smart Space Network) 기술
※ OPS Orchestrated Personal Space, SSDPN : Smart Space Dynamic Personal Network
16
SS 요소 기술 - OPS 서비스 네트워킹 기술
<상황인식기반 접근제어: 로그인><사용자 위치기반 동적 접근제어>
OPS : Orchestrated Personal Space, TLS: Transport Layer Security
상황기반 접근제어 (Access-Control)를 적용한 Agent/Manager 개발• 사용자등급(Who : 2등급)/ OPS공간(Where : OPS공간 2개)/허용시간 (When)/ 디바이스
타입(What : 개인용/공용)
• 다중레벨 OPS 접근제어 (3 Access level) Agent / 접근제어 정책 관리 Manager
사용자/객체 위치 기반 접근 제어 기능 개발• 환경 변화(장소 및 시간 변경)에 따른 동적인 서비스 접근제어 기능 제공
Web기반 OPS 다중객체 제어 기술 개발
• 다중 객체 동시 제어 서비스를 통한 성능 시험 (100개 동시제어 확인)
17
스마트스페이스 플랫폼
공간 범위 / 서비스
공간상황이해수준
동적상황공간구성및이해
HMD 기반로컬공간객체제어
HMD 기반Palm UI
단일공간OPS 동시제어공간상황획득기술
객체생성/제어핵심기술
Palm기반On-BodyUI
OPS 동적네트워킹기술
복합공간 상황 구성및이해
다중공간상황기반객체제어
학습형 On-Body UI
다중공간OPS 접근제어
실감 미디어 지원
다중 공간 지원
자율성장및적응기술
협업형스마트객체제어
다중사용자On-Body UI
협업형OPS
실감형 텔레프레즌스
체험형 텔레프레즌스
텔레프레즌스 기반다중공간 서비스
실감형 스마트워크
협업 지원
단순 기기 제어 미디어 제어단일공간
사용자간 협업원격 공간 기기 제어다중 공간
자율성장
OPS (Orchestrated Personal Space)
4단계
복합상황
동적상황
상황획득
플랫폼
1단계
2단계
3단계
18
스마트스페이스 서비스 플랫폼
혼합 현실 기반 실감형 텔레프레즌스 서비스
혼합 현실 기반 실/가상 객체 제어 서비스
19
스마트 스페이스 기술 활용 분야
스마트 워크/라이프케어(기업용 영상회의 시스템 우선 적용)
Internet of Things(가상/실 객체 연동 기술/SSDPN 네트워킹 기술)
증강/혼합 현실(센서 데이터 처리 기술)
공간 상황 인지(의미 기반 공간 상황 이해 기술/
상호작용 경험 기반 자율 성장 및 적응 기술)
체험형 텔레프레즌스(체험형 교육, 원격상담 연계)
혼합 현실 미디어 서비스(증강현실 엔진 업체와 연계)
스마트스페이스플랫폼
기술 활용
적용 서비스 ※ SSDPN : Smart Space Dynamic Personal Network
20
실세계 기반 객체 가상화
실내외 현실 공간
실감형 혼합현실 서비스
DigitalWorldHuman
투명디스플레이
HUD
실감형혼합 현실 공간
Physical World
스마트객체 기능의 가상 객체화
원격 공간객체 제어
HMD
초연결 미디어 기반 스마트 스페이스
다양한 현실 세계에 존재하는 사물과 미디어 연결을 통한
초연결 미디어 기반 응용 서비스 제공을 위한 스마트 스페이스 플랫폼
21
향후 추진 계획 (2015.03 ~ )
결과물사업화
공동연구기업 참여를 통한 사업화 기반 마련
4차년도 스마트스페이스 기술 사업화 가능한 중소기업을 공동연구기관으로참여시켜, 스마트스페이스 기술의 사업화 기반 마련
증강/혼합현실 S/W, 스마트스페이스 디바이스 관련 기업 중심으로 구성 예정
차년도 이후 사업화 계획
(국내) 중기청 사업화 과제로 수행 중인 ‘스마트 프로젝션 시스템'을 2016년경사업화 추진 예정
(국내) 광학전문기업인 ㈜그린광학을 통해 HMD를 이용한 스마트스페이스기술의 국내 시범 사업 추진 예정
(글로벌) 한국-독일간 구축한 글로벌 스마트스페이스 테스트베드를 활용하여, 독일 현지 기업을 통해 스마트스페이스용 차세대 UI/UX 플랫폼 사업화 추진예정
방통, 융기, 통인계획 작성
Top Related