Contents

주제소개• 동기및배경• 목표및기능• 기술배경• 기능시현• Q&A

안전거리유지를보조해주는VIDEO 시청기술

주제

동기및배경

•어린아이들의동영상시청시간증가•대형스크린의대중화•올바른시청습관부재시문제점발생•부모들의자녀를위한시청습관교육에대한관심증가

사례

•어린이들의올바른시청습관교육보조•잘못된 VIDEO시청으로인한자세불균형방지•적정거리유지를위한기능구현•자동 VIDEO전원절전

키넥트의특별한센서인 RGB 센서와 IR 센서를이용하여물체가움직이는것에따라컴퓨터에그대로입력되어사용자가원하는회화적스타일로키넥트의컬러및깊이데이터를이용한포인트샘플렌더링을통해생성된 3차원모델에표현

키넥트는내장된 RGB, 깊이센서, 그리고 multi-array microphone을이용하여사용자정보를인식하기때문에컨트롤러없이상호작용이가능

키넥트는별도의컨트롤러없이사람의동작은인식하여많은사람들이쉽게사용가능하다는점에서동작인식을이용하는곳유용하게사용이가능

1月~4月 5月~6月 7月~8月 9月 10月

주제 선정

필요기술 조사

개발

검증

결과 정리

Plan- Chart

-동영상플레이어제작-화면확대, 축소및경고창기능구현-키넥트카메라객체인식기능구현-동영상기능 & 키넥트카메라기능연동-추가기능 (자동절전) 구현-검토및보완

화면 축소 화면 확대

키넥트카메라

객체인식 기술 개발(Depth Image + Labeling 기반 객체인식)

• 물체인식에 있어서 윤곽 정보는 중요한 역할을 한다.• 윤곽을 얻기 위한 과정을 간략하게 설명하면 Labeling (or Grouping) 과정을 통하여 물체들을 원하는 정보 단위로 묶고, 이렇게레이블링 된 물체들의 윤곽(Contour, Shape, Edge)을 얻어내어Object 들에 대한 정보(크기, 윤곽의 길이, 모양 등)를 얻어 낸다.

객체인식 기술 개발(Depth Image + Labeling 기반 객체인식)

• 일반 영상에서이진화-> 레이블링과정을 통해 객체를검출하는 결과

• 참고자료:http://archer.ee.nctu.edu.tw/~chingchun/projects.html

객체인식 기술 개발(Depth Image + Labeling 기반 객체인식)

• 그레이 스케일 (Grayscale)• 그레이스케일영상은 흔히 '흑백사진'처럼 만들어주는걸 의미한다.• 그레이스케일은 0(흑)에서 255(백)단계로 흑백의 강도를 나타내는 영상이다.

• Lightness 기법 : (max(R,G,B)+min(R,G,B))/2• Average 기법 : (R+G+B)/3• Luminosity 기법 : 0.21R+0.72G+0.07B

객체인식 기술 개발(Depth Image + Labeling 기반 객체인식)

• Binary Imange 는 0과 255로 영상을 변형함

• 영상처리에서 이진화는 어떤 주어진 임계값(threshold)보다 밝은 픽셀들은모두 흰색으로, 그렇지 않은 픽셀들은 모두 검은색으로 바꾸는 것을 지칭한다.

• 아래 예는 이진화 문제 중 가장 단순한 형태로서 균일한 밝기를 갖는 배경과물체에 약간의 노이즈를 섞어서 생성한 영상이다.

객체인식 기술 개발(Depth Image + Labeling 기반 객체인식) Labeling• gray scale 영상이나 이진화된 이미지 0 or 255(1-channel)의 값을 갖는 경우

인접한 영역끼리 그룹을 짓는 것을 Labeling(레이블링)이라고 한다.

Labeling

객체인식 기술 개발(Depth Image + Labeling 기반 객체인식)

• 인접한 pixel을 탐색할 때 8-neighbor 방식을 사용한다.• neighbor는 '이웃'이라는 뜻처럼 8-neighbor는 현재 pixel을 기준으로 몇 개의

이웃 pixel들을 탐색하는지를 뜻한다. • 아래의 왼쪽 그림은 현재 pixel을 기준으로 위, 아래, 왼쪽, 오른쪽 총 4방향을

탐색하는 4-neighbor 탐색입니다. • 오른쪽 그림은 4-neighbor에 4개의 대각방향을 더 탐색하는 8-neighbor

탐색입니다.

4-neighbor 8-neighbor

Labeling 구현

1) 이미지에서 화소 값(255)이 있는 지점까지 탐색

2) 이미 Labeling된 화소인지 확인

3) 아니라면 stack에 현재 x, y 좌표를 저장

4) 8-neighbor 탐색하면서 픽셀화소가 255이면서 Labeling이 안된지역을

발견하면 stack에 모두 넣는다. (8-neighbor 모두 탐색한다.)

Labeling 구현

5) stack의 맨 위 좌표를 받아 4)번 과정을 반복한다.

6) 더이상 grouping할 행렬이 없을 때(stack이 비었을 때)까지 수행

7) 이미지의 다음 화소 값이 있는 곳까지 탐색하는 1) 과정부터 다시시작

결과

• 키넥트에서 얻은 컬러 이미지

결과

• 그레이 스케일 이미지를 이진영상으로 변환한 결과

결과

• 거리 기반으로 변환한 결과 (파란색 (먼 거리), 초록색(중간 거리), 붉은색 (가까운 거리))• 사람이 검은색으로 나오는 이유는 너무 가까이 위치해서 검은 색으로 나옴 (키넥트 거리 1m~ 가능)

결과

• 사람의 위치를 계산하여 레이블링 한 결과

Depth이미지 출력

Depth이미지 기반 레이블링 수행

Depth 이미지 기반 레이블링 코딩

점 노이즈 제거• • 크기를 기준으로• • 노이즈를 제거

크기를 기준으로 노이즈를 제거

관심영역을 획득(시청거리 계산)

관심영역을 획득(시청거리 계산)

• 사각형 내부 값=거리값-> 내부 값의 합=거리값

• 픽셀값= 거리값 내부 픽셀 값의 합의 평균 =사각형 거리

Depth 카메라 실거리값적용

모든 픽셀 거리측정

선택적 거리 측정

동영상 플레이어 & 키넥트 카메라 연동

연동 구현

적정 시청거리 보조기능 구현

동영상 플레이어 & 키넥트 카메라 연동

거리인식 -> 화면비율 조정

경고

*사람과 키넥트카메라 사이의 측정거리 기반*

• 적정거리를 기준으로 이에따라 화면비율 축소&확대

• 임계값 설정한 거리에 진입하면 경고창 실행

• 일정시간 자리비움시 절전

구현기능

Q & A

Thank You