I

工學碩士學位 請求論文

얼굴 이동 거리 및 회전의 실시간 측정

Real-time Measurement of Face Movement Distance

and Rotation

2 0 0 1 年 2 月

仁荷大學校 大學院

電子計算工學科

全 仁 子

II

工學碩士學位請求論文

얼굴 이동 거리 및 회전의 실시간 측정

Real-time Measurement of Face Movement Distance

and Rotation

2 0 0 1 年 2 月

指導敎授 李 弼 奎

이 論文을 碩士學位 論文으로 提出함

仁荷大學校 大學院

電子計算工學科

全 仁 子

III

이 論文을 全仁子의 碩士學位 論文으로 認定함

2001 年 2 月

主審 (印)

副審 (印)

委員 (印)

IV

요 약

정보통신과 그에 관련된 응용프로그램 분야는 정보화 사회의 도래에 따라

점점 더 발전하고 그 증가의 폭도 넓어지고 있다. 이와 더불어 사람이 가지는

고유한 정보인 얼굴을 이용한 얼굴인식 및 동작 인식, 얼굴의 표정 인식 기술들

을 통하여 사람-컴퓨터 상호작용(Human-Computer Interaction)의 수준을 향상시

키려는 연구가 활발히 진행되고 있다 . 얼굴 영상을 이용한 응용연구는 원거리

화상회의 시스템 , 눈동자 추적을 이용한 비행기 조종 시뮬레이션 시스템, 얼굴

인식을 통한 출입 통제 시스템 , 헤드 제스처 인식을 이용한 컴퓨터 제어 시스템

등 많은 분야에서 그 활용범위가 커지고 있다.

본 논문에서는 카메라로부터 입력 받은 얼굴로부터 구성요소정보를 이용하

여 얼굴의 회전, 방향 , 위치변화등에 대한 실시간 측정에 관하여 기술한다. 카메

라를 통해 움직이는 얼굴 영상을 입력 받아 얼굴 구성 요소 검출 모듈을 통하

여 눈의 위치 정보를 검출한다. 정면 얼굴 영상인 기준영상으로부터 양쪽 눈의

정확한 위치를 측정하고, 측정된 정보를 이용하여 얼굴의 회전, 방향 , 이동한 거

리를 측정하게 된다 . 실시간 영상에서 얼굴의 기울기 및 이동거리를 측정하게

되므로 단위시간당 측정된 이동거리와 기울기에 대한 오인식과 정인식에 대한

비율을 이용하여 측정에 대한 검증단계를 수행한다 . 실험결과 , 실시간으로 입력

된 영상으로부터 각 프레임에서 변화된 값을 측정하는데 만족할 만한 성능을

보였다.

V

ABSTRACT

The importance of information a super highway and related application area

have grown with the advent of information oriented society. The research to

improve HCI technique though face recognition, motion recognition and face

expression recognition has been progressed remarkably. This face image related

research can be applied to teleconference system, simulation system using in view

point of pilot, entrance control system and computer control system using head

gesture recognition, etc.

In this paper, the architecture of facial rotation, angle and pose distance

changes measurement system using facial component is described. Eyes location

information detect that using moving face images. Face image sequence were

digitized and inputted to facial component detection module. Detects eyes location

point of eyes are measured from the first image. By using those information, facial

rotation and pose distance changes are measured. Since facial rotation and pose

distance changes measured in real-time. Verification step was pass through using

ratio of correctly measured rotation, angle and pose distance changes in unit time.

VI

목 차

요 약 .............................................................................................................I

ABSTRACT ............................................................................................... V

1. 서론 ......................................................................................................... 1

2. 관련연구 .................................................................................................. 5

2.1 얼굴 영상 검출 및 그 활용 예..................................................................................... 5

2.2 얼굴 움직인 거리 및 방향에 관한 연구 및 그 활용 예 ..................................... 7

2.3 얼굴 움직인 거리 및 방향 측정의 개념 .................................................................10

3. 전처리 및 얼굴 영역 분할 .................................................................. 11

3.1 개요 .....................................................................................................................................11

3.2 전처리 및 영상 처리 기법 ...........................................................................................11

3.2.1 히스토그램 균일화(Histogram Equalization)....................................................... 11

3.2.2 에지 검출(Edge Detection)........................................................................................12

3.2.3 에지 연결(Edge Linking) ...........................................................................................13

3.3 얼굴 영역 분할 ................................................................................................................13

4. 얼굴의 움직인 거리 및 회전 측정 시스템 ......................................... 15

4.1 눈 검출 알고리즘 ............................................................................................................15

4.1.1 라벨링에 기반한 방법 ..............................................................................................15

4.1.2 원형 템플릿 모델에 기반한 눈 위치 검출 알고리즘..................................16

4.2 얼굴의 움직인 거리 및 회전 측정 기법 .................................................................17

4.2.1 얼굴 움직인 거리 및 회전방향 측정 .................................................................17

4.2.2 칼만 필터를 이용한 얼굴의 움직인 거리 예측 .............................................18

4.3 얼굴의 움직인 거리 측정 시스템 구성 모듈 ........................................................18

4.3.1 눈동자 영역 기반으로 얼굴의 초기 위치 측정 .............................................19

4.3.2 눈간 중심점 기반의 얼굴의 이동된 거리 측정 .............................................20

VII

4.3.3 눈동자 중심점 기반의 얼굴의 회전된 방향 및 각도 측정 .......................23

5. 구현 및 실험 ........................................................................................ 26

6. 결론 ....................................................................................................... 33

참고문헌

1

1. 서론

정보통신과 그에 관련된 응용프로그램 분야는 정보화 사회의 도래에 따라

점점 더 발전하고 그 증가의 폭도 넓어지고 있다. 기존의 컴퓨터에서는 사용자

로부터 정보를 받아 수행하는 수동적 사용자 인터페이스의 형태를 취하였다. 최

근에 들어서 사용자 인터페이스의 체계가 능동적인 사용자 인터페이스로 전환

되고 있다 . 능동적 사용자 인터페이스의 구현을 위해서 키보드 , 마우스등에 의

존하지 않고 사용자의 의사표현을 컴퓨터로의 입력으로 활용할 수 있는 형태가

연구되고 있다. 또한 컴퓨터로부터 사용자의 의사표현에 대한 반응 정보를 사용

자가 인식할 수 있도록 시각, 청각 등의 매체를 통하여 의사전달이 될 수 있도

록 지원하는 연구 개발이 진행되고 있다.

능동적인 사용자 인터페이스를 채택할 수 있는 연구가 진행되어 오고 있

으며, 이를 더불어 얼굴 및 동작 인식 , 얼굴 표정 인식 기술을 통한 사람-컴퓨터

상호작용(Human-Computer Interaction)의 수준을 향상시키려는 연구도 활발히 진

행되고 있다. 얼굴 영상 처리에 대한 응용 연구들은 원거리 화상회의 시스템

[13][14], 눈동자 추적을 이용한 비행기 조종 시야 조절 시스템 , 얼굴 인식을 통

한 출입 통제 시스템 , 헤드 제스처 인식을 이용한 컴퓨터 제어 시스템, 3D 캐릭

터 애니메이션[10][11][12], 가상 현실상에서의 사용자 움직임 이용[11], 얼굴 표

정 인식[2] 등 많은 분야에서 이루어 지고 있다.

초기 얼굴 영상에 관한 연구는 얼굴영상이 정확하게 추출되었다라는 가정

하에서 얼굴 정보 측정 및 얼굴 인식으로의 많은 연구가 이루어졌다 . 입력영상

이 항상 얼굴만을 포함한다고 가정하거나, 단일한 배경 , 단일한 색조만이 존재

한다고 가정하게 되므로 매우 간단한 방법을 사용하여 신뢰성 있게 수행할 수

있었다. 얼굴 영상 처리에서 얼굴 영역 검출과 얼굴 특징 요소 측정은 얼굴의

모양, 크기 , 색깔, 복잡한 배경, 편중된 조명, 변하는 머리스타일 , 화장 등의 이

유로 가장 기본적인 부분이면서도 가장 중요하고 어려운 부분으로 인식되어 지

고 있다.

최근 연구에서는 얼굴 영상 입력 시 발생하는 위 단락에서 열거한 문제점

들에 대하여 현실성이 있는 약간의 제한만을 둔 상태에서 입력되는 얼굴영상을

2

처리하는 환경으로 변하고 있다. 얼굴 영상 정보를 사용하는 방법들 중 얼굴의

특징 추출을 위하여 에지 검출, 밝기 정보를 이용한 iteration threshold, 템플릿 매

칭, training parameter 값 이용 등 연구가 진행되고 있으나 이들의 연구에서는 정

면에 가까운 이미지, 단일 배경에서 적용되는 제한점을 가지고 있다.

본 논문에서는 얼굴 구성 정보를 이용한 현재 얼굴의 이동된 거리 및 방향,

회전된 방향, 기울어진 방향 및 각도 측정에 관하여 기술한다. 논문에서 사용된

얼굴 구성 요소를 이용한 얼굴의 이동된 거리 및 방향, 회전된 방향 , 기울어진

각도 및 방향 측정에 관한 시스템 구성도가 그림 1 에서 보여진다. 시스템은 단

일 카메라를 통하여 입력 받은 얼굴 영상에 대하여 전처리 과정을 수행한 후 ,

얼굴 검출 모듈로 입력한다 . 얼굴 검출 모듈에서는 입력된 첫번째 영상으로부터

얼굴 후보 영역들을 검출하고, 검출된 후보 영역들로부터 정확한 얼굴의 위치를

측정한 뒤 얼굴의 구성 정보인 눈 , 입 등의 위치 값을 측정하게 된다. 얼굴의

구성 요소가 측정되면 각 요소의 위치 정보는 표준 값에 의하여 정규화 된다 .

이어서 입력되는 얼굴 영상으로부터 눈의 위치 정보를 검출한다. 이때 검출된

눈의 위치 정보와 첫번째 기준 영상에서 측정한 위치정보를 비교함으로써 이동

된 거리 정보가 측정된다. 입력된 얼굴의 좌우 눈의 위치를 이용하여 현재 얼굴

의 기울어진 각도 및 방향, 회전된 방향 등을 측정할 수 있으며 , 눈간 간격을

이용하여 첫 프레임에서의 눈간 간격과 위치 그리고 현재 프레임에서의 눈간

간격과 위치를 비교하여 얼굴의 이동 방향과 이동 거리를 측정한다.

이와 같은 측정법은 얼굴이 “rigid model”이기 때문에 가능하다. 실시간으로

입력되어지는 얼굴영상의 이동된 위치에 대한 거리측정에서의 검증은 매 초당

발생하는 전체 프레임들로부터 정확하게 검출이 수행되지않은 프레임들이 발생

하지 않는 경우의 수를 측정하여 검증을 수행한다. 실험결과 통계적으로 90 %

정도의 결과를 확인할 수 있었다 . 측정된 얼굴 구성 정보의 이동된 거리 값은

얼굴정보를 이용하는 얼굴의 이동 변위 추출 및 3D 캐릭터 애니메이션, 원격

화상 회의 등 다양한 분야에 적용될 수 있다 . 눈에 대한 측정을 좀더 세밀하게

수행한다면, 움직이는 시선의 측정에도 적용될 수 있다.

본 논문의 구성은 다음과 같다 . 2 장에서는 얼굴 영상 해석에 대한 기본 개

념과 얼굴 움직임 검출에 관한 관련 연구와 이에 대한 개념을 기술한다 . 3 장에

3

서는 본 논문에서 사용한 얼굴영상에 수행한 전처리와 그 다음 단계인 얼굴 영

역 검출에 관하여 기술하고, 4 장에서는 눈 영역 검출과 이를 이용한 얼굴의 이

동된 거리 및 방향, 회전된 방향, 기울어진 각도 및 방향 측정에 관하여 서술한

다. 5 장에서는 제한된 시스템의 실험 결과를, 마지막으로 6 장에서는 결론에 관

하여 기술한다.

4

얼 굴 구 성 요 소 검 출

얼 굴 구 성 요 소 검 출

얼 굴 구 성 요 소 정 규 화

양 눈 의 중 점 측 정

기 준 눈 영 역 추 출

양 눈 의 거 리 측 정

양 눈 의 중 점 측 정

눈 영 역 추 출

양 눈 의 거 리 측 정

얼 굴 영 상 입 력

얼 굴 의 회 전 및 이 동 거 리 및 방 향 측 정

현 재 눈 영 역 의 중 점 에 대 한 기 울 기 측 정

두 눈 간 의 거 리 비 교 및 방 향 비 교

두 눈 영 역 의 눈 의 중 점 비 교

실 시 간 영 상 입 력 에 의 한 측 정 검 증

그림 1. 얼굴구성정보를 이용한 얼굴의 이동 거리, 회전각도 및 방향 측정

5

2. 관련연구

초기의 얼굴 영상 인식에 대한 연구는 단일한 색조의 배경만이 존재한다는

가정된 상태에서 수행된 경우가 많았다 . 그러나 , 이러한 가정 요소는 실용화를

목표로 하는 얼굴 인식 및 추적 시스템에는 많은 저해 요소가 된다 . 얼굴 영상

처리에서 얼굴 영역 검출과 얼굴의 구성 정보 측정은 얼굴의 모양 , 크기, 색깔 ,

복잡한 배경, 편중된 조명, 변하는 머리스타일등의 이유로 가장 어려운 부분으

로 기술 되어 왔다. 이와 같은 환경에서 조명상태, 얼굴과 카메라의 거리, 얼

굴의 회전 각도, 카메라 시야 내에서의 얼굴의 위치 등에 대하여 시스템에 맞

게 조정하는 일은 매우 어렵다. 최근에는 얼굴영상 입력에 대하여 약간의 제한

만을 둔 상태에서 얼굴영상이 입력되는 형태의 환경으로 변화되고 있다.

2.1 얼굴 영상 검출 및 그 활용 예

Yang 와 Huang 는 원래 영상의 해상도를 줄여감에 따라 나타나는 눈, 코,

입 부분의 명암 특징을 이용하여 얼굴영역을 추출하는 시스템을 개발하였다.

이 시스템은 해상도가 변화된 영상을 모자이크 영상이라 하며, 모자이크 영상

을 이용한 템플릿 매칭 방법으로 얼굴 영역을 추출하였다[9]. Chow 와 Li 는 ID

카드용 사진류의 얼굴 영상을 대상으로 구성요소 추출 모듈별로 독립된 처리를

통해 모듈간의 의존도를 최소화 하는 시스템을 개발하였다. 이 시스템은 하나

의 모듈에서 발생한 오류의 확산을 방지할 수 있는 장점이 있다[7]. Stringa 는

동화상을 입력으로 눈의 위치를 결정하는 시스템을 발표하였다[21]. 이 시스템

은 배경에서 얼굴을 분리, 추출하기 위해 두 영상간의 차를 계산하여 움직이는

부분만을 검출하는 방법으로 얼굴의 경계를 추출한다. 얼굴 경계가 추출되면

이 영역 안에서 프로젝션 기법을 이용하여 각 얼굴 구성 요소를 추출하였다.

Huang 와 Chen 는 얼굴의 특징으로서 눈, 입, 입술의 특성을 정량화하는 연

구를 수행하였다. 이 연구에서는 가변 템플리트 모델과 활성화된 윤곽선 모델

등의 두 가지 모델을 사용하고 있다[4]. 김영수와 최형일은 얼굴영상에서 컬러

정보 및 흑판 제어 구조를 이용한 얼굴 구성 요소를 추출하는 방법을 제안하였

6

다[31]. 조영원, 조경은, 조형제는 칼라이미지에서 HIS 색깔 정보를 이용하여

얼굴 영역을 추출한 후 이를 그레이 이미지로 변환하여 지역적 임계치를 적용

하여 눈과 입에 대한 후보영역을 설정하고 이를 상관관계를 이용하여 추출하는

방법을 제안하였다[33]. 함상진등은 2 차원 칼라 동영상으로부터 3 차원 개인

얼굴 모델을 자동을 생성하는 방법을 제안하였다[35]. 얼굴의 피부색상에 근거

하여 얼굴의 영역을 추출하고, 개인의 얼굴 특성을 표현하는 얼굴 특징점 파라

메터에 기반을 둔 2 차원 얼굴 특징점을 1038 개의 삼각형 mesh 로 이루어진 3

차원 일반 얼굴 모델에 적용시켜 각각 개인의 얼굴 형태에 맞게 변형하였다.

Stephen McKenna 등은 실시간으로 입력되는 영상에서 움직이는 얼굴들을 인식하

는 방법을 소개한다[27].

얼굴의 구성정보를 이용하여 인식의 중심요소로 사용한다는 관점에서 얼굴

표정 인식에 관한 연구도 많이 이루어 지고 있다. 얼굴 표정은 감정을 나타내

고[24] 사회적 행동을 정상적으로 영위하도록 하며[18], 의사 교환의 신호 목

적으로 사용되기 때문이다[2]. 최현일은 이동형 가상 인터페이스를 위한 FACS

기반[25]의 표정 인식 시스템을 제안하였다[34]. 카메라를 통하여 무표정부터

목적 표정까지의 얼굴 영상 집합을 입력하고 얼굴 구성 요소의 이동을 이용하

여 특징 벡터 궤적을 산출한 뒤 이 값을 저주파 통과필터에 적용한 후, 미리

학습된 은닉 마르코프 모델(HMM)에서 생성된 확률과 베이스 정리를 통한 표정

의 통계학적 분석을 수행하였다.

초창기 연구들에서의 대부분이 입력영상으로 배경이 없는 영상을 대상으로

수행하거나, 실험영상으로 안경을 착용한 영상을 사용하는 경우는 거의 없으며,

조명에 많은 영향을 받기 때문에 특정한 전처리 과정을 수행하는 것으로 기술

되고 있다. 현재의 연구들에서는 복잡한 영상으로부터 입력된 얼굴을 포함한

이미지에서 얼굴의 특징 요소들을 추출하는 다양한 방법들을 사용하여 추출된

자료를 기반으로 하여 얼굴 표정인식, 얼굴의 위치 인식등을 수행하며, 이때의

가장 중요한 관건은 수행속도가 된다.

위 연구들에서는 얼굴 영역 및 얼굴 구성요소 검출, 얼굴인식에 사용된 응

용들에 대하여 논의하였다. 본 연구에서는 사무실 환경의 다양한 배경 안에서

7

얼굴영역을 추출하고 추출된 얼굴에서 주요 구성 요소인 눈의 쌍 정보를 이용

하여 얼굴의 회전된 방향과 각도, 이동된 거리 및 방향에 관하여 다루고자 한

다.

2.2 얼굴 움직인 거리 및 방향에 관한 연구 및 그 활용 예

얼굴 움직임에 대한 검출방법으로는 템플릿 모델(Template Model)과 에지

(Edge) 및 벨리(Valley) 정보를 이용하는 방식, 칼라 및 움직임(Motion)을 이

용하는 방식, 얼굴 구성요소 정보를 이용하는 방식등으로 나누어 볼 수 있다.

Liang Zhang 은 가변 템플릿 모델을 이용하여 자동화된 입 움직임을 측정하였다.

비디오에서 입력신호를 받아 가변 템플릿 모델(Deformable Template)기반으로

입의 움직임을 추정해낸다[22]. 이때 입의 모형은 입의 외곽선 정보를 이용하

여 입의 열림과 닫힘, 입의 두께를 묘사할 수 있다. 이 실험에서는 37%의 자동

화된 입 영역의 추출이 가능하다고 기술하고 있다. Markus Kampmann 은 템플릿

모델을 기반으로 사용자의 턱과 빰의 윤곽에 대하여 자동화된 추정을 수행한다

[23]. 이때 사용되는 가중치 함수는 인간의 빰, 턱의 윤곽과 템플릿이 가장 최

소가 되는 값으로 적합 하는 것을 찾는다. 이 방법은 동영상에 60% 정도의 성

공률을 가진다고 기술하고 있다.

Antonio Colmenarez 등은 얼굴을 4 개의 구역 안에서 9 개의 특징점 구역으

로 나누고 입력되는 영상으로부터 얼굴 구성요소에 대하여 추적 및 발견하였다

[3]. 분할된 영역은 부분적 주성분 분석을 통하여 학습되며 이러한 기반 위에

서 가우시안 분할을 이용하여 분할 모델링을 하였다. 얻어진 구성요소의 정보

를 조합하여 얼굴인식 및 표정인식을 수행하였다. Jochen Heinzman 은 템플릿

매칭 방법을 사용하여 얼굴 안에서의 geometric 한 정보를 이용하여 얼굴의 이

동을 측정하였으며, 이때 발생하는 정보를 이용하여 머리 제스쳐 인식(Head

Gesture Recognition)에 사용하였다[19]. 이때 비디오 프레임에서 입력된 영상

은 편향된 조명아래에서 보다 안정된 영상검출에 대한 처리를 위하여

grayscale 로 변화된다. 매 프레임마다 양 눈썹의 중점, 양 눈의 끝점과 눈의

중점, 입의 양 끝점에 대하여 9 개의 탬플릿을 이용한 매칭을 수행한 뒤, 필요

한 정보를 추출하였다. 아래 그림 2 에서와 같이 탬플릿의 이동 경로를 이용하

여 Yes, No, May be, Look Down, Look Left, Turn to Left 등의 머리 제스처 인

8

식으로의 활용을 수행하였다. 이 실험에서는 Yes, No 에 해당하는 인식은 95%,

회전에 관련된 인식은 70% 정도로 관측되었다고 한다.

그림 2. 사용된 특징 템플릿과 측정이미지, 제스처인식의 활용 예

Daniel Reisfeld 등은 얼굴에서의 사전지식과 generalized symmetry

transform 의 context 를 사용하여 얼굴에서 눈과 입을 검출하는 방법을 사용하

였다[5]. 이 방법에서 특징들은 얼굴의 이미지를 일반화 하는데 사용되는 밝기

(intensity)의 기울기 이미지로부터 추출되고, affine transformations 을 이용

하며, 여기에서 사용된 anchor 포인터들은 눈과 입의 위치들의 정보를 추출하

였다. Alexandros Eleftheriadis 등은 비디오 화상 회의를 위하여 낮은 bit-

rate coding system 을 이용하였다[1]. 비디오 순서대로 들어오는 영상으로부터

머리와 어깨의 이미지를 포함하는 사람들의 얼굴의 위치를 추적하였다. Shi

Hong Jeng 등은 geometrical face model 을 사용하여 얼굴의 특징 중에서 눈의

정보를 검출하는 방법을 사용하였다[26]. Gang Xu 등은 얼굴의 피부색 정보를

이용하여 움직이는 사람의 얼굴을 검출하는 방법을 사용하였다[6]. 이 방법에

서 그는 얼굴 안에서 표현되는 색들 중에서 가장 진한 색을 가지는 눈/눈썹의

위치 정보를 이용하여 얼굴의 움직임을 검출하였다. Shaogang Gong 등은 움직이

9

는 얼굴의 표현에 관하여 기술하고 있다[15][16][17][28]. 얼굴영상으로부터

획득된 변화량 등이 예측을 통하여 추적되는 동안 3D 머리 움직임 예측과 2D

얼굴과 유사하게 나타나는 문제점들을 해결하기 위한 것을 목표로 하는

perceptual fusion 에 대한 방법을 기술하고 있다. 3D 머리 움직임 예측에 관하

여 미리 구축한 머리 움직임에 관한 데이터베이스와 입력된 머리의 움직임에

대한 유사도를 비교하여 측정하고 있다. Shaogang Gong 의 논문들에서는 위와

같이 획득된 정보로부터 측정된 머리의 움직임을 시간적으로 측정하여 그 움직

임을 인식하는 내용에 관하여 기술하고 있다. 아래 그림 3 은 이 시스템에서 사

용된 단일 배경에서의 얼굴영역을 추적하기 위하여 만든 파란색의 단일 배경과

얼굴색과 구별되는 붉은색 상의를 입은 기본 설정 상태와 이를 이용한 머리 움

직임에 대하여 추적한 예이다.

그림 3. [30]에서 설정한 초기 얼굴 모델과 추적영상의 예

Lars-Peter Bala 등은 논문에서 순차적으로 입력되는 비디오 이미지에서 얼

굴과 얼굴의 특징 요소들을 검출하고 추적하는 알고리즘에 대하여 기술하고 있

다[20]. 배경정보로부터 얼굴색 정보를 이용하여 위치를 검출한 후, 얼굴 영역

안에서 눈을 검출한다. 얼굴과 눈은 정해진 시간 내에서 끊임없이 추적된다.

이상과 같이 기술한 내용들에서는 순차적으로 입력되는 비디오 영상을 이

용하여 얼굴부분과, 얼굴내의 구성요소에 대한 검출과 이를 기반으로 복잡한

알고리즘들, 단순한 배경을 바탕으로 하는 순차적인 얼굴영상을 이용하여 얼굴

을 추적하였다.

10

본 논문에서는 실시간으로 입력되는 얼굴을 포함한 영상으로부터 얼굴영역

을 추출하고, 검출된 얼굴 영역 내에서 눈의 영역을 검출한 후, 검출된 눈의

영역을 이용하여 기울기 및 거리 측정법등을 이용하여 눈의 이동경로 및 회전

된 방향 및 기울어진 각도, 방향을 측정하게 된다. 측정 방법들에서 계산요소

가 많지 않으므로, 얼굴에서의 눈의 정보를 이용한 얼굴의 기울기 정보를 실시

간으로 측정하는데 많은 시간이 소요하지 않게 된다. 일반적으로 본 논문에서

사용한 얼굴 영역을 찾는 알고리즘은 0.3 초 이내에 눈 영역을 추출하게 되므로,

사람의 이동 속도에 맞추어서 얼굴의 기울기, 회전, 이동된 거리 정보에 대하

여 검출하기에 충분하다.

2.3 얼굴 움직인 거리 및 방향 측정의 개념

일반적으로 얼굴인식은 얼굴 영상입력, 전처리, 얼굴 구성 요소 추출, 특

징 추출, 인식(또는 식별) 등의 단계로 나누어 볼 수 있다. 얼굴의 구성 요소

추출 단계에서 검출된 눈의 영역을 이용하여 얼굴의 이동 거리 및 방향에 대한

변화, 얼굴의 회전된 방향 및 기울기에 대한 변화에 관하여 기술한다. 얼굴 영

역 중에서 가장 분명한 특징을 갖는 눈의 영역을 이용하여 얼굴의 이동 거리

변화 및 회전 방향 및 기울어진 각도를 측정한다. 얼굴 영상에 대하여 에지 검

출을 수행하면 코, 입 등에 비하여 눈은 언제나 거의 일정하게 에지가 나타나

는 특성을 가지고 있다. 눈은 언제나 쌍으로 나타나므로 이와 같은 특성을 이

용하여 추출의 성공률을 높일 수 있다. 검출된 눈의 정보를 이용하여 본 연구

에서의 나타내고자 하는 얼굴의 이동거리 및 기울어진 각도에 대한 측정 및 검

증을 수행한다. 제안된 얼굴 움직임 추적에 관한 개략도가 아래 그림 4 와 같다.

얼굴의 기울어진 각도 및 이동거리, 회전 방향

측정

얼굴의 기울어진 각도 및 이동거리, 회전 방향

측정

그림 4. 시스템 개략도

11

3. 전처리 및 얼굴 영역 분할

3.1 개요

얼굴 구성요소의 검출은 추출된 얼굴 구성요소를 기반으로 얼굴 형태를 기

술할 수 있어야 한다. 얼굴의 움직임에 대한 정보를 획득하기 위하여 얼굴에 마

커를 부착한 후 얼굴 구성 요소에 대한 정보를 얻기도 하지만 , 이는 부착물에

대한 장비를 설치해야 하고 , 자연스러운 얼굴의 변화를 측정하지 못하는 단점이

있다.

본 논문은 자연스럽게 컴퓨터 앞에 앉아 있는 상태에서 단일 카메라에 의

해 입력되어지는 얼굴의 움직임을 분석한다. 분석을 위하여 히스토그램 균일화

(Histogram Equalization), 이진화(Binary), 에지 검출(Edge Detection), 에지 연결

(Edge Linking), 세그멘테이션(Segmentation), 라벨링(Labelling) 등의 전처리 과정을

수행한다 . 얼굴 영역 검출 알고리즘을 이용하여 얼굴 구성 요소의 후보 영역을

생성한 후 검출된 얼굴 후보 영역에서 눈의 위치 정보를 이용한 라벨링 기반

눈 위치 검출 알고리즘과 원형 템플릿 모델에 기반하여 눈의 정확한 위치를 검

출하게 된다.

3.2 전처리

전처리는 영상의 질을 계산하거나 영상을 특정한 응용 목적에 알맞도록 변

화시키는 처리 작업을 의미한다. 전처리 작업은 공간 영역적 방법과 주파수 영

역적 방법등으로 크게 두 가지로 나눌 수 있다. 그 중에서 공간 영역은 영상을

구성하는 화소들의 집합을 의미하고, 공간 영역적 전처리 방법은 이러한 화소

집합에 대한 조작을 의미한다.

3.2.1 히스토그램 균일화(Histogram Equalization)

모자이크를 이용하여 검출된 얼굴 후보 영역에 대하여 히스토그램 균일화

를 수행한다. 어떤 영상에 대한 히스토그램이 한 부분으로 편중되어 이미지의

12

특징이 뚜렷하게 나타나지 않는 경우 히스토그램의 분포를 균일하게 조정하기

위하여 사용되는 방법이다. 이 방법은 이미지 밝기의 대조(contrast)를 향상시켜

특징을 더욱 뚜렷하게 만든다. 얼굴영상에서 히스토그램 균일화를 하는 이유는

조명이 좋지 않은 경우 전체적으로 어두워 벨리 추출이 어렵기 때문이다.

히스토그램 균일화 과정을 거친 후, 이진화 과정을 수행한다. 정확한 얼굴

구성 요소 분할을 위하여 256 단계의 gray level image 를 사용하는 것 보다 에지

에너지나 벨리 에너지 등을 이용한 이진화 된 영상 이미지를 사용하는 것이 매

우 유리하다. 이는 이진화 된 이미지를 사용하므로 연산이 매우 간단하며 , 얼굴

에 대한 조명의 변화가 이진화된 영상에 의하여 어느 정도 제거될 수 있다는

장점을 가지고 있기 때문이다. 그러므로 얼굴영상의 구성요소 분할의 정확도를

높일 수 있다.

3.2.2 에지 검출(Edge Detection)

입력영상의 크기가 수백 × 수백 이고 , 256 단계의 명암값을 갖는 입력정보를

대상으로 여러 알고리즘을 적용하면 시간이 많이 걸리고, 정확성도 신뢰할 수가

없어진다 . 이러한 문제점을 해결하기 위해서 에지 검출을 많이 사용한다. 에지

검출에는 Sobel, Kirsh, Canny, Laplace, 가변 임계치 등의 연산자를 사용할 수 있

으며 이중 가장 일반적으로 사용되는 것은 소벨(Sobel) 마스크 이다. 아래 그림

5 는 시스템에서 사용하고 있는 에지 연산자를 이용한 실제 예를 보여준다.

(a) 원영상 (b) Sobel 연산자

그림 5. 에지 검출의 예

13

3.2.3 에지 연결(Edge Linking)

에지 상의 이미지 화소들을 검출한 후 검출된 에지가 뚜렷하지 않아 에지

화소들이 분산되어 정확히 윤곽을 알수 없을 경우, 이러한 화소들을 모아 에지

들의 집합으로 만들어야 한다 . 이 방법의 목적은 에지들을 뚜렷한 윤곽을 나타

내는 에지로 만드는 것이다. 에지 연결은 에지의 작은 부분을 잃어버릴 수 있고,

실제 존재하지 않는 에지가 존재하지 않는 곳의 노이즈로 인하여 에지가 나타

날 수 있는 단점도 가지고 있다.

3.3 얼굴 영역 분할

입력된 영상을 모자이크 이미지로 만들고 이 이미지를 확장된 quarter 로 만

들고 실험을 통해 얻어진 규칙에 적용하여 대략적으로 얼굴의 후보 영역을 추

출한다[32]. 이 작업은 모자이크 이미지를 구성하는 셀의 크기가 변화될 때마다

적용된다 . 얼굴 후보 영역이 추출되면 , 추출된 후보 영역에 대하여 셀 크기를

작게 하여 다시 모자이크 이미지를 만든다. 이 작업에서 얻어진 얼굴 영역에 셀

의 크기를 작게 한 모자이크 이미지인 octet 규칙을 적용하여 얼굴 영역에 대한

검출 과정을 수행한다. 이후 생성한 얼굴 후보 영역들을 신경망에 입력하여 검

증을 수행한다[29]. 그림 6 은 실시간으로 입력되는 얼굴영상을 나타낸다. 그림

7 은 이 과정에서 검증된 얼굴 후보 영역에 대한 표시이다 . 얼굴 영역 검출을

위하여 본 시스템에서는 얼굴에 영역 분할에 입력되는 영상에 대한 제약조건으

로 ‘얼굴이 25°이상 기울어지지 않는다. 편중된 조명상태에서는 수행을 보류한

다.’ 라는 조건을 설정하였다.

14

그림 6. 실시간으로 입력되는 원 영상

그림 7. 입력된 얼굴로부터의 검출된 얼굴 영역의 예

15

4. 얼굴의 움직인 거리 및 회전 측정 시스템

검출된 얼굴 후보 영역으로부터 측정 요소에 기준이 되는 눈의 위치를 추

출하게 된다 . 추출된 눈의 좌우의 중심을 기준으로 현재 얼굴의 기울어진 정도

및 각도와, 기준위치로부터 얼굴의 이동 거리에 대한 경로와 얼굴의 회전된 방

향에 대하여 실시간으로 측정하게 된다 . 이때 기준이 되는 눈의 위치는 처음으

로 입력되는 얼굴영상에서의 측정되는 좌우 눈의 위치를 기준으로 한다 . 눈을

검출하는 알고리즘은 라벨링에 기반한 방법과 원형 템플릿 모델에 기반한 방법

을 사용한다.

4.1 눈 검출 알고리즘

눈 검출 알고리즘은 라벨링에 기반한 방법과 원형 템플릿 모델에 기반한

방법 두 가지를 순차적으로 사용하였다. 정확하게 검출된 얼굴영역으로부터 라

벨링에 기반한 방법을 수행하여 눈의 영역을 추출하지 못하게 되면 이어서 원

형 템플릿 모델방법을 사용한다 . 이렇게 사용하는 이유는 원형 템플릿 모델에

기반한 방법이 원형 템플릿을 구성하는데 시간이 소요되기 때문이다.

4.1.1 라벨링에 기반한 방법

벨리 기반의 눈 위치 검출 알고리즘의 한계를 극복하기 위하여 라벨링에

기반한 눈 위치 검출 알고리즘을 수행한다. 얼굴 영역이 각기 크기가 다르게 추

출되므로 이 영역들에 대하여 중간 크기의 얼굴 후보 영역부터 차례로 알고리

즘을 적용시킨다 . 이렇게 하여 눈 후보 영역을 찾고 최종적으로 눈의 위치를 추

출하게 된다.

라벨링 적용 시 입력영상에서 고립된 영역의 개수가 많으면 시간이 많이

소비된다 . 그러므로 고립된 영역의 크기가 작은 영역은 잡음으로 간주하여 제거

해주는 알고리즘을 수행해야 한다 . 그림 8 은 찾아진 얼굴 영상으로부터 라벨링

과정을 수행한 후의 눈 후보 영역 추출의 예를 보여준다.

16

그림 8. 라벨링에 기반한 눈 후보 영역 추출의 예

4.1.2 원형 템플릿 모델에 기반한 눈 위치 검출 알고리즘

얼굴의 구성 요소를 검출하는 원형 템플릿 모델은 검출된 두 눈과 입을 이

용한 특징 기반 템플릿 모델이다. 원형 템플릿 모델은 전처리 과정을 수행한 후

얼굴 구성요소가 가지는 특징을 이용한다 . 모델을 적용과정은 얼굴의 눈 , 입 영

역에 해당하는 구성정보의 특징을 이용하여 원형 템플릿 모델을 사용하여 눈 ,

입의 후보 영역을 찾는다. 이 후보 영역을 중심으로 구성요소를 분할 한다 . 이

방법은 실시간에 얼굴의 구성 요소 분할을 할 수 있도록 눈, 입 등의 구성 요소

정보에 대하여 후보영역의 범위를 축소 할 수 있으므로 오류 발생의 가능성을

줄일 수 있다. 그림 9 는 원형 템플릿 기반한 눈 후보 영역 추출의 예를 보여

준다.

17

그림 9. 원형 템플릿에 기반한 눈 후보 영역 추출의 예

4.2 얼굴의 움직인 거리 및 회전 측정 기법

연속적인 움직임을 가지는 얼굴영상에서 얼굴의 후보 영역을 찾고 이로부

터 눈 위치를 탐지하고 이에 관한 정보를 이용하여 얼굴의 움직임에 대하여 측

정하게 된다 . 얼굴의 후보 영역에서 edge 등을 이용하여 눈동자의 영역을 검출

하며 측정된 눈동자 영역을 이용하여 눈 영역을 추출한다. 추출된 눈 영역에서

눈동자 영역을 탐지한 후 오류검출 및 확인 단계를 거쳐서 눈동자임을 확인한

다. 확인 검증은 첫번째 프레임이후 눈동자의 크기나 모양에 급격한 변화가 없

다는 전제가 필요하다 . 즉, 얼굴의 움직임이 표현된 각 프레임들 간의 특징점들

이 관성력으로 인하여 급격한 변화가 일어나지 않는다는 평탄화 성질과 이동

후 다른 특징점들에 비해 근거리에 위치한다는 근접성이 전제가 된다.

4.2.1 얼굴 움직인 거리 및 회전방향 측정

일반적으로 사람들은 자연스러운 자세로 컴퓨터 앞에 앉아서 정면의 카메

라를 응시하게 되면 대부분의 경우 정면 얼굴 영상이 카메라로 입력되게 된다 .

얼굴영상은 아래 그림 10 과 같이 크게 3 가지 방향으로 회전이 가능하다. 정면

얼굴영상을 기준으로 X 축으로의 변화는 좌우로의 이동으로, Y 축으로의 변화

는 위아래로의 이동으로, Z 축으로의 변화는 얼굴의 앞뒤로의 거리적인 측면에

서의 이동으로 정의된다 . 얼굴의 기울기는 좌우 눈의 좌표의 Y 축을 비교하여

정면 얼굴의 기울어짐을 측정하고, 회전된 얼굴은 두 눈의 중점을 검출한 뒤 양

눈의 X 좌표의 근접성을 측정하여 근접한 위치의 방향을 측정하게 된다.

18

기준 영상의 얼굴영역으로부터 추출된 눈의 영역을 이용하여 양쪽 눈의 좌

표를 검출하여, 왼쪽과 오른쪽 눈동자의 중점을 측정한다. 측정된 중점을 이용

하여 다음 프레임에서 측정된 중점의 측정치와 비교하여 얼굴의 움직인 거리를

측정할 수 있게 된다. 아래 그림 10 에서와 같이 컴퓨터 앞에 앉은 사람이 컴퓨

터 위에 부착된 카메라를 응시하는 기준 위치에서부터 시작하여 수행자의 움직

인 거리와 회전된 각도 및 방향을 추적한다.

Y

Z

X

그림 10. 미간 위치에서의 X,Y,Z 축의 변화와 카메라와의 관계

4.2.2 칼만 필터를 이용한 얼굴의 움직인 거리 예측

칼만 필터[8]는 이전에 처리되었던 데이터들을 저장해야 할 필요가 없으며,

새로운 측정값들이 얻어질 경우 다시 처리하며, 이산적으로 측정된 값들도 처리

할 수 있는 알고리즘이다. 칼만 필터는 측정 단계와 예측단계로 나뉘어질 수 있

다. 측정단계에서는 새로운 영상 프레임에서 물체의 위치를 추출함으로써 상태

벡터에 대하여 새롭게 이동된 거리 정보를 제공한다. 예측 단계에서는 현재 상

태 벡터를 예측하고 , 다음 단계에서 보다 향상된 추정값을 얻기 위한 공분산 행

렬을 피드백시킨다.

4.3 얼굴의 움직인 거리 측정 시스템 구성 모듈

앞 절에서 얼굴의 영역 정보를 이용하여 얼굴 후보 영역에서 얼굴의 구성

요소인 눈, 입 등의 움직인 거리를 측정하였다. 이 절에서는 측정된 눈의 위치

19

를 이용하여 얼굴의 움직임에 대한 정보를 추출하여 표시하는 방법에 대하여

기술한다 . 각 프레임별로 획득된 얼굴 구성 요소 정보는 보다 다양한 응용이 가

능하다.

4.3.1 눈동자 영역 기반으로 얼굴의 초기 위치 측정

개인별로 차이가 있는 얼굴의 움직인 거리는 눈 영역의 측정에 의하여 생

성된다. 본 논문에서는 실험 영상으로부터 획득된 열굴 구성 요소의 값을 기준

으로 입력 영상의 얼굴 구성 요소를 정량화 한다 . 그림 11 에서 구성된 것과 같

이 실제 이미지로부터 측정된 눈의 위치는 이미지 평면에서 세 점으로 매핑이

된다. 이미지 평면에 프로젝션된 기준위치의 세 점을 이용하여 새로 입력되는

두 눈에서의 움직인 거리에 대한 측정을 이용하여, 현재상태에서의 얼굴의 위치

가 이동된 거리에 대하여 측정이 이루어진다. 움직인 거리에 대한 측정으로 사

용되는 이미지의 크기는 240320× 의 크기를 사용하며 얼굴의 움직인 거리에

대한 정량화의 기준은 이미지의 크기를 기준으로 하여 그 위치와 거리를 측정

한다. 얼굴의 앞 뒤 거리의 움직임에 대한 측정은 앞뒤로의 거리 기준을 100 으

로 하고, 중간 위치를 50 으로 설정한 후, 이 값을 기준으로 하여 앞뒤방향으로

의 거리 측정을 수행한다.

오른쪽눈의중점

양눈의중점

왼쪽눈의중점

이미지 평면 실제 이미지

그림 11. 실제 이미지와 이미지 평면상에서의 눈의 위치 비교

20

4.3.2 눈간 중심점 기반의 얼굴의 이동된 거리 측정

초기 프레임에서 측정된 기준 위치는 현재 사용하는 이미지 크기인 320 ×

240 을 이용하여 상대적인 위치를 설정한다. 첫번째 프레임 )(t 을 기준위치로 설

정하여 상하좌우앞뒤에 해당하는 움직인 거리에 대한 측정이 아래 그림 12 와

같이 이루어진다 . 그림 12 와 같이 눈간의 중심이 되는 특징점의 이동 거리에

대한 실시간 적인 측정으로 얼굴의 움직인 거리에 대한 궤적이 산출된다.

Y

X

Z

그림 12. 기준영상과 이동된 방향으로 변화된 실시간 capture 영상

얼굴 입력영상에 대한 측정은 다음과 같은 순서로 이루어지며 , 측정의 시작

은 일반 CCD 카메라로부터 입력이 시작되는 시점부터 이며, 측정의 끝은 사용

자가 임의로 수행을 끝내는 시점이 된다 . 아래의 알고리즘 1 과 같이 얼굴의 이

동된 거리 및 방향에 대한 측정을 수행한다.

21

[알고리즘 1] 얼굴의 이동거리 및 방향 측정 가정 : 사무실환경에서 책상 위에 놓여있는 컴퓨터 앞에

사용자가 앉아 카메라를 응시한다. 입력 : (기준 프레임의 시간 : t )

왼쪽 눈의 중심위치 : ),( tt lylx

오른쪽 눈의 중심위치 : ),( tt ryrx

출력 : 얼굴의 움직인 거리 및 방향

방법 :

가) 기준 프레임 t 에서 왼쪽 눈의 중심위치와 오른쪽 눈의

중심위치를 이용하여 두 눈의 중심위치 ),( tt mymx 를 구

한다.

나) 두 눈의 중심위치를 연결하는 선을 생성한 후, 이를 끝점

으로 선을 생성한다.

다) 이 선을 양분하는 점을 양눈의 중점설정하고, 두 눈 사이

의 거리( ),(tan yxceEyeDis t )를 구한다.

),(tan yxceEyeDis t = 22 )()( tttt lyrylxrx −+−

라) next 프레임 즉, ( 1+t )프레임에서 두 눈의 중심위치를 기

준으로 선을 생성하고 양 눈 사이의 거리

),(tan 1 yxceEyeDis t+ 와 이의 중점 ),( 11 ++ tt mymx 을 구

한다.

마) 기준위치 ( t )시간에서의 중점의 위치와 ( 1+t )프레임에서

의 중점의 위치를 비교

• 상하이동 측정 :

중심위치의 y 축으로의 움직인 거리 측정

• 좌우이동 측정 :

중심위치의 x 축으로의 움직인 거리, 눈간 간격의 초

기 값과 비교된 일정 수준(±5픽셀) 유지 측정

22

• 앞뒤로 이동된 거리 측정 :

중심위치의 ),( 11 ++ tt mymx 의 초기 중점과 유사한

위치((±)5 픽셀 정도)의 이동 변위를 유지하며, 눈간

거리의 변화를 측정,

),(tan 1 yxceEyeDis t+ > ),(tan yxceEyeDis t : 앞으로 이동

),(tan 1 yxceEyeDis t+ < ),(tan yxceEyeDis t : 뒤로의 이동

바) 위 (라),(마)의 수행을 마지막 프레임 즉, 사용자가 수행을

중단할 때 까지 반복한다.

이때 측정되는 기준위치는 t 시간에 입력된 정면 얼굴영상 영상이며 , 움직

임에 대한 비교 측정은 기준영상에 대한 이동 변위가 된다. 아래 그림 12 은 얼

굴의 이동 방향에 대한 측정 영상이다.

그림 13. 입력영상과 이동 방향 측정 영상

23

4.3.3 눈동자 중심점 기반의 얼굴의 회전된 방향 및 각도 측정

일반적으로 사람들이 자연스러운 자세로 앉아 카메라를 응시하면 대부분의

경우 얼굴이 정면으로 바르게 입력된다. 그러나 , 사람들의 개인적인 특성상의

이유로 움직임이 있는 얼굴은 회전 변형이 이루어진다 . 얼굴의 움직임을 측정하

기 위하여 논문에서는 입력영상으로부터 획득한 얼굴에서 상하좌우앞뒤 방향으

로 zyx ,, 축을 이용한다. 얼굴의 회전 변형은 일반적으로 아주 미세하게 나타

난다. 얼굴의 회전 변형, 즉 얼굴의 기울기는 사람이 카메라를 주시하지않고 왼

쪽이나 오른쪽을 응시하는 경우이며, 이때 입력영상에서는 전체 얼굴영역이 입

력되지 않으므로 정확하게 얼굴에서 눈의 영역을 측정하기가 어렵다.

측정된 얼굴영역에서 얼굴의 회전 변화에 대한 방향 및 각도의 측정은 입

력된 얼굴영상의 오른쪽 눈과 왼쪽 눈의 위치의 차이라고 정의한다. 얼굴영상의

회전된 각도와 방향에 대한 측정은 두 눈의 중점을 이용하여 현재 위치에서의

얼굴의 회전된 각도를 측정한다. 아래 알고리즘 2 와 같은 순서로 얼굴의 회전

된 각도와 회전된 방향, 얼굴의 기울기를 측정한다.

[알고리즘 2] 얼굴의 기울기와 회전된 방향 및 각도 측정

가정 : 알고리즘 1 에서 측정한 기준프레임( t )시간에서의

왼쪽, 오른쪽 눈의 중심위치와 두 눈의 중점위치를

이용한다.

입력 : 기준 프레임의 시간 : t

왼쪽 눈의 중심위치 : ),( tt lylx

오른쪽 눈의 중심위치 : ),( tt ryrx

두 눈사이의 중점 위치 : ),( tt mymx

출력 : 얼굴의 기울어진 방향 및 각도 방법 :

가) 두 눈의 중심 위치를 끝점으로 하여 두 눈사이의 각

도θ를 측정한다.

24

)14.3/180*)(

)(tan(

−−

=rylxryly

afabsθ

if 0>θ 얼굴이 오른쪽으로 기울어진 상태

else if 0<θ 얼굴이 오른쪽으로 기울어진 상태

else 0=θ 얼굴이 수평으로 유지된 상태

나) 얼굴의 회전된 상태 비교 측정된 눈의 중점과 좌 우 두눈의 x 축의 위치 비교를

수행하여 측정 한다.

If ( )( tmx - )( tlx )>( )( tmx - )( trx )

오른쪽으로 회전된 상태

Else If ( )( tmx - )( tlx )<( )( tmx - )( trx )

왼쪽으로 회전된 상태 else 직전상태 유지

다) (가),(나)의 수행을 마지막 프레임 즉, 사용자가 카메라

의 사용을 중지할 때 까지 반복한다.

아래 그림 14 에서는 얼굴의 회전된 방향 및 각도 측정과 기울어짐을 측정

한 예를 기준 이미지와 함께 보여준다. 이와 같이 얼굴의 회전, 기울어짐에 대

한 측정과 얼굴의 이동된 거리 측정에 대한 수행은 병렬적으로 이루어진다.

25

그림 14. 얼굴의 회전된 방향 및 기울어짐 측정 예

26

5. 구현 및 실험

본 논문에서의 실험은 실시간으로 입력되는 얼굴의 상하좌우앞뒤로 이동

된 거리 와 방향, 얼굴의 기울기 변화 및 회전된 방향에 대한 측정을 수행하였

다. 실험에서의 영상 획득 시 조명이나 위치에 제한을 두지않는, 다양한 환경

에서 영상을 입력 받을 수 있도록 실험을 수행하였으며, 자연스러운 연구실 환

경에서 특별한 조명 장치를 사용하지 않았다.

실험에서 사용된 장비는 Pentium 300 Mhz CPU 를 탑재한 IBM 호환 PC 의

window 2000 상에서 이루어 졌으며, Visual C++ 6.0 을 사용하여 실험하였고,

사용된 영상 입력 장치로는 LG USB camera II capture driver 를 사용하였다.

일반적으로 영상의 입력될 때 유입되는 편중된 조명에 대한 상쇄와, 얼굴 그림

자에 대하여 영향을 덜 받는 GRAY 영상을 사용한다. 실험에 사용되는 얼굴영상

의 크기는 240320× 의 YUV 칼라이미지로 입력되는 영상을 256 단계의 밝기 값

을 가지는 GRAY 영상으로 변환하여 사용하였으며 초당 10 frames 로 입력된다.

아래 그림 15 에서와 같이 변환이 이루어진다. 실험에서는 On-line 으로 입력되

는 얼굴을 포함한 영상을 중점적으로 이용하여 실험을 수행하였으며 실험에 참

여한 인원은 20 명이다. 전체 수행 인원 중 50%가 안경을 쓴 얼굴이었으며, 이

중 안경테가 진하고 아주 두꺼운 경우에는 실험에서 제외한다. 이와 같은 이유

는 안경테로 인하여 눈 영역의 크기를 오인식하는 경우가 발생하기 때문이다.

그림 15. 입력된 YUV 칼라 영상과 측정에 사용된 GRAY 영상

27

실시간으로 입력되는 얼굴영상에 대하여 상하좌우앞뒤로 이동된 거리와 방

향, 얼굴의 회전된 방향과 기울기 측정에 대하여 실험하였다 . 이때 입력되는 카

메라에서의 frames 수는 1 초당 2 frames 이며, 매 입력 frames 에서 눈에 해당하

는 영역에 대하여 눈의 중심점과 눈 사이 거리의 중심점을 표현한다 . 아래 그림

16 와 같이 기준 얼굴과 비교된 얼굴들의 상하좌우앞뒤로의 이동거리와 이동된

방향에 대한 측정값을 표현한다 . 각 측정값에서의 거리변화는 현재 프레임에서

사용한 가로와 세로의 크기는 240320× 크기의 입력 화면 크기를 기준으로 하

여 사용되었다.

_____현재프레임 counter 수는 --> 20 양눈의 좌표 of current frame ... left : 177,128 right : 222,130 눈간 중점의 위치 : x=199, y=129 **** 초기위치를 기준으로 이동된 거리 측정**** 오른쪽으로 10 만큼 이동 윗방향으로 10 만큼 이동 초기 기준 위치보다 앞 쪽에 얼굴이 위치함 초기 눈간격 = 7.14 , current eye interval = 7.28 _____현재프레임 counter 수는 --> 58 양눈의 좌표 of current frame ... left : 175,127 right : 220,125 눈간 중점의 위치 : x=197, y=126 **** 초기위치를 기준으로 이동된 거리 측정**** 오른쪽으로 8 만큼 이동 윗방향으로 13 만큼 이동 초기 기준 위치보다 뒤 쪽에 얼굴이 있음 초기 눈간격 = 7.21, current eye interval = 7.00

그림 16. 얼굴의 이동된 거리 및 방향에 대한 측정값 표현

그림 17 은 얼굴의 기울어진 변화에 대하여 나타나는 각 측정값들에 대한

예이다. 얼굴의 상하좌우앞뒤로의 이동거리 및 방향변화는 얼굴의 기준 frame

을 이용하지만, 얼굴의 기울기에 대한 표현은 현재 입력되어지는 얼굴로부터 수

행된다. 이때 발생하는 얼굴의 기울기는 대략 0° ∼ 25°까지 다양한 변화가 나타

나지만, 일반적으로 사람들이 자연스러운 자세로 컴퓨터 앞에 앉아 작업을 수행

28

할 때 얼굴의 기울어짐 정도는 대략 0° ∼ 10°정도였다.

InitEyeInterval__eye center location ... left : 119,112 right : 167,119

양눈의 좌표 of current frame ... left : 85,101 right : 126,104 얼굴이 4.192374 만큼 오른쪽으로 기울어져 있음

양눈의 좌표 of current frame ... left : 123,125 right : 160,137 얼굴이 18.582415 만큼 오른쪽으로 기울어져 있음 양눈의 좌표 of current frame ... left : 174,133 right : 206,126 얼굴이 12.533452 만큼 왼쪽으로 기울어져 있음

그림 17. 얼굴의 기울기에 대한 변화 및 측정값 표현

입력 영상 실험에서 나타나는 실패는 주로 눈과 눈썹을 혼동하여 눈썹을

눈의 영역으로 추출하는 경우가 나타났다. 실험에 대한 평가를 위하여 실시간으

로 캡쳐된 5 분, 10 분의 영상을 이용하여 얼굴의 이동거리 , 기울어진 각도, 회전

방향에 대하여 측정하였다. 아래 표 1 은 실시간으로 입력되는 영상에 대한 실

험 결과이다. 안경을 쓴 경우와 안경을 쓰지 않은 경우 얼굴 구성요소 추출 시

명확한 값을 나타내기 때문에 성공률이 평균적으로 5.3%정도 더 높았으며, 남자

에 비하여 여자들의 성공률은 얼굴 화장 등으로 인하여 얼굴구성요소의 윤곽이

뚜렷하기 때문에 4.5%정도 높은 성공률을 나타냈다.

표 1. 얼굴 측정 결과

(단위 : 2 프레임/1 초)

300 초(5 분) 600 초(10 분) 시간별

유형별 성공 실패 성공 실패

여성(안경 x) 90.7% 9.3% 89.6% 10.4%

여성(안경 o) 85.4% 14.6% 84.4% 15.6%

29

남성(안경 x) 88.1% 11.9% 87.5% 12.5%

남성(안경 o) 84.6% 15.4% 83.7% 12.3%

이 경우 잘못 측정된 원인은 전처리 과정에서 얼굴영역에 대하여 명확한

검출이 이루어지지 않은 경우이다. 아래 그림 18 은 측정된 두 눈의 중심점의

위치에 대한 움직인 거리의 궤적에 대한 측정이다 . 이를 이용하여 x 축으로 이

동거리의 변화가 클 경우에는 부정의 표시를 , y 축으로의 이동된 거리의 변화가

클 경우에는 긍정의 의사 표시를 하는 헤드 제스쳐의 인식에 관한 응용으로도

이용될 수 있다. 그림 18 에서의 상태는 얼굴을 좌우로 움직일 때의 눈간 중점

의 위치이다. 그림 19 은 측정된 얼굴의 상하 움직임에 대한 양눈의 중점 위치

의 x, y 축으로의 움직임인 거리에 대한 궤적 표시이다. 그림에서 보는 것과 같

이 측정 당시 위치에서 양쪽 눈의 x 축의 변화는 거의 평이하나 , 두 눈의 y 축

에서 상하로의 값의 변화가 나타남을 알 수 있다. 그림 20 에서는 얼굴을 좌우

로 움직일 경우를 표시하는 두 눈 사이 중점 (x, y)의 위치변화에 대한 궤적 표

시이다. 그림 21 에서는 얼굴을 좌우로 움직일 때 나타나는 양 눈의 (x, y) 위치

이다. 보는 것과 같이 얼굴이 좌우로 흔들리는 상태이므로 x 축으로 변화가 큰

것을 알 수 있다. 이와 같이 측정된 눈의 위치를 이용하여 얼굴의 움직임을 측

정할 수 있다 . 그림 22 은 안경의 유무에 다른 남녀의 비에 대하여 얼굴의 움직

인 거리 측정에 대하여 정인식과 오인식의 비를 나타낸다. 정인식과 오인식으로

분류를 하게 되는 까닭은 얼굴 영역 검출 시 정확한 얼굴영역에 대하여 검출할

수 없게 되므로 정확한 눈 위치가 검출되지 않았기 때문인 것으로 증명되었다.

30

0

10

20

30

40

50

60

701 5 9 13 17 21 25 29 33 37 41 45 49 53 57

frames

positio

n

눈의중점

그림 18. 측정된 눈의 중점위치에 대한 측정

0

50

100

150

200

250

1 5 9 13 17 21 25 29 33 37 41 45 49 53 57

frames

posi

tion 왼쪽눈x

왼쪽눈y

오른쪽눈x

오른쪽눈y

그림 19. 고개를 상하로 움직일때의 눈의 움직인 거리 측정

31

46

48

50

52

54

56

58

60

62

1 5 9

13 17 21 25 29 33 37 41 45 49 53 57 61 65

frames

posi

tion

그림 20. 고개를 좌우로 움직일 경우의 눈간 중심점

의 이동 거리에 대한 궤적 측정

0

50

100

150

200

250

1 6 11 16 21 26 31 36 41 46 51 56 61 66

frames

posi

tion 왼쪽눈x

왼쪽눈y

오른쪽눈x

오른쪽눈y

그림 21. 고개를 좌우로 움직일때의 두 눈의 위치 측정

32

0.00%

10.00%

20.00%

30.00%

40.00%

50.00%

60.00%

70.00%

80.00%

90.00%

100.00%

여안경 x 여안경 o 남안경 x 남안경 o

정

오

그림 22. 눈의 움직인 거리 측정에 대한 정오비율

33

6. 결론

본 논문에서는 실시간으로 입력되는 얼굴의 움직인 거리와 방향, 회전된 방

향과 얼굴의 기울어진 각도에 대한 측정을 중심으로 서술하였다. 카메라를 통해

입력된 얼굴을 포함한 영상은 얼굴 구성 요소 검출 모듈로 입력되고 , 눈의 위치

정보를 검출한다. 눈의 위치 정보는 표준 값에 의하여 정규화 된다 . 처음으로

입력되는 얼굴을 기준 프레임으로 설정하고 눈의 중점의 위치와 , 두 눈 사이의

거리, 눈 사이의 기울기 등을 측정한다. 다음 프레임에서 눈의 중점의 위치와

두 눈 사이의 거리, 기울기 등을 측정하여 기준프레임과의 비교를 통하여 사용

자의 움직임에 대한 관측 값 들이 생성한다. 실험에 대한 검증은 실시간 입력되

는 영상을 사용하므로 , 임의의 사용시간을 기준으로 하여 입력되는 프레임당의

잘못 측정된 프레임의 형태로 검증을 수행하였다. 실험결과 평균 정확한 측정은

85 % 이었다 . 사용자의 갑작스러운 움직임과 두 눈이 다 입력되지 않은 상태에

서의 측정등이 시스템의 안정성을 저하시키는 원인이었다. 제안된 시스템은 향

후 이동형 가상 인터페이스에 적용이 가능하며, 그 외에도 화상 회의 , 3D 캐릭

터 에니메이션, 가상 현실상에서의 아바타 제어 등 다양한 분아에 적용될 수 있

다.

향후 연구 방향은 , 첫 번째로 좀더 안정적인 템플릿 방법을 사용하여 움직

인 거리변화와 얼굴의 회전에 대하여 측정을 수행하고자 한다. 현재 정확한 측

정과 수행속도를 단축하기 위하여 눈의 특징 값을 이용하여 이동거리를 측정한

다. 향후 , 눈, 코, 입 등을 연결하여 두 눈 중 하나만 보여지는 영상에서도 얼굴

의 움직인 거리와 방향에 대한 측정이 가능하도록 수행할 것이다 . 두 번째는 인

식률의 개선이다. 영상 입력 시 수행되는 전처리 과정에서 좀더 발전된 이진화

방법을 수행한다면, 얼굴영역의 검출 시 편중되게 입력되는 조명으로 인하여 미

측정되는 얼굴 영역 후보의 검출을 정확하게 할 수 있을 것이며, 이로 인하여

얼굴의 구성 요소인 눈의 위치에 대하여 정확한 검출이 이루어 질 수 있을 것

이다. 세 번째는 현재 얼굴의 기울어짐이 25°이상이면 얼굴을 검출할 수 없게

되므로 기울어진 눈에 대하여 정확한 위치를 측정할 수 없었다. 이에 관하여 기

34

울어진 얼굴영상에 대하여 적용할 수 있는 가변 기울기 템플릿을 작성하여 25°

이상 되는 얼굴의 기울어진 각도에 대하여 적용하여 볼 예정이다.

35

참고문헌

[1] Alexandros Eleftheriadis and Arnaud Jacquin, “Automatic face location

detection and tracking for model-assisted coding of video teleconferencing

sequences at low bit-rates”, Signal Processing: Image Communication, Vol. 7,

pp. 231-248, 1995

[2] A. J. Fridlund Human Facial Expression,: An Evolutionary view, Academic

Press, CA, 1994

[3] Antonio Colmenarez and Brendan Frey and Thomas S Huang, “A probability

framework for embedded face and facial expression recognition”, IEEE,

pp.592-597, 1999

[4] C. L. Huang and C. W. Chen, “Human facial feature detection for face

interpretation and rec ognition”, Proceedings of the 11th IAPR International

Conference on Pattern Recognition, Vol. II, pp.204-207, 1992

[5] Daniel Reisfeld and Yehezkel Yeshurun, “Preprocessing of face images:

detection of features and pose normalization”, Computer Vision and Image

Understanding, Vol. 71, NO. 3, pp.412-430, 1998

[6] Gang Xu and Takeo Sugimoto,”Rits Eye: A Software-Based system for realtime

face detection and tracking using Pan-Tilt-Zoom controllable camera”, IEEE,

pp.1194-1197, 1998

[7] G. Chow and X. Li, “Towards a system for automatic facial feature detection”,

Pattern Recognition, Vol. 26, No. 12, pp.1739-1755, 1993

[8] G. Welch and G. Bishop, “An Introduction to the Kalman Filter”,

http://www.cs.unc.edu/~welch/scaat.html

[9] G. Yang and T. S. Huang, “Human face detection in a complex background”,

36

Pattern Recognition, vol. 27, No. 1, pp.53-63, 1994

[10] http://research.microsoft.com/graphics/hfap/

[11] http://vr.kaist.ac.kr/

[12] http://vismod.www.media.mit.edu/vismod/demos/dyna/

[13] http://www.cuseeme.co.kr, http://www.yjvt.co.kr/video.htm

[14] http://www.spacesite.org/

[15] Jamie Sherrah and Shaogang Gong,”Fusion of 2D face alignment and 3D head

pose estimation for robust and real-time performance”, Proceedings of IEEE

International Workshop on Recognition, Analysis and Tracking of Faces and

Gestures in Real-time System, 1999

[16] Jamie Sherrah and Shaogang Gong,”Fusion of perceptual cues using

covariance estimation”, Proceedings of BMVC’99, 1999

[17] Jamie Sherrah and Shaogang Gong,”Exploiting context in gesture

recognition”, Proceedings of CONTEXT’99, 1999

[18] J. F. Cohn and M. Elmore, “Effect of Contingent Changes in Mothers’

Affective Expression on the Organization of Behavior in 3-Month-Old Infants”,

Infant Behavior and Development, Vol. 11, pp. 493-505, 1988

[19] Jochen Heinzmann, “Real-time human face tracking and gesture recognition”,

University of Wollongong, Department of Computer Science, Master’s Thesis,

1996

[20] Lars-Peter Bala and Kay Talmi and Jin Liu,”Automatic detection and tracking

of faces and facial features in video”, Picture Coding Symposium 1997, 1997

[21] L. stringa, “Eyes detection for face recognition”, Applied Artificial

Intelligence, Vol. 7, No. 4, pp.365-382, 1993

[22] Liang Zhang, “Estimation of the mouth feature using deformable template”,

IEEE, pp.328-331, 1997

37

[23] Markus Kampmann, “Estimation of the chin and cheek contours for precise

face model adaption”, IEEE, pp.300-303, 1997

[24] P. Ekman, “Facial Expression and Emotion”, American Psychologist, Vol. 48,

pp.384-392, 1993

[25] P. Ekman and W. V. Friesen, “Measuring facial movement with facial action

coding system”, Emotion in Human Face(P. Ekman, Ed.), Cambridge Univ.

Press, Cambridge, 1982

[26] Shi Hong Jeng and Hong Yuan Mark Liao and Yao Tsorng Liu and Ming

Yang Chern, “An efficient approach for facial feature detection using

geometrical face model”, Proceedings of ICPR ’96, pp.426-430, 1996

[27] Stephen McKenna and Shaogang Gong and Yogesh Raja, “Face recognition in

dynamic scenes”, British Machine Vision conference, 1997

[28] S. Gong and A.Psarrou and I.Katsoulis and P.Palavouzis,”Tracking and

recognition of face sequences”, European Workshop on Combined Real and

Synthetic Image Processing for Broadcast and Video Production, 1994

[29] 김 수환 and 최 정일 and 이 필규 and 기 석철 and 최 정필 and 김 상룡 ,

“다단계 신경망에 기반한 얼굴 영역 검출”, ’97 추계 학술발표대회 , 한국 정

보처리학회, 제 4 권 제 2 호, pp. 565-570, 1997

[30] 김 상헌 and 김 수환 and 김 동훈 and 이 필규, “음성과 영상정보를 이용

한 화자 확인”, 제 12 회 산학연 멀티미디어 산업기술 학술대회, pp. 137-140,

1998

[31] 김 영수 and 최 형일, “컬러 영상에서 얼굴 요소 검출을 위한 구조”, 정보

과학회 가을 학술 발표논문집, 제 22 권, 제 2 호, pp.379-382, 1995

[32] 바이오메트릭 정보에 기반한 정보통신망 사용자 인증 시스템 개발, 산.학 .

연 공동기술개발사업 최종연구보고서, 1998

[33] 조 영원 and 조 경은 and 조 형제 ,”위치 변화가 다양한 얼굴에서의 특징

38

요소 추출”, 정보처리학회 추계 학술발표논문집, 제 6 권, 제 2 호, 1999

[34] 최 현일,”이동형 가상 인터페이스를 위한 FACS 기반 얼굴 표정 인식 시스

템”, 인하대학교 전자계산학과 석사학위논문, 2000

[35] 함상진 and 김진우 and 안상철 and 김형, “얼굴 특징점 추출 및 얼굴 모

델 자동 생성”, HCI, 1999