1차년도 정량적 평가 보고서 (Quantitative Evaluation Report)

Document ID: MM-Evaluation-01

1차년도 정량적 평가 보고서

(Quantitative Evaluation Report)

총괄 책임자 이승룡 교수

주관기관 경희대학교

참여기관

포항공과대학교, 숭실대학교,

한국생산기술연구원, ㈜녹십자헬스케어

㈜타파크로스, ㈜유투시스템,

(사)한국컨설팅서비스협회


마이닝마인즈 정량적 평가항목 및 작성기관(Evaluation Criteria)

No. 평가항목(Evaluation item) 평가방법(Methodology) 담당기관(Org.) /

평가기관(Reviewer)

1

멀티모달 센서기반 행위인지

정확도

Accuracy of multimodal sensor

based activity recognition

개발에 참여한 연구원이 캠코더나 수기를

통해 작성한 실제 행위(Ground Truth)와

멀티모달 센서를 통해 수집한 행위인지

결과(실제 행위 5 종: 걷기, 뛰기, 서기,

지하철, 버스) 비교를 통해 정확도 산출(65%

이상의 최종 정확도 목표)

참여기업인 녹십자헬스케어가 주도적으로

평가수행

외부기관인 한국정보과학회 모바일응용 및

시스템연구회에서 전문가를 모집하여

행위인지 평가를 의뢰

KHU(Taeho,

Wonju) / KIISE

2

생활 주기를 고려한

스트리밍 마이닝 정확도

Accuracy of streaming

processing considering life

cycle

스트리밍 알고리즘으로 생성된 모델을

활용한 예측 결과 데이터의 정확도 측정

5 명 이상의 피 실험자로부터 1 주일간의

스트리밍 데이터 10 만건 이상을 수집하고 피

실험자가 직접 레이블링한 정보와 시스템의

마이닝 예측 결과를 비교하여 결과 도출(50%

이상의 정확도 목표)

참여기업인 U2 시스템과 타파크로스가

주도적으로 평가수행

스트리밍 마이닝 정확도 분석 보고서 (자체

평가서)

KHU(Bilal, Idris,

Bilal Ali),

POSTECH / U2,

Tapacross

3

고차원 특징점 추출을 통한

차원 축소율(%)

Rate of dimension reduction by

high-level feature extraction

저차원 센서 및 SNS 특징점 들을 Self -

Configuration Auto Adaptation Method 을 통해

고차원으로 변환하여 축소된 차원 률(50%

이상의 축소율 목표)을 계산

참여기업인 녹십자헬스케어와 타파크로스가


고차원 특징점 추출 차원 축소율 분석

보고서 (자체 평가서)

KHU(Thien,

Siddiqui) / GC

Healthcare,

Tapacross

4

다중센서융합 퍼스널

빅데이터 추출/정확도

Personal big data extraction

accuracy based on multimodal

sensors

다중센서의 이벤트 로그를 조사하여 데이터

규모를 예측하고 수집된 결과 데이터 규모와

비교하여 평가

4 종 이상의 퍼스널 빅데이터 서비스(운동량,

물섭취, 수면, 당뇨)에 대해서 표본

검색항목을 추출하여 수집 결과 내에서

검색하여 정확도 평가

개인화된 서비스 제공을 위한 음성 및

얼굴인식 기반 감성인지 정확도 50%이상



외부기관인 한국정보처리학회

빅데이타컴퓨팅연구회에서 전문가를

모집하여 빅데이터 추론 기술 평가를 의뢰

KHU(Siddiqui, Le

Ba Vui, Jaehun,

Sangbeom) / GC

Healthcare,

Tapacross

5

분산 환경 기반 퍼스널

빅데이터 추론 속도/정확도

Speed/Accuracy of personal big

data inference based on

distributed environment

다수의 노드로 구성된 분산 환경에서 추론

엔진이 초당 처리할 수 있는 데이터의

개수를 통해 추론 속도 평가

검증된 표준평가 데이터인 LUBM 데이터를

활용하여 RDFS 추론에 대한 추론속도와

정확도를 평가

추론 속도는 statement/ms 단위이고, 정확도는

LUBM 의 TEST SET 을 이용하여 80% 이상의

정확도를 도출함

SSU, KHU(Ali,

Rahman) / GC

Healthcare,

Tapacross




분산 환경 빅 데이터 추론 속도/정확도

보고서 (자체 평가서)

6

퍼스널 빅데이터 기반의

의미분석 정확도

Accuracy of semantic analysis

based on personal big data

온라인상에서 추출된 데이터를 기반으로

사용자의 행위(70%이상), 상황(60%),

감성(50%) 등의 의미 분석 결과에 대한

정확도 평가

가장 널리 사용되는 정보검색에서의 정확도

검증방법인 표본 집단 테스트 방법을

사용하여 분석에 대한 정확도(60% 이상)

검증 테스트를 실시


평가수행

퍼스널 의미 추출 정확도 보고서 (자체

평가서)

Tapacross,

KHU(Jaehun) / GC

Healthcare

7

크로스도메인 추천 기술

정확도

Accuracy of cross domain

recommendation

사용자의 선호도 데이터를 기반으로 한 추천

정확도 측정

20 명 내외의 피 실험자에게 설문을 통해

시스템이 제공해준 추천 서비스의 만족도를

조사하여 추천 만족도 50%이상의 정량적

수치 도출


평가수행

크로스도메인 추천 정확도 보고서 (자체

평가서)

POSTECH / GC

Healthcare

8 추론 공격 대응 능력

Security against inference attack

통계 배경 지식 등을 이용한 추론 공격을

통해 익명화 기술의 대응 능력을 평가

추론 공격에 대해 추론 결과가 30% 미만으로

변질될 수 있도록 대응능력 정량적 수치

도출


평가수행

추론 공격 대응 능력 평가서 (자체 평가서)

KHU(Mahmood,

Networking Lab.) /

GC Healthcare

9

신체활동/수면/물 섭취 관리

서비스 평가 지표

Evaluation index of physical

activity/water drinking/sleep

management service

5 종 이상의 분석 대상 정보(건강위해습관,

건강유익습관, 건강상태지표, 예방적 서비스

이용 상태, 라이프 매니지먼트 서비스

수용도)의 종류를 도출하며 개인별 활동량

개선 정도, 서비스의 유익성 및 사용자

만족도 등 세 가지 인자를 종합한 평가

지표를 개발하여 평가

도출된 평가 Index 의 사용자(서비스 제공자

등) 만족도를 정량적으로 평가하여

60%이상의 만족도를 도출할 수 있도록 평가

수요기업인 녹십자헬스케어와 협조 하에,

주요 수행기관인 한국생산기술연구원이

주도적으로 평가 수행

서비스 제공자 만족도 조사 (자체 평가서)

KITECH / GC

Healthcare,

KITECH

10

퍼스널 큐레이션 서비스

적용 모델과 시범 운영

Personal curation service

applying model and its test

operation

퍼스널 큐레이션 서비스 제공을 위해서 개인

특성 모델링을 통한 모델의 다양성 및

모델에 대한 서비스 추천의 정확도, 지속적인

개인 특성을 반영할 수 있는 지식관리의

효율성을 평가

시범운영 결과 시험 사용자들로 부터 50%

이상의 만족도를 얻어낼 수 있도록 평가

수행


평가수행

제공 서비스에 대한 사용자 만족도 조사

GC Healthcare,

KHU(Afzal,

Rahman) / U2

System


(자체 평가서)

11 지식관리툴 만족도 (수요자)

Satisfaction level of knowledge

maintenance tool by users

수요기업의 지식관리툴에 대한 요구사항

분석과 만족도를 평가

수요기업의 서비스 제공관리자들로 부터 70%

이상의 만족도를 얻을 수 있도록 평가 수행

참여기업인 U2 시스템, 타파크로스 그리고

녹십자헬스케어가 주도적으로 평가수행

외부기관인 한국정보처리학회 지식 및

데이터공학 연구회에서 전문가를 모집하여

지식관리기술 평가를 의뢰

KHU(Maqbool Ali,

Taqdir), GC

Healthcare / U2

System, KITECH,

GC Healthcare,

KIPS

12

시제품(서비스)에 대한

UI/GUI 안의 전문가/사용자

평가

Expert/user evaluation of

UI/GUI on prototype

product(service)

개발된 UI/GUI 에 대한 정량적 사용자

평가(구조화된 설문지 및 실제 사용자 행동

분석 결과 이용)

수요기업의 고유 서비스인 사용자 평가

분석기법을 활용하여 50 점이상의 Usability

Test 결과 도출

참여기업인 녹십자헬스케어와 협조 하에,

주요 수행기관인 U2 시스템이 주도적으로

평가를 수행

외부기관 한국정보처리학회 IT 서비스

연구회에서 전문가를 모집하여 서비스

어플리케이션에 대한 평가 의뢰

Google Analytics 를 활용한 평가서

U2 System,

KHU(Jamil) / U2

System, KIPS


멀티모달 센서기반 행위인지 정확도

Accuracy of multimodal sensor based

activity recognition

정량적 평가 보고서


작성일(Date) 2015년 4월 10일

작성자(Name) 이승룡 교수

기관명(Affiliation) 경희대학교


요약(Summary)

평가항목

(Evaluation item) 멀티모달 센서기반 행위인지 정확도

평가기준

(Evaluation criteria)

- 실험 대상 : 다양한 연령/성별 조합의 20 명 이상

- 실험 방법 : 캠코더를 활용한 동영상 촬영,

10,000 건 이상의 행위 데이터 수집

- 행위인지 정확도 : 전체 행위 최종 평균 70% 이상 달성

평가방법

(Methodology)

- 본 평가는 스마트폰 기반 행위인지 (실험 1)과 스마트폰 및 웨어러블 기기

기반 행위인지 (실험 2)로 이루어짐

실험 1 행위 (5 가지) : 서기, 걷기, 뛰기, 버스, 지하철

실험 2 행위 (13 가지) : 서기, 앉기, 눕기, 걷기, 뛰기, 계단 오르내리기,

양치, 청소(걸레질), 전화, 컴퓨터 작업, 농구, 배드민턴, 테니스

- 평가는 총 네 개의 그룹이 연동하여 수행함

검증기관 : 한국정보과학회 모바일 응용 및 시스템 연구회

평가기관 : 녹십자헬스케어

실험 진행자 : 경희대학교

실험 대상 그룹 : 불특정의 10 명 이상 지원자

- 정확한 평가를 위해 실험 진행자는 캠코더를 이용해 실험 대상의 모든

행위를 동영상으로 기록하며, 행위의 시작 시간과 끝 시간을 수기로 기록함

- 각 행위별 실험 대상이 취해야 할 정확한 동작을 위해 별도로 행위

가이드라인을 제공함

- 평가 결과는 오프라인과 온라인 정확도를 산출함

평가환경/테스트

시나리오

(Evaluation

Environment/Test

scenario)

- 평가 사용 기기 : 스마트폰, 웨어러블 센서

- 기기 부착 위치

스마트폰 : 가방, 상의주머니, 하의주머니, 손

웨어러블 센서 : 왼쪽 팔목 (손목시계 착용위치와 동일)

- 수집 데이터

스마트폰 : 3 축 가속도 데이터, GPS 데이터 (위도, 경도, 속도)

웨어러블 센서 : 3 축 가속도 데이터

- 테스트는 실험 1 과 실험 2 의 시나리오를 나눠서 진행함

실험 1 시나리오 : 실제 버스/지하철을 탑승하여 진행

실험 2 시나리오 : 경희대학교 내부에서 진행

평가결과

(Result)

- 실험 1 오프라인 실험 정확도 : 평균 91.82%

- 실험 1 온라인 실험 정확도 : 평균 78.43%

- 실험 2 오프라인 실험 정확도 : 평균 86.54%

- 실험 2 온라인 실험 정확도 : 평균 72.76%


1. 연구 개요 (Research introduction)

- 본 평가보고서는 산업통산자원부 산업핵심기술개발사업 “퍼스널 빅 데이터를 활용한

마이닝마인즈 핵심기술 개발” 과제의 12 가지 정량적 평가항목 중 “멀티모달 센서기반 행위인지

정확도”에 대한 평가결과를 명시한 보고서로, 참여기관인 녹십자헬스케어가 주도적으로 평가를

진행한다.

- 마이닝 마인즈 플랫폼은 삶의 영역에서 수집되는 물리적, 가상, 하이브리드 정형/비정형 생활

이벤트 데이터를 기반으로 현재 상황을 지능적으로 파악하여 개인 맞춤형 서비스를 제공하고,

사용자의 의사를 반영하여 지능적이며 지속적으로 지식을 관리하는 서비스 플랫폼이다.

- 마이닝 마인즈 플랫폼은 크게 5 개의 레이어 (데이터 큐레이션, 정보 큐레이션, 지식 큐레이션,

서비스 큐레이션, 서포팅 레이어)로 구성되며, 이 중 멀티모달 센서기반 행위인지는 정보

큐레이션 레이어에 해당한다. 정보 큐레이션 레이어는 크게 저수준 상황인지와 고수준 상황인지

모듈로 나뉘며, 저수준 상황인지는 다시 SNS 분석, 위치 탐색, 행위인지, 감정인지, 음식인지

모듈로 나뉜다. 행위인지 모듈 중 스마트폰과 웨어러블 센서 기반 행위인지 모듈이 본 평가에

사용될 핵심 요소로, 아래의 정보 큐레이션 레이어의 구조도 [그림 1]에서 붉은 상자 부분이 본

평가에 사용될 핵심 모듈이다.

[그림 1] 마이닝 마인즈 플랫폼 정보 큐레이션 레이어 구조도

- 개인 맞춤형 서비스의 제공을 위해서는 사용자를 중심으로 위치한 다양한 환경 정보와 사용자

개인의 다양한 종류의 퍼스널 데이터 수집이 필수적이다. 본 과제에서 평가하고자 하는

“멀티모달 센서기반 행위인지”란 다양한 종류의 센서로부터 얻을 수 있는 사용자의 데이터 중

사용자가 소지하거나 사용자의 몸에 부착된 여러 종류의 센서로부터 얻은 데이터를 기반으로

사용자가 어떠한 종류의 행위를 행하고 있는지 시스템이 자동으로 인지하는 기술을 말하며,

마이닝 마인즈 플랫폼의 저수준 상황인지 개발은 주관기관인 경희대학교가 담당한다.

- 본 평가에서는 멀티모달 센서 디바이스로 다양한 종류의 센서가 단일 기기에 집약된 스마트폰과

웨어러블 센서를 사용하며, 이 중 가속도 센서와 GPS 두 종류의 데이터를 사용하여 사용자의

행위를 인지한다.


- 평가는 크게 2 가지 방법으로 나뉘며, 실험 1 은 스마트폰만을 사용하여 5 가지 행위인 서기, 걷기,

뛰기, 버스, 지하철 탑승을 인지하고, 실험 2 는 스마트폰과 웨어러블 센서를 함께 사용하여 서기,

앉기, 눕기, 걷기, 뛰기, 계단 오르내리기, 양치, 청소(걸레질), 전화, 컴퓨터 작업, 농구, 배드민턴,

테니스의 13 가지 행위를 인지한다.

- 실험 1 은 스마트폰 기반 행위인지로 사용자의 이동 행위를 중심으로 행위가 구성되며,

스마트폰의 다양한 소지위치와 방향에 무관하게 사용자의 행위인지가 가능하다. [그림 2]는

스마트폰 기반 행위인지의 개념도를 나타낸다. [Han2012, 정찬민 2013, Han2014]

[그림 2] 스마트폰 기반 행위인지 개념도

- 실험 2 에서는 스마트폰과 함께 웨어러블 센서를 사용한다. 센서 데이터 수집 기기로 단일

스마트폰을 사용하는 것은 그 한계가 존재하며, 이를 보완하기 위해 웨어러블 센서를 사용한다.

웨어러블 센서의 부착위치는 인간의 동작 구분 중 가장 큰 비중을 차지하는 팔목에 시계

형식으로 부착하여 행위를 인지한다. 이러한 방식은 고정식 센서 (웨어러블 센서)와 비고정식

센서 (스마트폰)의 장점만을 취합하여 행위를 인지함으로써 보다 다양한 종류의 행위 인지가

가능해지며 인지 정확도 또한 높일 수 있다. 아래의 [그림 3]은 스마트폰과 웨어러블 센서를

함께 사용한 행위인지의 개념도를 나타낸다. [이호성 2014, 이승룡 2014]

[그림 3] 스마트폰과 웨어러블 센서를 함께 사용한 행위인지 개념도


2. 평가 목표(Objective)

- 본 평가는 행위인지 모듈의 정확성을 평가하여 개발한 기술의 신뢰성을 검증하고, 향후 마이닝

마인즈 플랫폼에 기반한 개인 사용자 맞춤형 서비스 적용 가능성을 확인하는데 그 목적이 있다.

- 아래의 <표 1>은 본 과제의 연구제안서에 기술된 개발기술의 평가에 대한 정량적 목표 항목 중

본 평가 항목인 “멀티모달 센서 기반 행위인지 정확도” 항목을 발췌한 표이다. 1 차년도의 개발

목표는 행위인지의 정확도가 70% 이상 산출되는지 검증하는 것이다.

<표 1> “멀티모달 센서 기반 행위인지 정확도” - 정량적 목표

평가 항목

(주요성능

Spec1))

단위

전체 항목

에서 차지하는

비중2)

(%)

세계최고 수준

보유국/

보유기업

( / )

연구개발

전

국내수준

개발 목표치

평가 방법

성능수준 성능수준 1차

년도

2차

년도

3차

년도

4차

년도

① 멀티모달

센서기반

행위인지

정확도

% 7%

70%

(미국/

구글)

65% 70% 80% 85% 92%

참여기업

평가 및

전문가

평가

- 본 평가에서는 멀티모달 센서 디바이스로 다양한 종류의 센서가 단일 기기에 집약된 스마트폰과

웨어러블 센서를 사용하며, 이 중 가속도 센서와 GPS 두 가지 데이터를 사용하여 사용자의

행위를 인지한다.

- 본 평가는 실험 1 과 실험 2 의 방법으로 나뉘며, 두 실험 모두 행위 모델의 정확도 검증을 위한

오프라인 (Off-line) 평가와 실생활에서 수집한 데이터를 바탕으로 정확도를 평가하는 온라인 (On-

line) 평가가 이루어진다.

- “멀티모달 센서기반 행위인지 정확도”의 평가 기준은 ① 실험 대상으로 다양한 연령과 성별을

조합하여 20 명 이상의 실험군을 사용하였는가, ② 캠코더를 활용한 동영상 촬영을 통해 정확한

대조 평가가 이루어졌는지와 실험군 개인당 10,000 건 이상의 행위 데이터를 수집했는가, 그리고

③ 사용자의 물리적 행위에 대하여 개발한 행위인지 기술의 인지 정확도가 전체 최종 평균 70%

이상을 달성하는가에 대한 기준을 바탕으로 평가가 이루어진다.


3. 평가 방법(Methodology)

- 본 평가는 크게 검증기관, 평가기관, 실험 진행자, 실험 대상 그룹의 네 그룹으로 구성되며, 모든

그룹은 각자 정해진 역할을 맡아 평가를 진행한다. 아래의 [그림 4]은 “멀티모달 센서기반

행위인지 정확도” 평가에 대한 프로세스를 나타낸 도식도이다.

[그림 4] "멀티모달 센서기반 행위인지 정확도" 평가 프로세스

- 검증기관 : 한국정보과학회

검증기관은 외부기관인 한국정보과힉회 모바일 응용 및 시스템 연구회로 선정하였으며,

행위인지 분야에 대한 전문가를 모집하여 본 항목에 대한 평가를 의뢰한다. 검증기관은

평가기관에서 설계한 시나리오를 평가기관과 함께 공동으로 검토하며, 최종적으로 산출된

평가 결과를 바탕으로 이에 대해 평가 의의, 평가 과정, 평가 내용, 목표 대비 달성율을

검증하여 평가에 대한 신뢰성을 확보한다.

- 평가기관 : 녹십자헬스케어

평가기관인 녹십자헬스케어는 전체적인 평가 계획을 수립하고 평가 시나리오를 설계하며,

이를 검증기관과 함께 검토한다. 시나리오가 완성되면 정확한 평가 방식을 진행 요원에게

설명하여 실험이 이루어지도록 하며, 실험이 끝난 후의 평가 데이터를 기반으로 대조

평가를 통해 최종 평가 보고서를 작성한다.

- 실험 진행자 : 경희대학교

실험 진행자는 멀티모달 센서기반 행위인지 기술을 개발한 경희대학교에서 담당한다. 실험

진행자는 본 평가에 대한 기본적인 내용을 숙지하고, 평가기관이 작성한 평가 시나리오를

검토하고 숙지하여 전체적인 실험 진행이 차질이 없도록 한다. 실험 진행자는 실험 진행 시

실험 대상 그룹과 함께 모든 실험을 동행하며, 캠코더를 이용하여 실험자의 모든 행위를

동영상으로 녹화하고, 각 행위가 행해진 시작 시간과 끝 시간을 기록하여 보다 정확한


평가가 이루어질 수 있도록 한다. 실험 완료 후 실험 진행자는 실험 대상 그룹으로부터

얻은 평가 피드백을 실험 결과와 함께 평가기관에게 전달한다.

- 실험 대상 그룹

실험 대상 그룹은 본 평가에 대한 기본적인 내용을 숙지하고, 제시된 시나리오에 맞춰

정확한 실험을 진행하도록 한다. 실험에 차질이 없도록 실험 대상 그룹은 실험 전에 실험에

영향을 줄 수 있는 장애요소를 삼가며, 실험 진행자와 같이 실험을 진행한다. 실험 완료 후

실험 대상 그룹은 본 평가에 대한 피드백 의견을 실험 진행자에게 전달한다.

- 본 평가는 스마트폰만을 이용한 실험 (실험 1)과 스마트폰과 웨어러블 센서를 사용한 실험 (실험

2)의 두 가지 방식으로 진행된다. 실험 1 에서는 서기, 걷기, 뛰기의 일반 행위와 버스, 지하철의

탈 것으로 총 5 종의 행위를 측정항목으로 선정하였다. 실험 2 에서는 이를 세분화하여 서기, 앉기,

눕기의 3 가지 자세, 걷기, 뛰기, 계단 오르내리기의 3 가지 보행 행위와 양치, 청소(걸레질), 전화,

컴퓨터 작업의 4 가지 일상생활행위, 농구, 배드민턴, 테니스의 3 가지 스포츠 행위 등 모두

13 종의 행위를 인지한다.

- 본 평가를 위한 실험 대상으로 행위 표현을 정확히 할 수 있는 연령대로 표본집단을

구성하였으며, 표본집단은 20 대 ~ 30 대로 정의하고 10 명을 지원 선발, 총 10,000 건 이상의

데이터를 수집하여 평가를 진행하였다.

- 실험 대상 그룹은 각자 가속도 및 GPS 데이터를 수집하는 어플리케이션이 설치된 스마트폰을

웨어러블 기기인 Shimmer 센서와 함께 지급받는다. 정확한 실험을 위하여 실험 중 각 행위를

시작할 때마다 어플리케이션을 실행하고, 실험이 끝난 후에 어플리케이션을 종료하였다. 이러한

방식은 각 행위별로 데이터를 분류하여 저장시켜 보다 정확한 평가가 가능하다. 아래 [그림 5]은

데이터 수집 어플리케이션의 화면을 나타낸다.

[그림 5] 평가에 사용된 데이터 수집 어플리케이션의 메인 화면


- 모든 행위는 전체 행위 수행 시간 중 각 행위당 10 분만을 측정하여 기록하였다. 모든 실험 대상

그룹은 정해진 시나리오에 의해서만 행동하였으며, 한 가지 행위를 진행 중에 실험 진행자의

별도의 지시 없이 다른 행위로 전환하지 않았다. 보다 정확한 실험을 위하여 실험 진행자는 모든

실험을 실험 대상 그룹과 같이 동행하였으며, 아래 [그림 6]과 같이 소니 HDR-PJ200 캠코더를

이용하여 실험 대상이 행하는 행위를 모두 촬영하였다. 또한 실험 진행자가 실험 대상의 행위

시작 시간과 끝 시간을 초단위로 기재하고, 해당 문서와 실제 인지된 행위들을 대조하여

정확도를 측정하였다.

<표 2> 평가 촬영에 사용된 소니 HDR-PJ200의 사양

종류 캠코더 기록타입 메모리

메모리용량 내장(없음) 기록해상도 풀 HD 화질

캠코더타입 슈팅형 이미지센서 0.17” Exmor CMOS 센서

총화소수 530 만화소 (유효 131 만) 렌즈밝기 F1.8

최저조도 11 Lux 광학줌배율 광학줌 25 배(디지털줌 300 배)

[그림 6] 평가 촬영에 사용된 소니 HDR-PJ200 캠코더

[그림 7] 평가 시 촬영된 영상


- 본 평가에서 행해지는 각 행위별 자세한 가이드라인은 다음 표와 같으며, 실험 대상은 제공된

가이드라인에 따라 정확히 실험을 진행하였다. 모든 행위는 연속 동작으로 이루어지지 않고, 각

행위마다 충분한 휴식 시간을 두어 행위 간에 서로 영향을 끼치지 않도록 한다.

<표 3> 실험 1 - 행위 가이드라인

행위 진행 방법

서기 - 제자리에 가만히 서 있기

- 실험 대상은 스마트폰을 조작해도 상관없음

걷기 - 보통의 보폭으로 일정하게 걷기

뛰기 - 가볍게 조깅하듯이 뛰기

버스 - 버스 탑승 후 앉기와 서기 데이터 모두 수집


지하철 - 지하철 탑승 후 앉기와 서기 데이터 모두 수집


<표 4> 실험 2 - 행위 가이드라인

행위 진행 방법

서기 - 제자리에 정자세로 가만히 서 있기

앉기 - 제자리에 가만히 앉아 있기

- 실험 대상은 양팔을 양 무릎 위에 놓음

눕기 - 제자리에 가만히 누워 있기

- 실험 대상은 누운 상태에서 팔은 차려 자세로 유지

걷기 - 보통의 보폭으로 일정하게 걷기

뛰기 - 가볍게 조깅하듯이 뛰기

계단 오르내리기 - 계단을 오르고 내리는 동작을 반복

양치 - 센서가 착용된 손을 이용하여 양치

청소 (걸레질) - 진공 청소기 혹은 대걸레를 이용하여 바닥을 쓸기

전화 - 실험에 지급된 스마트폰이 아닌 일반 전화기를 사용하여 전화

컴퓨터 작업 - 책상에 앉아 양손을 이용하여 컴퓨터 작업 시행

농구 - 실제 농구 경기를 진행.

- 드리블, 패스, 슛 동작이 모두 포함될 수 있도록 함

배드민턴 - 실제 배드민턴 경기를 진행

- 스매시, 포핸드, 백핸드 동작이 모두 포함될 수 있도록 함

테니스 - 실제 테니스 경기를 진행

- 서비스, 포핸드, 백핸드 동작이 모두 포함될 수 있도록 함


4. 평가 환경/테스트 시나리오(Evaluation environment/Test Scenario)

4.1 평가 환경

- 실험 1 에서는 멀티모달 센서로 단일기기인 스마트폰을 사용하였으며, 삼성의 Galaxy S3 모델을

사용하였다. 실험 2 에서는 실험 1 에서 사용된 스마트폰과 웨어러블 기기인 Shimmer 를 손목에

장착하여 진행되었다.

<표 5> 평가에 사용된 센서 기기의 사양

Galaxy S3 Shimmer

프로세서 Quadcore 1.4Ghz 24Mhz T1 MSP430

RAM 1GB -

메모리 16GB 외부 메모리

배터리 1500mAh 450mAh

무게 133g 62g

[그림 8] 평가에 사용된 기기. 좌측부터 Galaxy S3, Shimmer

- 본 실험에서는 가속도 데이터와 GPS 데이터를 센서 데이터로 수집한다. 가속도 센서 데이터는

3 축 데이터를 초당 50Hz 의 주기로 수집하며, 3 초간의 데이터를 모아 총 150 개의 가속도

데이터를 하나의 윈도우로 구성하였다. GPS 데이터는 위도, 경도 및 속도 데이터를 수집하며

가속도 데이터와 마찬가지로 초당 50Hz 의 주기로 데이터를 수집하여 3 초간 데이터인 150 개의

데이터를 하나의 윈도우로 구성하였다.

- 데이터 수집은 테스트 기기 (스마트폰) 4 대를 이용해 [그림 9]와 같이 신체의 네 곳인 하의

주머니, 상의 주머니, 가방, 그리고 손에 휴대한 상태에서 진행했다. 이와 같은 위치를 선정한

이유는 실생활에서 사용자가 스마트폰을 휴대할 수 있는 위치가 이 네 곳을 크게 벗어나지 않기

때문이다. 웨어러블 기기는 실제 시계의 착용 위치를 고려하여 모두 동일하게 왼쪽 손목에

장착하였다.


- 실험 1 에서는 스마트폰을 휴대한 채로 서기·걷기·뛰기·버스·지하철의 총 다섯 가지 행위에 대해

데이터를 수집했으며, 특히 지하철·버스의 경우 차량 내에 앉아 있을 때와 서 있을 때의

데이터를 모두 수집했고, 서기 행위도 앉아 있을 때와 서 있을 때의 데이터를 모두 수집했다.

또한 서기 행위에 대해서는 인터넷 사용이나, 이메일 확인 등의 스마트폰을 사용하는 행위를

포함했다. 이는 일상생활에서 사용자가 스마트폰을 사용하는 행위를 다른 행위로 잘못 인식하는

것을 방지하기 위한 것이다.

- 실험 2 에서는 실험 1 과는 달리 스마트폰은 오른쪽, 왼쪽 상관없이 바지 주머니에, 웨어러블

기기는 사용자의 왼쪽 손목에 고정하여 착용하였다. 실험 1 에서 행한 행위들은 모두 이동을

목적으로 하는 행위들이기 때문에 스마트폰을 사용자가 소지하고 있기만 하면 되었으나,

실험 2 에서 행해지는 행위들은 손의 동작이 중요한 역할을 하며 양손을 모두 사용하는 동작들도

포함되어 스마트폰을 손에 들고 하는 행위는 불가능하기 때문이다.

[그림 9] 평가 데이터 수집 위치 (가방, 상의주머니, 하의주머니, 손)

- 본 평가의 실험 대상자는 경희대학교 국제캠퍼스 유비쿼터스 컴퓨팅 연구실의 연구원 중 지원자

10 명을 대상으로 진행하였다. 대상자들은 심폐질환이나 정형외과적 질환이 없으며, 걷기나

달리는데 문제가 없는 자로 선정하였다. 대상자 전원은 실험에 앞서 본 연구에 대한 실험의

내용과 절차에 대한 설명회를 가진 후, 자발적인 동의를 얻어 실시하였다. 모든 연구대상자는

측정 시 48 시간 전부터 고강도의 운동을 삼가하고 24 시간 전부터 금주하도록 하였고 실험실로

이동하는 동안 뛰지 않도록 하였다. 측정 당일 측정의 취지, 항목, 순서, 그리고 측정 시의

주의사항 등을 충분히 설명한 후 측정을 실시하였으며 실험실에 도착하여 편안한 자세로 10 분

이상 안정을 취하게 한 후, 신체구성을 측정하였다. 실험은 3 명씩 2 번, 2 명씩 2 번 총 4 번을

진행하였으며, 모든 실험에서 실험 진행자가 실험 대상들과 항시 같이 동행하여 행위를 올바르게

행하는지 감시하고 실험 시간을 측정하였다.


- 아래의 <표 6>는 평가에 참여한 실험 대상자들에 대한 나이와 성별을 나타낸 표이다.

<표 6> 평가 참여 실험 대상자의 나이와 성별

실험자 나이 성별

A 29 남자

B 27 남자

C 23 남자

D 37 남자

E 31 남자

F 33 남자

G 32 남자

H 30 남자

I 27 남자

J 28 남자

K 31 남자

L 30 남자

M 32 남자

N 33 남자

O 26 남자

P 29 여자

Q 22 여자

R 23 여자

S 24 여자

T 24 여자

- 아래의 <표 7>은 전체적인 평가 수행일정을 나타낸다.

<표 7> 평가 수행일정

평가 수행 내용 평가 기간

평가 계획 수립 2015. 03. 02 ~ 2015. 03. 06

평가 시나리오 설계 2015. 03. 09 ~ 2015. 03. 13

평가 시나리오 검토 2015. 03. 16 ~ 2015. 03. 20

평가 시나리오 모의 실험 2015. 03. 23 ~ 2015. 03. 27

본 실험 2015. 03. 30 ~ 2015. 04. 03

자료처리/결과분석/보고서 작성 2015. 04. 06 ~ 2015. 04. 10


4.2 테스트 시나리오

- 본 평가는 시나리오 평가로 진행되었다. 모든 행위의 지속시간은 각 행위 당 10 분으로

지정하였고, 10 분간의 측정 이후의 시간에 대해서는 고려하지 않았다. 하나의 행위가 수행 중일

경우 다른 행위로의 임의적인 변환은 일어나지 않았으며, 한 행위의 측정이 끝날 경우 다음

행위에 영향을 끼치지 않도록 충분한 휴식 시간을 가졌다.

- 실험 1 은 이동 행위에 대한 평가로, 평가 시나리오 루트는 2 가지 코스를 정하여 모든 참여자가

테스트에 참여하였다. 아래의 내용은 평가 시나리오 루트 A, B 트랙을 나타낸 것이며, [그림

10]은 이동경로를 나타낸 것으로 붉은선은 지하철, 녹색선은 버스를 나타낸 것이다.

- 실험 2 는 특별한 이동경로가 필요하지 않아 시나리오 설계가 필요하지 않다. 실험 2 의 모든

행위인지 테스트는 경희대학교 내에서 진행되었으며, 각 행위간 충분한 휴식을 취하면서

연속적으로 테스트를 진행하였다.

- A 루트 [경희대학교 국제캠퍼스 -> 영통역 -> 보정역-> 경희대학교 국제캠퍼스]

- 경희대학교 국제캠퍼스 -> 서기, 뛰기 – 각 행위당 10 분 (각 행위 간 충분한 휴식)

- 경희대학교 국제캠퍼스 -> 영통역: 걷기 15 분

- 영통역 -> 보정역: 지하철 15 분

- 보정역 -> 경희대학교 국제캠퍼스 : 버스 30 분

- B 루트 [여의도 한강공원 -> 여의나루역 -> 애오개역-> 마포역]

- 여의도 한강공원: 서기, 걷기, 뛰기 – 각 행위당 10 분 (각 행위 간 충분한 휴식)

- 여의나루역 -> 애오개역: 지하철 10 분

- 애오개역 -> 마포역: 버스 10 분

[그림 10] 실험1의 실험 대상 그룹의 이동 경로


5. 평가 결과(Evaluation result)

- 평가 기관에서는 실험 진행자 의해 기록된 평가 데이터와 실제 센서를 통해 수집된 데이터를

토대로 대조 평가를 통해 최종 실험 결과 평가가 이루어진다. 실험 1 과 실험 2 모두 오프라인과

온라인 평가를 진행하였다.

- 오프라인 테스트는 수집된 데이터를 토대로 10-fold cross validation 을 통해 정확도를 산출하여

confusion matrix 를 표로 나타내었으며, 온라인 테스트는 생성된 행위 인지 모델을 기반으로 실험

대상자가 실생활에서 행한 행위에 대한 데이터를 바탕으로 정확도를 산출한다.

<표 8> 실험1의 오프라인 평가 결과

행위 버스 지하철 뛰기 서기 걷기 평균

버스 89.12 1.19 0 9.24 0.45 -

지하철 1.14 81.03 0 17.83 0 -

뛰기 0 0 100 0 0 -

서기 1.00 4.81 0 94.10 0.08 -

걷기 0 0.04 0 5.10 94.86 -

평균 - - - - - 91.82

- 실험 1 의 오프라인 평가 결과 평균 91%의 인지 정확도를 보인다. 뛰기의 경우 100%의 정확도를

보이며, 서기와 걷기 모두 94% 이상의 높은 정확도를 나타낸다. 버스의 경우 89%의 정확도로

나타나나, 지하철의 경우 약 81%만의 정확도를 보인다.


행위 버스 지하철 뛰기 서기 걷기 평균

버스 71.10 9.19 0 18.24 1.47 -

지하철 4.8 68.36 0 26.84 0 -

뛰기 2.14 0.8 88.51 0 8.55 -

서기 6.66 12.47 0 80.79 0.08 -

걷기 4.69 0.04 10.47 1.39 83.41 -

평균 - - - - - 78.43

- 실험 1 의 온라인 실험 결과 평균 78%의 인지 정확도를 보인다. 뛰기의 경우 88%의 정확도를

보이며, 서기와 걷기는 80% 이상의 정확도를 나타낸다. 이는 서기와 걷기 동작 시 사용자가

자유롭게 스마트폰을 조작할 수 있도록 하여 그에 따른 노이즈 값이 포함되어 나타난 결과로

보인다.

- 인지된 행위 중 버스의 정확도는 71%, 지하철의 정확도는 68%로 나타난다. 두 행위 모두 약 70%

정도의 낮은 정확도를 보이며, 두 행위 모두 가장 높게 오인지 된 행위는 서기로 나타난다.


- 버스와 지하철이 서기로 오인지 되는 원인으로 세 가지 행위 모두 사용자의 움직임 없이 가만히

있는 상태에 있기 때문으로 간주할 수 있다. 사용자가 서기 상태일 경우 핸드폰 조작을 하는

경우도 함께 고려하여 실험을 진행하였으므로, 버스와 지하철의 진동이 이러한 행위와 혼동되어

실험과 같은 결과가 나온 것으로 생각해 볼 수 있다.


행위 서기 앉기 눕기 전화 컴퓨터 청소 양치 걷기 계단 뛰기 농구 배드민턴 테니스 평균

서기 98.99 0 0 0 0 0 0 0.20 0 0 0 0.81 0 -

앉기 0 96.45 2.89 0 0.34 0 0 0 0 0 0 0.32 0 -

눕기 0 1.17 98.36 0 0.47 0 0 0 0 0 0 0 0 -

전화 0 0 0 95.47 0 0 0 0 0 0 1.24 1.72 1.57 -

컴퓨터 0 0 0 0 91.60 3.61 2.78 0 0 0 0 2.01 0 -

청소 0 0 0 0 0 87.18 9.19 0 0 0 1.84 0.82 0.97 -

양치 0 0 0 0 0 6.41 89.55 0 0 0 2.17 1.08 0.79 -

걷기 0 0 0 0 0 2.04 0 96.71 1.09 0 0.13 0.03 0 -

계단 0 0 0 0 0 0 0 11.54 85.17 0 2.15 1.14 0 -

뛰기 0 0 0 0 0 0 0 0 0 97.10 2.22 0.68 0 -

농구 0 0 0 0 0 0 0.8 0 0 7.04 58.46 21.01 12.69 -

배드민턴 0 0 0 0 0 0 0 1.83 0 1.24 10.47 68.19 18.27 -

테니스 0 0 0 0 0 0 5.47 0 0 2.9 8.21 21.55 61.87 -

평균 - - - - - - - - - - - - - 86.54

- 실험 2 의 오프라인 평가 결과 평균 86%의 인지 정확도를 보인다. 자세, 보행 및 일상생활행위는

모두 최소 85% 이상의 높은 정확도를 보이나, 스포츠 항목은 평균 약 60%의 상대적으로 낮은

정확도를 보이며, 스포츠 행위 간의 오인지가 많이 발생한다. 스포츠 행위는 인지된 나머지

행위와 달리 일정한 패턴의 동작이 연속적으로 이루어지지 않고 짧은 시간 동안 랜덤하게

발생하기 때문인 것으로 볼 수 있다.

<표 11> 실험2의 온라인 평가 결과

행위 서기 앉기 눕기 전화 컴퓨터 청소 양치 걷기 계단 뛰기 농구 배드민턴 테니스 평균

서기 82.94 6.24 5.98 0 0 0 0 2.14 0 0 0 2.70 0 -

앉기 7.34 81.69 10.24 0 0.39 0 0 0 0 0 0 0.34 0 -

눕기 7.19 9.57 79.24 0 1.23 0 0 0 0 0 1.74 1.03 0 -

전화 2.48 1.34 2.31 83.47 2.67 2.17 2.44 1.05 0.64 0.71 0.19 0.45 0.08 -

컴퓨터 1.91 1.84 1.59 3.01 80.48 2.84 2.16 1.03 1.24 0.17 0.62 1.09 2.02 -

청소 1.05 0.61 0.21 1.0 2.05 78.15 2.83 2.82 2.40 1.84 2.09 2.76 2.19 -

양치 1.20 0.34 0.47 0.84 3.17 3.71 77.91 2.08 2.54 1.10 2.32 2.85 1.47 -

걷기 0 0 0 0 0 0 0 82.44 13.13 0 0.91 3.03 0.49 -

계단 0 0 0 0 0 0 0 15.79 79.14 0.21 0.96 3.19 0.71 -

뛰기 0 0 0 0 0 0 0 0.95 1.07 83.70 13.14 0.64 0.5 -

농구 0 0 0 0 0 0.44 2.05 1.87 1.69 11.11 40.37 22.03 20.44 -

배드민턴 0.77 0.87 0.24 0.38 1.22 1.68 1.74 1.82 1.46 6.41 10.78 50.64 21.99 -

테니스 0.1 0.01 0.31 0.12 1.47 1.97 2.57 1.25 1.87 3.42 13.59 27.58 45.74 -

평균 - - - - - - - - - - - - - 72.76


- 실험 2 의 오프라인 평가 결과 평균 72%의 인지 정확도를 보이며, 스포츠 행위의 인지 정확도가

오프라인 때보다 크게 낮아진 것을 볼 수 있다. 실제 스포츠 경기 진행시에는 정해진

시나리오대로 플레이하기 불가능하며, 항상 랜덤한 상황이 발생하기에 생긴 결과로 볼 수 있다.

- 아래의 표는 정확도 실험과 별개로 실험 1 에 대한 스트레스 테스트의 결과를 나타낸 표이다.

<표 12> 실험1의 스트레스 테스트 결과표

테스트 리스트 횟수 비고

지하철 내에서 서 있는 경우의 행위인지 결과 21/27 일부 서기로 오인지함

지하철 내에서 앉아 있는 경우의 행위인지 결과 13/17 일부 서기로 오인지함

버스 내에서 서 있는 경우의 행위인지 결과 22/27 일부 서기로 오인지함

버스 내에서 앉아 있는 경우의 행위인지 결과 23/27 일부 서기로 오인지함

에스컬레이터 및 엘리베이터에서 서 있을

경우의 행위 인지결과

(지하철 또는 버스와 혼동되지 않는가)

45/45 모든 경우 Stay 로 제대로 인지하였으나, 잠깐씩

Subway 가 뜨는 경우가 있음 (6/45)

지하철 내에서 테스트 어플리케이션을

켰을 때의 행위 인지 결과 21/27 인지의 지연과 함께 일부 서기로 오인지함

버스 내에서 테스트 어플리케이션을 켰을 때의

행위 인지 결과(GPS 신호를 수신하는 동안,

다른 행위로 오인지 되지 않는가)

20/27

일부 서기로 오인지함

(단, GPS 가 수신되지 않는 경우 서기로

오인지하는 경우가 종종 발생함)

차에 탄 상태에서 신호등이나 버스 정류장에서

2-3 분 기다릴 때의 행위 인지 결과 22/22

Bus 로 인지 된 후에 대기 중일 때는 모두

Bus 로 인지했음.(단, 버스가 정지 중에 폰을

움직이면 Walking 으로 인지 후 Stay -> Bus 로

바뀜)

연속적으로 2 시간 이상 운전을 했을 때의 행위

인지 결과(Subway 가 종종 발생하지 않는가) 10/10

Bus 로 인지된 상태에서는 Subway 가 인지되지

않았음

버스 정류장, 지하철 플랫폼 등에서 탈것을

장시간 기다릴 때의 행위 인지 결과

(서 있을 때 몸의 흔들림을 지하철이나 버스로

오인지 하지 않는가)

91/91

각 테스트 별로 버스 및 지하철 플랫폼에서 3 분

이상 서서 대기 했으며,

이때는 다른 탈것으로 잘못인지 되지 않았음.

버스 및 지하철 환승이 포함된 일상 생활에

대한 행위인지 결과

(최소 2 시간 이상)

25/27

버스, 지하철 환승 대부분 정확하게 인지했으며,

걷기, 서기, 뛰기에 대해서도 대부분 정확하게

인지함.

차에서 내려 2 분 이내에 건물로 들어가서

stay 하는 경우 5/5 Bus 와 Walking, Stay 를 모두 제대로 인지함

차를 가지고 지하 주차장에 들어가서(GPS 안

잡히는 상태)차에서 내려서 걸어 가는 경우 5/5 Bus 와 Walking, Stay 를 모두 제대로 인지함

지하 주차장에서 차를 가지고 나와서

운전하는 경우 5/5 Bus 로 바르게 인지함.

러시아워 때 버스를 제대로 인지하는지(버스가

장시간 가다 서다 반복하는 경우) 6/6

10km/h 안팎의 속도로 주행한 결과 모두 Bus 로

바르게 인지 됨.

(단, 버스가 정지중에 폰을 움직이면

Walking 으로 인지 후 Stay -> Bus 로 바뀜)


6. 결론(Conclusion)

- 본 평가보고서에서는 산업통산자원부 산업핵심기술개발사업 “퍼스널 빅 데이터를 활용한

마이닝마인즈 핵심기술 개발” 과제의 12 가지 평가항목 중 “멀티모달 센서기반 행위인지

정확도”에 대한 평가결과를 명시하였다.

- 본 보고서는 마이닝 마인즈 플랫폼의 저수준 행위인지 모듈의 스마트폰과 웨어러블 센서 기반

행위인지 기능의 정확성을 평가하여 기술의 신뢰성을 검증하고, 향후 마이닝 마인즈 서비스에

적용 가능성을 확인하는데 그 목적이 있다.

- 평가는 네 개의 기관에 의해 이루어졌으며, 검증기관으로 정보과학회 모바일 응용 및 시스템

연구회, 평가기관으로 녹십자헬스케어, 실험 진행 기관으로 경희대, 그리고 실험 대상군은

경희대학교 유비쿼터스 컴퓨팅 연구실의 연구원을 선정하였다.

- 본 평가에서는 멀티모달 센서 디바이스로 다양한 종류의 센서가 단일 기기에 집약된

스마트폰을과 웨어러블 센서를 사용하며, 이 중 가속도 센서와 GPS 두 가지 데이터를 사용하여

사용자의 행위를 인지하였다.

- 평가는 크게 2 가지 방법으로 나뉘며, 실험 1 은 스마트폰만을 사용하여 5 가지 행위인 서기, 걷기,

뛰기, 버스, 지하철 탑승을 인지하고, 실험 2 는 스마트폰과 웨어러블 센서를 함께 사용하여 서기,

앉기, 눕기, 걷기, 뛰기, 계단 오르내리기, 양치, 청소(걸레질), 전화, 컴퓨터 작업, 농구, 배드민턴,

테니스의 13 가지 행위를 인지하였다.

- 평가의 정확성을 위해 모든 실험에서 실험 진행자가 실험 대상과 함께 동행하였고, 캠코더를

이용한 동영상 기록과 수기에 의한 시간 체크도 같이 이루어졌다.

- “멀티모달 센서기반 행위인지 정확도”의 평가 기준은 ① 실험 대상으로 다양한 연령과 성별을

조합하여 20 명 이상의 실험군을 사용하였는가, ② 캠코더를 활용한 동영상 촬영을 통해 정확한

대조 평가가 이루어졌는지와 실험군 개인당 10,000 건 이상의 행위 데이터를 수집했는가, 그리고

③ 사용자의 물리적 행위에 대하여 개발한 행위인지 기술의 인지 정확도가 전체 최종 평균 70%

이상을 달성하는가에 대한 기준을 바탕으로 평가가 이루어졌다.

- 실험 1 은 오프라인과 온라인 정확도가 90% 이상으로 전체적으로 우수한 성적이 나온 것을 볼

수 있으며, 실험 2 는 오프라인 정확도가 90% 이상이나 온라인 정확도는 80%대 머무른 것을 볼

수 있다. 이는 실험 2 의 행위로 스포츠가 추가되었기 때문이며, 스포츠 행위는 기존 행위와는

다르게 불규칙한 변수가 많이 포함되어 인지의 정확도가 낮아진 것을 볼 수 있다. 그러나 실험

1 과 실험 2 모두 평가 기준인 정확도 70%를 상회하는 것을 볼 수 있다.

- 향후 연구로 스포츠 행위 인지의 정확도를 향상시킬 새로운 실험 방법과 알고리즘을 개발하며,

새로운 행위의 추가, 가속도와 GPS 이외에 SNS, 동영상, 목소리 등의 복합 센서의 사용으로

인한 행위인지의 정확도 향상, 사용자의 행위 이외에 감정 정보와 음식 정보를 더한 사용자의

상황 인식 연구가 진행될 예정이다.


7. 참고문헌(References)

[Han2012] Manhyung Han, La The Vinh, Young-Koo Lee and Sungyoung Lee, "Comprehensive

Context Recognizer Based on Multimodal Sensors in a Smartphone", Journal of Sensors

(SCIE, IF: 1.77), Vol. 12, No. 9, pp.12588-12605, 2012

[정찬민 2013] 이승룡, 정찬민, "가속도와 위치정보에 기초한 사용자 행위 인식 방법", 출원인:

경희대학교 산학협력단, 출원번호:10-2013-0102201, 2013 년 8 월 28 일

[Han2014] Manhyung Han, Jae Hun Bang, Chris Nugent, Sally McClean, Sungyoung Lee , "A

Lightweight Hierarchical Activity Recognition Framework using Smartphone Sensors",

Journal of Sensors (SCIE, IF:2.048), Vol. 14, Issue 9, pp.16181-16195, 2014

[이호성 2014] 이호성, 이승룡, "스마트폰과 웨어러블 가속도 센서를 혼합 처리한 실시간 행위

및 자세인지 기법", 정보과학회논문지 : 소프트웨어 및 응용 제 41 권 제 8 호,

pp.586-597, 2014

[이승룡 2014] 이승룡, 이호성, 방재훈, "혼합 센서 데이터 기반 실시간 행위인지 및 자세인지

장치 및 그방법", 출원인: 경희대학교 산학협력단, 출원번호: 10-2014-0174075,

2014 년 12 월 5 일


생활 주기를 고려한

스트리밍 마이닝 정확도

Accuracy of streaming processing

considering life cycle







요약(Summary)

평가항목

(Evaluation item) 생활주기를 고려한 스트리밍 마이닝 정확도

평가기준


- 스트림 데이터 획득율

- 데이터 스트림의 손실률

- 과부하 테스트

- 스트리밍 마이닝 정확도

평가방법

(Methodology)

- 실험에 사용될 스트리밍 데이터는 각 실험자별 고유 ID 를 할당하여 가속도,

GPS 데이터를 획득함.

- 특정 유저와 연관된 스마트폰의 여러 센서에서 데이터를 획득하기 위해

Restful 웹 서비스를 사용함.

- 2 개의 다른 타입의 센서에서 생성된 데이터 스트림은 데이터 타입에 따라

저장되고 레이블링되며, 디바이스 및 유저 정보도 함께 저장함.

- 시스템은 데이터 스트림의 컴포넌트를 식별한 후 레이블링함.

- 이기종 센서를 지닌 다양한 기기와의 병렬 통신을 처리하기 위하여 멀티

쓰레딩 서버를 사용하며, 이는 데이터 획득의 허브로서 기능함

- 과부하 테스트를 위하여 웹 서비스의 지속적인 처리와 다수의 유저 요청

처리를 테스트함

- 스트림 생성과 저장 중 지연을 확인하기 위하여 로그를 분석함

- 병렬 스트리밍 데이터를 저장하여 데이터 유지가 잘 이루어지는지 확인함


시나리오

(Evaluation

Environment/Test

scenario)

- 평가 환경

∙ 실험군 : 23~37 세 총 10 명

∙ 기간 : 10 일 동안 병렬적 스트림 생성

∙ 센서 : 스마트폰

∙ 행위 : 서기, 걷기, 뛰기, 버스, 지하철

- 데이터 셋

가속도 및 GPS 데이터 사용

- 테스트 시나리오

10 명의 실험군이 동일 시간동안 일상 활동 중 스마트폰을 지니고

다니면서 실시간으로 데이터를 마이닝 마인즈 서버에 전송함.

마이닝 마인즈 서버에서 실시간으로 전달받은 데이터를 기반으로

실험을 진행함

평가결과

(Result) - 스트리밍 마이닝 정확도 : 61.09%




마이닝마인즈 핵심기술 개발” 과제의 12 가지 정량적 평가항목 중 “생활주기를 고려한 스트리밍

마이닝 정확도”에 대한 평가결과를 명시한 보고서로, 참여기관인 U2 시스템과 타파크로스가

주도적으로 평가를 진행한다.


서비스 큐레이션, 서포팅 레이어)로 구성되며, 이 중 스트리밍 마이닝 정확도 분석이 이루어지는

부분은 데이터 큐레이션 레이어에 해당한다. 데이터 큐레이션 레이어는 크게 빅 데이터

프로세싱과 퍼스널 빅 데이터 저장소 모듈로 나뉘며, 퍼스널 빅 데이터 저장소는 Intermediate

데이터 생성과 데이터 스트리밍 모듈로 나뉜다. 이 중 데이터 스트리밍 모듈이 본 평가에 사용될

핵심 모듈로, 아래의 데이터 큐레이션 레이어의 구조도 [그림 1]에서 붉은 상자 부분이 본


[그림 1] 마이닝 마인즈 데이터 큐레이션 레이어 구조도

- 최근 센서 사용 생산 및 구입 비용이 극적으로 감소하여 현재 거의 모든 장소에서 센서를

사용하는 것을 알 수 있으며, 향후 더욱 많은 센서들이 생활 곳곳에 사용될 것이라고 예상하고

있다. 다양한 종류의 수많은 센서들이 제공하는 데이터는 그 양이 방대하며, 이는 곧 빅 데이터

처리 능력을 개발해야 할 필요성을 가져온다. 각 센서들의 데이터 형태와 데이터 생성 주기는

모두 다르므로, 모든 바이트들을 안정적으로 기록하는 것은 빅데이터 스트리밍 처리에서 주요한

요소이다.


- 빅 데이터의 컨셉의 트렌드에 따라 최근 다양한 종류의 입력 데이터가 지수적으로 늘고 있으며,

데이터를 집중적으로 사용하는 종류의 어플리케이션에 대한 관심이 증가하고 있다. 즉, 데이터를

지속적인 관계로서보다는 흐르는 데이터 스트림으로 취급하는 어플리케이션에 대한 관심이

증가하고 있는 것이다. 이러한 어플리케이션은 네트워크 모니터링, 보안, 텔레커뮤니케이션

데이터 관리, 금융 등의 분야를 포함한다. 이러한 데이터 모델에서, 각각의 데이터 아이템은

관계형 데이터베이스의 tuple, 즉 네트워크 측정 값, 전화 기록, 웹 페이지 방문자 수, 센서

출력값 등이 될 수 있다. 이러한 데이터들의 전송은 병렬적이고 급격하며 예측 불가능하여 이를

해결하기 위한 연구들이 새로이 진행되고 있다.

- 일반적으로 빅 데이터 처리를 위하여 하둡 분산 파일 시스템 (HDFS)이 스토리지 프레임워크로

사용되며 MapReduce 가 처리 프레임워크로 사용되나, MapReduce 는 batch 처리 프레임워크라는

단점이 있다. 본 마이닝 마인즈 플랫폼은 Batch 처리의 단점을 극복하기 위한 방법으로

스트리밍과 통신 컴포넌트들이 HDFS 의 데이터에 실시간 접근을 제공하여 다른 컴포넌트들이

사용할 중간 단계의 데이터들을 생성하는 방법을 쓸 수 있다.

- 마이닝 마인즈 플랫폼의 데이터 큐레이션 계층에서는 멀티모달 센서로부터 전송된 센서

데이터를 실시간으로 빅 데이터 저장소에 저장한다. 지속적으로 전송받는 스트림 데이터는

HDFS 와 IDB 에 저장되기 전에 데이터 레이블링, 분석 및 과정을 거친다. 전송받는 데이터

스트림의 정확한 입력과 분석을 위해서는 데이터 통신이 정확하게 이루어져야 하며, 스트림

데이터 프로세싱의 정확성을 위해서 동기화 처리를 우선시한다. 스트림 데이터는 각각 속성에

맞는 시멘틱 링킹을 통해 분류된 후 지식 획득 처리를 위해 데이터를 전송한다. 스트리밍

마이닝의 정확도는 데이터의 획득, 처리 및 저장 과정을 모두 진행하여 데이터가 얼마나

정확하게 저장되었는지 평가한다. 지속적인 데이터 서비스 콜의 생성과 평가를 24 시간 동안

진행된다.




마이닝마인즈 핵심기술 개발” 과제의 12 가지 정량적 평가항목 중 “생활 주기를 고려한 스트리밍

마이닝 정확도”에 대한 평가결과를 명시한 보고서로, 참여기관인 U2 시스템과 타파크로스가



본 평가 항목인 “생활주기를 고려한 스트리밍 마이닝 정확도” 항목을 발췌한 표이다. 1 차년도의

개발 목표는 스트리밍 마이닝의 정확도가 60% 이상 산출되는지 검증하는 것이다.

<표 1> “생활주기를 고려한 스트리밍 마이닝 정확도” - 정량적 목표

평가 항목

(주요성능

Spec1))

단위

전체 항목

에서

차지하는

비중)

(%)

세계최고

수준 보유국/

보유기업

( / )

연구개발 전

국내수준 개발 목표치

평가 방법


년도

2차

년도

3차

년도

4차

년도

②생활주기를

고려한 스트리

밍 마이닝 정

확도

% 7% 초기단계 초기단계 60% 62% 67% 80% 참여기업

평가

- 데이터 큐레이션 계층의 수행능력을 평가하기 위해서는 정확도, 센서 데이터 수집 능력, 처리 및

저장 능력을 평가하여 스트림 데이터의 추후 사용을 위해 적절하게 관리할 수 있다. 평가의

주요한 요인으로 데이터를 정확하게 포착한 후 해당 데이터를 바이트 형식으로 분석한 뒤

저장을 위해 적절한 레이블을 실행해야 한다.

- “생활주기를 고려한 스트리밍 마이닝 정확도”의 평가 목표는 데이터를 오염 및 분실을 가능하게

하는 숨겨진 요인을 찾는 것으로, ① 스트림 데이터 획득, ② 데이터 손실율 감소, ③ 과부하

테스트, ④ 스트림 데이터 식별 및 분석이며, 마이닝 정확도가 60% 이상을 달성하는가에 대한

기준을 바탕으로 평가가 이루어진다.



- 본 평가는 크게 평가기관과 실험 진행자의 두 그룹으로 구성되며, 양 그룹은 각자 정해진 역할을

맡아 평가를 진행한다. 아래의 [그림 2]는 “고차원 특징점 추출을 통한 차원 축소율” 평가에 대한

프로세스를 나타낸 도식도이다.

[그림 2] "생활 주기를 고려한 스트리밍 마이닝 정확도" 평가 프로세스

- 평가기관 : U2 시스템, 타파크로스

∙ 평가기관인 U2 시스템과 타파크로스는 전체적인 평가 계획을 수립하고 평가 시나리오를

설계하며, 이를 상호 검토한다. 시나리오가 완성되면 정확한 평가 방식을 실험 진행자에게

설명하여 실험이 이루어지도록 하며, 실험이 끝난 후의 평가 데이터를 평가를 분석 및

검증하여 최종 평가 보고서를 작성한다.


∙ 실험 진행자는 스트리밍 마이닝 알고리즘을 개발한 경희대학교에서 담당한다. 실험

진행자는 본 평가에 대한 기본적인 내용을 숙지하고, 평가기관이 작성한 평가 시나리오를

검토하고 숙지하여 전체적인 실험 진행이 차질이 없도록 한다. 실험 완료 후 실험 진행자는

실험 대상 그룹으로부터 얻은 평가 피드백을 실험 결과와 함께 평가기관에게 전달한다.

- 모든 데이터 스트림의 식별은 데이터 큐레이션의 가장 기본적인 목표이다. 스트림은 각 센서에서

연속적으로 생성되며, 식별을 위해 스트림의 계층 구조는 자동적으로 분석되어야 한다. 계층

구조에서 모든 센서는 단일 디바이스에 부착되어 있으며 모든 디바이스는 특정 유저와 관계되어

있다. 유저 한명은 다수의 디바이스와 다수의 센서를 가질 수 있다. 이 센서들은 서로 다른

주기를 가지며 다른 포맷의 데이터를 생성한다. 이러한 계층구조를 이해하고 동기화하는 것이

데이터를 적정 시간에 처리하기 위해 필수적이다.


<스트림 분석과 식별>

- 제안된 환경에서 데이터 큐레이션은 스트림 데이터와 이진 데이터를 통하여 성능을 평가한다.

스트림 데이터라 함은 실시간으로 들어오는 이기종 데이터를 의미하며, 각 데이터는 고유한

포맷을 지닌다.

- SNS 데이터는 일반적으로 DOM 기반의 파싱을 필요로 하는 XML 이나 JSON 형태로 제공된다.

이와 마찬가지로 웨어러블과 임베디드 센서는 컨텍스트를 보유하지 않은 이진 데이터를

생성한다. 데이터 라벨링 컴포넌트는 이처럼 컨텍스트가 없는 데이터에 컨텍스트를 제공하며

유입되는 데이터에 대해 이벤트 태그를 붙인다. 이 태그는 위치, 유저, 타임스탬프, 출처 등의

컨텍스트 정보를 포함한다. 이러한 라벨링 프로세스는 데이터 퓨전을 가능하게 한다. 본

평가에서 사용되는 시스템은 GPS 와 가속도 센서에 의해 생성된 이진 데이터만 고려한다.

임의의 센서에 의해 생성된 데이터 스트림은 식별 후 센서 종류, 센서 ID, 타임스탬프, 디바이스

타입, 디바이스 ID, 유저 ID, 센서에 의거한 좌표 정보가 태깅된다.

- 스트리밍 데이터 분석과 라벨링의 정확도를 평가하기 위하여 스트림을 기록하고 처리하기 위한

데이터 커뮤니케이션 채널은 SOAP 기반의 웹 서비스로 형성되었고, 데이터의 스트림은 통제된

실험실 환경이 아니라 자연적인 환경에서 다수의 병렬적인 센서를 사용해 생성되었으며, 랜덤한

다수의 행위가 다수의 유저에 의해 특정 순서 없이 실제 환경에서 수행되었고, 등록된 유저의

숫자는 1 부터 시작되어 점차적으로 5 명까지 증가하였다.

<스트림 데이터 부하 측정>

- 웹 서비스에 가해지는 부하와 웹 서비스가 어느 정도의 부하를 관리할 수 있는지를 측정하기

위하여, intermediate 데이터베이스에 지속적으로 웹 서비스를 사용하여 데이터를 보내는 테스트

클라이언트를 생성하였다. 클라이언트는 24 시간 동안 연속적인 데이터를 생성하였으며, 이 때의

서버의 상태가 평가되었다. 본 평가의 목적은 서비스가 긴 주기의 데이터 스트림을 처리할 수

있는지 판단하는 것이다.

<스트림 데이터 획득과 손실>

- 데이터 획득과 손실을 평가하기 위하여, 몇 개의 intermediate 데이터베이스로 향하는 데이터

스트림이 분석되었다. 각 스트림은 손실된 데이터를 식별하기 위하여 고유한 ID 로 태깅되었다.

스트림이 생성되어 태깅되는 과정은 먼저 스트림이 클라이언트에서 생성된 후 스트림이 서버로

수신되는 과정을 거친다

- 이러한 목적을 위해 생성된 ID 와 기록된 ID 가 비교된다. ID 하나는 데이터가 생성되었을 때

태깅되며 다른 아이디는 수신되거나 기록되었을 때 생성된다. 이 두 기록된 ID 의 비교 대조에서

다음 두 개의 결론을 도출할 수 있다.

∙ 스트림 데이터의 손실

∙ 데이터의 지연



4.1 스트림 분석과 식별

- 스트림을 식별하기 위해 유저와 디바이스의 식별이 필수적이므로, 테스트 시 유저를 인식하고

디바이스를 인식한 후 특정한 디바이스 ID 를 부여해야 한다. 10 명의 유저가 어플리케이션에

등록되었으며, 각 유저는 고유의 로그인 ID/비밀번호를 입력하여 인증할 수 있다. 잘못된

로그인과 잘못된 비밀번호로는 어플리케이션을 사용할 수 없으므로 서버 측에 데이터를 저장할

수 없으므로, 유저에 대한 인증은 데이터 스트리밍 전에 시행된다.

(1) 실험 1

(2) 실험 2

No. 절차 예상되는 결과 성공/실패 비고

1. 유저 디바이스가 스트림 전송

시작 확인 메세지 성공

2. 스트림의 부분이 식별되고

라벨링된다

센서에 관한 데이터가

식별된다(디바이스 ID, 유저 ID) 성공

3. Intermediate 데이터베이스에

데이터가 저장된다

센서와 관련있는 데이터베이스

필드가 채워진다 성공

4.

50Hz, 3 초 주기로

디바이스에서 생성된 데이터가

기록되고 전송된다

특정한 유저 ID 와 디바이스

ID 에 대해 특정 시간에 150 개의

레코드가 존재해야 함

성공

테스트 케이스 # MM-V1-DS-01

테스트 케이스 이름 등록된 유저와 디바이스 인증

시스템 구성 데이터 스트리밍

선행 조건 유저와 디바이스가 등록되어 있어야 한다


1. 어플리케이션 시작 시작 스크린 성공

2. 잘못된 로그인 아이디와 비밀번호 재입력 실패

3. 올바른 로그인 아이디와 비밀번호 메뉴 선택 화면 성공

4. 데이터 전송 옵션 선택 성공 메세지 성공

테스트 케이스 # MM-V1-DS-02

테스트 케이스 이름 데이터 스트림 전송과 기록


선행 조건 유저가 로그인 되어 있어야 하고 디바이스가 등록되어 있어야 한다


4.2 스트림 데이터 부하

- 스트레스 테스트를 위해 다수의 유저들이 동시에 서기, 걷기, 뛰기, 버스 타기, 지하철 타기와

같은 다른 행위를 어플리케이션을 통해 수행한다. 결과적으로 어플리케이션은 다수의 유저에

의해 동시에 생성되는 데이터를 어떠한 방해나 오염도 없이 저장할 수 있다. 비정상적인 상황을

탐지하기 위해 센서와 디바이스 ID 를 고려하여 데이터를 분석해야 한다. 웹 서비스의 부하

테스트는 같은 주기의 센서를 24 시간동안 연속적으로 동작시키는 방법으로 평가되었다.

(1) 실험 1

테스트 케이스 # MM-V1-DL-01

테스트 케이스 이름 스트림 데이터 스트레스와 부하


선행 조건 다수의 유저가 어플리케이션을 동시에 사용한다


1.

Intermediate 데이터베이스에 유저 ID 와

타임스탬프를 고려하여 센서 데이터를

저장한다

데이터 스트림 저장 성공

2. 각 타임 슬롯에 150 개의 레코드가 있는지

검사한다 스트림 지연 식별 성공

3. 동일 타임 슬롯의 데이터가 유저 ID 가

다른지 검사한다 고유성 식별 성공

4. 각 센서는 해당 센서의 주파수를 고려하여

적절한 개수의 레코드를 할당받아야 한다

적합한 데이터

라벨링 성공

(2) 실험 2

테스트 케이스 # MM-V1-DL-02

테스트 케이스 이름 스트림 데이터 스트레스와 부하


선행 조건 웹 서비스의 부하 테스트

No. 절차 기대되는 결과 성공/실패 비고

1.

Intermediate 데이터베이스에

24 시간동안 데이터를 제공하는

클라이언트를 실행시킨다.

클라이언트는 센서의 주파수대로

데이터를 24 시간동안 생성한다

데이터 스트리밍이 잘

동작하고, 만약

지연이 존재할경우

식별된다 identification

if exists

38.93%의 에러

확률로 성공


4.3 스트림 데이터 획득과 손실

- 본 실험의 가장 주요한 목표는 데이터 스트림이나 정보의 손실을 막기 위해 스트림 데이터를

정확하게 기록하는 것이다. 만약 데이터나 정보에 조그마한 손실이라도 있다면 데이터의

신뢰성에 문제가 생길 수 있다. 그러므로 데이터 획득과 손실을 평가하기 위해 다수의 스트림이

생성되어 Intermediate 데이터베이스에 기록되는 동안 스캔되고 분석되었다. 이러한 목적을 위해

생성시 태깅된 ID DB 에 기록시 태깅된 ID 가 스트림과 비교되었다. 각 스트림은 두 가지 ID 를

보유한다. 첫번째 ID 는 생성시 기록되며 두 번째 ID 는 수신시 기록된다.

(1) 실험 1

테스트 케이스 # MM-V1-DA-01

테스트 케이스 이름 스트림 데이터 획득과 손실


선행 조건 웹 서비스의 스트레스 테스트

No. 절차 기대되는

결과 성공/실패 비고

1.

클라이언트는 데이터에 고유한 ID 를 추가하며

웹 서비스 또한 고유한 ID 를 기록한다.

그러므로 각 레코드는 2 개의 ID 를 보유한다.

Cross validation 기법이 손실된 데이터를 식별할

수 있다

올바른

데이터 획득 통과

2.

각 스트림이 전송 ID 와 수신 ID 를 지닌다. 이

ID 들은 순차적으로 생성된다. 그러므로 동일한

ID 는 지연이 없다는 것을 의미한다.

통과

3.

각 스트림은 전송 ID 와 수신 ID 를 보유한다.

이러한 ID 들은 순차적으로 생성된다.

그러므로 ID 에 단절이 있거나 레코드의 ID

2 개가 다르다면 데이터의 손실이 생겼다는

것이다.

데이터/정보

손실이

발생하면

감지

40% 이하의

에러율로

통과



- 마이닝 마인즈 어플리케이션은 마이닝 마인즈에서 제공되는 중요한 기능과 특성들을 평가하는데

사용되며, 플랫폼의 중요한 기능과 특성은 큐레이션과 DCL 에 저장된 센서 데이터의 지속성을

의미한다. 대부분의 건강 관리 어플리케이션은 센서 데이터를 처리한 후 삭제한다. 그러나

이러한 센서 데이터는 지식 모델을 진화시키기 위해 사용되거나 새로운 모델을 생성하기 위해

저장할 가치가 있다. DCL 의 수행능력을 평가하기 위하여, 정확도와 센서 데이터의 수집, 처리와

저장 능력이 평가 대상이 된다. 그러한 관점에서, 연속적인 데이터 저장 서비스가 24 시간동안

호출되며 평가된다. 정확도는 손실된 데이터 패킷의 비율로 측정되며 <표 2>에 나타나 있다. 본

결과는 평균 38.93% 의 에러로 61.07%의 정확도를 보여 최소 절반 이상의 센서 데이터가

플랫폼에 안전하게 저장된다는 것을 확인할 수 있다. [그림 3]은 시스템이 데이터를 Intermediate

데이터베이스에 저장하는 성능을 측정한다. 부하 테스트의 결과는 시스템 사용이 증가함에도

불구하고 안정적인 결과를 보였으며, 7800 개의 레코드로 구성된 센서 데이터를 초당 2.2 개

처리할 수 있었다.

<표 2> 큐레이션 프로세스의 데이터 정확도

[그림 3] 데이터 유지 프로세스 성능

서비스 콜 개수 손실된 데이터 패킷 수 에러율 (%)

30,000 9,723 32.41

60,000 21,456 35.76

90,000 33,834 37.59

120,000 46,954 39.13

150,000 65,765 43.84

180,000 79,489 44.16

평균 38.93




마이닝마인즈 핵심기술 개발” 과제의 12 가지 정량적 평가항목 중 “생활 주기를 고려한 스트리밍

마이닝 정확도”에 대한 평가결과를 명시하였다.

- 본 평가는 사용자의 일상 생활 중 스마트폰에서 마이닝 마인즈 서버로 전송되는 스트리밍 센서

데이터의 손실이나 오류 없이 안전하게 저장되는지 검증하는데 그 목적이 있다.

- 평가는 세 개의 기관이 두 그룹으로 이루어 진행되었으며, 평가기관으로 U2 시스템과 타파크로스,

실험 진행 기관으로 경희대를 선정하여 평가가 진행되었다.

- 본 평가에서는 스트리밍 마이닝 과정의 순서대로 스트림 분석과 식별, 스트림 데이터 부하,

그리고 스트림 데이터 흭독과 손실의 세 가지 실험을 진행하였으며, 최종적으로 스트리이밍

마이닝의 정확도는 평가 기준 60% 이상인 61.09%의 결과가 산출되었다.

- 향후 연구로 스마트폰 뿐만 아니라 웨어러블 센서에서 측정된 데이터도 같이 고려될 예정이다.

스마트폰 데이터는 가속도, 자이로, 지자계와 GPS 로 구성되어 있으며, 웨어러블 센서 데이터는

가속도, 자이로, 지자계와 ECG 로 구성되어 있다. 다수의 센서가 동시에 데이터를 제공하므로

교차 검증과 동기화가 필수적이며 결론적으로 추후 연구 과제는 데이터 중복 제거와 동기화

관리가 될 것이다.


[softwaretestinghelp] http://www.softwaretestinghelp.com/test-case-template-examples/

[Zaharia2014] Zaharia, Matei, et al. "Spark: cluster computing with working sets." Proceedings of the

2nd USENIX conference on Hot topics in cloud computing. 2010

[Shahrivari2014] Shahrivari, Saeed. "Beyond Batch Processing: Towards Real-Time and Streaming Big

Data." arXiv preprint arXiv:1403.3375 (2014).

[Lam 2012] Lam, Wang, et al. "Muppet: MapReduce-style processing of fast data." Proceedings of

the VLDB Endowment 5.12 (2012): 1814-1825

[Pallickara 2009] Pallickara, Shrideep, Jaliya Ekanayake, and Geoffrey Fox. "Granules: A lightweight,

streaming runtime for cloud computing with support, for map-reduce." Cluster

Computing and Workshops, 2009. CLUSTER'09. IEEE International Conference on.

IEEE, 2009

[Zinn2010] Zinn, Daniel, et al. "Parallelizing XML data-streaming workflows via

MapReduce." Journal of Computer and System Sciences 76.6 (2010): 447-463.

[Ding2011] Ding, Mengwei, et al. "More convenient more overhead: the performance evaluation of

Hadoop streaming." Proceedings of the 2011 ACM Symposium on Research in Applied

Computation. ACM, 2011

[Melnik2010] Melnik, Sergey, et al. "Dremel: interactive analysis of web-scale datasets."Proceedings of

the VLDB Endowment 3.1-2 (2010): 330-339.

[Kornacker2012] Kornacker, Marcel, and Justin Erickson. "Cloudera Impala: real-time queries in Apache

Hadoop, for real." 2012-10 [2013-02]. http://blog. cloudera. com/blog/2012/10/cloudera-

impalareal-time-queries-in-apache-hadoop-for-real(2012).

[amplab] https://amplab.cs.berkeley.edu/

[Hausenblas2013] Hausenblas, Michael, and Jacques Nadeau. "Apache drill: interactive Ad-Hoc analysis at

scale." Big Data 1.2 (2013): 100-104.


고차원 특징점 추출을 통한

차원 축소율

Rate of dimension reduction by high-

level feature extraction







요약(Summary)

평가항목

(Evaluation item) 고차원 특징점 추출을 통한 차원 축소율

평가기준


- 변수 개수 축소 비율

- 데이터 차원 축소 비율

- 차원 축소율 대비 정확도 유지 비율

평가방법

(Methodology)

- 본 평가에서 사용되는 데이터셋은 평가항목 1 번 “멀티모달 센서기반

행위인지 정확도”에서 수집된 데이터 중 스마트폰을 사용하여 수집한

가속도 데이터만을 사용하였음.

- 총 20 명의 실험군 데이터 중 10 명의 실험군 데이터를 선정하여 사용하였음.

- 특징 수 감소 알고리즘과 특징 선택 알고리즘을 모두 실험하여 두 방법의

성능을 비교함.

∙ 차원 축소 감소율 : Principle Component Analysis 적용

∙ 특징 집합 선택 : Filter 방법 적용

- 차원 축소 이후 SVM (Support Vector Machine)을 이용하여 실제 행위인지

정확도를 산출함.


시나리오

(Evaluation

Environment/Test

scenario)

- 데이터셋은 5 개 행위 (서기, 걷기, 뛰기, 버스, 지하철)로부터 수집한 가속도

데이터이며, 가속도 데이터 신호주기는 50Hz 임.

- 원본 데이터는 3 초 주기로 분리되어 모델 트레이닝과 분류에 사용되었으며,

행렬 형태로 저장됨

- 비교실험을 위하여 원본 행렬 𝐷에서 새로운 행렬 𝐷′ 을 구하여 서로 다른

특징들의 부분집합을 생성함

∙ 특징 선택 부분집합 (필터 알고리즘에 의해 얻어진 정보)에 의해, 𝐷 와

𝐷′은 열의 개수(특징 개수)만 달라짐.

∙ PCA 부분집합은 열의 개수와 그 해석 또한 달라질 수 있음.

- 특징 추출 알고리즘의 필터 메소드에서 원본 특징들 중 얻어진 정보로

정렬한 결과의 상위 n 개의 특징들이 사용됨.

- PCA 부분집합에서는 원본 데이터의 특징과 변화를 가장 잘 반영하는

첫 n 개의 변수가 사용됨.

- 분류 정확도는 10-fold cross-validation 을 사용함.

평가결과

(Result) - 차원 축소율 61.9%에서 분류 정확도 70%를 유지함


1. 연구 개요(Research introduction)


마이닝마인즈 핵심기술 개발” 과제의 12 가지 정량적 평가항목 중 “고차원 특징점 추출을 통한

차원 축소율”에 대한 평가결과를 명시한 보고서로, 참여기관인 녹십자헬스케어와 타파크로스가



서비스 큐레이션, 서포팅 레이어)로 구성되며, 이 중 고차원 특징점 추출을 통한 차원 축소율은

정보 큐레이션 레이어에 해당한다. 아래의 [그림 1]은 정보 큐레이션 레이어의 전체 구조도를

나타낸다.


- 정보 큐레이션 레이어는 다양한 센서 및 소셜 네트워크 데이터를 분석하여 사용자의 일상 생활

행위 및 감정 상태를 분석, 사용자의 생활 패턴을 파악하는 것에 그 목적이 있다. 행위 및 감정

인지를 위한 인지 모델 생성을 위하여 먼저 다양한 종류의 데이터로부터 특징을 추출하고

분류기를 통하여 특징을 분류한다. 그러나 분류 과정 중 특징의 종류가 너무 많을 경우 오히려

특징의 종류가 적을 때보다 분류율이 저하되는 문제가 발생한다.

- 기계 학습과 통계학 분야에서, 차원 축소 기법은 모델에 사용되는 특징들의 총 개수를 줄이는

방법이며, 특징 선택과 특징 추출로 나뉘어질 수 있다.

- 특징 선택 기법은 기존 특징들의 분류율을 유지하면서도 제외할 수 있는 변수들을 제외한 특징

부분 집합을 찾는 것을 목적으로 하며, 필터링과 Wrapper 접근법이 있다. 특정 케이스에서는

회귀나 분류법 등의 데이터 분석법이 사용되기도 한다.

- 특징 추출은 고차원에 존재하는 데이터를 보다 낮은 차원으로 사영한다. 데이터 사영은 Principle

Component Analysis(PCA)기법처럼 선형일 수 있으나, 다른 많은 비선형 기법들도 존재한다.

- 선형 기법 중 가장 많이 쓰이는 PCA 분석은 저차원 데이터의 분산이 최대화되는 방향으로

선형근사사영을 시행한다. 모델 실행 절차는 데이터의 코릴레이션 행렬이 생성된 이후에 행렬의


고유값이 계산되며, 이 때 Spectral Radius 라고 불리는 절대값이 가장 큰 고유값을 사용해 원본

데이터 분산의 많은 부분을 재구축한다. 처음 몇 개의 고유값은 해당 시스템의 거시적

관점에서의 물리적 행동을 나타낸다고 해석할 수 있다. 따라서 원본 데이터의 공간이 몇 개의

고유벡터가 기저가 되는 낮은 차원의 공간으로 축소되는 과정에서 가장 중요한 분산들이

유지된다.

- 특징 추출과 차원 축소 기법은 Principal Component Analysis(PCA), Linear Discriminent

Analysis(LDA)나 Canonical Correlation Analysis(CCA) 등에서 K-NN 을 사용한 클러스터링의

전처리 기법으로서 혼합되어 사용될 수 있으며, 기계 학습 분야에서 이러한 기법을 저차원

Embedding 이라고 불린다.

- Principal components analysis (PCA) [Jolliffe 1986]는 데이터에 대한 고차원 관측값들이 주어졌을 때

최적의 선형 근사사영 방법을 제공하는 알고리즘으로, 차원 축소 기법 중 가장 대중적이나

계산의 편의를 위해 모델을 선형으로 제한하기 때문에 정확도에 한계가 존재한다. PCA 와

밀접하게 연관된 다차원 스케일링(MDS) [Cox 2001] 기법은 이러한 문제를 해결한다.

- 팩터 분석과 Independent component analysis (ICA) [Hyv arinen1999] 기법 또한 선형 모델을 사용한다.

그러나, 이 알고리즘은 부분공간을 확인하고 모델링하는 방법에서 PCA 와 차별화된다. PCA 에

의해 모델링된 부분공간은 분산을 최대화되는 방향으로 모델링되며 데이터의 공분산 구조를

모델링한 것으로 해석될 수 있다. 반면에 백터 분석 모델은 코릴레이션 구조를 모델링한 것이다.

- ICA 는 팩터 분석에서부터 결과로부터 시작하며 독립적인 컴포넌트들을 생성하는 rotation 을

찾는다[Cherkassky 1998]. 이러한 고전적인 차원 축소 기법들의 단점은, 기저들의 선형 결합으로

생성되는 부분공간만을 고려한다는 것이다.

- 비선형 모델이 차원 축소 문제를 해결하기 위해, kernel PCA[Mika 1999], locally linear embedding

(LLE) [Saul 2003], Laplacian eigenmaps (LEM) [Belkin 2003], Isomap [Tenenbaum 1998], and semidefinite

embedding (SDE) [Weinberger 2004] 등 많은 기법이 제안되었다.


- 본 평가는 특징 차원을 축소시켜 차원을 낮춤으로써 시스템의 복잡도를 낮추고 모델 트레이닝과

분류에 걸리는 계산 비용을 낮추는데 목적이 있으며, 이를 통해 좀 더 빠른 실시간 연산 결과를

반영하는 것이 가능하다.


본 평가 항목인 “고차원 특징점 추출을 통한 차원 축소율” 항목을 발췌한 표이다. 1 차년도의

개발 목표는 차원 축소율 60% 이상을 산출되는지 검증하는 것이다.


<표 1> “고차원 특징점 추출을 통한 차원 축소율” - 정량적 목표

평가 항목

(주요성능

Spec1))

단위

전체 항목

에서

차지하는

비중2)

(%)

세계최고

수준

보유국/

보유기업

( / )

연구개발 전

국내수준 개발 목표치

평가 방법


년도

2차

년도

3차

년도

4차

년도

③고차원 특징점

추출을 통한

차원 축소율

% 6% 초기단계 초기단계 60% 63% 65% 80% 참여기업

평가

- 분류 과정은 True positives (TP), false positives (FP), true negatives (TN) 와 false negatives (FN)를

이용하며, 분류 정확도는 모든 객체들에 대해 TP+TN 의 비율로 정의될 수 있다.

𝐴𝑐𝑐 =𝑇𝑃 + 𝑇𝑁

𝑇𝑃 + 𝑇𝑁 + 𝐹𝑃 + 𝐹𝑁

- 차원 축소의 비율을 평가하기 위해, 총 principle component 의 개수 𝑁𝑃𝐶,𝑇 과 축소 후의 principle

component 의 개수 𝑁𝑃𝐶,𝑅 의 비율 R1 을 계산한다.

𝑅1 = 1 −𝑁𝑃𝐶,𝑅

𝑁𝑃𝐶,𝑇

- 특징 선택 비율을 평가하기 위해, 총 특징의 개수 𝑁𝐹,𝑇과 필터링 후의 특징 개수 𝑁𝐹,𝑇의 비율

R2 를 계산한다.

𝑅2 = 1 −𝑁𝐹,𝑅

𝑁𝐹,𝑇

- 본 평가에서는 스마트폰 기반의 행위인지 모델에 차원 축소 기법을 적용한 결과를 실험하며,

차원 축소율 60% 이상을 달성하는지 평가한다.



- 본 평가는 크게 평가기관과 실험 진행자의 두 그룹으로 구성되며, 양 그룹은 각자 정해진 역할을

맡아 평가를 진행한다. 아래의 [그림 2]는 “고차원 특징점 추출을 통한 차원 축소율” 평가에 대한


[그림 2] "고차원 특징점 추출을 통한 차원 축소율" 평가 프로세스

- 평가기관 : 녹십자헬스케어, 타파크로스

∙ 평가기관인 녹십자헬스케어와 타파크로스는 전체적인 평가 계획을 수립하고 평가

시나리오를 설계하며, 이를 상호 검토한다. 시나리오가 완성되면 정확한 평가 방식을 실험

진행자에게 설명하여 실험이 이루어지도록 하며, 실험이 끝난 후의 평가 데이터를 평가를

분석 및 검증하여 최종 평가 보고서를 작성한다.


∙ 실험 진행자는 차원 축소 알고리즘을 개발한 경희대학교에서 담당한다. 실험 진행자는 본

평가에 대한 기본적인 내용을 숙지하고, 평가기관이 작성한 평가 시나리오를 검토하고

숙지하여 전체적인 실험 진행이 차질이 없도록 한다. 실험 완료 후 실험 진행자는 실험

대상 그룹으로부터 얻은 평가 피드백을 실험 결과와 함께 평가기관에게 전달한다.

- 차원 축소율의 효율성을 확인하기 위해 변수의 개수와 차원 축소 비율을 변화시키며

실험하였으며, 일반적으로 다계층 기법의 정확도를 확인하는 정량적 수치인 true positives (TP),

false positives (FP), true negatives (TN) 와 false negatives (FN)을 이용하였다. 다계층 기법의 정확도는

전체 데이터에서 TP 와 TN 의 비율로 측정된다.


- 다음은 차원 축소를 위해 사용한 알고리즘에 대한 설명과 평가 프로세스를 나타낸다.

Data Feature reduction Classification Class

(a)

Dimensionality

reductionData Classification Class

(b)

[그림 3] 평가 프로세스의 흐름도

3.1 필터 알고리즘

- 필터 기법은 추후 적용되는 기계 학습 알고리즘과는 독립적으로 동작하는 전처리 기법이다.

의사 결정 트리의 판단 기준을 결정하는 데 자주 쓰이는 Fisher score [17] , Pearson correlation [18]

등의 기법은 각 특징들이 얼마나 전체 데이터 셋을 분류하는지 알아내는데 사용된다. 데이터 셋

S 가 주어졌을 때의 전체 엔트로피 I 는 다음과 같이 정의된다.

𝐼(𝑆) ≔ − ∑ 𝑝𝑖 log2 𝑝𝑖

𝐶

𝑖=1

- 해당 공식에서 C 는 분류 클래스의 개수이며, 𝑝𝑖는 class i 에 속하는 개체들의 전체 대비 비율을

나타낸다. 정보 획득 (Information Gain, IG)이라 지칭되는 엔트로피 축소 기법은 각 특징 A 에

대해 다음과 같이 계산된다. 해당 공식에서 v 는 A 의 값, 𝑆𝐴,𝑣는 A 가 v 값을 가지는 원소들이

모인 집합이다.

𝐼𝐺(𝑆, 𝐴) = 𝐼(𝑆) − ∑|𝑆𝐴,𝑣|

|𝑆|𝑣∈𝐴

𝐼(𝑆𝐴,𝑣)

3.2 Principle Component Analysis (PCA)

- n 차원의 데이터가 주어졌을 때, PCA(Principal Component Analysis) 기법은 n 보다 낮은 d 차원을

가지는 선형 부분공간을 찾으려 시도한다. 선형 부분공간은 “principal components”라 불리는

d 개의 직각인 기저들에 의해서만 표현될 수 있다. principal components 는 원본 데이터 포인트의

선형이며 직각인 사영이므로 n 개 이상이 존재할 수 있다. 그러나 보통 이 알고리즘에서는 𝑑 < 𝑛

개의 principal components 들만이 원래 n 개의 기저들에 의해 생성되는 부분공간을 근사하기 위해

필요하다고 가정한다.

- PCA 의 가장 일반적인 정의는, 데이터 벡터들의 집합 𝑥𝑖 , 𝑖 ∈ 1 … 𝑡 , 가 주어졌을 때 분산을

최대화하는 저차원 사영이 되는 부분공간의 기저가 정규직교기저라는 것이다. 분산을 가능한 한

최대화하기 위해, 𝑈1이라 정의된 첫 번째 principal component 를 선택하도록 하여 모든 관측들이

𝑛 × 𝑡 행렬 𝑋 의 열들에 저장되었다고 가정한다. 즉, 각 열은 n 개의 데이터 벡터에 대응되며


t 개의 관측 시도가 발생했다고 보며 첫 번째 principal component 가 X 에 대해 가중치 벡터 𝑤 =

[𝑤1 … 𝑤𝑛] 에 대한 선형 결합으로 표현된다고 가정한다. 행렬로 나타내면 아래와 같으며, 𝑆 는

행렬 X 의𝑛 × 𝑛 공분산 행렬을 의미한다.

𝑈1 = 𝑤𝑇𝑋

𝑣𝑎𝑟(𝑈1) = 𝑣𝑎𝑟(𝑤𝑇𝑋) = 𝑤𝑇𝑆𝑤

- 𝑣𝑎𝑟(𝑈1) 는 w 를 증가시킴으로써 값을 임의로 증가시킬 수 있다. 따라서 우리는 w 가 정규

벡터라는 가정 하에 𝑤𝑇𝑆𝑤 를 최대화하려 𝑤를 선택한다.

max 𝑤𝑇𝑆𝑤

𝑠𝑢𝑏𝑗𝑒𝑐𝑡 𝑡𝑜 𝑤𝑇𝑤 = 1

- 해당 최적화 문제를 풀기 위해 Lagrange multiplier 𝛼1 가 도입된다:

𝐿(𝑤, 𝛼) = 𝑤𝑇𝑆𝑤 − 𝛼1(𝑤𝑇𝑤 − 1)

- W 에 대해 미분하면 n 개의 식이 생성된다.

𝑆𝑤 = 𝛼1𝑤

- 양 변을 𝑤𝑇로 곱하면 해당 식이 유도된다.

𝑤𝑇𝑆𝑤 = 𝛼1𝑤𝑇𝑤 = 𝛼1

- 𝑣𝑎𝑟(𝑈1) 는 spectral radius 가 되도록 최대화된다.

- 𝛼1 과 𝑤 는 𝑆의 고유값이다. 𝐿(𝑤, 𝛼)를 Lagrange multiplier 𝛼1 에 대하여 미분하면 다음 제약이

다시 유도된다.

𝑤𝑇𝑤 = 1

- 이는 첫 번째 principal component 가 공분산 행렬 S 에 있어서 spectral radius 와 연관된 정규화된

고유벡터에 의해 주어진다는 것을 의미한다. PCA 의 다른 유용한 특성은 principal subspace 로의

사상이 ∑ ‖𝑥𝑖 − ��𝑖‖2𝑡𝑖=1 (squared reconstruction error)를 최소화한다는 것이다. 즉, ℜ𝑛 차원의 데이터

집합의 principal components 들이 모든 n 보다 낮은 랭크 d 에 대해 가장 최적의 선형 근사를

제공한다. rand- 𝑑 선형 근사를 다음과 같이 고려할 수 있다.

𝑓(𝑦) = �� + 𝑈𝑑𝑦

- 이 식은 d 차원의 초평면을 parametric representation 으로 표현한 것이다. �� = 0 (그렇지 않으면

관측은 중심을 포함한 �� = 𝑥𝑖 − ��으로 대체될 수 있다)이라고 가정할 경우, 𝑑 차원의 선형 모델은

𝑓(𝑦) = 𝑈𝑑𝑦 가 되며 𝑈𝑑 는 d 개의 정규직교 벡터를 열로 지닌 𝑛 × 𝑑 행렬이 되며 𝑦 는


파라미터들의 벡터이다. 이 모델을 최소자승법에 적용하면 재구축 에러를 최소화시킬 수 있게

된다.

min𝑈𝑑,𝑦𝑖

∑‖𝑥𝑖 − 𝑈𝑑𝑦𝑖‖2

𝑡

𝑖

- 𝑦𝑖 에 대한 부분 최적화를 통해 다음의 식이 유도된다.

𝑑

𝑑𝑦𝑖

= 0 → 𝑦𝑖 = 𝑈𝑑𝑇𝑥𝑖

- 다음으로 직교 행렬 𝑈𝑑를 찾는다.

min𝑈𝑑

∑‖𝑥𝑖 − 𝑈𝑑𝑈𝑑𝑇𝑥𝑖‖2

𝑡

𝑖

- 𝐻𝑑 = 𝑈𝑑𝑈𝑑𝑇 로 정의한다. 𝐻𝑑 는 𝑛 × 𝑛 각 데이터 포인트𝑥𝑖 를 d 차원의 부분공간으로 사영시키는

역할을 한다. 즉, 𝐻𝑑𝑥𝑖 는 𝑥𝑖 에 대해 𝑈𝑑 의 열들로 대표되는 부분 공간으로의 직교 사상이다.

유일한 해 𝑈는 X 에 대해 특이값 분해를 시행함으로서 얻어질 수 있다. 각 랭크 d 에 대해, 𝑈𝑑

는 U 의 첫 열들을 포함하고 있다.

- 명백하게 해 𝑈는 X 에 대한 특이값 분해의 결과로 표현될 수 있다

𝑋 = 𝑈∑𝑉𝑇

3.3 알고리즘 : Direct PCA Algorithm

- Recover basis: Calculate 𝑋𝑋𝑇 = ∑ 𝑥𝑖𝑥𝑖𝑇𝑡

𝑖=1 and let 𝑈 = 𝑒𝑖𝑔𝑒𝑛𝑣𝑒𝑐𝑡𝑜𝑟𝑠 of 𝑋𝑋𝑇 corresponding to the top 𝑑

eigenvalues.

- Encode training data: 𝑌 = 𝑈𝑇𝑋 where 𝑌 is a 𝑑 × 𝑡 matrix of encodings of original data.

- Reconstruct training data: �� = 𝑈𝑌 = 𝑈𝑈𝑇𝑋.

- Encode test example: 𝑦 = 𝑈𝑇𝑥 where 𝑦 is a 𝑑–dimensional encoding of 𝑥.

- Reconstruct test example: �� = 𝑈𝑦 = 𝑈𝑈𝑇𝑥



4.1 평가 환경

- 고차원 특징점 추출을 통한 차원 축소율에서 사용된 데이터셋은 평가항목 1 번 “멀티모달

센서기반 행위인지 정확도”에서 수집된 데이터 중 스마트폰을 사용하여 수집한 가속도

데이터만을 사용하였으며, 총 20 명의 실험군 데이터 중 10 명의 실험군 데이터를 선정하여

사용하였다. 기타 평가 환경은 평가항목 1 번과 같다.

- 비교실험을 위하여 원본 행렬 𝐷에서 새로운 행렬 𝐷′을 구하여 서로 다른 특징들의 부분집합을

생성한다. 특징 선택 부분집합 (필터 알고리즘에 의해 얻어진 정보)에 의해, 𝐷 와 𝐷′ 은 열의

개수(특징 개수)만 달라진다. PCA 부분집합은 열의 개수와 그 해석 또한 달라질 수 있다.

- 특징 추출 알고리즘의 필터 메소드에서 원본 특징들 중 얻어진 정보로 정렬한 결과의 상위

n 개의 특징들이 사용된다. PCA 부분집합에서는 원본 데이터의 특징과 변화를 가장 잘 반영하는

첫 n 개의 변수가 사용된다. 분류 정확도는 10-fold cross-validation 을 사용하여 측정되었다.

4.2 데이터셋

- 데이터셋은 5 개 행위 (서기, 걷기, 뛰기, 버스, 지하철)로부터 수집한 가속도 데이터이며, 가속도

데이터 신호주기는 50Hz 이다. 원본 데이터는 3 초 주기로 분리되어 모델 트레이닝과 분류에

사용되었으며, 행렬 형태로 저장되었다. 각 행렬에는 다음과 같이 150 개의 샘플이 있다.

행렬에서 𝑎𝑥 , 𝑎𝑦 와 𝑎𝑧 는 3 축의 가속도 센서 값이며, 아래의 <표 2>는 사용한 특징들의

리스트를 나열하였다.

1 1 1

150 150 150

ax ay az

d

ax ay az

<표 2> “고차원 특징점 추출을 통한 차원 축소율” 에서 사용한 특징들

순서 특징 설명

1 amin(x) ax 열의 최소값을 반환한다.

2 amin(y) ay 열의 최소값을 반환한다.

3 amin(z) az 열의 최소값을 반환한다.

4 amax(x) ax 열의 최대값을 반환한다.

5 amax(y) ay 열의 최대값을 반환한다.

6 amax(z) az 열의 최대값을 반환한다.

7 nanmin(x) NaNs 은 무시하며, ax 열의 최소값을 반환한다

8 nanmin(y) NaNs 은 무시하며, ay 열의 최소값을 반환한다

9 nanmin(z) NaNs 은 무시하며, az 열의 최소값을 반환한다


10 nanmax(x) NaNs 은 무시하며, ax 열의 최대값을 반환한다

11 nanmax(y) NaNs 은 무시하며, ay 열의 최대값을 반환한다

12 nanmax(z) NaNs 은 무시하며, az 열의 최대값을 반환한다

13 ptp(x) ax 열의 값들의 범위

14 ptp(y) ay 열의 값들의 범위

15 ptp(z) az 열의 값들의 범위

16 percentile(x,75) ax 열 데이터의 75th 백분위를 계산한다

17 percentile(y,75) ay 열 데이터의 75th 백분위를 계산한다

18 percentile(z,75) az 열 데이터의 75th 백분위를 계산한다

19 median(x) ax 열의 median 을 계산한다

20 median(y) ay 열의 median 을 계산한다

21 median(z) az 열의 median 을 계산한다

22 average(x) ax 열의 가중치 평균을 계산한다

23 average(y) ay 열의 가중치 평균을 계산한다

24 average(z) az 열의 가중치 평균을 계산한다

25 meana(x) ax 열의 산술평균을 계산한다

26 meana(y) ay 열의 산술평균을 계산한다

27 meana(z) ax 열의 산술평균을 계산한다

28 meanh(x) ax 열의 조화평균을 계산한다

29 meanh(y) ay 열의 조화평균을 계산한다

30 meanh(z) ax 열의 조화평균을 계산한다

31 meant(x) ax 열의 절삭평균을 계산한다

32 meant(y) ay 열의 절삭평균을 계산한다

33 meant(z) ax 열의 절삭평균을 계산한다

34 nanmeana(x) NaNs 은 무시하며, ax 열의 산술평균을 계산한다

35 nanmeana(y) NaNs 은 무시하며, ay 열의 산술평균을 계산한다

36 nanmeana(z) NaNs 은 무시하며, ax 열의 산술평균을 계산한다

37 nanmeanh(x) NaNs 은 무시하며, ax 열의 조화평균을 계산한다

38 nanmeanh(y) NaNs 은 무시하며, ay 열의 조화평균을 계산한다

39 nanmeanh(z) NaNs 은 무시하며, ax 열의 조화평균을 계산한다

40 nanmeant(x) NaNs 은 무시하며, ax 열의 절삭평균을 계산한다

41 nanmeant(y) NaNs 은 무시하며, ay 열의 절삭평균을 계산한다

42 nanmeant(z) NaNs 은 무시하며, ax 열의 절삭평균을 계산한다

43 std(x) ax 열의 표준편차를 계산한다

44 std(y) ay 열의 표준편차를 계산한다

45 std(z) az 열의 표준편차를 계산한다

46 var(x) ax 열의 분산을 계산한다

47 var(y) ay 열의 분산을 계산한다

48 var(z) az 열의 분산을 계산한다


49 nonstd(x) NaNs 은 무시하며, ax 열의 표준편차를 계산한다

50 nonstd(y) NaNs 은 무시하며, ay 열의 표준편차를 계산한다

51 nonstd(z) NaNs 은 무시하며, az 열의 표준편차를 계산한다

52 nonvar(x) NaNs 은 무시하며, ax 열의 분산을 계산한다

53 nonvar(y) NaNs 은 무시하며, ay 열의 분산을 계산한다

54 nonvar(z) NaNs 은 무시하며, az 열의 분산을 계산한다

55 cov(x,y) ax 와 ay 변수 사이의 공분산을 계산한다

56 cov(x,z) ax 와 az 변수 사이의 공분산을 계산한다

57 cov(y,z) ay 와 az 변수 사이의 공분산을 계산한다

58 corr(x,y) ax 와 ay 변수 사이의 상관계수를 계산한다

59 corr(x,z) ax 와 az 변수 사이의 상관계수를 계산한다

60 corr(y,z) ay 와 az 변수 사이의 상관계수를 계산한다

61 maxprob(x) ax 열의 최대 밀도 함수를 계산한다

62 maxprob(y) ay 열의 최대 밀도 함수를 계산한다

63 maxprob(z) az 열의 최대 밀도 함수를 계산한다

64 inmaxprob(x) ax 열의 maxprob(x) 값을 반환한다

65 inmaxprob(y) ay 열의 maxprob(x) 값을 반환한다

66 inmaxprob(z) az 열의 maxprob(x) 값을 반환한다

67 entropy(x) ax 열의 엔트로피를 계산한다

68 entropy(y) ay 열의 엔트로피를 계산한다

69 entropy(z) az 열의 엔트로피를 계산한다

70 gentropy(x) ax 열의 깁스 엔트로피를 계산한다

71 gentropy(y) ay 열의 깁스 엔트로피를 계산한다

72 gentropy(z) az 열의 깁스 엔트로피를 계산한다

73 bentropy(x) ax 열의 볼츠만 엔트로피를 계산한다

74 bentropy(y) ay 열의 볼츠만 엔트로피를 계산한다

75 bentropy(z) az 열의 볼츠만 엔트로피를 계산한다

76 entropyrate(x) ax 열의 엔트로피 비율을 계산한다

77 entropyrate(y) ay 열의 엔트로피 비율을 계산한다

78 entropyrate(z) az 열의 엔트로피 비율을 계산한다

79 maxmagspec (x) ax 열의 최대 스펙트럼 크기를 반환한다

80 maxmagspec (y) ay 열의 최대 스펙트럼 크기를 반환한다

81 maxmagspec (z) az 열의 최대 스펙트럼 크기를 반환한다

82 stdmagspec(x) ax 열의 크기 스펙트럼의 표준편차를 계산한다

83 stdmagspec (y) ay 열의 크기 스펙트럼의 표준편차를 계산한다

84 stdmagspec (z) az 열의 크기 스펙트럼의 표준편차를 계산한다

85 varmagspec (x) ax 열의 크기 스펙트럼의 분산을 계산한다

86 varmagspec (y) ay 열의 크기 스펙트럼의 분산을 계산한다

87 varmagspec (z) az 열의 크기 스펙트럼의 분산을 계산한다


88 covmagspec(x,y) ax 와 ay 변수 사이의 크기 스펙트럼의 공분산을 계산한다

89 covmagspec(x,z) ax 와 az 변수 사이의 크기 스펙트럼의 공분산을 계산한다

90 covmagspec(y,z) ay 와 az 변수 사이의 크기 스펙트럼의 공분산을 계산한다

91 corrmagspec (x,y) ax 와 ay 변수 사이의 크기 스펙트럼의 상관계수를 계산한다

92 corrmagspec (x,z) ax 와 az 변수 사이의 크기 스펙트럼의 상관계수를 계산한다

93 corrmagspec (y,z) ay 와 az 변수 사이의 크기 스펙트럼의 상관계수를 계산한다

94 stdphaspec(x) ax 열의 위상 스펙트럼의 표준편차를 계산한다

95 stdphaspec (y) ay 열의 위상 스펙트럼의 표준편차를 계산한다

96 stdphaspec (z) az 열의 위상 스펙트럼의 표준편차를 계산한다

97 varphaspec (x) ax 열의 위상 스펙트럼의 분산을 계산한다

98 varphaspec (y) ay 열의 위상 스펙트럼의 분산을 계산한다

99 varphaspec (z) az 열의 위상 스펙트럼의 분산을 계산한다

100 covphaspec(x,y) ax 와 ay 변수 사이의 위상 스펙트럼의 공분산을 계산한다

101 covphaspec(x,z) ax 와 az 변수 사이의 위상 스펙트럼의 공분산을 계산한다

102 covphaspec(y,z) ay 와 az 변수 사이의 위상 스펙트럼의 공분산을 계산한다

103 corrphaspec (x,y) ax 와 ay 변수 사이의 위상 스펙트럼의 상관계수를 계산한다

104 corrphaspec (x,z) ax 와 az 변수 사이의 위상 스펙트럼의 상관계수를 계산한다

105 corrphaspec (y,z) ay 와 az 변수 사이의 위상 스펙트럼의 상관계수를 계산한다

- 3 초의 원본 가속도 데이터에 대하여 105 개의 특징을 포함하는 특징 벡터를 생성하였다.

1 1 1

1 2 105

150 150 150

n

ax ay az

d F f f f f

ax ay az

- 𝑓𝑛 은 Table 1 에서 설명된 n 번째 특징이다. 벡터의 특징 개수는 다음과 같이 계산될 수 있다:

𝑛𝐹 =5 (𝑚𝑖𝑛𝑢𝑡𝑒𝑠) × 60

3 (𝑠𝑒𝑐𝑜𝑛𝑑𝑠)= 100

- 특징 행렬은 다음과 같이 표시될 수 있다

1,1 1,2 1, 1,105 1

2,1 2,2 2,n 2,105 2

,1 n,2 n,n n,105

100,1 100,2 100,n 100,105 100

n

n n

f f f f F

f f f f F

f f f f F

f f f f F

D

- PCA 알고리즘은 해당 특징 행렬의 차원을 축소시키기 위해 쓰이며, 특징 선택의 필터

알고리즘은 특징의 개수를 줄이기 위해 사용하였다.



- 사용된 principle components 의 개수와 원본 특징에 순위를 매겨 얻어진 정보를 사용한 행위

분류 정확도간의 관계는 <표 3>과 <표 4>에 나타내었다. [그림 4]와 [그림 5]는 10 명의 유저의

평균 정확도를 나타낸다.

<표 3> 사용된 PC 개수에 따른 유저의 행위 분류 정확도

Pc 의

개수

실험군

1

실험군

2

실험군

3

실험군

4

실험군

5

실험군

6

실험군

7

실험군

8

실험군

9

실험군

10 평균

105 81.6 77.7 81.6 80.1 81.6 77.6 79.3 78.1 78.4 79.3 79.5

90 78.0 79.3 77.8 76.1 79.0 78.0 78.1 76.1 78.6 75.5 77.6

80 74.1 72.9 75.0 74.4 74.4 75.3 72.8 72.8 73.3 74.5 74.0

70 71.2 74.1 71.5 73.0 70.1 70.4 69.6 72.8 73.3 70.2 72.6

65 70.7 70.5 71.5 72.0 71.9 71.1 68.6 69.7 72.2 72.5 71.1

60 67.3 70.2 70.7 69.7 68.7 69.2 70.4 68.8 68.8 69.4 69.3

50 64.7 68.0 66.3 67.8 64.8 68.3 65.5 65.0 64.6 67.5 66.3

55 59.1 55.2 56.7 58.0 58.0 59.1 56.4 58.5 60.1 59.3 58.1

40 56.0 55.2 55.0 55.5 56.5 54.9 58.0 53.7 53.8 54.9 55.4

45 51.9 55.6 52.9 52.0 54.5 52.8 53.6 53.8 54.8 52.8 53.4

30 49.0 53.1 49.7 52.4 50.5 50.5 50.5 50.2 51.0 50.0 50.7

35 45.8 47.4 48.9 46.8 47.9 45.0 47.9 46.7 46.5 47.0 47.0

20 37.8 36.3 34.0 34.4 38.2 37.7 37.0 38.2 38.6 36.1 36.8

10 29.6 29.6 33.3 32.3 34.2 30.4 32.3 31.1 32.0 31.4 31.6

8 25.9 29.2 28.8 29.1 29.4 24.6 27.4 28.6 28.0 26.0 27.7

6 23.0 25.8 26.4 26.3 23.8 26.6 23.5 25.7 24.3 24.1 25.0

4 25.1 22.4 24.2 22.0 24.8 23.5 22.6 25.1 23.5 22.7 23.6

2 23.1 22.1 20.0 22.7 23.1 23.1 21.2 19.8 23.3 20.9 21.9

1 13.5 11.2 13.5 12.2 12.3 15.0 14.8 11.8 14.7 13.7 13.3

[그림 4] 사용된 principle components 에 따른 평균 분류 정확도

<표 4> 사용된 PC 개수에 따른 유저의 행위 분류 정확도


특징의

개수

실험군

1

실험군

2

실험군

3

실험군

4

실험군

5

실험군

6

실험군

7

실험군

8

실험군

9

실험군

10 평균

105 80.4 76.3 77.8 80.1 80.5 79.6 81.0 79.5 82.0 78.0 79.5

90 78.2 79.9 77.4 79.0 79.2 76.3 79.3 77.4 74.4 79.6 78.1

75 76.7 74.5 73.5 75.7 71.8 76.1 75.9 72.3 76.3 71.1 74.4

60 70.8 71.0 73.2 73.7 67.6 72.3 70.7 72.3 70.0 72.3 71.4

50 67.2 66.2 69.8 71.4 71.3 69.9 70.8 72.4 70.0 67.9 69.7

41 66.0 69.0 70.9 68.1 63.6 64.4 67.9 67.8 65.5 63.6 66.7

36 58.9 59.6 60.7 60.0 58.7 61.9 61.7 62.6 60.1 59.0 60.3

31 58.4 57.5 58.4 57.2 59.8 54.2 57.6 59.3 59.9 53.5 57.6

27 55.9 52.9 54.7 58.0 54.3 51.6 55.5 58.0 56.3 53.4 55.1

23 51.8 55.0 53.5 52.0 53.7 53.0 52.5 54.1 54.7 52.7 53.3

19 50.9 47.4 51.9 49.9 50.2 53.1 51.4 49.6 48.9 47.4 50.1

16 44.3 46.1 49.1 49.1 47.7 43.4 49.1 48.9 48.8 44.7 47.1

13 33.9 33.8 37.5 38.7 33.6 32.5 37.0 38.0 35.0 33.3 35.3

10 29.8 30.8 31.3 31.3 28.2 29.9 32.5 29.6 33.0 29.3 30.6

8 27.6 29.2 24.5 27.7 28.6 23.5 27.4 26.0 24.9 27.7 26.7

6 26.5 21.8 23.5 25.0 26.9 23.2 24.2 23.4 21.7 19.8 23.6

4 25.7 21.2 24.7 25.2 23.0 21.7 22.3 22.7 24.2 25.0 23.6

2 21.0 20.1 19.0 20.2 15.9 22.0 23.0 22.9 19.3 23.5 20.7

1 14.4 13.3 12.1 13.5 10.3 15.1 14.1 14.8 10.7 14.9 13.3

[그림 4] 사용된 특징값에 따른 평균 행위 분류 정확도

- [그림 3]과 같이 principle components 와 특징의 개수가 줄어듬에 따라 분류 정확도가 감소한다.

통계적인 방법을 이용하여 분류 정확도와 차원 축소의 적절한 tradeoff 지점을 찾기 위해

적절한 principle components 의 개수와 특징들의 개수가 결정되었다. 대략 70%의 분류 정확도를

달성하기 위하여, 차원 축소 비율은 𝑅1 = 1 −40

105= 61.9 %가 되었고, 특징 축소 비율은 𝑅2 = 1 −

50

105= 52.4%가 되었다. 결론적으로 차원 축소가 특징 개수 축소보다 효율적이라고 볼 수 있다.

비록 분류 정확도가 소폭 감소하긴 하였지만, 차원 축소 비율이 증가함으로써 시스템은 적은

자원 사용과 빠른 연산이 가능해진다.




마이닝마인즈 핵심기술 개발” 과제의 12 가지 정량적 평가항목 중 “고차원 특징점 추출을 통한

차원 축소율”에 대한 평가결과를 명시하였다.

- 차원 축소는 특징의 차원을 줄여 정확도는 높게 유지하면서 빠른 연산과 적은 자원을 사용하는

것을 목표로 한다. 본 보고서에서는 행위인지 모델 생성시에 필터 알고리즘을 사용한 특징

선택법이 분류에 사용되는 특징의 개수를 줄이기 위하여 적용되었다.

- 평가는 세 개의 기관이 두 그룹으로 이루어 진행되었으며, 평가기관으로 녹십자헬스케어와

타파크로스, 실험 진행 기관으로 경희대를 선정하여 평가가 진행되었다.

- 평가 결과, 특징 기반보다 Principle component 기반 차원 축소의 성능이 더 높았으며, 정확도를 약

70% 유지할 때의 차원 축소율은 61.9%를 달성하였다. 이로써 시스템을 단순화시키고 분류

단계에서의 연산 비용 감소와 특징 저장 공간을 효율적으로 사용하기 위해서는 PCA 알고리즘이

Filters 알고리즘보다 효율적이라는 것이 판명되었다..

- 향후 연구로 특징 선택과 차원 축소 기법을 위한 더 효율적인 알고리즘들을 고려할 예정이다.


[Jolliffe 1986] I. Jolliffe. Principle Component Analysis. Springer-Verlag, New York, 1986.

[Cox 2001] T. Cox and M. Cox. Multidimensional Scaling. Chapman Hall, Boca Raton, 2nd edition,

2001

[Hyv arinen1999] A. Hyv arinen. Survey on independent component analysis. Neural Computing Surveys,

2:94–128, 1999.

[Cherkassky 1998] V. Cherkassky and F. Mulier. Learning from data. Wiley, New York, 1998.

[Mika 1999] S. Mika, B. Sch olkopf, A. Smola, K.-R. M uller, M. Scholz, and G. R atsch. Kernel PCA

and de-noising in feature spaces. In M. S. Kearns, S. A. Solla, and D. A. Cohn, editors,

Proceedings NIPS 11. MIT Press, 1999.

[Saul 2003] L. Saul and S. Roweis. Think globally, fit locally: Unsupervised learning of nonlinear

manifolds. JMLR, 2003.

[Belkin 2003] M. Belkin and P. Niyogi. Laplacian eigenmaps for dimensionality reduction and data

representation. Neural Computation, 15(6):1373–1396, 2003.

[Tenenbaum 1998] J. Tenenbaum. Mapping a manifold of perceptual observations. In Advances in Neural

Information Processing Systems 10, pages 682–687, 1998.

[Weinberger 2004] K. Weinberger and L. Saul. Unsupervised learning of image manifolds by semi-definite

programing. In Proceedings of the IEEE Conference on Computer Vision and Pattern

Recognition, pages 988–995, 2004.


다중센서융합 퍼스널 빅데이터

추출정확도

Personal Big Data Extraction Accuracy

based on Multimodal Sensors







요약(Summary)

평가항목

(Evaluation item) 다중센서융합 퍼스널 빅데이터 추출 정확도

평가기준


- 오프라인 데이터셋 환경에서의 음성 기반 감정인지 정확도 평가

- 오프라인 데이터셋 환경에서의 비디오 기반 감정인지 정확도 평가

평가방법

(Methodology)

- 본 평가는 음성 기반 감정인지와 영상 기반 감정인지의 두 가지 실험으로

이루어지며, 기계학습 기법을 이용한 최종 인지율 산출을 위해 전처리,

단편화, 특징 추출, 분류의 단계를 거치며, 정확도 측정은 k-fold cross

validation 방법을 사용함.

- 음성기반 감정인식

특징 추출 방법 : MFCC, LPCC, pitch

분류 방법: SVM, HMM

- 얼굴 표정 감정인식

특징 추출 방법: 동적 특징, SWLDA, PCA

분류 방법: HMM

- 평가는 총 네 개의 기관이 세 개의 그룹으로 연동하여 수행함

검증기관 : 한국정보처리학회 빅데이타컴퓨팅 연구회

평가기관 : 녹십자헬스케어, 타파크로스

실험 진행자 : 경희대학교

- 팡가 결과는 오프라인 정확도만을 산출함


시나리오

(Evaluation

Environment/Test

scenario)

- 평가 환경

MS 윈도우 OS 기반 MATLAB 프로그램을 이용하여 오디오 및 비디오

기반 감정인지 평가

스마트폰 기반 감정인지 평가는 삼성 갤럭시 S3 스마트폰 사용

- 데이터 셋

오디오 기반 감정인지는 42 개의 주제를 포함하고 6 개의 감정

종류(영어)를 가지고 있는 eNTERFACE 데이터 셋 사용

비디오 기반 감정인지는 123 개의 주제를 포함하고 7 개의 감정 종류를

가지고 있는 Extended Cohn-Kanade 데이터 셋 사용


오프라인 평가는 데이터셋을 트레이닝과 테스트 부분으로 나눠서

수행함.

테스트의 샘플은 트레이닝에서 훈련된 모델을 사용함.

정확도는 정확히 인지된 샘플의 수와 전체 테스트 샘플 수의 비율에

기반하여 산출됨

평가결과

(Result)

- 음성기반 감정인식의 정확도 : 73.02%

- 얼굴 표정 인식 정확도 : 70.58%




마이닝마인즈 핵심기술 개발” 과제의 12 가지 정량적 평가항목 중 “다중센서융합 퍼스널

빅데이터 추출 정확도”에 대한 평가결과를 명시한 보고서로, 참여기관인 녹십자헬스케어와

타파크로스가 주도적으로 평가를 진행한다. 이 후 외부기관인 한국정보처리학회 빅데이타컴퓨팅

연구회에서 전문가를 모집하여 빅 데이터 추론 기술 평가를 의뢰한다


서비스 큐레이션, 서포팅 레이어)로 구성되며, 이 중 다중센서융합 퍼스널 빅데이터 추출 정확도

는 정보 큐레이션 레이어에 해당한다. 정보 큐레이션 레이어는 크게 저수준 상황인지와 고수준

상황인지 모듈로 나뉘며, 저수준 상황인지는 다시 SNS 분석, 위치 탐색, 행위인지, 감정인지,

음식인지 모듈로 나뉜다. 감정인지 모듈 중 비디오 및 오디오 기반 감정인지 모듈이 본 평가에

사용될 핵심 요소로, 아래의 정보 큐레이션 레이어의 구조도 [그림 1]에서 붉은 상자 부분이 본



- 최근 감정관련 컴퓨팅 분야는 실제 사용자의 감정 상태를 인지하는 시스템을 개발하여 실제

사람의 감정과 컴퓨터가 인지하는 감정의 차이점을 줄이는 것을 목표로 연구를 진행 중이다.

게이밍, 멘탈 건강, 학습기술과 같은 감정기반 인터페이스들은 과거부터 많이 개발되어

왔으나[Cowie, R2001, Batliner, A2006, Picard, R. W2007], 사용자의 감정상태에 따라 이를 자동으로

인지하고 반응하는 시스템의 개발 여지는 아직 남아있다.

- 사람들은 언제 어디서나 일에 대한 결정, 위기의 넘김 및 다른 대외관계 유지능력을 감정의

표현을 통해 처리하는 등 감정은 일상생활에서 중요한 역할을 맡고 있다. 수많은 단어와 문장은

기분이나 감정을 표현하는데 사용되어지나, 기존에는 감정을 인지하고 표현하는 기계의 개발은

불필요한 기능이라고 사료된다[Meghjani09].

- 감정은 내적 혹은 외적으로 영향을 받아온 심리적 경험의 상태로 사람의 감정은 말투, 얼굴 표정,

제스처, 심리적 방법 등의 여러 가지 형태로 표현되며 각각의 표현방법은 각자의 장단점을

가지고 있음. 말투는 발언에 숨겨진 준 언어적 정보와 언어학적 해석에 매우 큰 영향을 받으며,


얼굴 표정과 제스처는 특정한 상황에서만 통용되고, 심리적 신호는 다른 표현방법들보다는 더욱

정확하지만 인지과정에서 개인별 편차가 매우 심하며, 데이터 수집에 있어서도 다른 요소들에

비해 매우 힘든 단점이 있다[csie].

- 감정 상태는 인간의 행동 중에서도 다양한 특징을 가지며 같은 감정을 표현하더라도 개인별

편차가 있다. 따라서 감정 인지 및 사용자 인지 연구에서는 이러한 부분을 감안해서 연구를

진행해야 하며, 사용자 감정 상태 인지의 경우 시스템이 사용자의 행동 및 신원을 예측할 수

있어야 한다. 즉, 사용자의 신원을 확인할 수 없는 경우(user-independent)보다 사용자가 이미

판명난(user-dependent) 경우의 감정인지가 더욱 쉽다.

- 음성기반 감정인식은 인간의 의사소통 방식에서 가장 많이 쓰이는 음성 정보에서 감정정보를

추출하는 방법으로, 음성 정보에서 감정을 추출하는 알고리즘은 [그림 2]와 같다.

노이즈 감소 : 입력 정보에서 노이즈의 효과를 줄이기 위해 Spectral Subtraction 방법을

사용한다. 본 기술은 노이즈 시그널 스펙트럼에서 평균을 측정하여 나온 값을 감산하는

형태로써 power 스펙트럼이나 magnitude 스펙트럼 시그널을 복구하는 방법으로 쓰인다

[Wiley2000].

특징 추출 - Mel-Frequency Cepstral Coefficients (MFCC) : MFCC는 음성 모수화에 널리 적용되는

방식으로 Mel-scale은 인간의 가청주파수에 기반한 주파수 제거 방법이다. Mel-scale을 통한 주

파수 제거를 사용함으로써 MFCC는 음성정보 모수화에 종종 사용되며, Mel-scale은 주파수 감

지 방식의 관점에서 사람의 귀를 모방한 방식이다[Kishore2013].

분류 - Support Vector Machine (SVM) : SVM[Burges1998]은 고차원 벡터 공간에 특징 벡터를

매핑하고 이 공간 내에 최대 간격 하이퍼 평면을 설정하는 분류 방법이다. SVM 은 하이퍼

평면의 양측에 두 개의 평행 하이퍼 평면을 찾아 두 하이퍼 평면 사이의 최대 거리를

확인하기 위해 적절한 방향 하이퍼 평면을 설정한다. 커널 함수는 높은 차원 공간에 원래의

입력 기능을 매핑하고 최적의 분류를 획득하기 위해 사용된다. SVM 은 특히 two-class 문제

및 제한된 트레이닝 데이터의 조건 하에서 간단하고 효율적인 연산 분류기이기 때문에, 다른

분류에 비해 매우 좋은 분류 성능을 가질 수 있다.

[그림 2] 음성기반 감정인식


- 사람의 감정 정보는 상황 인지 시스템의 자동 서비스 제공을 위해 중요한 역할을 수행할 수

있다. 최근 정확하고 신뢰 가능한 영상 기반 감정 인식 시스템을 개발하기 위해 많은 연구가

진행되어 왔으며, 아동의 성격 및 대화법 발달[Bartlett1999], 원격 진료 및 전자 의료 환경에서의

신경 과학 및 심리학[Mehrabian1968], 인간 행동 연구[Lisetti2004] 등의 응용 프로그램으로

사용되었다. 본 시스템의 영상 기반 감정인식 시스템의 알고리즘은 다음 [그림 3]과 같다.

[그림 3] 영상 기반 감정인식

얼굴 인식: 윤곽 감지 기술을 기반으로 사람의 얼굴을 자동으로 감지하고 추출하는 active

contour(AC) 모델 기반 자동 얼굴 검출 모델을 사용한다. AC 모델은 두 에너지 함수의 조합

및 레벨 셋을 기반의 2 가지 방법이 있다 (Chan-Vese(CV) [Chan2001] 에너지, Bhattacharyya

거리[Kailath1967] 함수). 제안된 AC 모델은 얼굴의 유사성을 최소화하고, 얼굴 및 배경과

같은 두 지역 사이의 거리를 최대화 하는 기능에서 매우 강점을 보인다.

특징 추출: 얼굴 움직임 특징들에 기반한 강력한 특징 추출 방법이 제안되었으며, 이 기술은

symlet wavelet 변환[Siddiqi2009]을 기반으로 하여 얼굴 움직임 특징을 가지기 위해 optical

flow[Barron1994]기술을 연결한다. 이는 안면의 이동 특징을 추출하기 전, 노이즈 감소에

효과적이다.

Wavelet 변환을 통한 노이즈 감소: 실제 상황에서 일부 환경 변수(예: 조명 효과) 는 표현

프레임에 노이즈를 발생시켜 인지율을 감소시킬 수 있다. 제안된 방법은 노이즈 감소를 위해

Symlet Wavelet 을 이용하며, 얼굴 프레임은 본 단계를 적용하기 전에 흑백으로 변환된다.

광학 플로우를 이용한 특징 추출: 얼굴 화소 움직임 정보는 각 표현 프레임에 대해 특징

벡터를 생성하는 광류를 이용한다.

특징 선택: 제안된 특징 추출 방법은 최적의 특징을 추출하더라도 일부 다른 특징과의

중복이 발생할 수 있다. 따라서 특징 선택 방법은 선택적 특징 영역에 적용되는 단계별 선형

판별 분석(SWLDA) [Krusienski2008]이라는 방법을 사용한다. SWLDA 는 순방향 선택 모델을

이용하여 가장 효율적인 기능을 선택하고, 역방향 회귀 모델을 사용하여 관계없는 기능을

제거한다.

분류 방법: 감정을 레이블링 하기 위하여 Hidden Markov Model(HMM) [Samaria1994]을

사용하였다.


2. 평가 목표 및 기준 (Objective and evaluation criteria)

- 본 평가는 다중센서융합 기반으로 추출한 퍼스널 빅데이터를 이용하여 음성 및 비디오 기반

감정인지의 정확도를 평가하여 개발한 기술의 신뢰성을 검증하는데 그 목적이 있다. 사용자의

감정 상태를 인지하는 기능은 시스템이 사용자의 행동 및 건강 상태에 관련된 암시적인 심리

정보를 분석 가능하게 하여 사용자에게 적합한 추천정보를 제공할 수 있으며, 향후 마이닝

마인즈 플랫폼에 기반한 개인 사용자 맞춤형 서비스에 적용시킬 수 있다.


본 평가 항목인 “다중센서융합 퍼스널 빅데이터 추출 정확도” 항목을 발췌한 표이다. 1 차년도의

개발 목표는 정확도가 70% 이상 산출되는지 검증하는 것이다.

<표 1> “다중센서융합 퍼스널 빅데이터 추출 정확도” - 정량적 목표

평가 항목

(주요성능

Spec1))

단위

전체 항목

에서 차지하는

비중2)

(%)

세계최고 수준

보유국/

보유기업

( / )

연구개발

전

국내수준

개발 목표치

평가 방법


년도

2차

년도

3차

년도

4차

년도

④다중센서

융합 퍼스

널 빅데이

터 추출 정

확도

종/% 9%

음성/얼굴

복합인식

71%

(미국/

USC)

초기단계 70% 75% 80% 85%

참여기업

평가 및

전문가

평가

- 본 평가에서는 음성과 비디오 두 가지 데이터를 이용하여 평가를 진행한다. 음성 기반

감정인지의 정확도 평가는 평균 정확도 및 표준 편차를 확인하며, 비디오 기반 감정인지의

정확도 평가는 평균 정확도에 기반한 평가를 진행한다. 평가 정확도 기준은 두 실험 모두 70%

이상이며, 두 평가 모두 오프라인 데이터 셋을 기반으로 평가를 진행한다.


3. 평가 방법 (Methodology)

- 본 평가는 크게 검증기관, 평가기관, 실험 진행자의 세 그룹으로 구성되며, 모든 그룹은 각자

정해진 역할을 맡아 평가를 진행한다. 아래의 [그림 4]는 다중센서융합 퍼스널 빅데이터 추출

정확도” 평가에 대한 프로세스를 나타낸 도식도이다.

[그림 4] "다중센서융합 퍼스널 빅데이터 추출 정확도" 평가 프로세스

- 검증기관: 한국정보처리학회

검증기관은 외부기관인 한국정보처리학회 빅데이타컴퓨팅 연구회로 선정하였으며, 빅데이터

컴퓨팅 분야에 대한 전문가를 모집하여 본 항목에 대한 평가를 의뢰한다. 검증기관은

평가기관에서 설계한 시나리오를 평가기관과 함께 공동으로 검토하며, 최종적으로 산출된

평가 결과를 바탕으로 이에 대해 평가 의의, 평가 과정, 평가 내용, 목표 대비 달성율을

검증하여 평가에 대한 신뢰성을 확보한다.

- 평가기관: 녹십자헬스케어, 타파크로스

평가기관인 녹십자헬스케어와 타파크로스는 전체적인 평가 계획을 수립하고 평가

시나리오를 설계하며, 이를 검증기관과 함께 검토한다. 시나리오가 완성되면 정확한 평가

방식을 실험 진행자에게 설명하여 실험이 이루어지도록 하며, 실험이 끝난 후의 평가

결과를 분석하여 최종 평가 보고서를 작성한다.

- 실험 진행자: 경희대학교

실험 진행자는 퍼스널 빅데이터 추출을 통한 감정인지 모듈을 개발한 경희대학교에서

담당한다. 실험 진행자는 본 평가에 대한 기본적인 내용을 숙지하고, 평가기관이 작성한

평가 시나리오를 검토하고 숙지하여 전체적인 실험 진행이 차질이 없도록 한다. 실험 완료

후 평가 데이터를 기록하여 평가기관에 전달한다.


- 본 평가는 [그림 5]와 같은 프레임워크를 기반으로 시행되었다. 본 평가를 위한 기계학습

접근법은 다음과 같은 순차로 진행되었다.

[그림 5] 평가를 위한 프레임워크 구성도

전처리: 전처리 과정은 입력신호의 노이즈, 불량 데이터를 제거하고 다음 단계 진행에

적합하게 포맷을 변경하기 위해 진행됨.

단편화: 단편화는 입력 신호에서 관심점 (point of interest)을 추출하기 위한 과정으로, 이를

통해 무관한 데이터를 제거하는 것이 가능하다. 특징 추출과 분류 과정은 단편화 과정을

거친 데이터를 이용해서만 진행된다.

특징 추출: 여러 종류의 특징 추출 알고리즘을 적용하여, 단편화된 데이터에서 특정 감정

정보를 추출한다.

분류: 통계학적 혹은 확률론적 접근 방법으로 특징 추출된 데이터의 감정을 결정한다.

- 정확도 평가 알고리즘은 k-fold cross-validation 방법을 통해 산출된다[tamu]. 원 데이터 셋은 동일

하게 k개의 서브 데이터로 나뉜다. 그 중 하나의 서브 데이터는 모델을 테스트 하기 위한 검증

데이터로 남겨지며, 나머지 k-1개의 서브 데이터들은 훈련 데이터로 사용된다. 이를 k번 반복하

여 각각의 서브데이터들이 확인 데이터로 사용되고, k번 반복의 결과로 나온 결과값은 평균을 내

어 최종 결과로 산출된다. 이 방법은 모든 데이터들을 훈련 및 평가에 사용할 수 있으며 k번 반

복되는 과정에서 각 서브 데이터들을 관찰 할 수 있다는 이점이 있다. 본 평가에서는 일반적으로

사용되는 10-fold cross-validation을 사용한다.


4. 평가 환경/테스트 시나리오 (Evaluation environment/Test Scenario)

4.1 음성 기반 감정인식

- 음성 기반 감정인식은 eNTERFACE 데이터셋[Martin2006]을 사용한다. 이는 시청각

데이터베이스로 14 개의 서로 다른 국가에서 42 명의 실험군의 정보가 포함되어 있다. 42 명의

실험군 중 81%는 남성, 19%는 여성이며 녹음과 녹화는 2 주간 영어로 진행되었다. 각 실험군은

서로 다른 감정을 자극시키는 6 개의 짧은 이야기를 연속적으로 들려주었다. 실험군은 이야기를

듣고 그에 따른 감정 반응을 보이도록 했으며, 2 명의 전문가들이 각 감정 반응들이 정확히

표출되었는지 감독하였다. 만약 전문가들이 판단하기에 감정이 명확히 표현되지 않으면 실험

데이터에서 제외하였다. <표 2>는 각 감정 별 녹화된 비디오의 개수를 나타낸다.

- 본 평가는 [Schuller2007]이 제공하는 특징 셋을 사용하며, openSmile 도구 상자[Eyben2010]를

이용하여 필요한 특징들을 추출하였다. 특징들은 16 가지의 저수준 표현 방식을 포함하며,

여기에는 zero crossing 비율, 제곱근 에너지, pitch, 잡음비와 12 개의 Mel-frequency capstral 계수 및

델타로 구성된다. 12 개의 속성은 평균, 표준편차, 첨도, 왜도, 최소, 최대, 상대 위치, 범위, 2 개

선형 회귀 계수와 대응하는 2 개의 평균 제곱 오차로 구성되며, 전체적으로 384 개의 특징이

사용된다.

<표 2> eNTERFACE 데이터베이스에 포함된 감정별 비디오 개수

감정 비디오 개수

분노 200

역겨움 189

공포 187

행복 205

슬픔 195

놀람 190

4.2 영상 기반 감정인식

- 영상 기반 감정인식은 표정 관련 공개 표준 데이터 셋인 Extended Cohn-Kanade 데이터

셋[Lucey2010]을 사용한다. 이 데이터 셋은 123 명의 대학생으로부터 기록된 일곱개의 얼굴

표정과 593 개의 비디오가 포함되어 있다. 실험군은 18 세부터 30 세까지이며 대부분은 여성이고,

전체 593 개의 비디오 중 309 개만을 사용한다. 비디오의 얼굴 프레임 사이즈는 8 비트 흑백 640

× 480 이며, 기타 영상은 640 × 490 이다. 실험은 6 개의 감정 (행복, 분노, 슬픔, 놀람, 혐오,

두려움)을 사용하였고, 각 입력 화상의 크기는 눈과 입을 기준으로 60 × 60 이며 이미지의 특징

추출을 위한 크기 1 × 3600 의 평균이 0 벡터로 사용되었다. 모든 실험은 3GB 용량의 RAM 과

인텔 펜티엄 Dual CoreTM(2.5 GHZ), MATLAB 에서 수행되었다.


5. 평가 결과 (Evaluation result)

5.1 음성 기반 감정인식

- 음성 기반 감정인식은 eNTERFACE 데이터 셋으로 수행되었다. 10-fold-validation 이후, 데이터

셋의 모든 샘플들은 감정 인지 모델 트레이닝 및 테스트에 사용되었다. 다음 <표 3>은 10-fold

cross-validation 사용하여 나온 정확도를 나타낸 감정인지 결과이다.

<표 3> 음성 기반 감정인식 평가 결과

A b c d e f

a = anger 188 4 9 5 1 3

b = disgust 9 151 12 21 13 4

c = fear 17 21 140 2 19 11

d = happiness 15 19 15 139 7 15

e = sadness 4 13 22 2 158 11

f = surprise 8 12 10 20 16 144

- 생성된 음성 기반 감정인지 모델을 바탕으로 서로 다른 분류 알고리즘을 사용하여 나타낸

정확도는 <표 4>와 같다. 평가 결과 분류기 중 SVM 을 사용했을 경우 가장 높은 정확도인

73.02%를 보이는 것을 알 수 있으며, 이 표로부터 SVM 는 HMM, J48, KNN, Naïve Bayes 등과 비교

했을 때 낮은 표준 편차를 가지는 가장 정확한 방법임을 알 수 있다.

<표 4> 음성 기반 감정인식 평가 결과

분류기 정확도(%) STD

HMM 67.12 4.84

SVM 73.02 3.67

J48 42.27 4.00

kNN 53.07 4.00

NB 53.48 4.60


5.2 영상 기반 감정인식

- Extended Cohn-Kanade 데이터 셋을 사용한 10-fold cross0validation 의 실험 결과는 <표 5>와 같다.

표에서 보듯이, Extended Cohn-Kanade 데이터셋을 제안하는 방법에 사용할 경우 높은 정확도를

보이는 것을 알 수 있다. 이는 제안하는 방법이 Extended Cohn-Kanade 에 포함된 데이터 셋보다

현실적인 환경에서 수집된 데이터를 바탕으로 알고리즘을 구성했기 때문이다.

<표 5> 영상 기반 감정인식 평가 결과

감정 행복 슬픔 분노 역겨움 놀람 공포 정상

행복 73.5 5.5 6.5 5.3 9.0 0 0.2

슬픔 6.3 65.2 5.5 4.4 5.4 5.7 7.5

분노 4.5 1.5 69.9 5.4 6.3 5.9 6.5

역겨움 4.5 2.3 6.5 75.8 1.7 4.2 5.0

놀람 4.9 6.0 3.6 5.8 70.1 5.7 3.9

공포 6.6 5.8 4.5 4.7 7.5 67.9 3.0

정상 2.3 3.4 5.1 3.7 7.3 6.5 71.7

- 생성된 영상 기반 감정인지 모델을 바탕으로 서로 다른 분류 알고리즘을 사용하여 나타낸

정확도는 <표 6>과 같다. 평가 결과 분류기 중 HMM 을 사용했을 경우 가장 높은 정확도인

70.58%를 보이는 것을 알 수 있다.

<표 6> 영상 기반 감정인식 평가 결과

분류기 정확도(%)

SVM 62.23

HMM 70.58

CRF 66.14

HCRF 68.70



- 본 평가보고서는 산업통산자원부 산업핵심기술개발사업 “퍼스널 빅데이터를 활용한

마이닝마인즈 핵심기술 개발” 과제의 12 가지 정량적 평가항목 중 “다중센서융합 퍼스널

빅데이터 추출 정확도”에 대한 평가결과를 명시하였다.

- 본 평가는 다중센서융합 기반으로 추출한 퍼스널 빅데이터를 이용하여 음성 및 비디오 기반

감정인지의 정확도를 평가하여 개발한 기술의 신뢰성을 검증하는데 그 목적이 있다.

- 평가는 네 개의 기관이 세 개의 그룹으로 이루어 진행되었으며, 검증기관으로 한국정보처리학회

빅데이타컴퓨팅 연구회, 평가기관으로 녹십자헬스케어와 타파크로스, 실험 진행 기관으로

경희대를 선정하여 평가가 진행되었다.

- 실제 감정 데이터 셋을 모으는데 어려움이 있던 관계로, 본 평가에서는 공개된 외부 데이터셋을

이용한 오프라인 테스트를 진행하였다. 실제 환경에서 진행하는 온라인 테스트의 경우 여러 외부

요인에 의해 다른 결과가 나올 수 있다.

- 본 평가에서는 음성과 비디오 두 가지 데이터를 이용하여 평가를 진행하였다. 음성 기반

감정인지의 정확도 평가는 평균 정확도 및 표준 편차를 확인하며, 비디오 기반 감정인지의

정확도 평가는 평균 정확도에 기반한 평가를 진행한다. 평가 정확도 기준은 두 실험 모두 70%

이상이며, 두 평가 모두 오프라인 데이터셋을 기반으로 평가를 진행하였다.

- 실험 결과 음성 기반 감정인식은 73.02%의 정확도를, 영상 기반 감정인식은 70.58%의 정확도를

나타내어 두 실험 모두 평가 기준은 평균 정확도 70%를 넘어서는 것을 볼 수 있다.

- 향후 연구로 실제 상황에서 사용자의 데이터 셋 수집과 인식 방법의 정확성 및 견고성을

향상시키는 연구가 진행될 예정이다.


7. 참고문헌 (References)

[Cowie, R2001] Cowie, R., Douglas-Cowie, E., Tsapatsoulis, N., Votsis, G., Kollias, S., Fellenz, W., &

Taylor, J. G. (2001). Emotion recognition in human-computer interaction. IEEE Signal

Processing Magazine, 18(1), 32-80

[Batliner, A2006] Batliner, A., Burkhardt, F., Van Ballegooy, M., & Nöth, E. (2006). A taxonomy of

applications that utilize emotional awareness. Proceedings of IS-LTC, 246–250

[Picard, R. W2007] Picard, R. W. (2007). Toward machines with emotional intelligence. The Science of

Emotional Intelligence: Knowns and Unknowns, G. Matthews, M. Zeidner, and RD

Roberts, Eds., Oxford University Press, Oxford, UK, 1-22

[Meghjani09] http://www.cim.mcgill.ca/~malika/Meghjani09_Masters_Thesis.pdf

[csie] http://clover.csie.org/~janetyc/dancelab/emotion_thesis.pdf

[tamu] http://research.cs.tamu.edu/prism/lectures/iss/iss_l13.pdf

[Wiley2000] Spectral Subtraction http://dsp-book.narod.ru/304.pdf

[Kishore2013] Krishna Kishore, K.V.; Krishna Satish, P., "Emotion recognition in speech using MFCC

and wavelet features," Advance Computing Conference (IACC), 2013 IEEE 3rd

International , vol., no., pp.842,847, 22-23 Feb. 2013

[Burges1998] C. J. C. Burges. A tutorial on support vector machines for pattern recognition. Data Mining

and Knowledge Discovery, 2:121-167, 1998.

[Bartlett1999] M. S. Bartlett, J. C. Hager, P. Ekman, and T. J. Sejnowski, “Measuring facial expressions

by computer image analysis,” Psychophysiology, vol. 36, no. 2, pp. 253–263, 1999.

[Mehrabian1968] A. Mehrabian, “Communication without words,” Psychological today, vol. 2, pp. 53–55,

1968.

[Lisetti2004] C. Lisetti and C. LeRouge, “Affective computing in tele-home health: design science

possibilities in recognition of adoption and diffusion issues,” in In Proceedings 37th IEEE

Hawaii International Conference on System Sciences, Hawaii, USA, 2004.

[Chan2001] T. F. Chan, and L. A. Vese, “Active contours without edges,” IEEE Trans. Image Process,

vol. 10, no. 2, pp. 266–277, 2001.

[Kailath1967] T. Kailath, “The divergence and Bhattacharyya distance measures in signal selection,”

IEEE Trans. Commun. Technol., vol. 15, no. 1, pp. 52–60, 1967.

[Siddiqi2009] M.H. Siddiqi, S.B. Sulaiman, I. Faye, and I. Ahmad, “A Real Time Specific Weed

Discrimination System Using Multi-Level Wavelet Decomposition,” International Journal

of Agriculture and Biology, vol. 11, no. 5, pp. 559–565, 2009.

[Barron1994] J. L. Barron, D. J. Fleet, and S. S. Beauchemin, “Performance of optical flow techniques,”

Int. J. Comput. Vis. vol. 12, no. 1, pp. 43–77, 1994.

[Krusienski2008] D. J. Krusienski, E. W. Sellers, D. J. McFarland, T. M. Vaughan, and J. R. Wolpaw,

“Toward enhanced p300 speller performance,” J. Neurosci. Methods, vol. 167, no. 1, pp.

15–21, pp. 2008

[Samaria1994] F. S. Samaria, “Face recognition using hidden Markov models,” PhD thesis, University of

Cambridge, 1994.

[Martin2006] O. Martin, I. Kotsia, B. Macq, and I. Pitas. 2006. The eNTERFACE'05 Audio-Visual

Emotion Database. In Proceedings of the 22nd International Conference on Data

Engineering Workshops (ICDEW '06). IEEE Computer Society, Washington, DC, USA.

[Schuller2007] B. Schuller, A. Batliner, D. Seppi, S. Steidl, T. Vogt, J. Wagner, L. Devillers, L. Vidrascu,

N. Amir, L. Kessous, and V. Aharonson. The relevance of feature type for the automatic

classification of emotional user states: Low level descriptors and functionals. In

INTERSPEECH, pages 2253-2256. ISCA.

[Eyben2010] F. Eyben, M. Wollmer, and B. Schuller. Opensmile: the munich versatile and fast open-

source audio feature extractor. In Proceedings of the international conference on

Multimedia, MM '10, pages 1459-1462, New York, NY, USA, 2010. ACM.

[Lucey2010] P. Lucey, J. F. Cohn, T. Kanade, J. Saragih, Z. Ambadar, and I. Matthews, “The extended

cohn-kanade dataset (ck+): A complete dataset for action unit and emotion-specified

expression,” in Computer Vision and Pattern Recognition Workshops (CVPRW), 2010

IEEE Computer Society Conference on, pp. 94–101, IEEE, 2010.

http://www.cim.mcgill.ca/~malika/Meghjani09_Masters_Thesis.pdf

http://clover.csie.org/~janetyc/dancelab/emotion_thesis.pdf

http://research.cs.tamu.edu/prism/lectures/iss/iss_l13.pdf

http://dsp-book.narod.ru/304.pdf


분산 환경 기반 퍼스널 빅데이터 추

론 속도/정확도

Speed/Accuracy of personal big data

inference based on distributed

environment



작성일(Date) 2015년 3월 26일(March , 2015)

작성자(Name) 박영택 교수(Prof. Young-Tack Park)

기관명(Affiliation) 숭실대학교(Soongsil Univ.)


요약(Summary) – 1page

평가항목

(Evaluation item) E05. 분산 환경 기반 퍼스널 빅데이터 추론 속도/정확도

평가기준


- 실험 대상 : 온톨로지 추론과 검색 속도를 평가하는 공식 데이터 LUBM

- 실험 방법 : 추론 엔진이 초당 처리할 수 있는 데이터 개수 측정, 검증된

표준평가 데이터인 LUBM 데이터 셋의 추론 시간 측정

- 정확도 : LUBM TEST SET 을 이용하여 80% 이상의 정확도 달성

평가방법

(Methodology)

- 본 평가는 분산 테이블 기반 추론 시스템(실험 1)과 분산 컴퓨터 메모리

기반 추론 시스템(실험 2)의 성능을 측정하기 위해 LUBM1000 부터

LUBM6000 까지 추론 시간과 추론된 트리플의 개수를 측정하는 실험으로

이루어짐

- 자세한 측정을 위해 RDFS 규칙 6 가지의 개별적인 추론 시간을 측정했으며,

성능 비교를 위해 단위 시간당 추론되는 트리플 개수를 나타내는

처리량(throughput)을 계산

- LUBM Test Set 을 생성하여 추론될 수 있는 데이터를 계산하고, 실험을 통해

정확도를 측정


시나리오

(Evaluation

Environment/Test

scenario)

- 실험 환경

노드 구성 : 마스터 노드 1, 슬레이브 노드 8

CPU : 2.4GHz(8 Core)

RAM : 64G

- 데이터

LUBM Data Set : LUBM1000(133M Triples) ~ LUBM6000(860M Triples)

- 테스트는 실험 1 과 실험 2 의 시나리오를 나눠서 진행함

실험 1 : 분산 테이블 기반 추론 시스템을 이용한 RDFS 추론 실험 진행

실험 2 : 분산 컴퓨터 메모리 기반 추론 시스템을 이용한 RDFS 추론

실험 진행

평가결과

(Result)

- LUBM6000(860M Triples)을 이용한 실험 결과

실험 1 과 실험 2 에서 모두 총 306M Triples 를 추론

실험 1 은 총 13.75 분이 소요되었으며, 초당 1042.42K Triples 를 추론

실험 2 는 총 7.24 분이 소요되었으며, 초당 1979.74K Triples 를 추론



- 본 평가보고서는 산업통산자원부 산업핵심기술개발사업 “퍼스널 빅데이터를 활용한 마이닝

마인즈 핵심기술 개발” 과제의 12 가지 정량적 평가항목 중 “분산 환경 기반 퍼스널 빅데이터

추론 속도”에 대한 평가결과를 명시한 보고서이다.

- 본 과제의 주제와 LUBM 의 주제가 상이하여 정량적 평가에 대한 적합성이 다소 결여되어

보이기 때문에 본 과제의 주제와 흡사한 Context ontology 를 구성하여 평가에 대한 적합성을

높이도록 하였다. Context ontology 는 국내외에서 진행한 연구를 참고하여 검증된 온톨로지를

구성하였으며 컨텍스트에 대해 정의한 스키마와 센서 및 SNS 데이터로부터 수집된 정보를

이용한 인스턴스로 구성된다. 컨텍스트를 표현하기 위한 스키마는 CONON 온톨로지를 참조하여

[그림 1]과 같이 표현하였다. 컨텍스트를 표현하기 위한 Context 클래스를 정의하고 Context 의

하위에 강의, 운동, 회의와 같은 각각의 상황에 알맞은 컨텍스트를 서술논리를 이용하여

표현하였다. 각 컨텍스트에서 발생할 수 있는 위치, 행위와 사용자의 프로파일 같은 정보는

ContextEntity 로 구성하여 표현하였다. ContextEntity 의 요소들은 센서데이터와 SNS 상의

데이터를 이용한다. 예를 들어 스마트폰의 가속도 센서를 이용하여 사용자의 행위에 대해 Walk,

Jogging, Bus, Subway 등의 행위를 인지하게 되면 인지된 행위는 Activity 의 하위에 정의된

행위의 인스턴스로 생성되게 된다.

[그림 1] Context ontology

- 서술 논리를 이용하여 Context를 정의할 때 ContextEntity의 요소를 통해 정의한다. 예를 들어 사

용자가 운동을 하는 상황에 대하여 Context를 정의하면 사용자의 행위가 뛰는 행위로 인지하였

고 빌딩에 위치하고 있는 상황이 될 수 있다. 이러한 정의를 서술논리로 표현한 예가 [그림 2]가

된다.


[그림 2] 서술 논리를 이용한 Context 정의의 예

- 정의된 Context ontology를 이용하여 Low level / High level context ontology model reasoning이

가능한 시스템을 구축하여 향후 본 과제인 마이닝 마인즈 플랫폼에 기반한 클라우드 분산 환경

에서의 활용이 가능하게 하였다. 이 시스템은 앞서 설명한 센서 데이터와 SNS 데이터를 이용하

여 생성된 인스턴스를 Low level context라 정의하고 Low level context간의 조합을 통해 High

level context를 추론한다. 추론 과정에서 필요한 것이 Context ontology model과 컨텍스트에 대

한 정의 및 Low level context간의 조합을 통해 High level context를 추론을 위한 규칙이 필요하

다. [그림 3]는 Context ontology 추론 시스템의 구조도이다. 센서데이터를 통해 인스턴스를 생성

하고 생성된 인스턴스와 Low level context간의 조합을 서술논리로 정의한 컨텍스트 스키마와의

매핑을 통해 Context ontology를 정의하고 High level context를 추론을 위한 규칙 집합을 생성한

다. 규칙집합은 RDFS, OWL의 Axiom을 이용한 규칙과 사용자 정의 규칙인 SWRL규칙을 이용한다.

Context ontology model과 규칙 집합을 통해 분산 환경 기반의 추론기를 이용하여 기존 센서 데

이터와 SNS 데이터로부터 알맞은 컨텍스트에 속하는지 알아내는 Realization 추론을 한다.

[그림 3] Context ontology model 추론 시스템

- W3C의 권고안인 RDF semantics에서 RDFS 추론을 위한 13가지 규칙을 [그림 4]과 같이 제안하

고 있다. [그림 4]의 rdfs1, 4, 6, 8, 10, 12, 13 규칙을 통해 추론된 트리플들은 실제로 응용 시스템

에서 적용될 만한 의미 있는 정보를 갖지 않고, 조인 연산을 필요로 하지 않는 단순 연산이므로

성능평가에 주는 영향이 미미하다. 또한 기존 RDFS 온톨로지 추론 시스템에서도 효율성을 높이


기 위해 이 규칙들은 고려하지 않는 경우가 많다. 따라서 저장 공간을 절약하고, 추론 속도를 향

상 시키기 위해서 프로퍼티와 클래스의 이행 규칙, 프로퍼티와 클래스의 상속 규칙, 도메인 규칙,

레인지 규칙에 해당하는 6개 규칙(rdfs2, 3, 5, 7, 9, 11)만을 적용한다.

[그림 4] RDFS 추론 규칙

- 분산 컴퓨팅 환경에서 대용량 데이터를 효과적으로 분석 가능케 하는 프레임워크인 하이브를

기반으로 설계되었다.[그림 5] 분산 테이블을 생성하는 전처리 과정과 추론 과정은 모두

클라이언트와 마스터 노드의 서버가 통신하며 진행된다.

- 클라이언트는 하이브 드라이브 질의문(HiveQL) 형식으로 표현된 RDFS 규칙을 서버로 전송한다.

하이브 드라이버는 전처리 과정에서 생성된 분산 테이블들의 스키마 정보가 저장되어 있는 메타

스토어를 참조하여, 전달받은 추론 규칙에 대한 최적화된 맵-리듀스 작업을 생성한다. 이후

HDFS 의 분산 테이블로 저장된 트리플을 대상으로 각 슬레이브 노드는 맵-리듀스 기반의 분산

추론을 수행하고, 작업이 종료된 후, 클라이언트는 서버로부터 결과를 전달 받는다.


[그림 5] 분산 테이블 기반 RDFS 추론 방식

- 분산 컴퓨팅 환경에서 메모리만을 사용하여 대용량 데이터에 대해 신속한 검색을 가능케 하는

프레임워크인 임팔라를 기반으로 설계되었다. 임팔라는 컬럼 기반 저장 구조로 테이블의

데이터를 저장(Parquet 형식)하기 때문에 특정 컬럼 집합에 대한 검색이나 조인 연산이

효과적이며, 맵-리듀스 알고리즘이 아닌 자체 분산 처리 엔진을 사용하여 메모리에 적재된

테이블의 내용을 조작하므로 정해진 테이블에 대해 반복되는 질의에 대해 매우 빠른 연산속도를

보인다.

- 분산 컴퓨터 메모리 기반 추론 기법은 분산 테이블 기반 추론과 같은 방식으로 분산 테이블을

생성하지만, 임팔라의 성능을 최대화 시킬 수 있도록 Parquet 형식으로 테이블을 구성한다.

클라이언트는 하이브와 마찬가지로 임팔라의 마스터 노드에 질의문을 전송한다. 마스터 노드는

하이브와 달리 임팔라 고유 엔진을 이용해 질의문을 처리한다. 임팔라 엔진은 계획 수립기(Query

Planner), 계획 조정자(Query Coordinator), 계획 수행자(Query Executor)로 구성된다. 계획

수립기는 전달받은 질의문을 분석하고, 분산 테이블의 스키마 정보를 포함하고 있는 메타

스토어를 참조하여 분산된 각 노드들이 처리할 수 있는 여러 개의 계획을 수립한다. 이후 계획

조정자는 수립된 계획을 분산된 노드의 계획 수행자에게 전달한다. 마지막으로 계획 조정자는 각

노드의 계획 수행자에 의해 얻어진 처리 결과들을 클라이언트에게 전달한다.


[그림 6] 분산 컴퓨터 메모리 기반 추론 과정



- 본 평가는 분산 RDFS 추론 엔진의 추론 시간, 추론 속도, 정확성을 통해 성능을 측정하는데 그

목적이 있다.


본 평가 항목인 “분산 환경 기반 빅데이터 추론 속도/정확도” 항목을 발췌한 표이다.

<표 1> “분산 환경 기반 빅데이터 추론 정확도 및 추론 속도” - 정량적 목표

평가 항목

(주요성능

Spec1))

단위

전체 항목

에서

차지하는

비중2)

(%)

세계최고

수준 보유국/

보유기업

( / )

연구개발

전

국내수준

개발 목표치

평가 방법


년도

2차

년도

3차

년도

4차

년도

① 분산 환

경 기반

빅데이터

추론 정확

도

% 20%

95%

(네덜란드/

vrije Univ)

70% 80% 85% 90% 100% 자체평가

(LUBM)

② 분산 환

경 기반

빅데이터

추론 속도

K

Triples/

sec

80%

300K Triples

/sec

(네덜란드/

vrije Univ)

120K

Triples

/sec

350K

Triples

/sec

700K

Triples

/sec

1000K

Triples

/sec

2000K

Triples

/sec

자체평가

(LUBM)


평가 방법(Methodology)

- 온톨로지 추론과 검색 속도를 평가하는 공식 데이터인 LUBM 을 대상으로 실험을 진행하기 위해

온톨로지 생성기(UBA1.7)을 이용해 실험 Data Set 을 생성했다. 생성한 Data 는

LUBM1000~6000(133 Million Triples ~ 860 Million Triples)이며, Data Size 는 17GB ~ 91GB 이다.

- 실험을 위해 구성한 클러스터는 마스터 노드 1 개와 슬레이브 노드 8 개로 구성되어 있으며,

CPU 는 2.4GHz(8Core), RAM 은 64G 이다. 실험을 위한 Data Set 은 클러스터의 HDFS 에 분산되어

저장되고, 이를 통해 추론 실험을 진행했다.

- 추론은 [그림 7]의 순서대로 6 가지 추론 규칙을 통해 수행되며, 각 규칙의 추론 시간, 추론 속도,

정확도를 각 실험 Data Set(LUBM1000 ~ 6000)을 이용해 측정했다.

[그림 7] RDFS 추론 규칙 순서



4.1 평가 환경

- 분산 테이블과 분산 컴퓨터 메모리 기반 추론 기법의 성능을 평가 하기 위해, 온톨로지 추론과

검색 속도를 평가하는 공식 데이터인 LUBM 을 대상으로 추론 실험을 수행하였다.

<표 2> 평가에 사용된 실험 Data Set

- 클러스터 구성

노드 구성 : 마스터노드 1 개, 슬레이브 노드 8 개

각 노드의 프로세서 : 2.4GHz( 8 Core)

각 노드의 RAM : 64G



- 분산 테이블 기반 추론 시스템과 분산 컴퓨터 메모리 추론 시스템의 성능을 비교 측정하기 위해,

LUBM1000 부터 LUBM6000 까지<표 3> 추론 시간과 추론된 트리플의 개수를 측정하는 실험을

진행하였다. 자세한 측정을 위해 RDFS 규칙 6 가지의 개별적인 추론 시간을 측정했으며, 성능

비교를 위해 단위 시간당 추론되는 트리플 개수를 나타내는 처리량(throughput)을 계산하였다.

<표 3> 평가에 사용된 실험 Data Set

추론에 필요한 시간을 검증한 결과, LUBM1000을 이용한 실험에서는 임팔라 기반의 추론 기법이 하

이브 기반 기법보다 약 5배 빠른 성능을 보여 줬으며, LUBM6000에서는 약 2배 빠른 성능을 보여 주

었다. 전체적으로 온톨로지의 크기에 따라 임팔라 기반의 추론 기법이 약 2~5배 빠른 성능을 보여

주었다.[그림 8]

[그림 8] 총 추론 시간


- [그림 9]는 6개의 RDFS 규칙에 대한 개별적인 추론 시간을 측정한 결과를 보여준다. 클래스 이행

규칙과 프로퍼티 이행 규칙을 수행한 추론은 반복적인 실행을 필요로 한다. 하이브 기반의 추론

기법은 맵-리듀스 작업을 반복적으로 수행하기 때문에, HDFS에 직접 접근하여 필요한 테이블을

한꺼번에 메모리에 적재한 후 반복적인 작업이 수행되는 임팔라 기반 기법에 비해 상당한 시간

을 소모한다. 따라서 임팔라 기반 기법이 30배 이상의 성능을 나타낸다. 또한 두 규칙은 인스턴

스가 아닌 스키마 정보를 이용한 추론이다. 따라서 LUBM 크기에 상관없이 스키마 정보는 동일

하기 때문에 모든 실험에서 두 규칙을 이용한 추론 시간은 일정하다. 두 규칙을 제외한 나머지

규칙들은 임팔라 기반의 추론 기법이 약 1.4배의 성능을 나타내고 있는데, 가장 많은 데이터를

처리하는 도메인 규칙을 이용한 추론에서 약 1.8배 정도 빠른 성능을 보였다. 그림 9는 각 RDFS

추론 규칙별로 추론된 트리플 개수를 나타낸다. 서브클래스와 서브프로퍼티의 이행 규칙을 통해

추론된 트리플 개수는 스키마 정보를 이용한 추론이므로, LUBM 크기가 달라져도 동일한 개수가

유지된다.

[그림 9] LUBM6000에 대한 각 규칙당 추론 시간

- [그림 10]은 초당 추론된 트리플 개수를 보여 준다. 하이브 기반의 추론 기법은 데이터의 크기가

커질수록 성능이 증가하고 있다. 반면, 임팔라 기반 추론 기법은 하이브 기반 기법보다 2배 이상

의 성능을 보이고 있으나 불규칙한 성능을 나타내고 있는데, 이는 많은 메모리를 이용하므로 클

러스터의 상태에 많은 영향을 받는 것으로 판단된다. 또한 임팔라 기반 기법은 분산 컴퓨터 메모

리 기반 추론 시스템이기 때문에 클러스터의 메모리 한계에 가까워 지자 성능이 떨어지는 결과

를 보였다. 표 3은 본 실험에 대해 정리한 결과를 보여 주고 있다.


-

[그림 10] 각 규칙당 추론된 트리플 개수

- [그림 11]은 초당 추론된 트리플 개수를 보여준다. 하이브 기반의 추론 기법은 데이터의 크기가

커질수록 성능이 증가하고 있다. 반면, 임팔라 기반 추론 기법은 하이브 기반 기법보다 2배 이상

의 성능을 보이고 있으나 불규칙한 성능을 나타내고 있는데, 이는 많은 메모리를 이용하므로 클

러스터의 상태에 많은 여향을 받는 것으로 판단된다. 또한 임팔라 기반 기법은 분산 컴퓨터 메모

리 기반 추론 시스템이기 때문에 클러스터의 메모리 한계에 가까워지자 성능이 떨어지는 결과를

보였다. <표 4>는 전체 추론 실험에 대한 결과를 보인다.

[그림 11] 초당 추론된 트리플 개수


<표 4> 전체 추론 실험 결과

Discussion : 마이닝 마인즈 에서 어떻게 적용되어서 결과가 어떻게 나오럮다.라는 내용 삽입.


- 대용량 데이터를 분산 컴퓨팅 환경에서 효과적으로 분석 및 검색하기 위해 사용되는

프레임워크인 하이브와 임팔라를 기반으로, 대용량 온톨로지를 RDFS 수준으로 추론하기 위한

방법을 통해 성능을 평가했다. 실험을 통해 두 가지 기법은 서로 장단점을 보여주었다. 온톨로지

추론과 검색 속도를 평가하는 공식 데이터인 LUBM 중 가장 용량이 적은 LUBM1000 을

대상으로 추론 속도를 평가한 결과, 분산 테이블 기반의 RDFS 추론 기법은 전체 추론 시간이

6.58 분이 소요된 반면, 분산 컴퓨터 메모리 기반의 방식은 1.34 분이 소모되어 약 5 배 정도 빠른

추론 속도를 보였다. 그러나 LUBM6000 을 대상으로 추론 속도를 평가했을 때는 속도 차이가

2 배 정도였다. 실험 데이터의 크기가 실험 환경으로 구축한 분산 클러스터 메모리의 양에

가까워질수록, 상대적인 속도 차가 감소했다. 따라서 분산 클러스터를 구성하는 노드의 개수가

한정되어 있고, 지정된 기간 동안 추론 엔진을 구동하는 횟수가 적다면, 분산 테이블 기반의

RDFS 추론 기법이 효과적일 수 있다. 반면 분산 클러스터 내에 고 용량 메모리를 갖춘 노드의

개수가 많고, 지정된 기간 동안 추론 엔진을 자주 구동한다면, 분산 컴퓨터의 메모리를 적용한

방식이 효과적일 수 있다. 추론 성능을 향상 시키기 위한 최적화 작업과 새로운 추론 전략이

필요하며, 향후 이 부분에 대해 연구가 진행될 것이다.



[Weaver 2009] Weaver, Jesse, and James A. Hendler. "Parallel materialization of the finite rdfs

closure for hundreds of millions of triples." The Semantic Web-ISWC 2009.

Springer Berlin Heidelberg, 2009. 682-697.

[Oren 2009] Oren, Eyal, et al. "Marvin: Distributed reasoning over large-scale Semantic Web

data." Web Semantics: Science, Services and Agents on the World Wide Web7.4

(2009): 305-316.

[Urbani 2012] Urbani, Jacopo, et al. "WebPIE: A Web-scale parallel inference engine using

MapReduce." Web Semantics: Science, Services and Agents on the World Wide

Web 10 (2012): 59-75.

[Wielemaker 2012] Wielemaker, Jan, et al. "Swi-prolog." Theory and Practice of Logic

Programming 12.1-2 (2012): 67-96.

[Kornacker 2012] Kornacker, Marcel, and Justin Erickson. "Cloudera Impala: real-time queries in

Apache Hadoop, for real." 2012-10 [2013-02]. http://blog. cloudera.

com/blog/2012/10/cloudera-impalareal-time-queries-in-apache-hadoop-for-

real(2012).


[양식1]

자체평가 확인서(수요기업 평가)

평가항목

평가기관

평가일 종합평점 점 (미흡 / 보통 / 우수)

* 종합평점: 미흡(0~40점), 보통(41~80점), 우수(81점 이상)

평가항목 세부항복 배점기준 평가점수

평가과정

평가목표의 명확성 10

평가방법의 적절성 15

평가환경 및 테스트 시나리오의 타당성 15

평가진행의 적절성 10

평가결과

정량적 평가표의 개발목표치 만족여부 20

구체적인 평가결과 기술 20

평가문서의 전체적인 완성도 10

종합의견

피 평가자(작성기관): (서명)

평가자(평가기관): (서명)


퍼스널 빅데이터 기반의

의미분석 정확도

Accuracy of semantic analysis based on

personal big data



작성일(Date) 2015년 3월 25일(March 25, 2015)

작성자(Name) 홍석정 책임연구원

기관명(Affiliation) 타파크로스



평가항목

(Evaluation item) E06. 퍼스널 빅데이터 기반의 의미분석 정확도

평가기준


- 실험대상 : 온라인 상의 게시글 (SNS : 트위터, 블로그, 커뮤니티 /

매스미디어)

- 실험방법 : 표본집단 테스트 방법을 수행, 모집단이 되는 데이터를 선별하여,

분석 결과에 대한 사전 정의와 실제 시스템의 결과치와 비교하여 정확도

산출

- 의미분석 정확도 : 행위(70%), 상황(60%), 감성(50%) 이상 달성

평가방법

(Methodology)

- 본 평가는 빅데이터 분석의 특성 상 성능평가에 대한 객관적 방법론과 비교할

수 있는 결과치가 없어, 개발 기술의 신뢰성 측정이 난해하므로, 대체 평가

방법을 활용함.

① 수집 요청 회수 대비 수집 데이터 정확률, ② 사전 등록된 키워드를 통해

필터링 처리되는 비율, ③ 구문 분석으로 긍정/부정이 정확하게 분석되는

비율, ④ 특정 질의어 요청시 반환 시간, ⑤ 질의어 검색 결과 실제 행위 /

상황 데이터 검출 비율에 대한 기준을 바탕으로 평가가 이루어진다.

- 평가는 2 개의 그룹이 연동하여 수행

1) 평가기관 : 녹십자 헬스케어

2) 실험 대상자 : 타파크로스


시나리오

(Evaluation

Environment/Test

scenario)

- 평가 시나리오

1) 데이터 수집 정확도 : 사전에 설정된 수집규칙에 의해 수집되는 데이터의

정확도를 평가한다. 수집원명, 사용자아이디, 수집일시 등 수집의 주요 평가

항목을 점검한다.

2) 수집 필터링 평가 : 해당 영역에 대한 자동 필터링 기능의 정확도를

평가한다.

3) 데이터 분석 정확도 : 테스트 모집단을 긍정과 부정 감성별로 50 건을

추출하여, 문장에 포함된 분석 결과를 미리 파악하여 실제 시스템

결과치와 비교하여 정확도를 산출하는 방법으로 점검

4) 데이터 처리 속도 : 데이터 처리 속도 평가를 위한 이슈가 포함된 샘플

문서 100 건을 정의하고 질의어로 구성하여 분석되는 결과의 건당 처리

속도를 계산

5) 속성 데이터 추출 정확도 평가 : 정확도 평가를 위한 행위 / 상황에 대한

사전을 구축하고, 행위 및 상황이 포함된 샘플 문서 100 건을 정의.

평가결과

(Result)

- 데이터 수집 / 필터링 정확도 : 80%

- 데이터 분석 정확도 : 79%

- 데이터 처리 속도 : 496ms

- 속성 데이터 추출 정확도 : 75%




마이닝마인즈 핵심기술 개발” 과제의 12 가지 정량적 평가항목 중 “퍼스널 빅데이터 기반의

의미분석 정확도”에 대한 평가결과를 명시한 보고서로, 참여기관인 녹십자헬스케어가 주도적으로

평가를 진행한다.

[그림 1] 마이닝마인즈 플랫폼 내 퍼스널 빅데이터 의미분석 영역

- 본 평가 항목은 마이닝마인즈 플랫폼을 활용하여 소셜네트워크 기반 데이터를 실시간으로 수집

하고, 수집된 데이터에서 각 사회 구성원들 사이의 직접적인 상호 소통을 통해 생성‧공유‧교환되

고 있는 현재 시점의 사회 동향 및 사회 구성원의 행동 패턴을 분석하는데 있다.

- 마이닝마인즈 플랫폼 내 “퍼스널 빅 데이터 기반의 의미분석”을 위한 시스템은 [그림 1]과 같이

구성되어 있으며, 이는 데이터 수집, 데이터의 저장 및 처리, 데이터의 분석으로 나뉘며, 이번

평가에서는 [데이터의 수집]과 [데이터의 분석] 이 핵심 모듈이다.


[그림 2] 퍼스널 빅데이터 기반의 의미분석 시스템 구성도

- 개인 맞춤형 서비스의 제공을 위해서는 사용자 개인의 다양한 미디어 채널별 퍼스널 데이터

수집 및 분석이 필수적이다. 본 과제에서 평가하고자 하는 “퍼스널 빅데이터”란 다양한 미디어

채널에서 생성되는 다양한 사용자들의 데이터를 분석한 분석결과를 활용하여 ‘녹십자헬스케어’의

환자 또는 고객에서 제공이 가능한 트렌드 정보를 시스템이 자동으로 추출하는 기술을 말하며,

마이닝 마인즈 플랫폼의 퍼스널 빅데이터 의미분석 개발은 참여기관인 타파크로스가 담당한다.

- 현재 빅데이터 의미분석 기술은 서비스의 특성상 세계 최고 수준의 비교대상 선정이 불가한

영역이며 또한 공인된 연구소 및 인증기관이 부재하여 성능평가에 대한 객관적 방법론과 비교할

수 있는 결과치가 없어, 개발 기술의 신뢰성 측정이 난해하므로,

- 본 평가에서는 다음과 같은 대체 방법을 통해 평가를 수행한다.

(1) 데이터 수집 정확도 : 정보검색에서 보편적으로 정확도 검증방법으로 활용되는 표본집단

테스트 방법을 수행, 테스트 모집단이 되는 수집원을 선별하여, 사전에 설정된 수집규칙에

의해 수집되는 데이터의 정확도를 평가한다. 수집원명, 사용자아이디, 수집일시 등 수집의

주요 평가 항목을 점검한다.

(2) 수집 필터링 평가 : 테스트 모집단의 수집영역 분석 후 수집 불필요 영역에 대한 필터링

규칙을 적용, 해당 영역에 대한 자동 필터링 기능의 정확도를 평가한다.

(3) 데이터 분석 정확도 : 표본집단 테스트 방법을 사용하여 분석 데이터에 대한 정확도 검증

테스트를 수행, 테스트 모집단을 긍정과 부정 감성별로 50 건을 추출하여, 문장에 포함된


분석 결과를 미리 파악하여 실제 시스템 결과치와 비교하여 정확도를 산출하는 방법으로

점검

(4) 데이터 처리 속도 : 데이터 처리 속도 평가를 위한 이슈가 포함된 샘플 문서 100 건을

정의하고 질의어로 구성하여 분석되는 결과의 건당 처리 속도를 계산하여, 대용량 퍼스널 빅

데이터에 대한 처리 속도에 대한 결과를 평가

(5) 속성 데이터 추출 정확도 평가 : 정확도 평가를 위한 행위 / 상황에 대한 사전을 구축하고,

행위 및 상황이 포함된 샘플 문서 100 건을 정의한다. 또한 해당 문서를 분석 엔진에

질의어로 구성하여 분석된 결과의 값이 연차별 기준에 달하였는지를 평가하고, 오분류된

샘플 문서의 패턴을 추출하여 그 값을 보정하는 작업 등 품질을 향상시키기 위한 튜닝

작업을 수행한다.


- 본 평가는 퍼스널 빅데이터의 의미분석 정확도를 평가하여 개발한 기술의 신뢰성을 검증하고,

향후 마이닝 마인즈 플랫폼에 기반한 개인 사용자 맞춤형 서비스 적용 가능성을 확인하는데 그

목적이 있다.


본 평가 항목인 “퍼스널 빅데이터의 의미분석 정확도” 항목을 발췌한 표이다. 1 차년도의 개발

목표는 의미분석의 정확도가 60% 이상 산출되는지 검증하는 것이다.

<표 1> “퍼스널 빅데이터 의미분석 정확도” - 정량적 목표

평가 항목

(주요성능

Spec1))

단위

전체 항목

에서 차지하는

비중2)

(%)

세계최고 수준

보유국/

보유기업

( / )

연구개발

전

국내수준

개발 목표치

평가 방법


년도

2차

년도

3차

년도

4차

년도

⑥ 퍼스널

빅데이터

기반의 의

미분석 정

확도

% - 40% 60% 60% 자체평가

-

- 본 평가에서는 퍼스널 빅데이터 기반의 의미분석 정확도 측정을 위해 앞서 설명한 5 가지의 대체

방법을 사용하며,


- “퍼스널 빅데이터 기반의 의미분석 정확도”의 평가 기준은 ① 수집 요청 회수 대비 수집 데이터

정확률, ② 사전 등록된 키워드를 통해 필터링 처리되는 비율, ③ 구문 분석으로 긍정/부정이

정확하게 분석되는 비율, ④ 특정 질의어 요청시 반환 시간, ⑤ 질의어 검색 결과 실제 행위 /

상황 데이터 검출 비율에 대한 기준을 바탕으로 평가가 이루어진다.

<표 2> “퍼스널 빅데이터 의미분석 정확도” – 평가 방법

평가지표 가중치 목표 평가방법 비고

데이터 수집 정확도 30 60% 표본분석 목표치 도달 여부

데이터 수집 필터링 10 60% 표본분석 목표치 도달 여부

데이터 분석 정확도 30 60% 표본분석 목표치 도달 여부

데이터 처리 속도 10 500ms 표본분석 목표치 도달 여부

행위/상황 추출 정확도 20 60% 표본분석 목표치 도달 여부

합계 100 60% - 최종 목표치


- 본 평가는 크게 평가기관, 실험 진행자 그룹의 두 그룹으로 구성되며, 각 그룹은 정해진 역할을

맡아 평가를 진행한다. 아래 [그림 2]는 “퍼스널 빅데이터 기반 의미분석 정확도” 평가에 대한


[그림 3] "퍼스널 빅데이터 기반 의미분석 정확도" 평가 프로세스


- 평가기관 : 녹십자헬스케어

평가기관인 녹십자헬스케어는 전체적인 평가 계획을 수립하고 평가 시나리오를 설계한다.

시나리오가 완성되면 정확한 평가 방식을 진행 요원에게 설명하여 실험이 이루어지도록

하며, 실험이 끝난 후의 평가 데이터를 기반으로 대조 평가를 통해 최종 평가 보고서를

작성한다.

- 실험 진행자 : 타파크로스

실험 진행자는 퍼스널 빅데이터 수집 및 의미분석 기술을 개발한 타파크로스에서 담당한다.

실험 진행자는 본 평가에 대한 기본적인 내용을 숙지하고, 평가기관이 작성한 평가

시나리오를 검토하고 숙지하여 전체적인 실험 진행이 차질이 없도록 한다. 실험 진행자는

실험 진행 시 실험 대상 그룹과 함께 모든 실험이 보다 정확한 평가가 이루어질 수 있도록

지원한다. 실험 완료 후 실험 진행자는 평가 피드백을 실험 결과와 함께 평가기관에게

전달한다.

- 본 평가는 온라인을 활용한 실험 방식으로 진행되며, 평가를 위한 절차 및 시나리오는 4. 평가

환경 및 테스트 시나리오에서 구체적으로 기술한다.


- 본 평가의 수행 일정은 <표 3> 평가 수행일정과 같다.

<표 3> 평가 수행일정


평가 계획 수립 2015. 03. 02 ~ 2015. 03. 13

평가 시나리오 설계 2015. 03. 16 ~ 2015. 03. 20

평가 시나리오 검토 2015. 03. 23 ~ 2015. 03. 27

평가 시나리오 모의 실험 및 본 실험 2015. 03. 30 ~ 2015. 04. 03

자료처리/결과분석/보고서 작성 2015. 04. 06 ~ 2015. 04. 10

- 본 평가는 5 가지의 실험으로 진행되었으며, 각 실험의 평가 방법 및 시나리오는 다음과 같다.

(1) 데이터 수집 정확도

① 평가 매체 : 수집대상 매체 (트위터, 블로그. 매스미디어)

② 평가 방법 및 절차


[그림 4] 데이터 수집 정확도 평가 프로세스

③ 평가 항목 설명

· 수집원 : 수집 대상 (특정 아이디 또는 수집시 부여된 일련번호. 개인정보보호를 위해

일부를 *로 표기)

· 수집요청 : 수집엔진에서 각 수집원에 대해서 24 간 범위 동안 수집 요청한 횟수

· 수집 : 수집 요청을 통해서 수집된 문서의 건수

· 중복 : 수집 요청을 통해서 수집된 문서 중 24 시간(일자) 기준 중복된 문서의 건수

· 필터 : 수집 요청을 통해서 수집된 문서 중 중복을 제외한 사전 등록된 필터 키워드를

통해 필터링 처리된 문서의 건수

· 최종입력 : 수집요청 건수 – (중복건수+필터건수) 값으로 실제 DB 에 입력된 건수

④ 평가 시나리오

<표 4> 평가 시나리오 – 데이터 수집 정확도

구분 평가 시나리오 비고

1 수집원 리스트 추가 (매체별 수집원 추가)

2 수집엔진 구동 (매일 새벽 01시 자동 시작)

3 수집원 리스트 요청 (수집엔진마다 정해진 수집원 요청 매체별 설정

4 요청된 수집원 분배 (수집엔진 컨트롤러에서 사용가능

수집원들을 각 수집엔진 서버로 분배)


5 각 수집원에 대한 API / Web 원문 방식 요청

6 수집요청 처리 (정상 / 비정상 응답)

7 수집엔진 리스너에서 응답받은 내용에 대해서 각 문서의

중복/펄터 처리 Unique 값 생성

8 필터 : 수집된 문서에 특정 단어 포함 여부 판단으로

광고/음란성 등 미리 등록된 키워드에 따라 문서 필터링 진행)

9 최종 문서에 대해서 데이터 정형화 과정을 거쳐서 DB Insert를

한다.

(2) 데이터 수집 필터링

① 평가 대상 : 필터링 키워드 150

② 평가 방법 : 동일 URL, 동일 작성자, 동일 시간대를 Hash 코드로 코드화한 항목을 Unique

값으로 중복 처리 여부 확인

(3) 데이터 분석 정확도

① 평가 대상 : 각 수집 건수 비교, 원본 긍/부정 문서별 분석 결과 확인


[그림 5] 데이터 분석 정확도 평가 프로세스



· 수집원 : 수집 대상 (특정 아이디 또는 수집시 부여된 일련번호. 개인정보보호를 위해

일부를 *로 표기)

· 수집 건수 : 수집엔진을 통해서 실제 DB 에 입력된 실제 문서 건수

· 원본 긍정 문서 : 긍정 키워드를 포함한 실제 문서의 건수

· 분석 긍정 문서 : 분석 엔진을 통해서 실제 문서 중 요청에 의해 결과로 산출되는 문서 수

· 긍정 분석 도달율 : 원본 긍정 문서 / 분석 긍정 문서 비율

· 원본 부정 문서 : 부정 키워드를 포함한 실제 문서의 건수

· 분석 부정 문서 : 분석 엔징을 통해서 실제 문서 중 요청에 의해 결과로 산출되는 문서 수

· 부정 분석 도달율 : 원본 부정 문서 / 분석 부정 문서 비율


<표 5> 평가 시나리오 – 데이터 분석 정확도


1

API Query 구문 작성

- 질의어 : “수집원 아이디” AND “감성 TYPE = 긍정”

- 질의어 : “수집원 아이디” AND “감성 TYPE = 부정”

2 분석된 데이터를 API를 통해 질의 요청

3 요청 처리

4 도달율 계산

- 결과 문서 건수 (긍정/부정) / 실제 문서 건수 (긍정/부정)

(4) 데이터 처리 속도

① 평가 대상 : 각 질의어를 100 회 수행한 평균 응답시간과 질의어 요청시 특정 반환 값

(문서수)



[그림 6] 데이터 처리 속도 평가 프로세스


· 질의어 : 시스템에 요청되는 실제 질의어

· 분석 결과 : 질의어를 통해 나오는 분석 문서의 건수

· 처리속도 : 각 질의어를 100 회 수행한 평균 응답속도 (단위 : 밀리세컨드)


<표 6> 평가 시나리오 – 데이터 처리 속도


1 샘플 데이터의 질의어 구성 및 배치 프로세스

2 API를 통한 질의어 요청 및 분산 처리 (특정 기간의 문서 요청)

3 응답 요청 (100회)에 대한 평균 시간 계산 (XHR Timing Tool)

(5) 행위 / 상황 데이터 추출 정확도

① 평가 대상 : 퍼스널 빅데이터 내 사용자 행위 및 상황을 표현하는 키워드에 대한 추출

정확도 확인



[그림 7] 행위 / 상황 속성 데이터 추출 정확도 평가 프로세스


· 이슈 사전 : 특정 이슈 (행위 / 상황)에 대한 항목 정의

· 질의어 (Query) : 행위 / 상황 분석을 위한 질의어 항목, 해당 질의어를 통해서 검출된

내용에 대해서 실 항목 포함 여부를 확인 및 시스템 튜닝을 진행

· 평가 결과에 대해 오분류된 샘플 문서의 패턴을 추출하여 탐지 누락된 원인을 분석하여

질의어에 대한 품질 향상을 측정


<표 7> 평가 시나리오 – 속성 데이터 추출 정확도 평가


1 행위 / 상황 사전 구축 (특정 행위 / 상황 단어 추출 및 저장)

2 대상을 지정하여 단어+대상으로 이루어지는 질의어 완성

3 API를 통한 질의어 요청

4 응답 요청 (100회)에 대한 추출 문서 확인 평가

5 오분류 샘플 문서의 패턴 확인 및 피드백 최적화 반영




- 시스템에서 수집 기능 수행을 위한 사전 작업으로 수집 대상에 대한 리스트를 수집 리스너

모듈의 DB 에 INSERT 함.

[그림 8] 수집원 리스트 추가

- 실시간으로 발생하는 소셜 데이터를 수집하기 위해 리스너 모듈을 통해 수집처 리스트에 접속

후 대상 수집처에 커스터마이징 되어 있는 수집엔진 구동.

-

- [그림 9] 추가된 수집원 리스트 요청

-


- 요청된 수집원 리스트에 대하여 수집엔진 컨트롤러에서 사용이 가능하도록 수집원 리스트를

각각의 모듈별로 분류된 수집엔진 서버로 분배.

[그림 10] 수집원 리스트 분배

- 각각의 수집원에 대하여 API 및 Web 방식을 통해 게시글 원문을 요청하여 리턴되는 값과

대기시간 측정.

[그림 11] 수집원 문서 요청 대기

- 최종적으로 수집 조건과 필터링 조건을 모두 만족하는 게시글에 대하여 수집 허가 프로세스.

해당 게시글에 대한 메타 데이터(작성일, 작성시간, 작성자, 댓글, 사이트 ID, 게시글 ID 등)와

함께 수집원 문서 입력.



- 데이터 수집 필터링 처리를 위해, 수집된 문서에서 특정 키워드 포함 여부를 판단하여 해당

게시물을 필터링. 이를 위해 광고/음란성 키워드 라이브러리 사전 등록.

-

- [그림 11] 수집원 문서 필터

- 데이터 수집 정확도와 필터링 정확도에 대한 결과는 다음과 같으며, 총 100 개의 아이디와

각각의 게시글에 대한 수집 요청과 필터링 기록. 수집 요청 건수는 랜덤하게 이루어지며 이에

대하여 수집된 문서수와 중복된 문서수를 계산. 목표 문서 필터링 대비 시스템 필터링을

계산하여 최종적으로 입력된 문서에 대해 수집 정확도 산출


- 데이터 극성 분석의 정확도 측정을 위해 긍정 감성(positive) 및 부정 감성(negative) 규칙 모듈

장착 및 테스트 사전 준비 수행

[그림 13] 질의 요청 로그 – 긍정 요청

[그림 14] 질의 요청 로그 – 부정 요청


- 요청된 문서 또는 문장에 대하여 추후 합산 점수 계산을 위한 극성 점수를 긍정/부정 룰셋을

통해 추출함. 추출된 극성판정 대상은 실질 형태소를 기준으로 하며, 추출된 각각의 값을

리스트업 하여 기록.

-

- [그림 15] 긍정 요청 응답값 샘플


[그림 16] 부정 요청 응답값 샘플

- 각각의 극성 값을 합산하여 문서 전체의 극성을 판정. 성능 측정을 위해 요청한 문서에 대한

응답 데이터를 JSON 타입으로 추출하여 저장.


[그림 17] 감성어 분석 전체 문서 응답 데이터 JSON 타입 샘플

- 데이터 분석 정확도 측정을 위해, 수집된 문서에 대해 연구원들의 감성 분석 결과와 시스템

감성분석 결과를 매칭하여 오차율 및 도달율을 계산


- 데이터 처리 속도 측정을 위해 특정 형식으로 작성된 질의어를 시스템에 요청. 자동 요청 처리

및 반환값 기록을 위해 API 요청 및 분산처리 구성.

[그림 18] 질의어 구성 및 요청 API 전송

-

- 요청된 질의어에 대하여 개별적인 응답 처리. 리턴값 반환과 동시에 응답처리에 대한 메타

데이터들 자동으로 기록 설정.

-


[그림 19] 응답 데이터 샘플

- 요청 처리된 각각의 리턴 값에 대한 메타 데이터 확인. 요청 시간과 트렌젝션 처리 후 리턴

시간(waiting time) 기록

[그림 20] 응답 시간 측정

- 시스템 추측이 불가능하도록 사용자 설정 질의어를 구성하여 각각 시스템 요청 처리 및

해당하는 응답 처리 속도 기록. 각 질의어에 대하여 랜덤하게 재요청 처리 후 처리속도 합산 및

평균값 기록.

-


(5) 속성데이터 추출 정확도

- 특정 이슈에 대한 행위 및 상황 처리를 위해 시스템에 시간, 장소, 상황 라이브러리 등록. 문서의

키워드에 반응하도록 실질 형태소로 구성.

[그림 21] 행위/상황 라이브러리 DB 샘플(시간, 장소, 상황 순)

- 추출된 문서 각각에 대하여 시간, 장소, 상황에 대한 표현 키워드 검출, 검출된 키워드에 대하여

속성값 표시.

[그림 22] 질의어 요청 및 처리

<표 8> 평가 시나리오 – 속성 데이터 추출 정확도 평가

성능지표 가중치 수식 목표치 평가결과 비고

데이터 수집 정확도 30 30*(80 / 80) 60% 30 목표치 도달

데이터 수집 필터링 10 10*(64 / 60) 60% 10 목표치 도달


데이터 분석 정확도 30 30*(79 / 60) 60% 30 목표치 도달

데이터 처리속도 10 496ms (500이하) 500ms 10 목표치 도달

속성데이터 추출 정

확도 20 20*(75 / 60) 60% 20 목표치 도달

합계 100 수식 : 가중치 *

(결과치/목표치) 60% 100 목표치 도달


- 본 평가보고서에서는 산업통상자원부 산업핵심기술개발사업 “퍼스널 빅데이터를 활용한

마이닝마인즈 핵심기술 개발 과제의 12 가지 평가 항목 중 “퍼스널 빅데이터 기반의 의미분석

정확도”에 대한 평가 결과를 명시하였다.

- 본 보고서는 마이닝마인즈 플랫폼을 활용하여 소셜네트워크 기반 데이터를 실시간으로 수집하고,

수집된 데이터에서 각 사회 구성원들 사이의 직접적인 상호 소통을 통해 생성‧공유‧교환되고 있

는 현재 시점의 사회 동향 및 사회 구성원의 행동 패턴을 분석하는데 그 목적이 있다.

- 평가는 2 개의 기관에 의해 이루어졌으며, 평가기관으로는 녹십자헬스케어, 실험 진행기관은

타파크로스로 구성되어 있다.

- 빅데이터의 의미분석은 서비스의 특성상 세계 최고 수준의 비교대상 선정이 불가한 영역이며

또한 공인된 연구소 및 인증기관이 부재하여 성능평가에 대한 객관적 방법론과 비교할 수 있는

결과치가 없어, 개발 기술의 신뢰성 측정이 난해하므로, 5 가지의 대체 방법을 적용하였으며,

- “퍼스널 빅데이터 기반의 의미분석 정확도”의 평가 기준은 ① 수집 요청 회수 대비 수집 데이터

정확률, ② 사전 등록된 키워드를 통해 필터링 처리되는 비율, ③ 구문 분석으로 긍정/부정이

정확하게 분석되는 비율, ④ 특정 질의어 요청시 반환 시간, ⑤ 질의어 검색 결과 실제 행위 /

상황 데이터 검출 비율에 대한 기준을 바탕으로 평가가 이루어졌다.

- 실험 1 과 2 는 데이터 수집 정확도와 필터링 정확도에 대한 결과는 다음과 같으며, 총 100 개의

아이디와 각각의 게시글에 대한 수집 요청과 필터링 기록. 수집 요청 건수는 랜덤하게

이루어지며 이에 대하여 수집된 문서수와 중복된 문서수를 계산. 목표 문서 필터링 대비 시스템

필터링을 계산하여 최종적으로 입력된 문서에 대해 수집 정확도 산출한 결과 80%의 정확도를

보여 전체적으로 우수한 성적이 나온 것을 확인 할 수 있다.

- 실험 3 은 데이터 분석 정확도 측정을 위해, 수집된 문서에 대해 연구원들의 감성 분석 결과와

시스템 감성분석 결과를 매칭하여 오차율 및 도달율 계산하였으며, 100 건의 표본에서 60~100%

사이로 표본 별로 정확도가 상이하게 나왔지만 전반적으로 79%의 정확도를 보이며, 1 차년도

목표치인 60%를 상회하는 것을 볼 수 있다.


- 실험 4 는 시스템 추측이 불가능하도록 사용자 설정 질의어를 구성하여 각각 시스템 요청 처리

및 해당하는 응답 처리 속도 기록. 각 질의어에 대하여 랜덤하게 재요청 처리 후 처리속도 합산

및 평균값을 추출하였을 때 490ms 의 속도를 보이며, 정상적인 분산처리가 이루어 지고 있는

것을 확인 할 수 있다.

- 실험 5 는 수집된 문서에 대하여 시간, 장소, 상황에 대해 분류 후 분석 결과 표기. 이에 대하여

연구원이 평가한 문서의 실제 분석 결과와 매칭한 결과 텍스트 내의 상황 및 행위 속성 추출의

정확도가 75% 이상으로 나오는 것을 확인 할 수 있다.

- 5 개의 실험결과 모두 1 차년도의 목표치인 행위(70%), 상황(60%), 감성(50%)의 정확도를

상회하는 것으로 평가되었다.

- 향후 연구로 의미 분석의 정확도를 향상시킬 새로운 실험 방법과 알고리즘을 개발하며, 새로운

상황 및 행위의 추가, 감성 분석의 정확도 향상 등의 연구가 진행될 예정이다.

-


- 강만모, 김상락, and 박상무. "빅 데이터의 분석과 활용." 정보과학회지 30.6 (2012): 25-32.

- 송태민. "소셜 빅 데이터 분석을 통한 자살 검색 예측모형 개발." 보건복지포럼 202 (2013): 74-86.

- 특허정보 : 소셜 네트워크 정보 수집 및 분석 시스템 (출원번호 10-2013-0100628, ㈜타파크로스)

- 특허정보 : 적응형 컨텍스트의 가중치 제어에 의한 데이터 분석 시스템 (출원번호 10-2015-0011204,

㈜타파크로스)


[첨부 1] 정량적 성과 평가 결과


① 측정 결과 상세 내역

: 데이터 수집 정확도와 필터링 정확도에 대한 결과는 다음과 같으며, 총 100 개의 아이디와

각각의 게시글에 대한 수집 요청과 필터링 기록. 수집 요청 건수는 랜덤하게 이루어지며 이에

대하여 수집된 문서수와 중복된 문서수를 계산. 목표 문서 필터링 대비 시스템 필터링을

계산하여 최종적으로 입력된 문서에 대해 수집 정확도 산출.

<표 8> 데이터 수집 정확도 및 필터링 정확도 측정 결과

수집원(아이디) 수집 요청 수집 중복 목표필터 필터 최종

입력

수집

정확도

**jangkwan 37960 31506 13937 5441 4135 13434 83%

**ltra051 38213 32940 17999 2017 1513 13428 86%

**arusen 39101 32150 16932 2600 1820 13398 82%

**wpes 34012 29901 13527 5463 3059 13315 88%

**ngdeva 30151 28019 12460 4333 2513 13046 93%

**o_be 29106 29010 13581 3319 2390 13039 100%

**yuarin 19031 14201 931 399 303 12967 75%

**rkdem2012 31985 25096 10142 3320 2025 12929 78%

**olodayb1a4 25012 24040 10086 1440 1051 12903 96%

**markettn 33002 29109 15721 1004 512 12876 88%

**aljapark 37621 32931 19668 533 405 12858 88%

**p_1128 35921 30908 15065 5209 3021 12822 86%

**marketo 27198 21098 6324 2664 2051 12723 78%

**galgoon 37291 30513 17740 304 170 12603 82%

**rang_for 28401 25701 12355 1687 928 12418 90%

**30850 20468 16468 7486 1039 748 8234 80%


**415788 17990 15990 7051 1573 944 7995 89%

**34330 17710 14710 6548 1223 807 7355 83%

**560885 15626 13626 6056 946 757 6813 87%

**1451850 14962 11962 5912 106 69 5981 80%

**7033292 13430 11430 5420 383 295 5715 85%

**6524452 12260 11260 5555 144 75 5630 92%

**3227304 16140 11140 5460 141 110 5570 69%

**67453 14110 11110 5174 625 381 5555 79%

**5668690 13170 10770 5036 592 349 5385 82%

**206996 12636 10736 5135 364 233 5368 85%

**4727879 17106 10706 5234 189 119 5353 63%

**3796610 15116 10516 5141 205 117 5258 70%

**4727880 13412 10412 5115 169 91 5206 78%

**33275 14382 10382 4890 424 301 5191 72%

**5668759 13256 10256 5037 142 91 5128 77%

**206997 12234 10234 5055 117 62 5117 84%

**5592251 11216 10216 4965 223 143 5108 91%

**5668740 11942 9942 4885 130 86 4971 83%

**9848225769421 2576 1576 713 110 75 788 61%

**7079259973336 1954 1454 671 75 56 727 74%

**3884526302216 1840 1040 491 51 29 520 57%

**7370204315766 1916 1016 495 20 13 508 53%

**9805701389412 984 784 353 59 39 392 80%

**1798157879172 862 662 309 38 22 331 77%

**1676841847841 820 520 247 19 13 260 63%

**7539567939502 570 470 213 42 22 235 82%

**6802662998779 640 440 176 80 44 220 69%


**1649467207997 532 432 203 18 13 216 81%

**5418931138303 512 412 110 178 96 206 80%

**6119315469421 486 386 159 63 34 193 79%

**263402699918 458 358 156 37 23 179 78%

**5316101256398 456 356 129 64 49 178 78%

**5192444524300 394 354 141 65 36 177 90%

**2428271169216 382 342 150 33 21 171 90%

**2075234807165 418 328 152 15 12 164 78%

**7418848947396 426 326 152 17 11 163 77%

**857 132612 112612 55517 1052 789 56306 85%

**869 111972 91972 45095 1620 891 45986 82%

**861 87048 77048 37687 1579 837 38524 89%

**866 92538 72538 36021 340 248 36269 78%

**860 76418 66418 33054 246 155 33209 87%

**864 59774 39774 19318 779 569 19887 67%

**863 51090 39090 19188 489 357 19545 77%

**874 48782 34782 16764 871 627 17391 71%

**905 33266 23266 11351 434 282 11633 70%

**872 28916 22916 10987 872 471 11458 79%

**867 25354 19354 9491 332 186 9677 76%

**76 27574 17574 8665 169 122 8787 64%

**75 24654 16654 8112 430 215 8327 68%

**88 19966 13966 5083 2969 1900 6983 70%

**603 18382 12382 5447 1378 744 6191 67%

**30 17362 12362 5316 1123 865 6181 71%

**83 17346 12346 5732 865 441 6173 71%

**941 14834 11834 5489 669 428 5917 80%


**97 13482 10482 4843 675 398 5241 78%

**91 12470 10470 5047 298 188 5235 84%

**951 11154 9154 4298 388 279 4577 82%

**34 10964 9064 4348 267 184 4532 83%

**65 9576 8576 4147 227 141 4288 90%

**73 8930 8430 4189 34 26 4215 94%

**873 8804 8304 4083 128 69 4152 94%

**83 51196 41196 19874 1207 724 20598 80%

**353 59854 39854 19657 500 270 19927 67%

**1 47138 37138 18190 583 379 18569 79%

**0 41020 33020 15881 912 629 16510 80%

**554 39712 30712 14615 1425 741 15356 77%

**352 38344 30344 14903 349 269 15172 79%

**978 39288 29288 13842 1407 802 14644 75%

**558 31608 26608 12516 1094 788 13304 84%

**562 32388 26388 13031 233 163 13194 81%

**568 33368 25368 12611 133 73 12684 76%

**560 31328 24328 12039 179 125 12164 78%

**555 28578 23578 11579 396 210 11789 83%

**7 29344 22344 11090 139 82 11172 76%

**372 27180 22180 11007 132 83 11090 82%

**8 26508 21508 10655 155 99 10754 81%

**526 25480 20980 10417 91 73 10490 82%

**338 23960 20160 10036 60 44 10080 84%

**3 22912 20112 10030 38 26 10056 88%

**556 21416 19416 9693 29 15 9708 91%

**36 21924 18424 9101 141 111 9212 84%


**710 19982 18012 8889 150 117 9006 90%

**550 20886 17886 8853 164 90 8943 86%

평균 24788.68 20004.6 9640.6 780 501.1 9862.8 80%


- 데이터 수집 정확도 부문과 동일(수집 정확도 참조)



데이터 분석 정확도 측정을 위해, 수집된 문서에 대해 연구원들의 감성 분석 결과와 시스템

감성분석 결과를 매칭하여 오차율 및 도달율 계산.

<표 9> 데이터 분석 정확도 측정 결과

NO 수집 데이터

분석

(human

based)

분석결과

(system)

오차율

(%)

도달율

(%)

1 지마켓은 있어여 근데 위메프건 다 나가서 ㅋㅋㅋㅋ

큐ㅠㅠ... 무료배송 아쉽다...

-2 -2.2 -4.5 95.5

2 배송 너무 웃기당ㅋㅋㅋㅋ #신선함 ㅋㅋㅋㅋ???? 0 -1.0 -20.0 80.0

3 요새 택배는 진짜 우체국이랑 쿠팡 말곤 다 짜증나....

대한통운도 씨제이로 흡수되더니 서비스 그지같아짐

-5 -1.1 78.7 21.3

4 저도 다시는 위메프 배달의민족 안써요 9시 50분부

터 이게 뭐한 짓인지 성질만 더러워졌네요 개같은

위메프

-5 -3.0 39.1 60.9

5 쿠팡까지 안바라더라도 진짜 빠른배송원츄!!! 아님,언

제 배송예정이라도ㅋㅋㅋ이건 뭐 니가 보낼때까지

마냥 기다려야하는ㅋㅋ국내라도되면 전화라도하지ㅋ

ㅋ 그런 팬질해보기는커녕..욕했;;; ㅋㅋ하고싶지도 않

고ㅋㅋㅋ

3 1.2 35.9 64.1

6 요즘엔 그래서 쿠팡 배송이 좋아요 ㅠㅠ 아슬아슬 3 1.4 31.7 68.3

7 티몬이 직접 피드백 주셔서 놀랐네요. 방금 택배기사

에게 문자왔네요. 위치 확인했습니다. 감사합니다.

5 3.4 31.5 68.5


8 ㅋㅋㅋ 대박 위메프만 거의 써서 쿠팡 로켓배송 안

해봤는뎈ㅋㅋ

5 1.9 61.2 38.8

9 15일배송예정이던 상품이 오늘 배송된거군요.. 고마

워요 쿠팡~

5 3.4 31.3 68.7

10 쿠팡 로켓배송 한 번 받아보고싶다 빠르게 배송해주

는것보다 친절하다고 소문났던데...

3 3.4 -8.0 92.0

11 쿠팡을 사랑 할 수 밖에 없는이유ㅠㅠㅠㅠㅠ쿠팡♡

♡♡♡♡♡♡♡♡

와 안전배송 로켓배송 친절배송 내 택배회사 다 써

봤지만 이정도로 친절하고 안전하게 배송해주는 곳

은 없었음 ㅜㅜ사료랑 모래인데도ㅠㅠ @Coupang

http…

4 2.2 35.9 64.1

12 감사합니다~ 앞으로도 쿠팡과 로켓배송 많이 애용해

주세요~ ^^;

4 2.8 24.3 75.7

13 어제 얘기했던 쿠팡 로켓배송 아니나다를까 국토부

가 위법이라고 유권해석 했네… 노랑 번호판 안 달면

다 불법이라니까.

-4 -1.8 44.9 55.1

14 ㅋㅋ 쿠팡택배원들 문자 귀엽게 한대서 나도 장난

쳐봤는데 ㅋㅋㅋㅋㅋㅋ진짜 쪽팔린다 ㅋㅋㅋㅋㅋㅋ

ㅋㅋ 이쁜..ㅋㅋㅋ..ㅋ..ㅋ. 아 잘못했어요 아저씨... 집

에 왔으면 수치사할뻔ㅋㅋㅋㅋㅋㅋ

http://t.co/O881m…

0 -1.0 -20.0 80.0

15 그나저나 오늘 처음으로 쿠팡 로켓배송 이용했는데

짱조음.. 짱친절.. 짱빠름..!!

5 2.6 48.3 51.7

16 그리고 꼬질꼬질한 저를 보고도 웃음을 잃지않고 친

절하게 배송완료 해주신 이민구 쿠팡맨님 감사합니

다 //.// ㅋㅋㅋㅋㅋㅋ #쿠팡 #로켓배송

4 3.6 8.3 91.7

17 근데 안내멘트는 위메프의 서비스는 구매하셨다고

끝나는 것이 아니라고 구매후부터 시작이라고 고객

만족도 1위라고 한다 안내멘트에 죄송하다는 말도

없다 나는 12월 16일에 주문한 상품으로 아직도 이

러고 있다 30일이 넘으면 전액환불이 안된다는데

-2 -2.2 -4.9 95.1

18 금요일 오후에 쿠팡에서 홍차를 주문했다. 로켓배송

인가 뭔가 써있길래 걍 '빠른배송' 이런건가부다 했는

데... 왜 이시간에 택배 도착한다고 문자가 오는거

지...... 인간적으로 일요일엔 좀 쉬어야되는거 아녜요?

ㅜㅜ

-2 -1.1 17.9 82.1


19 나도 모르게 물건 오배송 건으로 위메프 고객센터

분에게 화를 냈다. 되게 친절하신 분이었는데 (물론

그럴만한 상황이었지만) 감정노동하시는데 나까지

보탠 거 같아 죄송스럽다.

4 4.8 -16.2 83.8

20 대박 쿠팡배송 핵친절 5 1.3 74.8 25.2

21 로켓배송은 담날이 주말이어도 보내주는구낭...ㅠㅠ쿠

팡 사랑해여

4 3.9 2.7 97.3

22 먹어보지 않은사람은 있어도

한번 사먹어본사람은 없는과자!

쿠팡에서만 엄마사랑쌀과자제품 구매건수만해도

2 2.0 0.5 99.5

23 미치겠닼ㅋㅋㅋㅋㅋ 쿠팡 로켓배송 왜이리 귀여워요?

ㅋㅋㅋㅋㅋㅋㅋㅋㅋ아 웃곀ㅋㅋㅋㅋ 다음에 로켓배

송 시켜서 택배기사분 오시면 먹을거라도 쥐어드려

야겠단... 너무 친절하셔(оﾟдﾟо)

http://t.co/tU5AXiG9f3

3 2.4 11.8 88.2

24 서울시내 거리를 갈때 꼴불견들 로켓배송 쿠팡

차 용어가 사고 터질듯 화가 난다 그리고 해주세

요 해주세요 심부름 오토바이 뮐 해달라는 뉘앙

스 냐 진짜 가볍고 막가파 막말 퇴페 용어다 쿠

팡 해주세요 여기 사용 하지 맙시다

-3 -3.1 -2.5 97.5

25 소비자로써 쿠팡 서비스 상당히 감동이다. 만족스럽

고... 쇼핑몰마다 가격비교하고 주문하는데 이렇게 자

꾸 감동주면 돈 더 내더라도 쿠팡에서 구매하고 싶

징~~~ #쿠팡

5 5.9 -17.7 82.3

26 아 쿠팡배송청년 왔었네. 친절하게 경비실에 맡긴 사

진까지 보내줬네. 이 알바청년 참 훈훈하던데. 아쉽소

ㅋ

3 4.0 -19.6 80.4

27 아 현대택배 대박 ㅠ 뭔 지점 터미널에 4일째 물건

이 있어....ㅡ.ㅡ;;; 고객센터는 전화도 연결 안되고 ㅠ

ㅠ 대기인수가 막 36명 막 이러고 ㅠㅠ 고객의소리

글 올린건 읽은건지 씹는건지... 그냥 쿠팡에서 살껄

ㅠㅠ 위메프는 왜 이모양임 ㅠㅠ

4 4.9 -18.7 81.3

28 아..티몬..... 내 쥐포 환불요청함. ㅋㅋㅋㅋㅋㅋㅋㅋ 짜

증나!!!!!!! 딱 일주일 기다렸다 ㅠㅠㅠㅠ 다시는 티몬

에서 주문하지 말아야겠어 배송 거지같아... 내 살다

살다 소셜이 배송이 이렇게 느린건 또 처음이네...

-5 -3.3 33.1 66.9

29 야씨 토요일에 입으려고 주문 했는데 월요일에 오냐

더러운 쿠팡 새끼들

-5 -6.0 -19.8 80.2


30 어제 티몬에 허니버터집 올라온거보고 속으로 병신

들 쌩지랄을하네ㅋㅋ 했었는데 오늘 뒤늦게 주문할

려고 가보니까 매진됐음

-5 -3.2 35.3 64.7

31 어제 티몬에서 붙이는 핫팩을 샀는데 벌써 배송옴.

진짜 대박 빠르다+_+

3 3.6 -12.5 87.5

32 예쁘다 위메프! 패션 무료배송 X 무료 반품·교환

http://t.co/mjjhnJcV3C

2 2.3 -5.1 94.9

33 오늘 일요일인데 아침에 쿠팡배송팀이 택배를배달했

다 주말인데 죄송하고 고마운...ㅠㅜ힘내여

4 1.6 47.1 52.9

34 오늘같은 날 길에서 쿠팡 로켓배송 차량 보면 와 대

단하다 싶긴 한데 다른 경쟁사에서 유사서비스를 도

입한다면 어떻게 될까..는 상상하고 싶지 않다. 평일

강남 작은 골목길 곳곳엔 허구헌날 주차맨과 택배차

량 운전자들 간에 전쟁..

3 3.9 -17.9 82.1

35 와 진짜 9900원에 무료배송이야 쿠팡 상냥해 사랑해 4 3.1 17.1 82.9

36 와 쿠팡 대단하다 어제 밤 11시에 주문했는데 택배

가 지금 옴ㄷㄷ 일욜인데... 안 쉬십니까...

3 2.9 2.2 97.8

37 왔다!!! 위매프에서 주문한 계란과자랑 김고소아

2kg!! 꽤나 싸게 팔아서 샀는데 오늘왔다!! 아빠도 좋

으면서 새뱃돈 받자마자 이런곳에 썼냐면서 신나는

거 숨기시긴ㅋㅋㅋ http://t.co/iElLL2sK7Y

3 3.0 -0.7 99.3

38 요즘 계속 비비를 바르고 다녔더니 쌩얼로 다닐 자

신이 없어졌다... 그래서 에스쁘아 누드쿠션 주문했음.

티몬 사랑해.

3 2.1 18.0 82.0

39 우와 쿠팡 로켓배송 문자 친절해...ㅋㅌㅋㅋㅋㅋㅋㅋ

ㅋㅋㅋ기여우시다

3 3.3 -5.1 94.9

40 우왕 소문만 듣던 쿠팡택배 친절하다>_<!! 4 3.4 11.1 88.9

41 위메프 괜찮네... 책장 위메프에서 사야겟다..

무료배송에 적당한 사이즈 저렴한 가격이라니..!!(감동

아... 아이쇼핑 넘 재밌어..사고싶은게 넘 많아.. 라면

포트도 사고싶고

무선 핸드청소기도 필요해... 다리미..보풀제거기..!!!

3 3.0 -0.8 99.2

42 위메프 딜. 남성 언더웨어부분 1위네요

주문해주신분들 감사합니다.

5 6.0 -19.7 80.3


43 위메프 배달의민족 쿠폰 산걸로 주문한 칙힌도착??바

베큐치킨 넘죠아아아??치느님 사랑합니다??❤

http://t.co/LMF6uSkCXk

3 1.5 30.5 69.5

44 위메프 빠른배송을 믿습니다....사랑합니다. 3 2.5 10.4 89.6

45 위메프 콜센터에 배송지연 문의했더니 설연휴라 택

배사 쪽에 문제 있는 것이라며 택배사에서 전화 올

것이라 답변, 택배사 전화왔는데 위메프측 출고 신청

누락 실수라며 재주문 조언...자사 잘못 사과는 커녕

책임전가하는 폭망할 위메프..

-5 -1.5 70.6 29.4

46 위메프·배달의민족 '블랙 후라이드데이' 홍보는 성공

했지만…이용자 불만 쏟아져 http://t.co/GvHq5aAJkF

-3 -1.0 39.7 60.3

47 위메프고구마와 전..맞지않나봐요 ㅠ 무료배송 2014

첫사랑 꿀고구마 http://t.co/5gsj86C5CT

-2 -2.4 -8.5 91.5

48 유감 안전 무시 과격 사고유발 용어 로켓배송 쿠팡

티켓몬스터와 같은 비지니스로 후발 성공 하는것은

좋다 근데 안전한 천 천천히 배송 입니다 했으면 사

랑받았을것 피자 이거 빨리 배송 청소년 알바 비극

오트바이사고 퀵 피자와 택배도 사고 1번지라는것

알라

2 2.9 -17.3 82.7

49 이렇게 배려돋고 친절한 택배 아즈씨는 처음봤어. 저

효과봐 ㅋㅋㅋㅋㅋㅋㅋㅋ #쿠팡로켓배송

http://t.co/tY31NyFLqA

4 1.9 42.4 57.6

50 이야아...저거 덕분에 처음으로 리튓많이 받아본다 고

마워여 쿠팡택배기사님 고마워 실친님

2 1.2 15.9 84.1

51 일단 쿠팡 로켓배송에 감사인사를....일요일에도 하다

니 진짜 대단하다

4 3.0 20.5 79.5

52 일욜도 배송해주는쿠팡.. 고맙기도 하지만 미안하기두

하고.....

4 1.6 48.5 51.5

53 전에 보고 아 넘 끌려서 엄청고민했었던거 며칠뒤에

다시보니깐 글케 엄청 사고싶지는 않으나 예쁘긴 예

쁜....파랑하양쪽....농구 계속팠으면 카이조네!->주문했

을건데...티몬 소보제화 예쁘게 신으실분 찾아요

http://t.co/oRxuaQ14MN

2 2.7 -13.5 86.5

54 지마켓만 하다가 쿠팡으로 처음 넘어갔는데 완전 신

세계! 깔끔한 화면에 배송도 빠르고 가격도 저렴. 근

데 로켓 배송 진짜 필요 없는데 필요 없음 버튼을

못찾아서 맘이 찜찜 --;

5 4.3 14.8 85.2

55 총알배송은 마음에 든다. [쿠팡 부사장 선임, 김철균

전 청와대 뉴미디어 비서관 '눈길'] #theFact

http://t.co/I6BUUZr2tD

3 3.0 -0.6 99.4


56 ㅋㅋ쿠팡 택배 기사 아저씨 엄청 험상궃게 생겼는데

산타모자 쓰고 일하신다 ㅋㅋㅋㅋ귀여움이 추가되었

다ㅋㅋㅋㅋㅋㅋㅋ

3 2.7 5.8 94.2

57 쿠팡 로켓배송 기사님이 발렌타인이라고 초코줘저쩌

ㅠㅠㅠㅠㅠ 감동..ㅜㅜ 복많이받으세여 ㅠㅠㅠ

3 2.7 6.3 93.7

58 쿠팡 로켓배송 너무 친절해.. 일요일 점심에 주문했는

데 방금 왔어.. 그런데도 로켓 너무 늦는다고 투덜대

는 고객은 있겠지.. 배달기사님들 힘드시겠다 ㅜ_ㅜ

http://t.co/lrlkkLoW4r

4 3.9 2.8 97.2

59 쿠팡 로켓배송 완전 빠름!! 생필품 구입하고 쿠팡맨

감동사연ㅎ http://midesign.blog.me/220194526601

3 3.6 -12.5 87.5

60 쿠팡 로켓배송 짱이야 4 2.8 24.9 75.1

61 쿠팡 로켓배송 쩌네요. 주문하고 14시간만에 오다니!

손편지도 써주시네 하하핳ㅎ 빨리 온 것도 좋은데

더 기분 좋아! #쿠팡 #로켓배송

http://t.co/XcJrB4C9ji

3 2.8 3.8 96.2

62 쿠팡 로켓배송..? 해주는 분 엄청 친절하당 택배하시

능뷴인가 추운데 고생하시넹 ㅇㅅㅜ 흡 모래 무거울

텐뎅

3 3.7 -14.8 85.2

63 쿠팡 로켓배송시켰는데 진짜 쩐다... 손엽서야... 게다

가 배송전에 엄청 친절한 문자도 옴..

http://t.co/ntkVWKFu3u

4 1.2 56.4 43.6

64 쿠팡 로켓배송이랑 백화점 마트 배송서비스랑 다른

게 없는거같은데 걔들도 영업용 트럭쓰나

3 1.2 36.7 63.3

65 쿠팡 배송 너무 친절해서 소름ㅋㅋㅋㅋㅋ

아저씨 손 뭔데요 ㅋㅋㅋㅋㅋㅋㅋㅋ

http://t.co/EoyPlEpAmC

4 4.5 -10.7 89.3

66 쿠팡 배송 엄청 빠르다ㄷㄷ 4 2.2 36.2 63.8

67 쿠팡 배송 지나치게 친절해 낯설어 -_-; -1 -1.5 -10.3 89.7

68 쿠팡 일 빠릿빠릿하게 허넹 좋다^ㅅ^ 옷 시킨 쇼핑

몰 네곳은 아직 배송전..설 연휴 껴서 바쁠 건 알지만

괜히 맘이 급하다ㅜㅜ

3 2.9 2.4 97.6

69 쿠팡 자체배송하는 배송기사들 너무 친절한 거 아님?

뭔가 챙겨드리고 싶을만큼 좋으다. ㅎㅎ

2 2.1 -2.1 97.9

70 쿠팡 총알배송이라며 구라까지 마라 아오 -4 -3.0 19.0 81.0

71 쿠팡로켓배송 배달원문자 너무 친절하닼ㅋㅋㅋㅋㅋ

ㅋㅋㅋㅋ

3 2.7 5.5 94.5


72 쿠팡배송때문에 전화드렸는데 상담사분 귀여우셔ㅋ

ㅋㅋㅋㅋㅋ 내가 "배송"단어가 생각안나서 어버버 하

니까 상담사님도 같이 당황하시고ㅋㅋㅋㅋ 뭔가 경

험이 많지는 않으시겠구나 싶긴했는데 대신에 남들

보다 친절하시고 열심히하시는게 느껴진...bb

3 2.3 14.4 85.6

73 쿠팡배송업체 배송하는 사람 완전 친절 겁나 착함 3 2.1 17.8 82.2

74 쿠팡사업에 문제가 있는 것이 아니라, 쿠팡의 대응

논리에 잘못이 있다는 생각이다.

'배송이 무료라서 택배업이 아니다'라는 주장이 먹히

리라 생각했던 걸까..

3000억투자 사업이면 변호사도 그 값하는...

http://t.co/recneeAgn8

-5 -1.5 70.3 29.7

75 쿠팡에서 과자 ㅅ|켰는데 쿠팡 자체 택배기사님들을

쿠팡맨이라고 부르는 듯 했다 여튼 쿠팡맨들 지존

친절했어

3 2.4 11.6 88.4

76 쿠팡에서 배달이 왔는데 배달해주신분이 너무 귀여

운거 같다ㅠ 저 깨알같은 손사진ㅋㅋ

http://t.co/hjwnsHrPQB

3 1.5 29.1 70.9

77 쿠팡에서 저렴하게 판다 그래서 시껍했는데 3만원이

상 1만원할인 쿠폰 써도 해외배송비 7천원붙어서 저

희 직구가격보다 비싸요 안심하세욤 ^_^

http://t.co/sgxFx5bg3K

-3 -3.0 -0.9 99.1

78 쿠팡에서 젤리 2kg 정도 주문하면 후회할까. -3 -1.6 27.0 73.0

79 쿠팡에서 책장, 서랍장, 거울을 74,200원에 주문했다.

사랑합니다.

3 1.6 28.3 71.7

80 쿠팡은 쿠팡 전용 택배기사가 있다고 들었는데. 원래

친절하다고 ㅇㅇ

3 1.9 22.6 77.4

81 쿠팡이 진짜 배송 친절하긴 하더라구요~ 기사님 친

절함에 반한 1인! 다음에 또 오시면 캔커피 드리려고

준비해놨다는 ㅎㅎ

3 3.8 -15.8 84.2

82 티몬서 배송된 세탁기선반 조립완료! 내일은 다용도

실 정리할 수 있다!! ㅎㅎ 이제 마의 주방정리와 커

튼만 하면 집정리는 대충 될텐데.. 망할 놈의 쿠팡,

일처리좀 깔끔하게 하란 말이닷!

-4 -4.4 -7.8 92.2

83 티몬에서 구매한 상품들 전부 배송오면 티몬 탈퇴해

야지. 서비스 개엉망

-5 -3.2 35.0 65.0


84 프링님 이번에 공구하시는 똥머리만드는 올림후크

앞머리고정기 진주헤어핀? 그거 쿠팡에서 훨씬저

렴... - 앗 그런가용?? 한 번 찾아보고 가격 조정하던

지 할게요!! 좋은 의견 감사합니다 ^-^♥ 택배니...

http://t.co/ZZT7RnIwB0

3 1.8 24.9 75.1

85 하지만 나 위메프에서 주문한거 처리가 잘 돼ㅛ다고

전화가 옴... 감사합니다 기분 넘 조와짐

3 2.1 17.8 82.2

86 헐 대박 쿠팡로켓배송 오늘입금했능데 저녁에오다

니 와우

4 4.0 0.8 99.2

87 헐...일욜 아침인데 택배가...

쿠팡 대단하다

4 2.8 24.1 75.9

88 혹시나 해서 위메프 콜센터 상담원에게 택배사 전화

말고 위메프가 직접 지연 배송 원인 파악해서 다시

직접 전화해달라고 요구했는데, 이런 식의 책임 전가

일 줄이야...아직 사과 따위 전화 없는 #위메프 폭망...

3 1.4 32.4 67.6

89 흔한 쿠팡배달맨 아저씨 ㅋㅋㅋㅋㅋ

우리동네아저씨 친절해 ㅋㅋㅋㅋ

신발장앞에 두고 인증샷ㅋㅋㅋㅋ

http://t.co/TqkDcJKAwp

2 1.4 12.6 87.4

90 예쁘다 위메프! 패션 무료배송 X 무료 반품·교환

http://t.co/mjjhnJcV3C

0 -1.0 -20.0 80.0

91 오늘 일요일인데 아침에 쿠팡배송팀이 택배를배달했

다 주말인데 죄송하고 고마운...ㅠㅜ힘내여

3 2.0 21.0 79.0

92 오늘같은 날 길에서 쿠팡 로켓배송 차량 보면 와 대

단하다 싶긴 한데 다른 경쟁사에서 유사서비스를 도

입한다면 어떻게 될까..는 상상하고 싶지 않다. 평일

강남 작은 골목길 곳곳엔 허구헌날 주차맨과 택배차

량 운전자들 간에 전쟁..

3 2.4 12.9 87.1

93 와 진짜 9900원에 무료배송이야 쿠팡 상냥해 사랑해 3 3.3 -6.8 93.2

94 와 쿠팡 대단하다 어제 밤 11시에 주문했는데 택배

가 지금 옴ㄷㄷ 일욜인데... 안 쉬십니까...

2 2.7 -13.7 86.3

95 왔다!!! 위매프에서 주문한 계란과자랑 김고소아

2kg!! 꽤나 싸게 팔아서 샀는데 오늘왔다!! 아빠도 좋

으면서 새뱃돈 받자마자 이런곳에 썼냐면서 신나는

거 숨기시긴ㅋㅋㅋ http://t.co/iElLL2sK7Y

3 1.9 22.7 77.3


96 요즘 계속 비비를 바르고 다녔더니 쌩얼로 다닐 자

신이 없어졌다... 그래서 에스쁘아 누드쿠션 주문했음.

티몬 사랑해.

4 4.7 -14.7 85.3

97 우와 쿠팡 로켓배송 문자 친절해...ㅋㅌㅋㅋㅋㅋㅋㅋ

ㅋㅋㅋ기여우시다

3 3.4 -8.0 92.0

98 우왕 소문만 듣던 쿠팡택배 친절하다>_<!! 4 4.0 -0.8 99.2

99 위메프 콜센터에 배송지연 문의했더니 설연휴라 택

배사 쪽에 문제 있는 것이라며 택배사에서 전화 올

것이라 답변, 택배사 전화왔는데 위메프측 출고 신청

누락 실수라며 재주문 조언...자사 잘못 사과는 커녕

책임전가하는 폭망할 위메프..

-5 -4.9 1.4 98.6

100 아 현대택배 대박 ㅠ 뭔 지점 터미널에 4일째 물건

이 있어....ㅡ.ㅡ;;; 고객센터는 전화도 연결 안되고 ㅠ

ㅠ 대기인수가 막 36명 막 이러고 ㅠㅠ 고객의소리

글 올린건 읽은건지 씹는건지... 그냥 쿠팡에서 살껄

ㅠㅠ 위메프는 왜 이모양임 ㅠㅠ

-3 -1.4 32.4 67.6

평균 29.9 79.1



시스템 추측이 불가능하도록 사용자 설정 질의어를 구성하여 각각 시스템 요청 처리 및

해당하는 응답 처리 속도 기록. 각 질의어에 대하여 랜덤하게 재요청 처리 후 처리속도

합산 및 평균값 기록.

<표 10> 데이터(사용자 설정 질의어) 처리 속도 측정 결과

질의어 분석 결과 처리속도(ms)

아시아나<and>(충돌<or>추돌<or>추락) 186 473

SK최태원횡령 279 413

전투기추락<or>공군전투기추락<or>F-5E 133 371

기초연금수정 162 381

하남<and>여고생<and>(살인<or>살해) 5 499

강동희승부조작 110 538

건대노래방살인 172 482


(블랙야크회장<or>강태선회장)<and>폭행 312 597

국정원<and>(부정선거<or>선거개입<or>댓글) 571 519

(사법연수생<or>사법연수원)<and>불륜 315 596

새마을금고<and>횡령 94 479

(일간베스트<or>일베)<and>(패러디<or>페러디) 719 522

((차승원)<and>(아들)<and>(성폭행<or>성추행))<or>(차노아

<and>(성폭행<or>성추행))

352 597

태풍<and>피토 179 426

춘천병원<and>난투극 381 576

태풍<and>다나스 109 451

밀양<and>송전탑 391 416

NLL대화록 562 583

포항화물선 152 535

낙지살인 76 521

(삼성전자<or>삼성)<and>불산 289 475

(연예병사<or>상추<or>세븐)<and>안마 482 605

정보유출<and>카드 271 321

(리조트<or>마우나<or>체육관)<and>붕괴 102 499

염전<and>노예 201 639

세모녀 109 552

짝<and>(자살<or>사망) 451 414

허재호<or>(대주그룹<and>회장) 226 484

(질소<or>과대<or>과자)<and>포장 476 546

(철도<or>기차)<and>인상<and>(요금<or>운임) 523 549

장애인<and>(최루액<or>장관<or>면담<or>"장애등급제"<or>"부

양의무제"<or>송국현)

361 536

홍가혜 472 511


정몽준<and>아들 498 589

김호월 274 407

세모그룹<and>(불매운동<or>불매) 375 529

요양병원<and>화재<and>장성 521 470

고양<and>화재<and>터미널 226 554

구미<and>(불산<or>누출) 431 439

김광준<and>(검사<or>뇌물) 165 520

택시법 258 414

경비<and>(농성<or>굴뚝<or>시위) 410 537

웅진<and>(염산<or>누출) 558 398

기도원<and>(화재<or>불) 396 457

이동흡 256 193

삼성<and>불산 212 481

전주<and>"일가족" 302 473

미군<and>난동 498 538

용산개발<and>(좌초<or>무산<or>부도<or>불이행<or>청산) 484 615

대림<and>폭발 371 566

성접대<or>김학의 267 363

전산<and>마비 500 532

진주의료원 397 581

조세피난처 266 561

간첩<and>조작 418 642

윤창중 520 537

밀양<and>송전탑 238 428

CJ<and>비자금 521 363

(국제중<or>영훈)<and>(비리<or>청탁) 498 417

대구<and>여대생<and>살인 290 446


(남북정상회담<or>nll)<and>대화록 472 447

아시아나<and>(사고<or>착륙) 433 515

노량진<and>(수몰<or>침수<or> 배수지) 290 533

(해병대캠프<or>병영캠프)<and>사고 267 539

(채동욱<or>검찰총장)<and>(혼외아들<or>혼외자) 303 453

인천모자살인<or>인천모자살해 302 574

동양법정관리<or>동양사태<or>동양워크아웃 267 410

헬기아파트충돌<or>아이파크충돌 265 529

의료민영화 526 581

담배소송 175 496

(AI<or>조류인플루엔자)<and>(발생<or>발병<or>조심<or>의심

<or>걱정<or>무서워<or>피해)

502 593

여수기름유출<or>우이산호충돌<or>여수원유유출<or>GS칼텍스유

출

587 474

염전노예<or>염전노동자<or>염전노역자<or>장애인노예 116 510

경주리조트붕괴<or>마우나리조트붕괴 438 593

(SKT<or>SK텔레콤)<and>통신장애 471 549

황제노역<or>허재호 160 529

(북한<or>국방부)<and>(무인항공기<or>무인기) 330 554

칠곡계모<or>칠곡의붓딸치사<or>칠곡의붓딸사망 160 401

세월호<or>유병언<or>구원파 294 533

메르스바이러스 296 521

고양터미널화재<or>고양터미널불 277 554

(장성<or>효사랑)<and>(요양병원<or>병원)<and>화재 588 520

(GOP<or>임병장<or>임모병장)<and>(총기난사) 307 518

('쌍용자동차<or>쌍용차)<and>(연비과장<or>뻥연비<or>연비속여) 374 435

(시의원<or>김형식)<and>청부살해 540 447


대구황산테러<or> 태완황산테러 341 551

(팬택<or>pantech)<and>(워크아웃<or>법정관리<or>매각) 446 453

(제2롯데월드<and>(안전<or>안전성)) 246 439

(광주헬기<or>소방헬기)<and>추락 295 484

광역버스입석금지 174 458

에볼라바이러스<or>에볼라 362 485

포천빌라살인<or>포천고무통살인<or>포천빌라사건<or>포천빌라

아이발견

136 425

(윤일병<or>윤모일병)<and>(사망<or>폭행) 145 517

김해여고생살인<or>김해여고생성폭행 182 414

싱크홀 341 340

제주지검장<or>김수창 213 538

부산폭우<or>부산물폭탄 142 509

평균 324 496

(5) 행위 / 상황 데이터 추출 정확도


수집된 문서에 대하여 시간, 장소, 상황에 대해 분류 후 분석 결과 표기. 이에 대하여 연구원이

평가한 문서의 실제 분석 결과와 매칭하여 결과값을 Pass/Fail 로 표기.

<표 11> 행위/상황(Time/Place/Occasion) 데이터 추출 및 분류 정확도 평가

NO 수집 데이터 분석

(humanbased)

분석

결과

(system)

평가

1 주말엔 리트윗 량이 장난이 아니네; 아이폰 화면이 꺼지는걸 잘 못

봄 Time Time Pass

2 아이폰 적응하기 힘들어요ㅠㅠㅠㅠ 주말내내 동기화만 하다 끝난

듯.... Time Time Pass


3 사람들이 엄청 북적거리는 군요!! 올만에 주말에 밖에 나왔는데 날씨

는 다시 춥고 ㅠㅠ 춥다 Time Time Pass

4 오후6시. 일산 백석동 코스트코 지하1, 지하2 층 아이폰6+ 끼리 음성

통화시 소리가 커졌다작아졌다하여 통화 불가능 Time Time Pass

5 아이폰 배터리 오후 1시면 나갑니다. 스타벅스 같은 데서 충전하지

못하면 그 이후는 못 찍음.ㅜㅜ Time N Fail

6 크리스마스 자체제작 한정템 닼룸추가 2. 아이폰 유저 생각 안하는

콜라보 이벤트 Time Time Pass

7 작년 크리스마스 도쿄! 사실 일본가서 사진 찍으려고 아이폰 급하게

샀었다 Time N Fail

8 얼마나 게을러 터졌으면 내 아이폰엔 아직도 크리스마스 캐롤이 담

겨져 있네 ㅋ Time Time Pass

9 지쓰리는 기본 음악 어플이 나무이상해..ㅇㅅㅇ...다음엔 아이폰을 살

것. 그리고 크리스마스가 지난지 두 달인데 지금 들어도 좋다ㅜㅜ지

민아ㅠㅠ꾹아

Time Time Pass

10 심즈프리플레이 아이폰 유져들 1초마다 튕김현상. 크리스마스 지나고

나서 업데이트한 이후로 계속 들어갈수가 없다. Time Time Pass

11 기분나뻐 이 하트!! 크리스마스때도그러더니!! 역시 폰은 아이폰인 Time Time Pass

12 별반 달라진 것 없는 아이폰6 케이스 속 구경 아이폰6 플러스를 크

리스마스 선물처럼 12월 말일 Time Time Pass

13 모의 모기지 대출을 다 갑았다는 은행의 서류를 크리스마스 선물로

주는 아이폰 앱 개발자 Time Time Pass

14 편의점 알바하다가 크리스마스때 여신 만날썰.t Time Time Pass

15 지난 목요일 EVOVLE 39에서 나온 사스케 스페셜!! Time N Fail

16 빼빼로데이 기념으로 아이폰한테 빼빼로를 먹였는데 Time Time Pass

17 11월 11일 빼빼로데이 부터 12월 31일 까지 실행합니다 Time Time Pass

18 2월 14일 발렌타인데이 저녁 7시 15분경 근무하고 있는 천안의 한

매장에서 손님을 가장해 들어온 도둑놈이 한 직원의 아이폰6를 훔쳐

갔다고 합니다

Time Time Pass

19 2월 14일 발렌타인데이 저녁 7시 15분경 근무하고 있는 천안의 한

매장에 Time Time Pass

20 소문대로라면 애플은 올 가을에 4.7, 5.5인치 6s 라인업과 더불어 4인

치짜리 6c도 출시할 전망 Time Time Pass

21 아이폰6를 이틀정도 썼는데 가장 좋은 기능은 두 번 터치했을 때 화

면 축소 되는 Time N Fail

22 아이폰 리퍼 기간이 이틀 지남.... Time Time Pass

23 계획모의중 로:이틀전에 산 아이폰을 망가뜨려놓고 아무것도 모르겠

단 고양이같은 얼굴로 쳐다봐도 Time Time Pass


24 기사작성이 어려워 이틀만에 랩탑사용. Time Time Pass

25 아이폰 개통 첫날부터 케이스 끼우고 다니다 오늘 넘 짱나서 빼버렸

는데 Time Time Pass

26 제가 아이폰을 쓰지 않는 이유 중 하나입니다. 회사가 비호감. Place Place Pass

27 회사에서 아이폰 갈아버리는거 보여주시더니 Place Place Pass

28 들 아이폰 충전 케이블 몇개씩 가지고 계신가요? 집, 회사 두 개? Place Place Pass

29 네거는 회사에 두고 다닐꺼야 Place N Fail

30 회사에 어떤 이유인지 안드로이드 핫스팟을 막아뒀는데 Place Place Pass

31 그래서 사당쪽으로 가야지 하다가 sk사이트들어가서 젤먼저 전화한

집에 물었더니 Place Place Pass

32 아이폰 사당행 이제 커플폰이얌 (짠내 Place N Fail

33 사당역 품앗이 에서 아이폰5s 습득하신분... Place Place Pass

34 학교 메일이 와있어서 모지 ? 하구 확인해봤는데 Place N Fail

35 아이폰 6 첫 드랍은 학교에서 아름다운 회전과 함께 Place Place Pass

36 열아 학교가 가기 싫어요.. 찡찡 눈 떠서 씻긴 씻었는데 다시 잠들고

파 Place Place Pass

37 학교에 노트북 두고 왔는데 얼른 노트북켜고 벨소리 만들고 싶어요 Place Place Pass

38 체리님 동네 근처로 알아보시긩! Place Place Pass

39 동네 이통사 대리점에서 갤럭시S6를 잠깐 만져보다. Place Place Pass

40 아이폰이 왜 남자의 색 핑크를 출시해주지 않는지 의문스러웠는데 Occasion Occasion Pass

41 헉 나 아이폰 매너모드 지금 처음 알았어 헉 인터넷에 검색해보고

알았어 Occasion Occasion Pass

42 저도 처음으로 아이폰을 화이트로 바꿔볼 용의가 있는 Occasion Occasion Pass

43 처음엔 iOS 지까짓게 그래 봐야 스마트폰 운영체제지 싶어 쉽게 생

각했는데, 정말 달라도 Occasion N Fail

44 이렇게 자주 서버 맛가는 게임은 처음봤어요 Occasion Occasion Pass

45 물량소진후 마감될수있사오니 빠른신청하세요 Occasion N Fail

46 4월 일본여행에 놋북까지 생각하면 Occasion N Fail

47 이때까지 아이폰케이블 산 돈으로 여행 갔다 올 수 있을거 같다 Occasion Occasion Pass

48 내 생일인가봉가😝 따뜻한 시간을 보내고 와서 행복함이 Occasion Occasion Pass

49 렌아저씨 생일축하 메시지 아이폰 앱으로 쓰려는데 Occasion N Fail

50 집사람이 미국에서 생일선물로 사온 아이폰6 1 Occasion N Fail

51 아 맞아 옛날부터 부탁하고 싶은 게 있었는데 아이폰 아이패드 쓰는

사람 달의위상 어플로 내생일 달좀 검색해주면안됨? Occasion Occasion Pass


52 시험기간때 또 잠수잼...ㅎ 시험딱한달 남았으여.. Occasion Occasion Pass

53 이번에 시험 점수 오르면 아이폰으로 바꿔준대 Occasion Occasion Pass

<표 12> 행위/상황 평가 결과

분류 오차율(%) 정확도(%)

시간(Time) 16.00 84.00

장소(Place) 21.42 78.57

상황(Occasion) 35.71 64.28

평균 24.38 75.61


크로스도메인 추천 기술 정확도

Accuracy of cross domain

recommendation



작성일(Date) 2015년 3월 7일(March 7, 2015)

작성자(Name) 유환조 교수(Prof. Sungyoung Lee)

기관명(Affiliation) 포항공과대학교(POSTECH)


요약(Summary)

평가항목

(Evaluation item) 이종데이터를 이용한 추천 기술 정확도

평가기준


- 본 평가항목은 연구의 특성상 실제 사람에게 설문하는 형식으로 평가할

필요가 없고, 기존에 공개된 데이터를 사용해서 추천 시스템의 정확도를

평가하는 방식이 더 정확 하므로, 해당 연구의 실험 결과를 평가 기준으로

한다.

평가방법

(Methodology)

- “마이닝 마인즈”는 헬스케어 도메인을 주로 다루는 플랫폼으로서 헬스케어

데이터를 갖고 평가를 하는 것이 최선이지만, 아직 과제 1 년차이며

기업측으로부터 실제 데이터를 전달받지 못한 상황이라, 같은 방법을 적용할

수 있는 다른 도메인(영화)의 데이터를 사용하기로 한다.

- 본 평가에서 사용하는 데이터 셋은 영화정보 모음 사이트인 IMDB 와 영화에

대한 rating 을 담고 있는 MovieLens 데이터이다.

- 본 실험은 4 가지 방법을 통해 추천 알고리즘의 성능을 평가한다

연결성 (connectivity)

일관성 (consistency)

정확도 (accuracy)

Case study


시나리오

(Evaluation

Environment/Test

scenario)

- 데이터 셋

MovieLens: 1667 개의 영화와 943 명의 사용자가 매긴 1,000,000 개의

점수 정보

IMDB: 위의 1667 개의 영화에 대한 배우, 감독, 장르, 국가,

키워드에 대한 정보를 웹 크롤링을 통해 수집

- 베이스 라인 알고리즘

kNN-CF – 가장 널리 쓰이는 추천 알고리즘

ItemRank – 가장 최근의 추천 알고리즘

평가결과

(Result)

- 두가지 측면에서 알고리즘을 평가함 (만족도/정확도)

만족도:

본 평가의 특성상, 설문조사보다는 기존에 공개된 데이터를 사용해

평가결과를 도출하였으며, 기존에 계획했던 만족도 50%를

달성하였다.


정확도:

기존 알고리즘인 kNN 과 ItemRank 의 정확도보다 향상된 정확도를

제공

kNN 보다 35% 향상

ItemRank 보다 16% 향상

K(추천 개수)

모델 10 30 50

KNN 1.4103 5.1667 8.1410

ItemRank 1.6474 5.6923 8.9808

F-KNN 1.9167 6.1026 9.5513

F-ItemRank 1.8974 6.6237 9.7115

-




마이닝마인즈 핵심기술 개발” 과제의 12 가지 정량적 평가항목 중 “이종데이터를 이용한 추천

기술 정확도”에 대한 평가결과를 명시한 보고서로, 참여기관인 녹십자헬스케어가 주도적으로


- 마이닝 마인즈 플랫폼은 삶의 영역에서 수집되는 물리적, 가상, 하이브리드 정형/비정형 생활

이벤트 데이터를 기반으로 현재 상황을 지능적으로 파악하여 개인 맞춤형 서비스를 제공하고,

사용자의 의사를 반영하여 지능적이며 지속적으로 지식을 관리하는 서비스 플랫폼이다.

현재 과제의 초기단계로서 협력 컨소시엄 기업측에서 아직 헬스케어 데이터 수집을

완료하지 못해, 대신 같은 방법론을 적용할 수 있는 영화 도메인을 선택해 평가를 진행

하였다. 추후에 데이터 수집이 완료되면, 수집된 데이터를 사용해 평가를 진행할 예정이다.

- 마이닝 마인즈 플랫폼은 크게 계층적으로 5 개의 레이어 (데이터 큐레이션, 정보 큐레이션, 지식

큐레이션, 서비스 큐레이션, 서포팅 레이어)로 구성되며, 이 중 이종데이터를 이용한 추천기술은

서비스 큐레이션 레이어에 해당한다. 서비스 큐레이션 레이어의 주된 기능은 아래 3 개의

레이어를 통해 추출된 지식을 사용해서 사용자에게 개인화된 추천을 제공하는 것이다.

- 서비스 큐레이션 레이어에서 추천을 제공하는 방식은 우선 Generalized recommendation

manager 에서 시간에 맞는 추천을 제공하며, 그 다음 모듈인 personalized recommendation

manager 에서 개인별 특정 항목의 추천 이유를 설명해준다.

- 서비스 큐레이션 레이어에서의 위와 같은 추천 방식을 제공하기 위해 기존에는 크로스 도메인

추천기술을 연구하는 것이 목표였으나, 크로스 도메인에 대한 연구를 하기 전에, 1 년차 에서는

단일 도메인에 대한 연구를 선행하는 것이 올바른 방향이라고 생각되어, 이종데이터를 이용한

단일 도메인에서의 추천 시스템 연구를 진행하였다.

- 이종데이터란 여러 다양한 소스로부터 수집된 데이터로서, 포맷과 크기, 소스의 개수 등에

제한이 없는 데이터이다. 본 연구에서 사용한 데이터는 다음과 같다

MovieLens: 1667 개의 영화와 943 명의 사용자가 매긴 1,000,000 개의 점수 정보(1-5 점까지의

별점)

IMDB: 위의 1667 개의 영화(M)에 대한 배우(A), 감독(C), 장르(G), 국가(N), 키워드(K)에

대한 정보를 웹 크롤링을 통해 수집

- 위와 같이 영화 데이터의 경우 각 영화 별로 배우, 감독, 장르, 국가, 키워드에 대한 정보가

존재하며 배우, 감독, 장르 등을 각각 별도의 객체 혹은 데이터라고 가정했을 때, 영화 데이터는

이종 데이터라고 할 수 있으며, 본 연구에서는 이종 데이터를 사용해 이종 정보

네트워크(Heterogeneous information network)를 만들어 이를 기반으로 추천에 대한 연구를

수행하였다. ([그림 2] 참조)


[그림 2] 이종 정보 네트워크 (Heterogeneous information network)의 예시. 동그라미는 영화이고

오각형은 배우, 다이아몬드는 감독, 네모는 장르이다.

- 최근 소셜 네트워킹 서비스, 전자상거래 사이트 등의 웹 서비스가 급격히 발전하면서,

산업계에서는 성능이 좋은 추천 시스템에 대한 수요가 점점 증가하고 있으며, 학계에서는 성능이

뛰어난 추천 시스템을 개발하기 위해 활발한 연구가 진행되고 있다.

- 현존하는 대부분의 추천 시스템의 목적은 추천 항목에 대한 정확도를 수치적으로 표현해 이를

극대화 시키는 것이다. 하지만, 좋은 추천 시스템은 사용자에게 개인화된 추천 아이템을

제공해야 할 뿐만 아니라 그 추천을 하게 된 이유를 설명을 해야 한다. 그래야만 사용자를

설득할 수 있고, 뿐만 아니라 사용자의 만족도도 높아진다.

- 본 연구는 Meta-path-based MOvie recommendation(MEMO) 이라는 영화추천 시스템을 주로

연구한다. 이 시스템은 영화의 메타정보와 사용자의 별점 정보를 사용해서 그 안의 숨겨진

factor 를 찾는 연구이며, 이러한 데이터를 이종 정보 네트워크(Heterogeneous information network)로

표현해 그 내부의 정보를 meta-path 형태로 추출해서 이를 이용하는 연구이다.

Meta-path 는 이종 데이터들간의 관계를 나타낸 부 그래프로서, 그래프 내에서 자주

나타나는 패턴 혹은 강한 연관성을 내포하는 패턴을 이용해 만들어 진다. ([그림 3] 참조)

이종 정보 네트워크에 표현되는 영화들은 모두 사용자들로부터 별점 3 점 이상의 점수를

받은 영화들이다.


[그림 3] 네트워크 스키마와 meta-path 의 예시

- 본 시스템의 전체 흐름은 다음과 같다

Training 단계 ([그림 4] – (1)) 에서는, training 데이터로부터 meta-path 를 추출해서 숨겨진

factor 들을 모델링 한다. Meta-path 란 한 영화 객체로부터 다른 영화 객체로의 경로의

스키마를 뜻한다. 예를 들어, Titanic(1997), Leonardo Dicaprio, Romeo+Juliet(1996)은 “영화-배우-

영화”의 meta-path 를 갖고 있다.

후보 선택 단계 ([그림 4] – (2)) 에서는, 사용자로부터 별점이 주어지지 않은 영화들 중에서

meta-path 를 기반으로 추천 대상 후보 영화가 결정 된다. 특히, 1 단계에서 만들어진 meta-

path 상에서 사용자가 높은 별점을 매긴 영화가 선택된다

마지막 평가 단계 ([그림 4] – (3)) 에서는, 2 단계 에서 선택된 후보 영화들 중에서

Collaborative filtering 점수가 가장 높은 k 개의 영화를 선택하고, 이 k 개의 영화중 실제

사용자가 좋아하는 영화가 몇 개나 되는지를 수치적으로 표현해서 추천 시스템의 성능을

평가한다.


[그림 4] 본 연구에서 제안한 시스템의 전체 구조

본 발명에서는 영화쌍을 선택하는 과정에서 사용자가 영화를 관람하는 시나리오를 두 가지(F-

meta path, S-meta path) 다르게 가정하여 각 시나리오마다 서로 다른 메타패스집합을

추출한다.

추출된 meta-path 를 영화추천에 적용하는 방법은 다음과 같다. 메타패스를 활용하기 위해서

사용되는 영화추천시스템은 주어진 영화의 별점을 예측하는 방식으로 동작하여야 한다. 첫째, 각

사용자마다 상위 메타패스를 기반으로, 사용자가 선호하는 영화를 시작점으로 하여 각

메타패스의 타입을 따르는 경로를 지나서 최종적으로 사용자가 아직 보지 않은 영화를

도착점으로 하도록 영화를 선택한다. 이렇게 선택된 모든 영화가 추후 영화추천에 사용되는

영화후보가 된다. 둘째, 선택된 영화집합을 기존의 영화추천시스템을 사용하여 평가하고 상위

영화들을 추천한다. 셋째, 최종적으로 선택된 영화와 해당되는 메타패스를 사용하여 실제로

사용자의 선호영화와 해당 영화가 어떤 관계를 가지는지에 대한 메타정보를 제공한다.


- 본 평가는 서비스 큐레이션 레이어의 핵심 모듈인 추천 모듈의 정확성을 평가하여 개발한

기술의 신뢰성을 검증하고, 향후 마이닝 마인즈 플랫폼에 기반한 개인 맞춤형 서비스 적용

가능성을 확인하는데 그 목적이 있다.


<표 1> “이종데이터 추천 기술 정확도” - 정량적 목표

평가 항목

(주요성능

Spec1))

단위

전체 항목

에서 차지하는

비중2)

(%)

세계최고 수준

알고리즘

(ItemRank)

연구개발

전

국내수준

개발 목표치

평가 방법


년도

2차

년도

3차

년도

4차

년도

이종데이터

추천 기술

정확도

Precision

(top-

k개중

몇 개)

9% 초기단계 초기단계 1.5 1.8 2.3 2.8

참여기업

평가 및

전문가

평가

- 본 평가에서는 이종데이터를 이용해서 만든 추천 시스템의 성능을 평가한다

- 전체 이종 데이터를 70%의 training data, 30%의 test data 로 나눠서 training data 로 모델링을 한

뒤에 test data 로 성능을 평가한다.


- 본 평가에서는 다른 정량적 평가 항목들과는 다르게, 설문조사보다는 이미 대중에게 공개된

데이터를 기반으로 평가를 수행하였다. 기존의 예상대로라면 이러한 데이터를 구하지 못할 것을

우려해, 시스템을 구축하고 난 뒤에 실제 사람들에게 설문조사를 하려고 했으나, 예상과는

다르게 Movielens 라는 추천 시스템 연구그룹에서 제공하는 데이터를 확보할 수 있었다. Movielens

데이터는 사용자 100,000,000 명이 수많은 영화에 대해 매긴 별점을 담고 있는 데이터이다.

따라서 이 데이터를 사용하게 된다면 실제로 사람에 대해서 설문조사를 하지 않아도 데이터 test

data 를 따로 남겨두고 나머지를 갖고 training 을 하면 된다. 그렇게 한다면 설문조사를 진행한

것보다 더 정확한 결과를 낼 수 있다. 더 정확한 결과를 낼 수 있는 이유는 설문 조사를

하게되면 설문 대상 인원에 대해 제한이 생길 수 밖에 없지만, 기존 데이터를 이용한다면 더

많은 사용자에 대해 test 를 진행할 수 있기 때문이다.

- 앞서 section 1 에서 설명한 평가방법을 요약하면 다음과 같다

Training data 로부터 meta-path 를 추출하고, 추출한 meta-path 를 이용해 추천 후보 영화들을

선정하고, 그 중에 top-k 개의 영화를 사용자에게 추천 해준다

- 이 평가방법에서 1 단계인 meta-path 를 추출하는 과정에서 모든 meta-path 를 추출하지 않는데,

추출할 meta-path 를 선택하는 방법은 다음과 같다.

다음 [식 1]을 이용해 training data 에 존재하는 모든 meta-path 의 F(𝑚𝑝𝑘)를 계산해서 그 중에

가장 큰 4 개의 meta-path 를 해당 user 의 meta-path 로 사용한다.


( ( ) ( ))( , ) ( )

| ( ) | | ( ) | 1( )

2 | ( ) | 1

i

i j

i j ki

k imp MP

k R m R mm m pairs mpimp MP

pairs mp pairs mpF mp

pairs mp e

[식 1] meta-path 의 frequency 를 계산하는 식

F(𝑚𝑝𝑘)는 k 번째 meta-path 인 𝑚𝑝𝑘의 frequency score 이다.

pairs(𝑚𝑝𝑘)는 k 번째 meta-path 와 연결된 모든 영화 쌍을 리턴 한다.

- 가장 큰 4 개의 meta-path 를 사용하는 이유는 이 실험에서 top-4 를 사용해 연결한 영화 쌍이 이

top-4 개를 제외한 나머지를 사용해 연결한 영화 쌍의 개수보다 많기 때문이다.

- 다음은 Movielens 데이터의 user-307 의 meta-path 의 일부를 구한 예시이다. Top-4 meta-path 는

진한글씨로 표현되어 있다.

[그림 5] User-307 로부터 추출된 meta-path


- 평가를 수행하는데 사용한 데이터

MovieLens: 1667 개의 영화와 943 명의 사용자가 매긴 1,000,000 개의 점수 정보

IMDB: 위의 1667 개의 영화에 대한 배우, 감독, 장르, 국가, 키워드에 대한 정보를 웹

크롤링을 통해 수집

- 해당 연구의 성능을 확인하기 위한 평가 방법으로 크게 4 가지가 존재한다


- 우리는 추천대상이 될 영화가 사용자가 가장 좋아하는 영화와 meta-path 상에서 연결되어

있어야 한다고 가정을 했기 때문에, test 와 training set 사이에 의미 있는 meta-path 가

존재하는지의 여부를 확인해야 한다

일관성 (consistency)

- Training data 와 test data 로 만든 meta-path 가 일관성이 있어야 실험결과가 의미 있다고 할

수 있다.


정확도 (accuracy)

- 기존에 존재하는 알고리즘(ItemRank, kNN)과 본 연구에서 개발한 알고리즘과의 추천

정확도 비교를 수행한다

Case study

- 실제 사용자의 예시를 들어서 알고리즘의 유효성을 검증

- 위의 4 가지 실험 시나리오에 대한 결과는 Section 5 에서 상세히 기술 하였음.

- 위의 4 가지를 바탕으로 사용자의 만족도를 평가하였다. (Section 5 참조)


- 4 가지 평가 결과


본 평가에서는 training 데이터와 test 데이터간의 meta-path 의 연결성을 평가한다. 본

연구에서는 추천대상 후보 영화의 경우 사용자의 meta-path 중에 하나를 통해 사용자가

좋아하는 영화와 연결되어야 한다. 이를 검증하기 위해 우리는 training set 과 test set 간에

의미 있는 meta-path 가 존재하는지 여부를 확인하기 위한 실험을 하였다. 그 결과, test

set 에 있는 모든 영화는 최소한 한번 training set 에 meta-path 를 통해서 연결됨을 볼 수

있었다. 이는 training set 과 test set 의 아이템들 간에 강한 연결성이 존재한다는 것을

보여준다. [그림 6]에서 볼 수 있듯이, 전체 아이템의 96%는 meta-path 길이 2 로

연결되었고, 나머지 4%는 길이 4 로 연결되었다. 이로써 training data 와 test data 간에

강한 연결성이 존재한다는 것을 알 수 있다.

[그림 6] training/test set 간에 연결된 영화 쌍들의 연결 정도의 비율

- 일관성 (Consistency)

본 평가는 meta-path 의 일관성을 평가한다. 만약 사용자의 숨겨진 factor 가 training set 과 test

set 간에 일관성이 없다면, training set 으로부터 만들어진 meta-path 는 test set 에대해 의미가


없을 것이다. 이러한 일관성의 존재를 검증하기 위해 우리는 training set 과 test set 으로부터

top-10 meta-path([식 1]을 사용해서 계산) 를 추출하여 비교해 보았다. 일관성(consistency)는

이 top-10 meta-path 들중 일치하는 것의 개수를 합해서 평균을 내는 방식으로 계산하였다

Type All |R| > 20 |R| > 30

Meta-path 6.1262 7.0794 7.5338

[그림 7] Top-10 scored meta-path 중 일관성 있는 meta-path 개수의 평균 (R: 사용자가 매긴

별점의 개수. Ex) |R| > 20 은 20 개 이상의 별점을 가진 사용자들만 고려한다는 것이다)

- 정확성 (Accuracy)

본 평가는 기존의 연구와의 비교 평가를 한 결과이다. 추천 시스템 연구분야에서

일반적으로 사용하는 평가방식에는 크게 2 가지가 존재 한다: RMSE 와 Precision 이다. Root

mean squared error (RMSE)의 경우 추천 영화에 대한 실제 별점을 예측하는 시스템에서

쓰이고, 본 연구의 경우 실제 별점을 예측하는 연구는 아니기 때문에 RMSE 보다는

precision 을 평가 지표로서 이용하였다. Precision 은 주로 정보검색 분야에서 널리 쓰이는

지표로서 다음과 같이 계산한다.

Precision =|𝑟𝑒𝑙𝑒𝑣𝑎𝑛𝑡 𝑑𝑜𝑐𝑢𝑚𝑒𝑛𝑡𝑠| + |𝑟𝑒𝑡𝑟𝑖𝑒𝑣𝑒𝑑 𝑑𝑜𝑐𝑢𝑚𝑒𝑛𝑡𝑠|

|𝑟𝑒𝑡𝑟𝑖𝑒𝑣𝑒𝑑 𝑑𝑜𝑐𝑢𝑚𝑒𝑛𝑡|

[식 2] Precision

[식 2]에서 relevant document 의 경우 올바른 추천 아이템과 같은 의미이며, retrieved

document 의 경우 top-k scored 영화라고 할 수 있다.

정확도는 top-10, 30, 50 개의 추천 항목 중 실제 정확히 추천한 항목의 개수를 계산한다.

우리는 meta-path 의 길이에 따라 3 가지 실험을 수행했다.

1. One-hop meta-path (1H)

2. Two-hop meta-path (2H)

3. 1,2 의 결합 (1H+2H)

각 항목에서 meta-path 의 개수는 10 개로 정했고, 각 영화에 대해 strong path 도 10 으로

고정했으며, 비교할 기존 연구는 앞에서 언급했듯이 kNN 과 itemRank 이다.

ItemRank 는 PageRank 알고리즘에서 영감을 받은 알고리즘으로서 random walk 기반으로

개인화된 ranking vector 를 제공하며 그래프 기반 알고리즘이다.

Model

\ K

10 30 50

All |R| > 20 |R| > 30 All |R| > 20 |R| > 30 All |R| > 20 |R| > 30

kNN 0.1222 1.0672 1.4103 1.7803 4.2425 5.1667 3.0268 6.7649 8.141


ItemRank 0.3912 1.4515 1.6474 2.3226 4.9328 5.6923 3.761 7.8134 8.9808

1H-knn 0.3722 1.5485 1.9167 2.1622 5.1194 6.1026 3.4761 7.9664 9.5513

2H-kNN 0.3552 1.5597 1.9038 2.0838 5.1194 6.0705 3.3659 8.0746 9.7115

1H+2H

kNN 0.3775 1.5448 1.8526 2.1654 5.1343 6.109 3.4942 7.9478 9.5705

1H

ItemRank 0.5249 1.6642 1.8974 2.4825 5.4254 6.2372 3.894 8.3955 9.7115

2H-

ItemRank 0.5027 1.6754 1.891 2.3531 5.4142 6.2244 3.6957 8.3806 9.6731

1H+2H

ItemRank 0.4645 1.4851 1.6667 2.4655 5.3284 6.109 3.9003 8.3619 9.6603

[그림 8] 정확도 실험 결과

- Case study

본 평가는 meta-path 를 사용한 추천 시스템이 사용자들에게 특정 영화를 추천한 이유를

제공해 준다는 측면을 검증하기 위한 평가이다.

본 평가에서는 meta-path 를 사용한 MEMO 와 kNN, itemRank 를 사용해서 각각 top-20 개의

영화를 선별하였고,([그림 9]) 정확한 추천의 경우 진한 글씨로 표현했으며, 정확한

추천아이템들의 meta-path 를 살펴보며, 본 연구가 어떻게 추천한 영화에 대한 설명을

제공하는지 검증하도록 하겠다.

-

[그림 9] User 753 에 대한 추천 리스트

[그림 9]는 사용자 ID 753 에 대해 3 가지 다른 알고리즘을 적용한 결과이다. 다음 2 가지

예시는 이 연구가 추천 대상 영화에 대한 설명을 제공한다는 것을 보여주는 예시이다.

One Flew Over the Cuckoo’s Nest (1975)


23 개의 영화가 M-G-M meta-path 를 통해 연결되어 있는데, 이를 기반으로 MEMO 의

경우 One Flew Over the Cuckoo’s Nest (1975)를 추천해준다. 이는 별점 5 를 받은 The

Manchurian Candidate (1962)과 Drama/Mystery (장르)로 연결되어 있다.

Star Wars(1997)

9 개의 영화가 M-AG-M-K-M meta-path 를 통해 연결되어 있는데, 이를 기반으로

MEMO 의 경우 Star Wars(1997)을 추천해준다. 이 영화는 The Fugitive (1993)와

Harrison Ford 라는 배우를 공유하고 있으며, 이 두 영화의 장르는 공통적으로

Action/Adventure 이다 (AG). 그리고 Star Wars (1997)과 Butch Cassidy and the Sundance

Kid (1969)는 Desert/Escape 라는 키워드를 공유한다 (K). The Fugitive (1993)와 Butch

Cassidy and the Sundance Kid (1969)는 사용자 753 에게 높은 별점을 받은 영화이므로,

Star Wars (1997)이 추천을 받게 되었다는 것을 알 수 있다.

- 위의 4 가지 실험 시나리오를 바탕으로 사용자의 만족도를 2 가지 측면에서 알아보았다.

메타패스 만족도: 평가 데이터에서 추출한 10 개의 meta-path 중 실제로 학습 데이터에서

추출한 meat-path 에 속한 meta-path 의 비율을 계산했다. [그림 11]에서 볼 수 있듯이, F-meta

path 와 S-meta path 두 시나리오에서 평가데이터의 meta-path 중에서 학습 데이터에서 추출한

meta-path 에 속한 meta-path 비율이 50%이상임을 알 수 있었다.

[그림 10] 학습 데이터에서 추출한 meat-path 에 속한 meta-path


[그림 11] 메타패스 만족도

영화추천 만족도: 추천 시스템이 제공한 k 개의 영화 중 평가 데이터의 개수 대비 실제로

정확하게 추천된 영화의 비율 (기준 별점 개수: All, 20, 50, 추천된 영화 개수(k) = 50)

비교모델: ItemRank

제안기법: MEMO + ItemRank

1F-ItemRank: 1-hop F-meta path

2F-ItemRank : 2-hop F-meta path

UF-ItemRank : 1-hop + 2-hop F-meta path

1S-ItemRank : 1-hop F-meta path

2S-ItemRank : 2-hop F-meta path

US-ItemRank : 1-hop + 2-hop F-meta path

[그림 12]에서 볼 수 있듯이, 30 개의 항목을 추천해줬을 경우에 50%이상의 만족도를

얻을 수 있었다.


[그림 12] 영화추천 만족도


- 본 연구는 Heterogeneous information network 를 기반으로 해 사용자 선호도의 숨겨진 factor 정보를

담고 있는 meta-path 를 추출해, 이를 사용해 추천을 하고, 추천 아이템에 대한 설명을 제공하는

시스템을 고안하는 연구이다.

- 본 평가의 경우 앞서 언급했듯이, 기존의 계획은 실제 사람들에 대한 설문조사를 진행하려고

했으나, 그것보다는 정답이 포함된 공개된 데이터를 갖고 있는 상황이므로, 데이터를 training 과

test 데이터로 나눠서 평가를 진행하는 것이 더 정확한 결과를 낼 수 있기 때문에 설문조사를

진행하지 않았다.

- 본 연구에서 제안된 기법은 기존의 모든 추천시스템(영화의 별점을 예측하도록 동작하는

시스템)에 적용이 가능하며, 실제로 기존의 기법(kNN, ItemRank)에 적용하였을 때, 제안된 기법이

사용된 경우에 항상 성능향상이 있었다. 더 중요한 연구결과는 사용자의 영화관람이력을

바탕으로 사용자데이터에 내재되어 있는 영화관람패턴을 메타패스라는 형태로 자동 추출하여

이를 추가적으로 사용자에게 제공할 수 있다는 점이다. 현재까지는 최신의 연구성과들과의

비교가 되지 않았다는 한계점이 있지만, 앞서 말했듯이 제안된 추천시스템은 단독으로 사용되지

않고 기존의 추천시스템에 적용하여 성능을 향상시키는 방향으로 동작하기 때문에, 이러한

문제는 쉽게 해결이 되리라고 전망한다. 향후 연구내용으로는 자동으로 추출된 사용자의

메타패스형태의 사용자 영화관람패턴을 활용하거나 시각화하는 주제가 있을 수 있다


[1] Y. Sun, J. Han, X. Yan, P. S. Yu, T.Wu, Pathsim: Meta path-based top-k similarity search in heterogeneous

information networks, in: VLDB, 2012.

[2] X. Yin, J. Han, P. S. Yu, I. T. J.Watson, Object distinction: Distinguishing objects with identical names by link

analysis, in: ICDE, 2007…

[3] Y. Sun, J. Han, P. Zhao, Z. Yin, H. Cheng, T.Wu, Rankclus: integrating clusteringwith ranking for

heterogeneous information network analysis, in: EDBT, 2009

[4] X. Yu, X. Ren, Y. Sun, Q. Gu, B. Sturt, U. Khandelwal, B. Norick, J. Han, Personalized entity recommendation:

A heterogeneous information network approach, in: WSDM, 2014, pp. 283–292

[5] W. Feng, J. Wang, Incorporating heterogeneous information for personalized tag recommendation in social

tagging systems, in: KDD, 2012

[6] C. Shi, C. Zhou, X. Kong, P. S. Yu, G. Liu, B. Wang, Heterecom: A semanticbased recommendation system in

heterogeneous networks, in: KDD, 2012.


추론 공격 대응 능력

Security against inference attack







요약(Summary)

평가항목

(Evaluation item) EC 08- Security against inference attack

평가기준


- 추론 공격 탐지 (정확성과 대상의 개인 식별)

- 정보 변조 공격을 견디는 것

평가방법

(Methodology)

- Markel Hash trees 평가방법: 해쉬트리는 대용량 데이터 구조에서 컨텐츠에

대한 보안검증을 할 수 있도록 함.

- MAC(Message Authentication Code) 평가방법: 전송 메시지의 인증을 위한 작은

정보로써, 메시지의 무결성 검증과 인증을 함

- Information hijacking 평가방법: 통신의 제어를 침입자가 공격할 수 있도록

하는 네트워크 보안 공격의 한 방법론임

- Anonymization 평가방법: 데이터 익명화는 정보를 보호하는 한 방법으로

프라이버시 보호를 위해 사용됨. 암호화나 개인 식별 정보를 데이터 셋에서

삭제하는 방식으로, 데이터가 유출되더라도 개인 식별이 불가능하게 함.


시나리오

(Evaluation

Environment/Test

scenario)

- MM 와 상호작용하도록 각각 합법적인 사용자와 적대적인 사용자로

모방하는 두 단말(스마트 폰과 PC)의 테스트 베드를 구축한다. 공격자가

트래픽을 가로챌 수 있다고 가정하면, 우리는 가로챈 정보를 조사할 것이다.

그리고 공격자가 트래픽을 가로챌 수 있다는 조건 하에 캡처된 정보를

바탕으로 마이크로 데이터가 노출 가능성이 있는지 여부를 조사한다. 정보

하이재킹이나 변조 공격(중간자 공격)에 대해 방어하기 위해 우리는 Markel

Hash Trees 와 메시지 인증 코드를 사용할 것이다. 이것은 MM 플랫폼에

도달하는 정보를 무단으로 변경하는 것을 식별한다.

- Involved Entities

사용자

공격자

MM 플랫폼

-

평가결과

(Result)

- 추론 공격에 대한 익명 데이터에 약 74% 이상의 결과를 달성.

- 추론 공격을 하기 위한 중간자 공격을 탐지하기 위해서, 우리는 삽입

공격에 대한 전략을 수립했다. 그것은 얼마동안 들어온 패킷들의 MAC 을

비교해서 같지 않으면 변조되었다고 판단해서 그 패킷들을 버리는 것이다.

- 클라우드 환경에서 암호화된 데이터가 저장되고 가공되도록 하는 것이

암호화 표준을 종료함으로써 추론 공격에 대해 탄력 있게 이루어졌다.



- Introduction

대부분의 조직에서, 데이터베이스는 민감한 정보의 중요도를 가지고 있다. 데이터베이스의

내용을 보호하는 적절한 수준의 보호를 보장 해야 한다. 따라서 모든 부분을 포괄하는 보안

프로그램은 필수적이다. 데이터베이스 암호화는 기존의 네트워크와 애플리케이션 계층의

보안 솔루션을 추가적인 계층이고, 만약에 데이터베이스 서버가 손상되더라도 민감한

정보의 노출을 막아준다. 데이터베이스 암호화는 네트워크에 침입하는 침입자를 포함해서

인증되지 않은 사용자가 데이터베이스의 민감한 데이터를 보는 것을 방지합니다;

마찬가지로, 데이터 암호화는 관리자가 평문으로 된 민감한 정보(e.g. 판매 또는 급여

수치)에 접근하지 않고 그들의 일을 수행할 수 있도록 한다. 게다가 암호화는 데이터의

무결성을 보호한다, 게다가 암호화는 데이터의 무결성을 보장한다. 데이터가 변환되는 것을

인식함으로써 올바른 데이터를 복구한다.(e.g. 백업) 많은 연구들이 조직들의 전반적인 보안

전략에서 데이터의 상호영향과 전송 보안이 수행되었지만, 데이터 보안에 서비스

아웃소싱의 영향은 적게 조사되었다. 데이터베이스 암호화에 대한 기존 접근 방식은

저장소에 데이터를 보호하는 것이 유일한 목적이었다. 그리고 질의 실행에 대한 데이터를

해독하는 서버를 신뢰한다고 가정한다. 이 가정은 다수의 웹 서비스가 다양한

애플리케이션을 제공하기 위해 정보를 교환하도록 협력하는 새로운 협동 파라다임에서

타당성이 떨어진다. 웹 서비스와 콘텐츠 제공자 간에 효율적인 협력은 종종 다른 서비스나

최종 사용자에 의해 온라인 질의가 지속적으로 이용가능한지에 대한 중요한 정보를

요구한다. 몇 가지 말하자면, 원격 의료 애플리케이션은 의료 데이터의 네트워크 전송을

포함하고, e-비즈니스 의사 결정 지원 시스템은 종종 신용도와 같은 민감한 정보에 접근할

필요가 있는 반면에, 위치 기반 서비스는 사용자의 지도상 좌표 이용을 필요로 한다.

추론 공격은 피사체 또는 데이터베이스에 대한 지식을 불법적으로 얻기 위해 데이터를

분석함으로써 수행되는 데이터 마이닝 기술이다. 피사체의 민감한 정보는 공격자가 그것의

실제 값에 대해 높은 신뢰도로 추정할 수 있는 경우에 누출된 것으로 간주 될 수 있다.

이것은 정보 보안이 위배된 사례이다. 추론 공격은 사용자가 데이터베이스에 직접 접근하지

않고 사소한 정보로부터 보다 강력한 정보를 추론할 수 있을 때 발생한다. 더 높은 보안

레벨에서 보호 되어야 하는 정보를 그 아래의 보안 레벨의 조각난 정보들을 바탕으로

추론하는 것이 추론 공격의 목적이다.

- 통계적 추론 공격은 두 가지 범주로 나누어진다.

Direct attack

몇 안 되는 레코드를 생성하는 질의 문을 가지고 직접적으로 민감한 정보를 찾는다

Indirect attack

중간 통계 결과의 수에 기초하여 최종 결과를 추정하고자 시도한다

sum

count


median

tracker attack (각각의 작은 결과를 나타내는 추가 질의를 사용해서 기밀 정보를 찾는

방법)

- 몇 가지 다른 대응책은 다음과 같다

컴퓨터 보안 추론 제어는 정당하게 접근하는 하위 계층의 정보의 Chunk 들로부터 기밀

정보를 추론하는 사용자들을 막기 위한 시도다. 컴퓨터 보안 전문가는 소프트웨어에 의해

추론 공격을 방지하기 위해 데이터베이스에 프로토콜을 설치합니다. 탐지 및 추론 채널을

제거하는 기술은 두 가지 범주로 구성할 수 있다. 첫 번째 범주는 데이터베이스 설계 시간

동안 추론 채널을 감지하는 기술을 포함한다. 추론 채널들은 데이터베이스 설계를

수정하거나 데이터 항목 중 몇 가지의 분류 레벨이 증가함으로써 제거된다. 두 번째 범주의

기술은 질의 처리하는 시간 동안에 추론 채널의 위반을 제거하기 위해 노력한다. 추론

채널이 검출되면, 질의는 거부되거나 보안 위반을 피하기 위해 수정된다. 설계 시간은

관리와 구현을 쉽게 하는 반면, 질의 시간은 설계 시간의 접근법 보다 더 많은 데이터의

가용성을 허용한다. 자세한 내용은(과거와 현재 질의/답변) 공개 유추에 사용될 수 있기

때문이다.


평가 항목

(주요성능

Spec1))

단위

전체 항목

에서 차지하는

비중2)

(%)

세계최고 수준

보유국/

보유기업

( / )

연구개발

전

국내수준

개발 목표치

평가 방법


년도

2차

년도

3차

년도

4차

년도

추론 공격

대응 능력 % 9% 60 초기단계 >70% 72% 75% 80%

참여기업

평가

- 제안된 평가방법의 목적은 추론 공격에 대해 마이닝 마인즈의 요구된 억제력을 나타내는 것이다.

이 공격이 일어날 수 있는 경로의 가능성을 고려해볼 때, 우리는 잠재적인 적으로 클라우드

서버와 공격자를 고려해 왔다. 저장된 데이터를 소유하는 클라우드 서버는 궁금(Curious)하다고

여겨진다. 여기서 클라우드의 호기심(Curiosity)이란 허가된 정보 외에 추가적인 정보를 궁금해

하는 것을 말한다. 그래서 Curious Cloud 는 내부 저장소에 어떤 데이터가 요청되는 순서나

처리과정 등에 따라 발생되는 추가적인 정보를 만들어서 습득하는 것을 시도한다. 이러한 활동과

지속적인 상호작용 때문에, 클라우드 서버는 스스로 알려지기를 의도하지 않고 사적으로 선언된

정보를 학습하는 더 많은 기회가 있다. 이 목적을 위해, 검색 암호화를 통해 암호화 된 데이터에

암호화 저장을 하고 비공개 매칭을 직접 처리한다. 그리고 용어 매칭은 시스템 상호작용을 통해

사용되는 몇 가지 암호 기본 요소이다. 반면에, 유효한 자격 증명을 통한 클라우드 자원의


권한이 없는 공격자는 도청 메시지로부터 정보를 습득하려고 시도한다. 그 밖에 유용한 정보를

학습할 가능성은 사용자 스마트 폰을 물리적으로 가지게 되는 것이다; 그러나 데이터 저장은

사용자 디바이스가 아닌 공공 클라우드에 탑재되어 있기 때문에 소용없다.


- 평가 기간 동안 우리는 다음 표준 기술과 알고리즘을 사용했다.

- 익명화(Anonymization)

데이터 익명화는 개인 정보 보호를 의도하는 정보 건전화 유형이다. 데이터 익명화는 한

기관 안에 있는 두 개의 부서간이나 두 개의 기관의 경계간 정보의 교환을 가능하게 한다.

반면에, 의도치 않은 공개의 위험성을 줄이고 특정한 환경에서 익명화한 뒤에 평가 및

분석을 가능하게 하는 방법이다. 의료 정보의 맥락에서, 익명화된 데이터는 정보의 수신자에

의해 환자가 식별될 수 없는 데이터를 나타낸다. 이름, 주소 그리고 전체 우편번호는

수신자에게 노출되거나 다른 데이터와의 결합으로 환자를 식별할 수 있게 되는 다른

정보들과 함께 제거되어야 한다. 익명화 데이터가 데이터 원본으로 다시 복구되도록 다른

데이터 소스를 상호 참조하는 역 과정을 반 익명화(De-anonymization)라고 한다. 일반화와

소형 변화는 관계형 데이터에 대한 두 개의 인기 있는 익명화 방식이다. 익명화를 사용하기

위한 필요성은 마이닝 마인즈의 사용자가 다양한 분석을 위해 식별 할 수 있는 속성에 더

적게 접근할 수 있기 때문이다. 익명을 사용하는 동안 우리는 간단히 평가 부분의 시각적인

그림을 통해 일반화 및 억제 기술을 설명할 것이다.

- Merkle 서명 체계(Merkle Signature Scheme)

Merkel 서명 체계는 Hash Trees 를 기반으로 하는 전자 서명 체계이다. (또한 Merkle Trees

라고도 불린다.) 그리고 Lamport 서명 체계와 같은 일회성 서명이다. 이것은 Ralph Merkle 에

의해 1970 년대 후반에 개발되었고 전자 서명 알고리즘이나 RSA 와 같은 전형적인 디지털

서명의 대체방안입니다. Merkle 서명 체계의 장점은 양자 컴퓨터 알고리즘에 대해 강점을

가진다고 여겨지는 점이다. Markel hash trees 와 같은 접근 방식을 사용하는 이유는 합법적인

사용자를 대표해서 적으로부터 어떤 수정된 정보 패킷이 전송되는 것을 피하기 위해서다.

- 메시지 인증 코드(Message authentication code)

암호화에서, 메시지 인증코드(주로 MAC)는 메시지의 무결성과 신뢰성을 보장하기 위해

제공하며 메시지의 인증에 사용되는 작은 조각정보이다. 무결성 보장은 우연적으로나

의도적으로 메시지가 변경되는 것을 감지한다. 반면, 신뢰성 보장은 메시지의 출처를

단언한다. MAC 알고리즘은, 때로는 키(암호화) 해시 함수로 불린다. (그러나, 암호화 해시

함수는 MAC 를 생성하는 방법 중에 하나) 이것은 비밀 키를 입력 값으로 받고 가변 길이

메시지를 인증 받으며 출력으로 MAC 을 내보낸다. (때로는 태그라고도 함). 메시지 내용에

대한 어떤 변화를 감지하도록 감지기에게(또한 비밀 키를 가진) 허용함으로써, MAC 값은

메시지의 데이터 무결성뿐만 아니라 신뢰성 둘 다 보호해준다. 메시지 인증 코드는


메시지의 무결성을 확인하는 또 다른 방법이다. 우리는 사용자 데이터로부터 받은 후에

메시지의 무결성을 확인하는데 사용할 것이다.

- 세션 장악(Session Hijacking)

때로는 쿠키 하이재킹으로 알려져 있는 세션 장악(Session Hijacking)은 정보나 컴퓨터

시스템의 서비스에 인증되지 않은 접근을 획득하기 위해서 컴퓨터의 유효한 세션을(세션

키라고도 함) 악용하는 것이다. 마이닝 마인즈에서 우리는 이미 공격자가 정보 하이재킹,

변조 및 재시도 공격을 가정함으로써 정보 하이재킹의 영향력을 주었다. 자세한 설명은

각각의 평가 부분에 있다.


- 연구에서 수행한 추론 공격에 대한 결과는 평가결과 부분에 시각적으로 나타나있다. 본 연구에서

이러한 테스트를 진행하기 위하여 고려해야 할 요소들은 다음과 같다.

클라우드 상에서 동작하는 MM 애플리케이션

사용자

공격자

- 테스트 시나리오 1

처음 시나리오에서는 익명의 데이터를 대상으로 실험을 진행하였으며, 상대방이 가능한

정보들을 생각 해낼 수 있는 추론 지식을 발견하였다. 여기서 상대방은 가능한 데이터의

유틸리티 범위를 고려하여, 60%에 가깝게 유지하며 더 자세한 사항은 평가 부분에 자세히

명시 되어있다..

- 테스트 시나리오 2

두 번째 시나리오에서는 가로 챈 정보들을 변환하고 재전송함을 통해 공격자의 능력을

확장한다. 본 테스트의 목적은 MM 가 추론 어택과 더불어 부수적인 공격을 이겨낼 수

있도록 함에 있다. 이 경우에, 공격자는 사전에 필요한 합법적인 메시지 정보를 갖고 있다고

가정한다. 이러한 정보들은 클라우드 상에서 동작하는 MM 에 전송되고 이는 미리 지정한

특정 시간 후에 식별 된다.


- 테스트 케이스 1- 익명의 데이터 셋에 대한 추론 공격


- 마이크로 데이터는 데이터의 익명성을 논하는데 사용되는 단어이다. 이 때, 마이크로 데이터는

주요 속성, sensitive 속성, non-sensitive 속성과 같이 모든 속성을 포함한 원래의 데이터 형태를

의미한다. 데이터의 어떠한 열이 각 사용자에게 트레이스백 되지 않도록 데이터를 특정 형태로

변환하는 것을 익명화된 데이터라 한다. 마이크로 데이터를 익명화된 형태로 변환하는 절차는

추론 공격과 이에 필요한 경감 절차 이후에 설명 하도록 할 것이다.

- 다음 표에서 보이는 것과 같이 마이크로 데이터는 sensitive 속성과 non-sensitive 속성을 지닌다.

Figure 1 : 마이크로 데이터

- 주어진 데이터로부터 충분한 추론을 이루기 위해 본 연구에서는 이와 비슷한 정보를 담고 있는

또 다른 데이터 집합을 준비하였다. 이는 원래의 데이터 집합과는 달리 sensitive 속성에 대한

정보가 부족하며, 이를 voter 집합이라 명명한다. 이 때, voter 집합은 공개되어 접근 가능한

집합이라 가정한다. 마이크로 데이터의 주요 속성인 ID 를 제거하고 난 후, 두 테이블이 Alice 가

난소암을 앓고 있는지 확인하는데 사용 될 수 있다는 것을 볼 수 있다. 따라서 주요 속성을

제거하는 것은 데이터를 공개하는데 문제가 될 수 있음을 알 수 있다.

Figure 2 : 공개된 voter의 데이터를 통한 링크 공격

- 이처럼 두 종류의 데이터 집합만으로도 링크 어택을 통해 최대 정보를 추론할 수 있음을

고려해보면, 공격자가 사용할 수 있는 다른 정보들을 통한 공격 또한 생각해 볼 수 있다.

공격자를 돕는 관련 정보는 목표에 대한 공격자의 배경지식, 도메인 및 다른 소스로부터의

정보들을 예로 들 수 있다. 이러한 이유로 본 연구에서는 데이터를 내보내기 전과 외부의 데이터

집합을 통해 추론하기 전에 마이크로 데이터의 유사 식별자에 일반화 기술을 적용한다. 일반화

기술의 이해를 돕기 위해 다음 예를 통해 동작 방식을 알아보도록 할 것이다.


-

Figure 3: 속성 일반화

- 이처럼 일반화를 적용하여 배포된 데이터 집합에 대해 프라이버시를 보장 할 수 있으며 이에

대한 추론 공격을 저지할 수 있다. 하지만 이에 따라 이용성은 감소한다. 익명화 기술을 더 많이

적용할수록 이에 대한 배포된 데이터 집합의 이용성은 점점 떨어 질 것이며, 이와 반대로 익명화

기술을 적게 사용 할수록 이용성은 높아질 것이다. 다음 표에서 보이는 것처럼 또 하나의

마이크로 데이터와 외부 데이터 집합의 소스를 살펴 보면, 주요 속성이 제거 됨과 동시에 zip

code 또한 일반화 되었으며 이는 추론 어택의 성공률을 최소화 시키는 것을 알 수 있다.

-

Figure 4 : 공개된 데이터 집합의 링크 공격

- 앞 서 언급한 예시와 마찬가지로, 본 예시에서도 링크 어택이 가능 한 것을 알 수 있다. 하지만

외부 데이터 집합에 대해 공격자는 3 종류의 같은 열을 확인 할 수 있다. 이 때, 공격자가 아무런

외부 소스로부터의 정보를 가지고 있지 않다고 가정하면, 공격이 성공할 확률은 25%가 된다.

이를 통해 75%의 추론 공격 저지율을 달성한다고 할 수 있다.k.

Available resources of external information =Eri

Available target record =Tr

Discovered entries from released dataset =De

Inference success=Is

𝐼𝑠 = (𝑇𝑟

𝐷𝑠

) ∗ 𝐸𝑟 ≈ 25%


- 위 식을 통해 추론 공격은 25%의 성공률을 갖고 있으며 이 때, 공격자가 외부 데이터 집합 외에

다른 정보들은 갖고 있지 않다고 가정한다.

- 테스트 케이스 II-세션 장악(Session Hijacking) 및 정보 조작 공격(Information Modification Attack.)

- 테스트 케이스 2 에서는 공격자가 가로챈 메시지를 갖고 있다고 가정하여, 이 정보를 재전송하여

서버로부터 응답을 통해 유용한 정보를 얻기 위한 공격에 대해 알아보도록 한다. 이러한 공격이

일어나는 것을 방지하기 위해, 본 연구에서는 사용자 단말에 클라우드 서버에 주기적으로

전달되는 정보를 최소로 저장하게 하는 전략을 제안한다.

-

Figure 5 : 정보 조작 및 탐지 시나리오

- 그림 5(a)는 사용자와 MM 간의 정당한 통신의 흐름을 보여준다. MM 에서 사용자 단말로부터

받은 정보들과 모든 센서 데이터들은 일정한 주기마다 클라우드로 보내진다. 이를 평가하기 위해

본 연구에서는 그림 5(b)에서 보이는 것처럼 공격자가 데이터를 가로챘다고 가정한다. 새로운

정보나 추가적인 정보를 알아내기 위해서 공격자는 정보를 조작하여 클라우드에 전송한다.

클라우드에서 MM 은 악의적인 사용자의 존재를 탐지하지 않으며 수신한 정보에 따라 반응한다.

악의적 사용자의 이러한 행동은 미리 정의된 시간 뒤에 사용자로부터 해시코드가 도착하지 않는

이상, 탐지되지 않은 채로 남아있으며 이 때, 해시코드는 MM 의 공개키로 암호화 된다.


Figure 6 : 메시지 조작 및 탐지

- 그림 6 에서 파란 사각형은 미리 정의된 시간간격 t 마다 주기적으로 전송되는 메시지를 보여준다.

이러한 시간 T 에 생성되는 메시지는 단말에 저장된다. 시간 T 후에는 메시지에 해당하는 해시

토큰이 생성되고 MM 의 공개키로 암호화 된다. 이와 유사한 토큰 생성과 저장이 MM 서버에서

계산된다. 시간 간격 T 후에, 클라이언트로부터 암호화된 해시 토큰이 도착하면, MM 서버는

마지막 통신의 무결성을 찾기 위해 성공적으로 해시 토큰의 비교가 끝날 때까지 두 해시토큰을

비교한다. 그림 6 에서 보이는 것처럼, 공격자에 의해 메시지가 조작되면 클라우드에서 계산되는

해시 값은 사용자 단에서 생성한 해시 값과 다르다. 이러한 사실이 감지되면, 알림 메시지가

생성되어 사용자로 하여금 새로 로그인을 하도록 한다. 악의적 사용자의 행동은 시간 간격 T 의

범위 내에 있음을 확인 할 수 있다. T 의 값이 적을수록, 어떠한 조작 또는 정보 가로채기 공격을

감지하는 것이 빠르게 이루어진다. 그림에서 보라색 메시지 박스는 시간 간격 T 후에 메시지의

다른 배치를 나타낸다.


-

- 중간에서 누군가에 의해 가로채진 트래픽을 위한 알고리즘은 서버와 클라이언트 측 각각에서

실행된다.


암호화된 데이터에 추론 공격을 하는 것은 일반 데이터로부터 추론하는 것보다 힘든 작업을 요한다.

본 연구에서는 익명화된 마이크로 데이터와 같이 일반 데이터에서 추론 공격 또는 링크 공격의

가능성을 일반화 혹은 억제를 통해 다소 해결 할 수 있음을 알 수 있었다. 하지만 일반화 기법은

추론 공격에 대하여 최고의 보안 정도를 갖는 장점을 가지지만 이용성의 측면에서 단점을 갖는다.

따라서 익명화 기술은 프라이버시를 보장함과 동시에 이용성 측면에서도 균형을 맞추어 적용 되어야

Client side algorithm

1. Input: periodically generated messages m

2. Output: Hash token, H

3. 𝑚𝑡 ← 𝑚𝑒𝑠𝑠𝑎𝑔𝑒 𝑔𝑒𝑛𝑒𝑟𝑎𝑡𝑒𝑑 𝑎𝑡 𝑡𝑖𝑚𝑒 𝑖𝑛𝑡𝑒𝑟𝑣𝑎𝑙 𝑡

4. 𝑇 ← 𝑖𝑛𝑡𝑒𝑟𝑣𝑎𝑙 𝑡𝑜 𝑔𝑒𝑛𝑒𝑟𝑎𝑡𝑒 𝑚𝑒𝑠𝑠𝑎𝑔𝑒𝑠 𝑚𝑖𝑛𝑖=0 , 𝑤ℎ𝑒𝑟𝑒 𝑛⬚

′ ′𝑖𝑠 𝑎𝑛 𝑖𝑛𝑡𝑒𝑔𝑒𝑟𝑎𝑙𝑣𝑎𝑙𝑢𝑒

5. //store messages on local device

6. 𝑀[𝑛] = 𝑚𝑖

7. //generate hash token of message M

8. 𝐻[𝑀[𝑛]]

9. //encrypt hash token with the public key of MM

10. 𝐻𝑃𝑘 = 𝐸(𝐻 𝑀[𝑛] , 𝑝𝑘)

11. //dispatch encrypted hash token to MM server (stub at cloud)

12. 𝑆𝑒𝑛𝑑 (𝐻𝑃𝑘)

Serve side algorithm

1. Input: periodically arrived messages m

2. Output: Hash token, H

3. 𝑚𝑡 ← 𝑚𝑒𝑠𝑠𝑎𝑔𝑒 𝑎𝑟𝑟𝑖𝑣𝑒𝑑 𝑎𝑡 𝑡𝑖𝑚𝑒 𝑖𝑛𝑡𝑒𝑟𝑣𝑎𝑙 𝑡

4. 𝑇 ← 𝑖𝑛𝑡𝑒𝑟𝑣𝑎𝑙 𝑡𝑜 𝑟𝑒𝑐𝑒𝑖𝑣𝑒 𝑚𝑒𝑠𝑠𝑎𝑔𝑒𝑠 𝑚𝑖𝑛𝑖=0 , 𝑤ℎ𝑒𝑟𝑒 𝑛⬚

′ ′𝑖𝑠 𝑎𝑛 𝑖𝑛𝑡𝑒𝑔𝑒𝑟𝑎𝑙𝑣𝑎𝑙𝑢𝑒

5. //store messages on locally

6. 𝑀[𝑛] = 𝑚𝑖

7. //generate hash token of message M

8. 𝐻[𝑀[𝑛]]

9. //Receive encrypt hash token with the public key of MM

10. 𝐻𝑃𝑘 = 𝐸(𝐻 𝑀[𝑛] , 𝑝𝑘)

11. //Decrypt message with the secret key of MM

12. 𝐻′ = 𝐷(𝐻𝑃𝑘 , 𝑠𝑘)

13. //Compare hash tokens

14. 𝑖𝑓 (! 𝐻′ == 𝐻[𝑀[𝑛]]) 𝑔𝑒𝑛𝑒𝑟𝑎𝑡𝑒 𝑢𝑠𝑒𝑟 𝑎𝑙𝑟𝑎𝑚

15. //Take necessary action

16. 𝑅𝑒𝑠𝑒𝑡 (𝑢𝑠𝑒𝑟 𝑐𝑟𝑒𝑑𝑒𝑛𝑡𝑖𝑎𝑙𝑠)


한다. 여기서 공격자가 목표에 대한 자원을 어느 정도 보유하고 있는지에 대한 것은 수치로 표현할

수 없다. 또한 다양한 자원들이 인터넷에 존재하고 이에 따라, 추론 공격이 일어날 수는 있지만,

특정한 가정 없이 추론 공격이 성공 혹은 실패 하는 확률을 정하는 것은 어려운 일이라 할 수 있다.

이를 뒷받침하기 위해, 본 연구에서는 공개 클라우드에 배포된 정보를 위치 정보와 사용자가

수행하는 특정 행동의 시간 간격으로 가정하여 이에 따른 시나리오를 제시하였다. 이러한 정보만을

갖고도 사용자의 집과 사무실의 위치를 추론할 수 있는 것은 매우 간단한 일이다. 바꾸어 말하면,

사용자의 최근 위치와 사용자가 특정 장소에서 머무르는 시간은 집 또는 직장에 대한 정보를

알아내는데 충분한 자원이라고 할 수 있는 것이다. 마이닝 마인즈의 지역 기반 서비스는 전체

애플리케이션에 필수적인 부분이 될 것이다. 따라서 추론 공격 등에 대한 보안은 매우 중요한

과제가 된다. 우리는 위치기반 서비스를 가지고 위치를 예상하는 문제를 처리하기 위해, 대안으로서

마이닝 마인즈에 의한 프록시 호출을 통해 클라우드 서버 사용자들의 상호작용이 수정 될 것이다.

이 방법은, 클라우드에서 사용자의 정확한 위치를 추론하는 것은 충분히 어렵다. 본 연구는 연구

중에 있다; 따라서 통합 버전과 이 접근 기술은 추후 문서에 나타낼 것이다.

- 1 차년도에 추론 공격에 대해 70%를 상회하는 결과 도출

- 정보 변형 공격에 대한 억제기술과 메시지, 사용자 정보에 대한 복구 기술을 연구함

- 차년도에는 추론 공격에 대한 보안을 향상시키는 연구를 수행할 예정임


[1] Statistical Inference Attacks http://goo.gl/Ka4Os1

[2] Alberto Ceselli, Ernesto Damiani, And Sabrina De Capitani Di Vimercati, Modeling and assessing inferece exposure in

encrypted databases. ACM Transactions on Information and System Security, Vol. 8, No. 1, February 2005

[3] Damiani, Ernesto and Vimercati, SDCD and Jajodia, Sushil and Paraboschi, Stefano and Samarati, Pierangela, Balancing

confidentiality and efficiency in untrusted relational DBMSs, Proceedings of the 10th ACM conference on Computer and

communications security, pages 93-102, 2003

[4] John Krumm, Inference attacks on location tracks, Pervasive Computing , pp 127-143, Springer 2007

[5] "Protecting Individual Information Against Inference Attacks in Data Publishing" by Chen Li, Houtan Shirani-Mehr, and

Xiaochun Yang, 2007

[6] Inference attacks using association rules , 2001

[7] Database security issues using inference, http://databases.about.com/od/security/l/aainference.htm

[8] Bernstein, Daniel J, The Poly1305-AES message-authentication code (Fast Software Encryption), Springer 2005

[9] Mihir Bellare, Ran Canetti, Hugo Krawczyk , Key Hash Function for Message authentication

[10] Williams, Dan and Sirer, Emin Gun, Optimal parameter selection for efficient memory integrity verification using merkle

hash trees. Third IEEE International Symposium on Network Computing and Applications, 2004.(NCA 2004).

[11] De-anonymization (deanonymization) https://www.google.co.uk/#q=anonymization

[12] Machanavajjhala, Ashwin and Kifer, Daniel and Gehrke, Johannes and Venkitasubramaniam, Muthuramakrishnan, l-

diversity : Privacy beyond k-anonymity. ACM Transactions on Knowledge Discovery from Data (TKDD)

http://databases.about.com/od/security/l/aainference.htm

https://www.google.co.uk/#q=anonymization


서비스 평가 지표

Evaluation index of lifestyle

management service



작성일(Date) 2015년 4월 7일 (April 7, 2015)

작성자(Name) 최준호 수석연구원 (Dr. Chunho Choi)

기관명(Affiliation) 한국생산기술연구원 (KITECH)



평가항목

(Evaluation item) E09. 신체활동/수면/물 섭취 관리 서비스 평가 지표

평가기준


(실험대상) 서비스 제공자(상담사) 5 인 내외

- 영양사/운동사/간호사 각 2 인 내외 (2 년 이상 경력자)

(실험방법) 서비스 제공자 인터뷰 조사 및 가상평가

- 인터뷰 조사: 서비스 시나리오에 대한 적정성 평가

- 가상평가: 고객데이터에 대한 관리등급 평가 ↔ 습관화 지수 등급

비교

(평가기준) 적정정 평가점수 및 가상평가 부합도 60% 이상

평가방법

(Methodology)

<session 1>

과업의 목표 소개 및 서비스 시나리오, 프로세스 설명

적정성 평가 관점 제시 및 고객 관리등급 평가 기준 제시

<session 2>

서비스 제공자 인터뷰 및 설문 진행 (타당성/만족도 평가)

<session 3>

고객 데이터 제공 (2개 그룹, 각 10명)

고객 데이터에 대한 서비스 제공자의 고객 관리등급 평가 실시

* 고객 1인당 평가시간은 평소 평균 상담시간의 2배 이내로 제한

<결과의 분석>

타당성/만족도 평가: 정성적 분석 및 만족도 점수

고객등급평가: 습관화 지수와의 구간 부합도 평가


시나리오

(Evaluation

Environment/Test

scenario)

평가사용 기기/문서: 녹음기, 설문지, 고객데이터(Hard copy), 상담기록지

평가환경 구성

- 장소: 평가 주관기관 회의실

- 시설: 녹음기, 프로젝터(시나리오 소개용)

- 공간구성 : round table (사전토의), individual desk (정량적 평가)

- 필요 시, PC 상에서 기존 상담프로그램과 유사한 환경 제공

평가결과

(Result)

서비스 시나리오의 타당성/만족도 평가: 제시된 습관화 지수를 이용한 고

객 등급 판정 방법론에 대한 적절성 평가에서 평균 86.7%의 만족도를 나

타내었으며, 습관화 지수의 가중치에 대한 타당성 평가에서는 평균 69.1%

의 평가 결과를 보여줌

습관화지수의 고객 등급 부합도 : 70%(등급 순위 일치도 기준)



- 본 평가보고서는 산업통상부 산업핵심기술사업으로 지원되고 있는 “퍼스널 빅데이터를 활용한

마이닝마인즈 핵심기술개발” 과제의 12 가지 정량적 평가항목 중 “서비스 평가 지표”에 대한

평가 결과에 대한 보고서로, 습관화지수 개발을 담당하고 있는 한국생산기술연구원의 주도로


- 본 과제에서 서비스 모델에 대한 정량적 평가는 (1)개발된 서비스에 대한 고객의 만족도의

정량적 평가와 (2)마이닝마인즈 플랫폼을 통해 제시되는 서비스 지식콘텐츠 관리에 대한 정량적

평가로 구성되며, 고객 만족도는 다시 서비스를 직접 이용하는 end-user 와 서비스를 중재하는

관리자(상담사 등)의 만족도로 구분된다.

- 서비스 지식콘텐츠 관리의 정량적 평가는 상담(또는 자가관리) 서비스의 구성에 있어, end-user 의

상황, 상태, 행위 등을 하나의 지수 체계로 표현하고 (본 과제에서는 “습관화 지수” 개념을

제안한다) 동 지수 체계가 사용자의 특성을 얼마나 정확하게 반영하고 있는 지 여부를 평가한다.

- 전체 과제에서 본 과제의 위치는 다음과 같다.

- 본 과업의 전체 4 년간의 과업 기간 중, 1 차년도에 위치하여 end-user 에게 직접 제공되는 서비스

시스템에 대한 상세설계는 완료되었으나 실증연구에 투입 가능한 프로토타입 제작이 진행 중인


상황인 점을 고려, 서비스를 중재하는 상담사 집단을 중심으로 서비스에 대한 평가를 수행하였다.

(End-user 에 대한 평가는 차년도 상반기에 진행되는 서비스 프로토타입의 제작 검수가 완료된

이후 진행될 예정이다)

- 기존 건강관리서비스 모델에서의 상담서비스는, in-bound 또는 out-bound call service 과정에서

고객으로부터 수집되는 정보(Profile 정보 및 활동량계, 생체정보 측정기기 등의 데이터 등)를

상담사의 지식과 경험, 직관에 따라 판단하여 고객에 제공할 조언을 결정, 제시하는 형태로

이루어진다. 이와 같은 모델은 여러 가지 약점/위협 요인을 필연적으로 내포하는데, 무엇보다도

서비스의 품질과 신뢰도가 상담사의 역량에 크게 의존한다는 점이 문제점으로 부각되고 있다.

- 건강관리서비스 기업이 서비스 경쟁력을 확보하고 이를 강화하기 위해서는 제공하는 서비스가

인적 요소에 의존하기보다는 B2C 고객을 직접 상대하여 온 기업의 경험과 노하우에 기반한

시스템에 기반한 서비스 제공이 필수적이다. 특히, 이와 같은 기업의 경험과 노하우는 대부분

상담자원의 숙련도로 반영되는데, 숙련된 상담사의 잦은 이직과 높은 비용 요구는 양질의

서비스를 지속가능하게 제공하는데 있어 큰 걸림돌로 작용하게 된다. 또한 상담사의 경험에 따라

제공되는 서비스의 수준과 신뢰도, 고객만족 가능성 등이 결정되게 됨에 따라 전체 서비스에

대한 고객 신뢰도가 매우 불안정하게 되는 우려를 필연적으로 내포한 채 서비스를 제공하고

있는 실정이다. 이와 같은 문제점을 해결하기 위해서는 고객의 특성과 건강 관련 상태, 서비스에

대한 반응과 행위 변화 등을 시스템 차원에서 일관된 기준으로 평가하고 분석, 조언 제공 등을

수행하기 위한 (또는 수행하는 것을 지원하기 위한) 새로운 지식시스템의 도입이 필수적으로

요구된다.

- 본 과업에서는 이러한 상담서비스 지원 지식시스템 개발의 과정에서, 1 단계로 상담사의 고객의

특성과 상태에 대한 판단을 시스템화하기 위한 방법으로 “습관화 지수” 개념을 제안하고, 이에

기반하여 고객의 특성과 상태를 범주화하는 방안을 제시한다. 습관화 지수는 서비스

프로세스에서 수집 가능한 고객의 데이터 및 정보의 기록을 범주화하여 관리할 수 있는 Index

체계를 제시하고, 전문가 경험 기반으로 구축된 로직으로 이를 scoring 하여 등급화하는 방법으로

제안되었다.

- 습관화 지수는 고객 관련 정보를 다섯 개의 도메인으로 분류하고, 각 도메인을 표현하는 지표를

설계된 서비스에서 수집 가능한 정보를 이용하여 구성하고, 각 지표와 도메인 간 가중치를

조정하여 최종적으로 숙련된 상담사의 합의된 판정에 부합하는 등급화 체계를 구성한다. 본

과제에서의 ‘도메인’은 다음과 같이 설계되었다.


- 문헌 조사와 전문가 리뷰 등을 반영하여 개발된 습관화지수의 로직은 다음과 같이 구조화된다.

이때 각 항목의 계수는 가중치를 의미하며, 이는 본 과제의 전체 개발 과정에서 실증 연구를

통해 데이터가 대량으로 확보되면서 지속적으로 보완될 수치이며 현 단계에서는 학습

알고리즘이 아닌 전문가의 경험에 의존하여 initial weight factor 로 제시되었다.

- 다음 도식은 마이닝마인즈 과제 수행 과정에서 수집 가능할 것으로 예상되는 Indicator 의 분류와

기본 모델에서의 가중치의 초기값을 나타낸다. 이때, 중요한 점은 각 Domain Index 를 계산하기

위한 Indicator 및 Indicator 간 가중치의 설계가 수집 가능한 (또는 대체 가능한) 정보로

구성되어야 한다는 것이다. 따라서 본 과업에서는 습관화 지수의 reference model 의 형태의 기본

모델로 이를 제시하고, 개발되는 서비스에서의 subject 와 indicator 의 availability 를 고려하여

최적화하는 과정으로 개발이 진행된다. (이는 향후에 마이닝마인즈 플랫폼의 Expert Decision

Support System 등 학습형 지식시스템으로서 구성됨으로써 다양한 서비스 또는 서비스 제공자의

환경에 맞는 체계를 도출할 수 있도록 개발되며, 이는 본 과제 2~4 차년도에 수행될 예정이다.)


- 본 과업 1 차년도에서는 개발된 습관화 지수를 현재 상세설계가 진행 중에 있는 본 과제

참여기업의 서비스 프로토타입(GCH’s Lifestyle Management Ver.1)에 적합하게 구성하기 위하여, 동

서비스 프로세스에서 수집가능한 정보와 습관화 지수 indicator 간 연관성 검토를 통해

구축하였으며, 그 결과는 다음과 같다.

- 이때, 습관화지수 기본 모델의 indicator 중, GCH Ver1.의 서비스 프로세스에서 수집 불가능한

정보는 다음과 같으며, 따라서 동 서비스를 위한 습관화지수는 다음의 정보를 제외하여

재구성하였다.


- 본 보고서에서의 개발 결과물에 대한 평가는 서비스 정량화 지표로서의 습관화 지수 개발의

적정성에 대한 평가로, 연관 서비스가 개발 단계(상세설계 단계)인 점을 고려, 제안된 습관화

지수가 현장 상담요원의 고객의 특성과 상태에 대한 판단의 결과를 얼마나 유사하게

반영하는지에 초점을 두고 진행하였다.

- 본 과업의 정량적 목표로 제시된 결과물은 ‘5 종 이상의 분석대상 정보의 종류를 도출하여,

개인별 활동량 개선정도, 서비스 유익성 및 사용자 만족도 등을 종합한 평가지표를 개발하여

평가’하는 것으로 되어 있으며, 1 차년도에는 서비스 적용이 이루어지지 않아 end-user 관점에서의

평가를 제외하고, 서비스 중재자인 상담사를 대상으로 습관화 지수의 적정성과 활용 가능성을

중심으로 평가를 설계하였다.

- 따라서, 본 평가에 있어, “사용자”는 서비스 제공기관인 GC Healthcare 의 서비스 제공자(상담사,

영양사 등)로 한정되며, “사용자 만족도”는 사용자가 고객(end-user) 데이터로부터 직관적으로

수행하는 고객의 상태(등급)에 대한 판단과 습관화 지수가 제공하는 정보와의 부합성”으로

정의된다.

- 본 평가의 평가 모형은 다음과 같다. 단, 이때 본 과업이 초기 개발단계인 점을 고려, 전문가의

판단에 따라 습관화 지수를 구성하는 indicator 간 가중치는 전문가 평가와 연동하여 조정 후

재평가의 과정을 거치도록 추진된다.



- 본 평가는 “서비스 평가 지표” 개발 결과에 대한 평가로, 마이닝 마인즈 기반 라이프스타일

매니지먼트 서비스에 대한 정량적 평가를 위한 지표인 “습관화 지수”에 대한 타당성을

확인하는데 그 목적이 있다.

- 아래의 표는 본 과제의 연구제안서에 기술된 개발기술의 평가에 대한 정량적 목표 항목 중 본

평가 항목인 “서비스 평가 지표” 항목을 발췌한 표이다. 1 차년도의 개발 목표는 60%의 사용자

만족도를 달성하였는지를 검증하는 것으로, 이때의 사용자는 서비스 프로토타입의 개발 진도를

고려, 사용자 집단 중 end-user 를 제외하고 서비스 중재자(상담사)로 한정하여 진행된다.

<표 1> “서비스 평가 지표” - 정량적 목표

평가 항목

(주요성능

Spec1))

단위

전체 항목

에서 차지하는

비중2)

(%)

세계최고 수준

보유국/

보유기업

( / )

연구개발

전

국내수준

개발 목표치

평가 방법


년도

2차

년도

3차

년도

4차

년도

① 서비스

평가 index

종류 및 평

가 결과

% 9% 초기단계 초기단계 1종/

60%

2종/

62%

3종/

72%

4종/

90%

참여기업

평가

*서비스

지표 개발

- 본 평가의 평가 기준은, (1)전문가 조언 생성을 위해 요구되는 고객에 대한 정보를 명확하게

이해할 수 있는가?(정성) (2) 습관화 지수의 체계(영역)이 고객의 상태와 라이프스타일을 이해

가능하도록 구성되어 있는가?(정성) (3) 설계된 고객에 대한 평가 지표는 고객에 대한 가중치를

고려, 적절하게 설계되어 있는가?(정성) (4) 동일한 데이터로부터 제시된 습관화 지수와 전문가의

직관적 판단 간 통계적 유의성이 있는가?(정량) 등으로 구성되어 평가가 이루어지며,

평가결과(만족도)는 위 습관화 지수와 전문가의 판단 간 부합도로 정의되어 이루어진다.



- 본 평가는 상담 전문가를 대상으로 하는 설문 및 시뮬레이션 평가로 이루어지며, 평가의 준비와

진행은 개발 기관인 한국생산기술연구원 주도로 평가가 진행된다.

- 실험 대상 : 서비스 제공자(상담사) 5 인 내외, 영양사/운동사/간호사 등 직군별 각 2 인 내외로

구성 (2 년 이상 경력자)

- 실험 방법 : 서비스 제공자 인터뷰 조사 및 가상평가

인터뷰 조사 : 서비스 시나리오에 대한 적정성 평가

가상평가 : 고객 데이터에 대한 관리등급 평가와 습관화 지수 산출 등급 비교

- 평가 기준 : 적정성 평가 점수 및 가상평가 부합도 60% 이상

- 평가 추진 절차

<session 1>

과업의 목표 소개 및 서비스 시나리오, 프로세스 설명

적정성 평가 관점 제시 및 고객 관리등급 평가 기준 제시

<session 2>

서비스 제공자 인터뷰 및 설문 진행 (타당성/만족도 평가)

<session 3>

고객 데이터 제공 (2개 그룹, 각 10명)

고객 데이터에 대한 서비스 제공자의 고객 관리등급 평가 실시

* 고객 1인당 평가시간은 평소 평균 상담시간의 2배 이내로 제한

<결과의 분석>

타당성/만족도 평가: 정성적 분석 및 만족도 점수

고객등급평가: 습관화 지수와의 구간 부합도 평가

- 정성적 평가 : 본 과업에서의 정성적 평가는 다음의 세 가지 관점에서 이루어지며, 적정성에

대한 상담사의 정성적 평가를 100 점 만점의 기준으로 평가하여 60 점 이상을 목표로 한다.

전문가 조언 생성에 요구되는 고객에 대한 정보를 명확하게 이해할 수 있는가?

습관화 지수의 체계(영역)이 고객의 상태와 라이프스타일을 이해 가능하도록 구성되어 있는

가?

설계된 고객에 대한 평가 지표는 고객에 대한 가중치를 고려, 적절하게 설계되어 있는가?


- 정성적 평가는 본 과업이 개발 단계 1 차년도에 위치한 점을 고려, 적정성에 대한 계량화된

설문과 제안 시스템의 개발에 대한 현장의 요구 수집 관점에서의 자유 기술을 유도하는

질문으로 구성되며, 계량화된 설문 결과는 정성적 평가 목표 달성 여부의 검토에, 상담사의 자유

기술은 시스템의 보완사항 도출에 활용한다.

- 정량적 평가 : 본 과업에서의 정량적 평가는 전문가의 경험에 기반한 직관적 평가 결과를 개발

시스템인 습관화 지수가 어느 정도 정확하게 부합하도록 예측 가능한지에 대한 평가로, 동일한

고객 데이터에 대하여 전문가가 등급의 형태로 판정하고, 이를 시스템이 제시하는 습관화 지수에

의하여 산출된 등급과의 상관성을 검토하는 형태로 이루어진다.

- 1 차년도 목표는 60%의 부합도를 달성하는 것으로, 이는 유의성이 확인되는 정도에 해당되며,

p<0.05 의 유의수준에서 상관성이 있음을 보여주는지 여부로 성공 가능성을 판정한다.

- 이를 위한 고객 데이터는, 기존 녹십자헬스케어의 상담서비스 고객 데이터를 기반으로 개발된

서비스 프로토타입이 투입되었을 때 예측 가능한 정보를 통합하여 생성한 가상데이터를

이용하여 평가한다. 이때 기존 고객의 집단은 적극적 참여 고객집단 10 명, 소극적 참여 고객집단

(비참여 재외) 10 명 등으로 기본 구성하고, 각 집단별 상담사 판단 기준 5 등급으로 구분하여

샘플을 구성한다.

- 상담사는 기존의 방식으로 고객의 데이터를 검토하여 고객의 등급을 1~5 등급으로 구분하여

판정한다. 이때 소요시간은 통상적인 상담 시간의 2 배 이내로 제한한다. 상담사는 최소 5 인

이상이 참여하도록 하며, 영양사, 운동사, 간호사 등 서비스 전문가의 직군을 고려하여 구성한다.

- 고객 등급의 평가는 1 차적으로 참여 상담사 개별 평가를 수행하고, 이를 상담사 간 panel

discussion 을 통하여 고객의 등급과 조언의 유형을 결정하여 확정한다.

- 습관화 지수는 상담사에게 투입된 고객 데이터와 동일한 자료를 가지고 습관화 지수를 산출하고,

상담사의 판단과의 부합도가 낮게 나타날 경우 1 회에 한하여 indicator 또는 formulation 의

weight 를 조정, 재산정하여 확정한다. 습관화 지수는 100 점 만점의 point 로 부과하되, 소수점

이하는 반올림한다.

- 습관화지수와 전문가 평가 간 부합도는 유의수준 p<0.05 에서 유의성을 보이는 경우 1 차년도

평가 결과는 성공으로 판정한다. 다만, 이때 부합도의 목표치는 구간 기준 60%로 한다. 이때

부합 여부는 습관화 지수의 중간 값의 +/- 20 point 이내에 상담사의 판정이 위치할 경우 부합하는

것으로 판정하는 것을 기준으로 한다.



- 본 평가는 가상 고객 데이터에 대한 상담사의 판단과 시스템의 산출 결과의 부합도를 평가하는

것으로, 평가 수행은 고객 데이터에 대한 상담사의 판단 활동이 가능한 환경에서 이루어진다.

- 평가 장소 : 평가기관의 회의실

- 평가 소요 시간 : 4 시간 내외

- 평가 환경 시설조건 : 녹음기, 프로젝터 (시나리오 소개용), 상담사용 PC 프로그램(유사환경)

- 공간 구성 : (1)사전 토의 및 panel discussion 을 위한 round table (2) 개별 평가를 위한 individual desk


(1) 정성적 평가

가. 시스템으로부터 제시되는 고객 정보의 이해 및 활용 가능성

<설문의 구성>

□ 설문 참여 professional 의 인적사항 : 연령, 전공분야, 고객상담 경력

□ 주간/월간 상담 규모 및 콜 센터의 주요 역할

□ 고객 정보의 이해 및 고객과의 커뮤니케이션 수단

- 고객의 건강상태를 판단하는 상위 3 개의 고객정보는 무엇인가?

- 고객의 과거 건강상태와 현재의 습관, 고객에 대한 상담서비스 이력을 어떤 도구를

이용하여 판단하는가?

- 운동 방법, 생활습관 개선 방법, 이용 도구 등을 어떤 수단을 이용하여 판단하고

추천하는가?

□ 현재 이용 중인 상담지원시스템의 만족도는?


□ 현재 이용 중인 상담지원시스템은 고객의 상태 판단에 충분한 자료를 제공하는가?

□ 고객의 상태 정보 판단을 위하여 추가적으로 요구되는 정보는 무엇인가?

□ 고객의 상태 판단에 있어, 상담지원시스템은 상담자에게 어떠한 도움을 제공하는가?

□ 고객에게 상담을 제공함에 있어, 고객이 운동에 참여하거나 생활습관 개선 프로그램에

참여하도록 초기 동기 부여를 어떻게 하는가?

□ 상기 동기가 부여된 고객의 지속적인 프로그램 참여 유도를 위하여 어떻게 하는가?

□ 고객의 동기 관리를 위하여 추가적으로 요구되는 도구로는 어떤 것이 있는가?

<평가 결과>

1) 상담 콜센터 운영

- 상담 콜센터의 주요 역할은 다음과 같음

측정결과 실시간 모니터링, 건강 문진 및 측정 데이터 분석

건강 상담 및 건강정보 제공

운동/영양 권장 및 처방

서비스 및 시스템 관련 문의 대응

- 상담 콜센터 전문가의 직무교육

이수시간 : 1 주일 (상담 실무 이론교육 21 시간, 상담실습 16 시간)

이수조건 : 신입직원의 경우 전 교육과정 이수, 경력직원의 경우 상담프로그램 SW

활용 교육

- 상담 콜센터의 업무 환경

근무시간 : 오전 9 시 ~ 오후 6 시

근무환경 : 헤드셋(통화기능) + 상담 프로그램 SW

상담사 전공분야 : 영양사, 운동처방사 중심, 일부 간호사 인력 참여

상담사 1 인 당 관리대상 고객 : 약 100 명 내외

상담사 평균 근속연수 : 1.5~2 년

급여 현황 : 2,000~2,500 만원


상담사 자격 요건 : 영양, 운동, 만성질환, 건강개념 등에서 기초의학 수준 지식 보유

* 장비 운용 및 기록에 대한 분석, 시스템 활용 등은 별도 교육

상담 내용 생성에 있어 시스템의 지원 : 상담 프로세스는 가이드라인에 따라 진행되나,

직접 고객에게 전달하는 메시지는 상담사의 경험과 노하우에 기반하여 생성

- 업무 절차

주요 질의 및 상담 내용 : 운동, 영양, 만성질환 관련사항; 생체정보 측정 및 웨어러블

디바이스 착용/동기화 독려

상담 내역의 기록 : 상담 프로그램 상에서 코멘트 직접 입력 (자유기재)

건당 서비스 시간 : 20~30 분 (하루 통상 1 인당 10~15 건 처리)

2) 고객의 정보에 대한 이해

- 수집 대상 고객정보

문진정보(초기): 성별, 생년월일, 신장, 체중, 평소활동량

설문 수집정보: 건강검진 주기, 운동 회수, 식생활 습관, 음주, 흡연, 스트레스,

질병보유 여부 등

측정 수집정보: 혈압, 혈당, 체중, 신체활동량(Step Counts)

상담 수집정보: 건강 불편함, 질병상태, 심리적 불안 상태, 생활습관 등

- 고객 건강상태를 판단하는 상위 고객정보

신체활동량

체질량지수(BMI)

고객 상담 시 수집된 불편함 정보

건강나이

- 고객정보 판단의 도구

시스템 제공: 평소활동량(문진입력결과), 신체활동량(측정결과), 체중변화 추이,

혈압변화 추이, 평소 흡연 여부

과거 상담 이력정보: 상담기록지와 시스템 제공 고객정보와의 비교

상담 중 질의응답 정보: 운동 수행여부, 불편함/통증 정보, 금연 수행 상황 등


- 주요 상담/조언 내용

건강에 대한 일반적인 조언 (사용자 연령, 건강이력 및 상태, 날씨/환경 등 고려)

건강관리 관심 유도: 신체생리정보 주기적 측정/동기화, 활동량계 착용 및 기록 동기화

독려, 건강정보 웹사이트 이용 독려 등

생활습관 관련 조언: 흡연/음주 절제, 규칙적 식사 조언, 영양균형섭취 조언, 신체활동

목표량 달성 조언 및 목표 재설정, 제공, 규칙적 운동 독려 등

건강 상담: 질병별 생활습관 유의사항 제공, 정신건강 우려 상담 등

- 고객의 과거 건강상태와 현재의 습관, 고객에 대한 상담서비스 이력 등의 활용

상담지원시스템 소프트웨어에서 고객 프로파일의 형태로 기록을 제공하고 있으며,

과거 건강상태 중 특이사항(예: 만성질환 리스크 항목 등)과 현재 습관, 과거 상담사의

상담기록 등을 동시에 열람 가능한 형태로 제공됨

상담지원시스템에서는 상담사가 유사 사례를 찾아볼 수 있도록 ‘상담집’을 제공하고

있으며, 상담 과정에서 적절하게 활용

- 운동방법, 생활습관 개선 방법 등을 어떤 수단으로 판단하고 추천하는가?

운동방법은 주로 신체활동 가이드라인에 따른 신체활동 증진을 중심으로 고객의

기록을 비교하여 추가적으로 수행해야 할 목표량을 제공. 신체활동량은 시스템에

동기화된 데이터를 이용하며, 고객이 수행하여야 할 적정 활동량, 고객의 과거

신체활동 정도(평소 활동량) 대비 달성 가능한 목표량 등을 직관적으로 판단하여

고객에게 목표로 제시 – 점증적 증가를 유도

필요 시, 일일 보행수 패턴을 열람하여 일상적인 활동 외 상황을 파악하고, 이를

고객과의 대화를 통하여 고객의 운동수행 정보를 수집하여 기록, 상담에 활용

다이어트를 목적으로 이용하거나, 비만 관리를 필요로 하는 고객을 대상으로는 상담을

통하여 고객이 섭취하는 칼로리와 고객의 신체활동량을 비교, 활동량 목표와 식생활

개선 목표를 제시. 만성질환 고객을 대상으로는 가이드라인에 따른 영양 조절 처방을

제공(음주습관, 저염식, 단백질 제한 등)

고객 상태에 대한 분석과 조언에 대한 별도의 매뉴얼 또는 자동화된 시스템은

활용되고 있지 않으며, 상담사의 경험과 직관적인 데이터 분석, 기존의 상담 이력

또는 사례를 참고하여 추천을 제공


- 현재 이용 중인 상담지원시스템의 만족도와 개선 요구사항

인터뷰 참여자의 상담지원시스템 만족도는 평균 72.8%의 결과를 보임

현재의 상담지원시스템은 고객의 관리 관점에서 in-bound call 의 처리와 기록관리에는

용이하게 되어 있으나, 데이터로부터 고객의 특성을 파악하여 사전에 정보를 제공하는

서비스에 활용되기에는 한계가 있음

일반상담집으로 유사 사례를 참고할 수 있도록 제공하고, 조언에 대한 추천 문구(예:

당뇨환자 대상 상담조언 pool 등) 등을 제공하고 있어 도움이 되고 있으나, 경력자의

관점에서는 활용도가 높지는 않음

문진정보, 사용자 기록 등을 열람하는 인터페이스 개선 필요

상담기록은 업무기록에 가까우며, 전화 상담을 기본으로 하는 서비스에서는 충분한

인터페이스를 제공

상담/추천에 대한 고객의 참여도에 대한 추적조사 시스템 필요 등

<평가 결과의 해석>

- in-bound/out-bound call 1 건 당 전문인력 인건비 규모 : 상담사의 업무처리량과 급여, 건당 서비스

시간 등을 고려할 때, 상담 1 건 당 전문인력 소요 비용은 3,500 원 ~ 7,000 원 규모로 나타남

- 라이프스타일 관리 서비스의 제공에 있어, 주 단위의 서비스를 고려할 경우 약 20,000 원/월

규모의 필수 불가결한 상담인력 인건비 소요. 월 1 회 call 서비스를 제공하는 경우에도 평균

5,000 원/월의 비용이 소요됨을 나타냄

- 상담 시 시간 소요의 원인으로는 (1) 상담 기록지의 작성, (2) 고객에 대한 상태/이력 등 정보

파악, (3) 고객의 관심과 동기 유도를 위한 대화 등으로 보고되고 있으며, 이는 마이닝 마인즈

기반 상담지원도구의 개발 과정에서 서비스 개선 요구사항에 반영되어 추진 필요성을 시사

- 현재의 상담지원시스템에서는 상담사가 고객과의 대화 과정에서 필요로 하는 정보를 시스템

상의 버튼을 클릭하여 열람하면서 대화를 이어가는 방식으로 되어 있으며, 이 과정에서 상담사의

경험과 숙련도에 따라 큰 차이를 보이고 있는 것으로 평가됨. 현 상담지원시스템의 역할은

상담사가 원하는 자료를 쉽게 꺼내볼 수 있도록 지원하는데 중점을 두고 있어 ‘상담’이라는

활동은 상담사가 만족할 수 있는 수준으로 지원되고 있음. 반면, 판단을 지원하는 역할에

해당하는 고객데이터로부터 분석된 정보의 제공, 해당 상담고객의 특이사항에 대한 현시, 과거

상담에 대하여 고객이 얼마나 따라오고 있는지에 대한 데이터의 제시, 유사 상담 사례 및 성공

사례의 참고 등의 기능은 상대적으로 취약하여 상담사가 관련 정보를 고객과의 대화를 통하여

확인하는 형태로 서비스가 진행 중

- 종합결론: 상담사가 고객의 상태와 상황을 판단할 수 있는 마이닝 된 데이터의 제공과, 상담

과정에서 판단을 지원하고 최적의 조언 콘텐츠 생산을 지원하는 시스템 개발이 요구됨을 확인


나. 습관화 지수 영역구성(5 대 영역)의 적절성

<설문의 구성>

습관화 지수는 사용자의 습관 관련 2 개 영역(건강위해습관, 건강생활습관), 평소 건강관리의 결과

(건강상태), 서비스 이용 관련 2 개 영역(예방서비스이용도, 라이프 매니지먼트 서비스 참여도)

등으로 구성되어 있습니다. 각 영역의 세부 구성요소와 영역 간 가중치를 참고하여 습관화 지수

영역 구성의 적절성을 평가하여 주시기 바랍니다.

□ 5 개 세부영역은 적절하게 도출되어 있는가?

□ 5 개 세부영역 간 가중치는 전문가적 관점에서 고객대응 사례에 비추어 볼 때, 적절하게

도출되어 있는가?

□ Risky Behavior 영역의 Indicator 는 적절하게 구성되어 있는가?

□ Healthy Behavior 영역의 Indicator 는 적절하게 구성되어 있는가?

□ Health Condition 영역의 Indicator 는 적절하게 구성되어 있는가?

□ Use of Preventive Services 영역의 Indicator 는 적절하게 구성되어 있는가?

□ Following-up Lifestyle Management Services 영역의 Indicator 는 적절하게 구성되어 있는가?

□ 습관화 지수 체계에서 현실에 부합되지 않거나, 누락 또는 과도하게 포함되어 있는 내용은

무엇인가?

<평가 결과 및 해석>

- 5 개 세부 영역의 구성에 대한 적절성 평가에서는 평균 86.7 ± 8.2 점의 결과를 보여, 상담사의

평소 고객 판단 관점에 부합함을 나타냄

- 세부 영역 간 가중치에 대한 설문에서는 평균 69.1 ± 14.3 점의 결과를 나타냈으며, 상담사 간

적정성에 대한 판단의 편차가 크게 나타남. 가중치에 대한 적절성 판단에서, 판단의 관점에 따라

가중치의 적절성이 달라진다는 의견을 제시.

- Risky Behavior와 Healthy Behavior 영역의 indicator 구성의 적절성에 대하여서는 각각 평균 88.3점,

86.7 점으로 평가되었으며, Health Condition 영역에 대해서는 평균 88.3 점, Use of Preventive Services 에

대해서는 75.0 점, Following-up Lifestyle Management Services 에 대해서는 평균 68.3 점으로 평가

- 가중치의 적절성에 대한 보통 수준의 평가와 상담사 간 높은 편차는, 본 연구가 초기 단계의

prototype 에 위치하는데 기인하는 것으로 판단되며, 무엇보다도 전문가 간 지속적인 의견 조정이

개발 프로세스에 포함되어야 함을 시사. 차년도 서비스에 적용될 가중치의 최종값(최초

적용치)은 보다 큰 규모의 상담사 집단을 대상으로 하는 델파이 연구 또는 AHP 기법 등에 따른

의견 수렴의 과정이 필수적으로 요구됨을 시사


- 세부 영역 중, Risky Behavior, Healthy Behavior, Health Conditions 영역에 대한 적절성 평가는 적절

이상으로 평가되었으며, 서비스 참여도 등은 상대적으로 낮게 평가됨. 이는 상담사와의 면담

조사에서 참여도 추적관리의 실현 가능성에 대한 의문과, pushed contents 에 대한 클릭 행위 등이

습관 변화를 나타내는 지표로서의 타당성이 전혀 검증되어 있지 않은 점 등을 지적

- 또한, 라이프로그의 동기화 등은 고객의 참여율 자체가 10%~20%대로 자체적으로 매우 낮은

상태이며, 타 조언에 대한 수행 여부 역시 거의 확인되지 않거나, 확인되더라도 다음 상담

시점인 수주 단위의 기간 중 1 회, 그것도 고객의 언급 등에 따라 부정확하게 확인되는 정보라는

점에서 실현 가능성에 의문이 제기됨

- 다만, 추적관리의 중요성과 이를 지표화하여 고객을 판단하는 시스템이 필요로 하다는 점에

대해서는 대체적으로 공감을 표함

- 이와 같은 평가 결과를 고려할 때, 각 indicator 의 수집 가능성과 신뢰도 등이 보완되고, 수집

방법론(수집 주기 등)이 개선될 경우 고객 판단의 중요한 지표로 활용 가능하나, 현재의 상담

프로세스 상에는 이에 대한 input 을 제공할 가능성이 낮은 편이라는 점이 확인되었으며, 차년도

연구개발 과정에서 마이닝 마인즈 플랫폼을 이용하여 고객의 참여도를 판단할 수 있는 새로운

지표의 개발이 필요함을 시사

- 또한 고객의 데이터 동기화, Recommendation 의 View 및 Clicks, 조언과 함께 제공되는 콘텐츠의

열람 여부 및 시간, 반복 회수 등이 고객의 습관과 행위에 영향을 주는지 여부에 대한 상담사의

확신을 제공하기 위한 과학적 연구의 필요성을 제시

- 종합결론: 습관화 지수의 영역은 대체적으로 적절하게 구성되어 있으나, 각 영역 간 가중치는

세부 영역의 정보수집 및 판단의 적절성과 연계되어 비중이 조정되어야 함이 지적됨. 습관화

지수를 구성하는 세부 5 대 영역의 indicator 는 서비스 참여도 영역을 제외하고는 적절하게

구성되어 있음. 서비스 참여도 영역은 과학적 근거와 현실적 수집 가능성을 고려하여 추가적으로

설계 보완이 요구됨을 보여줌


(2) 정량적 평가

습관화 지수에 대한 정량적 평가에서는 상담사에게 10 명의 가상 고객 정보를 제시하고, 각

상담사가 생각하는 고객의 등급 판단을 요구하였다. 고객정보의 생성은 기존 상담고객의

데이터를 근간으로, 기존 서비스에서 수집/기록되지 않는 정보는 향후 개발될 마이닝마인즈

플랫폼이 생성하는 자료가 입력된다는 가상의 상황에서 임의로 생성하였다.

고객 등급에 대한 판단 기준은 다음과 같이 두 가지 기준을 제시하였으며, 서비스 인센티브 정책

등 활용 방향에 대한 정보는 제공하지 않았다. 상담사는 위 두 가지 기준을 동시에 고려하여

고객 등급을 판단하도록 요구되었다.

□ 좋은 생활습관과 건강상태를 가지며, 이를 유지, 관리하기 위한 노력을 지속적으로

수행하는가?

□ 서비스를 통하여 건강 상태를 유지하고 개선하고 있는가?

첫 번째 항목은 고객의 평소 건강관리 습관을 유지하고 있는 경우에 대한 평가와 보상 관점에서

제시되었으며, 두 번째 항목은 현재의 건강 상태와 관계 없이 건강 상태를 관리하기 위한 서비스

참여를 중심으로, 그 성과를 파악하기 위한 관점에서 제시되었다.

등급의 판단은 다음의 기준을 따르도록 제시되었다.

1 등급 : 건강상태를 잘 유지하고 있거나 관리를 잘 하고 있어, 현재의 건강한 라이프스타일을

유지하기 위한 활동을 지속할 것을 독려할 대상 고객 집단

2 등급 : 건강상태가 유지되고 있으나(건강한 상태 또는 질병을 보유하고 있더라도 현재의 상태가

일정 기간 유지되는 경우를 말함), 현 상태의 관리 또는 보다 나은 건강상태를 위하여 일부 습관

개선이 요구되는 고객 집단

3 등급 : 건강이 나빠질 위험 요인을 다수 보유하고 있는 고객

4 등급 : 건강이 나쁜 상태에서 별다른 개선 노력이 없는 고객 또는 건강한 상태를 유지하고

있으나 나쁜 습관도 많아 향후 건강이 나빠질 것으로 우려되는 고객

5 등급 : 건강이 매우 나쁜 상태에서 건강 리스크 요인을 다수 보유하고 있으면서도 전혀 관리를

하고 있지 않는 경우로, 특별한 상담이나 의학적 조치가 요구되는 고객


가. 고객 데이터의 구성

고객 데이터는 총 10 명(남 5 명, 여 5 명)으로 구성하였으며, 모두 40 대 직장인의 데이터로

구성하였다. (평균연령: 43.7 세)

고객의 건강상태는 BMI, 혈압, 공복시 혈당 등 3 대 만성질환 지표를 중심으로, 모두 정상인

군 3 명, 표준 위험치가 1 개인 군 3 명, 표준 위험치가 2 개 이상인 군 4 명 등으로

구성하였으며, 정기적으로 건강 검진을 받는 고객임을 가정하였다. 표준 위험치 보유 군 중

고혈압 고위험군 1 명, 당뇨환자 1 명을 포함하였다.

습관화 지수의 indicator 중 기존 데이터에서 추출된 자료와 가상으로 생성된 자료는 다음과

같다.

기존 DB 추출 : 흡연, 음주(빈도/양), 평소활동량, 식사 규칙성, 활동량, 운동수행 여부,

질병이력, 비만도, 혈압, 심혈관계 리스크, 혈당, 건강나이, 정기검진기록

가생 생성 정보 : 영양 균형도, 염분 섭취량, 건강식품 섭취, 스트레칭 수행 여부, 스트레스

관리 수행여부, 감정균형관리 수행 여부, 수면 습관, 물 섭취 습관, 복부지방레벨,

바이오에이지, 체력평가, 수면의 질, 스트레스 상태 및 정기검진기록 외 “Use of Preventive

Services” 영역 데이터, “Lifestyle Management Services Follow-up” 영역 데이터

나. 상담사의 고객 등급 평가

□ 상담사의 고객 등급 평가 결과

제시된 등급판정 기준에 따라 판정된 등급은 위와 같다. (고객 특이사항은 생성된 고객

데이터 중 특이사항을 발췌한 내용이며, 실제 상담사에게 제공된 데이터는 습관화 지수

Indicator 를 전체 포함하여 제시됨)

성별 연령 BMI DBP SBP FAST 질병보유 여부/질병명 Risky Habits Healthy Habits

A1 남 40 28.3 90 132 97 x 흡연저염식 식사 선호,

금연 프로그램 참여3.33 0.82

A2 남 42 33.2 95 141 113 고혈압 고위험군 흡연, 다빈도 음주 건강식품 섭취 4.17 0.75

A3 남 43 22.3 80 120 94 x 다빈도 음주 일일활동량 10,000+ 1.17 0.41

A4 남 47 27.1 85 125 117 x Sedentary 건강식품 섭취 2.33 0.52

A5 남 42 23.3 82 118 103 x Sedentary - 1.67 0.52

A6 여 45 23.7 78 122 93 x 흡연 저염식 식사 선호 1.83 0.41

A7 여 46 26.1 89 142 131 당뇨의심 진단 Sedentary 당뇨식단 섭취 3.17 0.75

A8 여 43 32.3 82 137 94 x 불규칙적 식사, 과음 일일활동량 8,000+ 2.83 0.41

A9 여 48 24.6 78 118 96 x 불규칙적 식사 일일활동량 8,000+ 1.50 0.55

A10 여 41 21.3 80 125 92 x Sedentary, 불규칙적 식사 규칙적인 운동 1.33 0.52

고객 기본정보 및 특이사항고객 ID

상담사 등급

판정 평균

등급판정

편차


□ 등급 평가에 대한 해석

위 결과를 살펴보면, 비만, 고혈압 등 위험인자가 적은 상대적으로 건강한 고객에 대한

평가의 경우 (A3 ~ A6, A9, A10), 등급판정 결과의 편차가 0.5 등급 내외로 적은 편인 반면,

비만, 고혈압, 당뇨 등의 위험인자를 보유한 그룹에 대해서는 편차가 상대적으로 크게

나타나는 것으로 볼 수 있는데(판단 오차가 +/- 1 등급 수준), 사용자의 건강개선 노력의

중요도와 정도, 건강에의 영향 등에 대한 판단의 상이함에 기인하는 것으로 판단된다. 이

결과는 고객 데이터에 대한 상담사의 판단에 있어, 고객의 상태를 판정하는 기준은 대체로

수렴하고 있는 반면, 고객의 노력과 습관 개선을 평가하는 점에 있어서는 각각 다른 기준을

적용하고 있음을 나타낸다. 임상적으로 이에 대한 표준화된 기준이 제시되는 것은 드물며,

특히 다양하면서도 상이한 상황(예: 고혈압 환자가 다빈도 음주를 하면서도 건강식품을

섭취하는 경우)이 상호 가중치를 가지고 연계되는 건강관리의 특성 상 예견된 결과라고 볼

수 있다.

그러나, 상담지원시스템을 설계하는 관점에서는 이러한 판단의 상이함은 고객 등급 판정에

기반한 인센티브 체계 설계에 있어 큰 장애요인으로 반드시 해소되어야 하는 요소이다. 특히,

서비스 제공자의 경험과 판단에 따라 결과가 달라지게 될 경우 서비스 품질 유지와 고객

평가 체계의 신뢰도에 직접적인 영향을 주게 되며, 비즈니스 관점에서는 이러한 일관성을

위하여 경험이 많은 경력직원의 유지에 대한 부담이 가중되게 된다. 본 과제에서 개발되고

있는 습관화 지수는 이러한 인적 요소에 대한 의존도를 최소화하기 위하여 도입되는

시스템으로, 상담사의 상이한 판단을 대규모 고객 데이터에 대한 분석과 상담 사례의 분석

등을 통하여 최종적으로는 상담사 다수 집단의 판단을 가능한 따라가는 형태의 모델을

제시하는 방법을 제시하여야 한다. 본 과업에서는 이러한 습관화 지수 개발의 1 단계로, 지수

모델을 이용한 등급 산출 시스템이 제안되었으며, 지수를 구성하는 Indicator 의 weight factor 가

빅데이터 기반의 학습 알고리즘을 통하여 조정, 보완되는 형태의 개발 프로세스를 제안하고

있다. 본 정량적 평가는 1 차년도에 개발된 습관화 지수의 기본 모형 (Initial Weight Factor

적용)에 의한 고객등급 판정과 상담사의 판단에 의한 판정 간 부합도를 평가함으로써

차년도의 개발 방향과 과업을 상세히 규정하는 것을 목적으로 추진되었다. 아래 내용은

습관화 지수 산출 로직에 따른 상기 고객에 대한 등급 평가의 결과이다.

□ 습관화 지수에 따른 등급

D1 D2 D3 D4 D5 Mod HIS HIS HI 집단 내 순위 평균 표준편차 집단 내 순위

A1 60.00 20.00 0.30 50.00 24.00 70.20 67.50 60.4 9 3.33 0.82 9

A2 80.00 5.00 0.45 50.00 18.00 62.40 60.00 44.7 10 4.17 0.75 10

A3 20.00 25.00 0.00 60.00 24.00 105.00 100.00 80.6 1 1.17 0.41 1

A4 20.00 5.00 0.20 50.00 22.00 93.60 90.00 70.1 5 2.33 0.52 6

A5 20.00 0.00 0.05 40.00 20.00 100.43 97.50 70.6 4 1.67 0.52 4

A6 60.00 10.00 0.00 70.00 16.00 106.00 100.00 66.6 6 1.83 0.41 5

A7 20.00 25.00 0.55 60.00 26.00 63.00 60.00 62.8 7 3.17 0.75 8

A8 20.00 20.00 0.45 40.00 22.00 69.53 67.50 60.6 8 2.83 0.41 7

A9 20.00 20.00 0.00 40.00 22.00 103.00 100.00 77.1 3 1.50 0.55 3

A10 40.00 35.00 0.00 50.00 24.00 104.00 100.00 80.3 2 1.33 0.52 2

고객 ID습관화 지수 영역별 Score 상담사 등급 판정


습관화 지수에 의하여 계산된 HI(습관화지수) 및 각 영역별 지수는 위 표와 같이 계산되었다.

상담사 등급 판정과 비교를 위하여, 100 점 만점의 점수와 등급 간 상관성을 나타내면 다음의

그래프와 같이 나타나며, 선형의 관계에 있음을 보여준다 (R^2=0.899)

집단 내 고객 등급의 순위를 살펴보면, A6/A7/A8 고객을 제외하고는 상담사 판정 등급과

습관화 지수의 점수 순위가 일치하고 있어 70%의 부합도를 보여준다. 다만, 일치하지 않는

고객의 특성은 상담사 판정에서 각각 1.83, 3.17, 2.83 등 큰 차이가 있는 고객임에도 불구하고

습관화 지수는 각각 66.6, 62.8, 60.6 등 유사한 값을 가진다는 점은 별도의 고찰이 필요하다.

앞서 상담사 등급 판정에서 언급한 바와 같이, A7 및 A8 고객은 질병을 보유한 상태에서

생활습관 관리를 수행하는 고객으로, 건강관리 실천 등 서비스 추천에 의한 참여도에 대한

판단의 결과로 인한 오차로 판단된다. 이 오차는 개발된 습관화 지수 자체의 오류라기

보다는 고객 상태를 판정하는 지식베이스의 정책 자체에 내포되어 있는 문제이며, 따라서

이에 대한 보정의 필요성에 대해서는 모형의 오류라기 보다는 별도의 판단이 요구된다. 이는

마이닝 마인즈 플랫폼을 이용한 빅데이터 분석 기법을 적용하여 대규모 집단에 대한 정보를

실증, 수집하여 분석함으로써 사용자의 서비스 참여도에 대한 판단을 위한 지식 로직이 도출,

적용되는 방법으로 해결되어야 하며, 이는 2 차년도 과업을 통하여 이루어질 예정이다.

한편, 습관화 지수와 5 분위 등급과의 상관성은 확인되었으나, 지수 값 자체가 등급을

표현하는 수치로 활용되기에는 이용자의 직관과 다소 상이한 수치의 범위를 보여주고 있다.

따라서, 수치의 범위와 수치의 차이의 직관적 의미를 상담사의 직관과 일치시키기 위한

조정이 요구되며, 이를 위하여 습관화 지수의 로직 상의 계수 조정이 필요함을 보여준다.

R² = 0.8991

0.0

10.0

20.0

30.0

40.0

50.0

60.0

0.00 0.50 1.00 1.50 2.00 2.50 3.00 3.50 4.00 4.50

(100-HI) vs 등급평가



- 습관화 지수를 이용한 서비스 구현에 대한 상담사의 타당성 및 만족도 예측평가를 정성적

평가로 수행하였으며, 도출된 습관화 지수 알고리즘으로 산정한 고객 점수와 상담사가 데이터를

기반으로 판단한 고객 등급 간 상관성을 정량적으로 평가하였다.

- 평가 결과, 습관화 지수 설계의 적절성 평가에서는 평균 86.7%가 타당하다고 판단하였고, 세부

영역 간 가중치에 대하여서는 69.1%가 적절하다고 판단하였다. 또한 각 세부영역을 구성하는

Indicator 의 적절성에 대하여서는 Risky Behavior, Healthy Behavior, Health Conditions 영역에서 각각

평균 88.3 점, 86.7 점, 88.3 점의 적절성을 평가한 반면, 예방의학참여와 서비스 참여에 대하여는

각각 75.0 점, 68.3 점을 기록하는 등 상대적으로 저조하게 평가되었다.

- 이는 새롭게 도입되는 고객 판단의 지표 – 고객의 행위와 습관 – 에 대한 경험이 없는 상태에서

서비스 정책적 기준과 가이드라인의 부재로 인하여 상담사 개개인의 판단에 의존한 결과로

판단된다. 따라서, 습관화 지수 자체에 대한 보완보다는 상담사의 판단을 수렴시킬 수 있는

정책적 기준 및 가이드라인, 활용 지침의 제작과 병행하여 지수의 적절성을 확보해 나가야 하며,

이는 차년도 과업을 통해 추진될 예정이다.

- 습관화 지수 시뮬레이션 평가에서는 습관화 지수 산출치와 상담사의 고객 판단 등급 간

부합도는 70%로, 본 과업의 정량적 목표인 50%를 초과 달성하였으며, 부합되지 않는 데이터의

경우 위에서 지적한 바와 같이, 서비스 추종에 대한 평가를 위한 정책적 기준을 제시하고 이를

기반으로 상담사 교육과 습관화 지수 보완이 이루어질 경우 본 과업의 최종 목표인 90%의

부합도를 조기에 달성 가능할 것으로 판단된다.


1

퍼스널 큐레이션 서비스 적용 모델과

시범 운영

Personal curation service

applying model and its test operation




작성자(Name) 태세원 과장

기관명(Affiliation) ㈜녹십자헬스케어


2

요약(Summary)

평가항목

(Evaluation item) E10. 퍼스널 큐레이션 서비스 적용 모델과 시범운영

평가기준


- 실험 대상: 건강관리에 관심이 있는 30~50 대 성인 10 명(남성 6 명, 여성 4 명)

- 실험 방법: 하루 동안 섭취한 모든 음식에 대한 사진촬영 및 업로드에 따른

전문가의 식단평가 서비스 제공 및 균형 잡힌 식습관 형성을 위한 가이드

제시[네이버 카페 App 활용]

- 서비스 만족도: 제공 서비스에 대한 만족도 50% 이상 달성

평가방법

(Methodology)

- 본 평가는 총 세 그룹으로 연동하여 수행함

평가기관 및 실험진행자: 녹십자헬스케어

실험 대상 그룹: 과제참여 연구원 및 모집 피실험군 10 명

- 실험 대상자가 하루 세끼(아침, 점심, 저녁)을 기본으로 하고, 식사 외에

간식으로 섭취한 음식에 대한 사진을 입력하면 전문 영양사가 7 가지 항목에

대한 식습관 평가를 통해 전문가 코멘트를 제공함

- 균형 잡힌 식습관 평가항목은 다음과 같음

① 규칙적인 식사를 했는가?

② 다섯 가지 기초 식품군을 골고루 섭취 했는가?

③ 고당류 식품 섭취가 있는가?

④ 고나트륨 식품 섭취가 있는가?

⑤ 고지방 식품 섭취가 있는가?

⑥ 알코올 섭취가 있는가?

⑦ 기타 사항(커피 섭취 등)

- 평가 결과는 영양관리 서비스를 제공받은 실험 대상자들에게 설문지를

배포하여 서비스 만족도 영역 5 문항에 대한 평균으로 도출하며, 그 외

설문항목에 대한 결과는 서비스 개선을 위한 참고자료로 활용함


시나리오

(Evaluation

Environment/Test

scenario)

- 실제 서비스와 유사한 환경 조성을 위해 네이버 카페를 개설하여

진행하였으며, 실험 대상자들은 네이버 카페 App 을 다운받아 설치한 후

회원가입을 통해 관리자 승인 후 영양관리 서비스를 제공받음

- 수집 정보: 성별, 나이, 신장, 체중, 활동량, 보유 질환 등의 개인정보, 섭취한

식품에 대한 사진 정보, 기타 작성된 태그 정보

- 제공 정보: 식사의 규칙성, 균형성, 적정성 등에 대한 전문가 코멘트 및

이해를 돕기 위한 이미지 컨텐츠 제공

평가결과

(Result)

- 서비스 만족도: 61%

- 만족도 세부항목을 살펴보면, 10 점 만점 기준으로 전반적인 만족도 5.8 점,

서비스 유용성 6.0 점, 서비스 추천의향 6.9 점, 생활습관(식습관) 개선 기여도

6.1 점, 서비스 실효성 5.9 점으로 나타남


3



마이닝마인즈 핵심기술 개발” 과제의 12 가지 정량적 평가항목 중 “퍼스널 큐레이션 서비스 적용

모델과 시범운영”에 대한 평가결과를 명시한 보고서로 참여기관인 녹십자헬스케어가 주도적으로


- 인구 고령화와 만성질환 증가로 의료비 문제와 건강관리 서비스의 접근성 및 질에 관한 문제가

논의되면서 많은 국가에서 IT 를 접목한 건강관리 서비스에 대한 요구도가 증가하고 있다. 특히

시니어 진입 전 세대들의 만성질환은 고령이 되어도 계속 유지될 가능성이 크기 때문에 각별한

관리와 주의가 필요하다.

- 건강을 유지함에 있어 개인의 자가관리 능력이 중요함에도 지금까지의 건강관리는 서비스

공급자 중심으로 운영되어 온 바, 사용자의 주요 생활습관을 모니터링-분석-피드백 함으로써

자가관리 능력을 함양하고 궁극적으로 생활습관 개선을 통한 건강한 삶을 추구하도록 동기를

부여할 수 있는 방안이 요구된다.

- 본 과제의 서비스 모델 타켓은 전체 연령 비율에서 가장 많은 비율을 차지하는 인구집단인 40-

50 대 중년층이다[그림 1]. 이들은 기존 세대와 달리 적극적이고 독립적인 새로운 노년층으로

‘액티브 시니어’로 불리며, 신체적 건강에 대한 관심이 높고[그림 2] 인터넷 활용 및 디지털 기기

보유 비율도 높은 집단이다.

[그림 1] 한국의 인구구조와 액티브 시니어(베이비붐 세대)

출처: 통계청 http://kostat.go.kr

- 국내 건강관리서비스는 국가에서 의료비 지급 감소를 위한 건강관리서비스와 사적 서비스로는

보험사의 고객건강관리서비스 정도가 활성화되어 있다. 보험사는 가입 고객을 대상으로

건강관리서비스 전문업체를 통해서 건강상담, 병원예약대행, 방문간호 등의 의료편의제공서비스

위주로 운영하고 있다[표 1].


4

[그림 2] 액티브 시니어 세대의 특징

출처: SERI 보고서 ’뉴시니어 세대의 3대 키워드’

- 보험사들은 피보험자에게 서비스를 제공함으로써 계약을 유지시키고, 보험 만족도를 높이고자

한다. 이를 위해 지금까지 서비스 수혜자의 대부분을 차지하는 중대질환자가 아니더라도

건강위험도가 높은 사람을 위탁하여 건강증진을 통한 실손 및 보험금 지급수준을 낮출 수 있는

방안 마련에 고심해 왔다. 즉, 보험사들은 같은 위탁비용으로 더 많은 고객이 혜택을 누릴 수

있는 서비스 개발을 위탁기관에 요구하고 있으며, 이를 실현하기 위해 위탁기관은 서비스의

효율성 증대가 필요한 실정이다.

- 녹십자헬스케어에서 운영하고 있는 보험사 건강관리서비스 고객의 연령별 이용 현황을 보면

건강관리서비스요구도가 높은 40~50 연령대의 비중이 높아 과제 서비스 타겟 연령층과 일치한다.

[그림 3].

[표 1] 생명보험회사의 건강관리서비스 위탁 내용 및 목적[1]

위탁대상 서비스 내용 위탁 목적

종신보험 피보험자

(CI 보험, 변액종신보험

포함)

· 건강정보, 도서 제공 및 상담

· 질환별 명의 찾기 및 신속한 예약

· 중대질환자 안심케어(이송 서비스)

· 치매 선별검사

· 6 세 이하 성장발달 검사

· 운동, 영양관리 서비스

· 건강검진 안내

· 피보험자의 건강관리에 대한

편리성 제고를 통한 보험

만족도 제고

· 마케팅 지원

· 보험 이미지 개선

출처: 건강생활관리서비스 사업모형 연구. 보험연구원. 2014


5

[그림 3] 자사 서비스 운영 고객 중 연령별 서비스 이용 분포

- 보험사의 요구에 따른 개인 맞춤형 서비스를 제공하기 위해 사용자들로부터 수집된 개인

데이터에 근거하여 어떤 차별화된 건강관리 솔루션을 제공할 것인가가 핵심이다. 건강관리를

위해 중요한 두 가지 요소는 영양과 운동관리이며, 이중 바람직하지 못한 식생활은 다양한

질환과 관련성이 높다[표 2].

[표 2] 식생활 및 생활양식과 관련된 만성질환의 위험요인[2]

퇴행성질환

식이 및

생활양식 위험인자

암 고혈압 당뇨 골다

공증

동맥

경화 비만

심근

경색

과량의 지질섭취 ○ ○ ○ ○ ○ ○

탄수화물과 식이섬유의 낮은 섭취 ○ ○ ○ ○ ○

낮은 칼슘 섭취 ○ ○ ○

비타민과 무기질 섭취의 저하 ○ ○ ○ ○

짠 음식과 염장식품의 섭취 증가 ○ ○ ○

과량의 알코올 섭취 ○ ○ ○ ○ ○

흡연 ○ ○ ○ ○ ○

유전자 ○ ○ ○ ○ ○ ○ ○

나이 ○ ○ ○ ○ ○ ○

습관적인 생활양식 ○ ○ ○ ○ ○ ○

스트레스 ○ ○ ○ ○

출처: 최혜미. 21 세기 영양학(제 4 판). ㈜교문사. 2014

10대이

하10대 20대 30대 40대 50대 60대 70대 80대 90대 미확인

2013 5.8% 3.9% 7.8% 15.9% 30.2% 23.1% 8.8% 3.9% 0.6% 0.1% 0.1%

2012 4.3% 3.6% 7.5% 16.4% 30.5% 24.5% 8.9% 4.1% 0.4% 0.0% 0.0%

0.0%

5.0%

10.0%

15.0%

20.0%

25.0%

30.0%

35.0%


6

- 따라서, 본 시범운영에서 제공하고자 하는 서비스는 액티브 시니어(Active Senior) 계층인 40-

50 대를 타켓으로 건강한 식생활의 기본 원리인 식사의 다양성, 적절성, 균형성에 근거한 “4050

Healthy Life” 영양관리 서비스 모델을 개발하여 시니어 진입 전 세대의 라이프 매니지먼트를

통해 복합 만성질환 이환율을 감소시키는 것이다.

- 4050 Healthy Life 서비스 모델 개요는 [그림 4]과 같다. 핵심 서비스를 단계별로 분리하여

1 단계는 영양관리 서비스, 2 단계는 운동관리 서비스를 개발할 예정이다.

App (1단계)

영양관리 서비스 App 개발

(2단계)

운동관리 서비스 App 개발

서비스

식단(사진) 평가 피드백 서비스 재활 운동 교육 콘텐츠

증상별 식품 추천 개인 맞춤운동 서비스(활동량계 연동)

체중 관리 서비스 체중 관리 서비스

[그림 4] 4050 Healthy Life 서비스 모델 개요(안)


7


- 본 평가는 시니어 진입 전 일반 성인을 대상으로 퍼스널 빅데이터에 기반한 큐레이션 서비스

모델 실증을 통해 서비스 요구도 및 만족도를 평가함으로써 향후 마이닝 마인즈 플랫폼에

기반한 개인 사용자 맞춤형 영양관리 서비스 적용 가능성 검토하고 사업화 촉진을 위한

비즈니스 모델을 확정하는데 목적이 있다.

- 아래의 [표 3]은 본 과제의 연구제안서에 기술된 개발기술의 평가에 대한 정량적 목표 항목 중

본 평가 항목인 “퍼스널 큐레이션 서비스 적용 모델과 시범운영” 항목을 발췌한 표이다. 1 차

년도 개발목표는 서비스에 대한 만족도 50% 이상이다.

- 경쟁력을 갖춘 서비스 모델로 최적화하고 상용화하기 위해서는 서비스에 대한 체계적이고

정량적인 실증평가 환경이 구축되어야 하는 바, 서비스 실증을 통한 효과성 검증이 필요하다.

[표 3] 퍼스널 큐레이션 서비스 적용 모델과 시범운영 – 정량적 목표

평가 항목

(주요성능

Spec)

단위

전체 항목

에서 차지하는

비중

(%)

세계최고 수준

보유국/

보유기업

( / )

연구개발

전

국내수준

개발 목표치

평가 방법


년도

2차

년도

3차

년도

4차

년도

⑩퍼스널 큐

레이션 서

비스 적용

모델과 시

범운영

% 9% 초기단계 초기단계 0종/

50%

1종/

54%

2종/

65%

3종/

80%

만족도

평가

- “퍼스널 큐레이션 서비스 적용 모델과 시범운영”의 평가기준은 제공된 서비스에 대한 사용자의

만족도가 50% 이상을 달성하였는가를 기준으로 평가가 이루어지며, 그 외에도 서비스 사용 중

개선이 필요한 부분에 대한 의견을 수렴하였다.


8


- 본 평가는 평가기관, 실험 진행자, 실험 대상 세 그룹으로 구성되며, 모든 그룹은 각자 정해진

역할을 맡아 평가를 진행한다. 아래의 [그림 5]은 “퍼스널 큐레이션 서비스 적용 모델과

시범운영”에 대한 평가 프로세스를 나타낸다.

[그림 5] “퍼스널 큐레이션 서비스 적용 모델과 시범운영” 평가 프로세스

- 평가기관: 녹십자헬스케어

평가기관인 녹십자헬스케어는 시범사업을 위한 퍼스널 큐레이션 서비스 적용 모델을

선정하고 전체적인 운영 계획을 수립한다. 서비스 시범운영 시나리오를 설계하며 이를

검토한다. 서비스 시범운영을 위한 시나리오가 완성되면 정확한 운영 방식을 실험

대상자에게 설명하여 평가 프로세스가 원활하게 이루어지도록 한다. 시범운영이 끝난 후

수집 데이터를 기반으로 사업화를 위한 서비스 모델 적용 가능성을 확인하고, 사용자의

서비스 요구도 및 만족도를 조사하여 최종 평가 보고서를 작성한다.

- 실험 진행자: 녹십자헬스케어

실험 진행자는 서비스 모델의 사업화를 추진할 녹십자헬스케어가 담당한다. 실험 진행자는

본 서비스 시범운영에 대한 시나리오와 기본적인 내용을 숙지하여 전체적인 흐름에 차질이

없도록 한다. 실험 진행자는 실험 진행 시 실험 대상자의 참여를 독려하고, 시범운영 결과

데이터를 기록하며, 보다 큐레이션 된 서비스를 제공할 수 있도록 평가 프로세스를

모니터링 한다.


9

- 실험 대상 그룹: 과제참여 연구원 및 모집 피실험군

실험 대상 그룹은 본 시범운영에 대한 기본적인 내용을 숙지하고, 제시된 시나리오에 맞춰

시범운영에 적극적으로 참여하도록 한다. 시험운영에 차질이 없도록 실험 대상 그룹은 실험

진행자가 요구하는 정보를 제공하고, 시범운영 완료 후에는 시범운영 참여에 따른 피드백

의견을 실험 진행자에게 전달한다.

- 실험 대상 그룹의 구성 및 가입 시 정보 제공

서비스 모델 개발에 참여한 연구원과 서비스 제공 대상에 해당되는 연령대로 표본 집단을

구성하였으며, 표본집단은 30~50 대로 정의하고 총 11 명을 선발하였다.

실험 대상자는 시범운영 참여가 확정된 후 개인 메일 혹은 문자 메시지를 통해 시범운영

사이트 가입을 위한 링크를 받게 된다. 가입 시 서비스 제공을 받기 위해 기본 정보(닉네임,

생년월일, 성별, 신장, 체중, 평소 활동량, 질환 보유 여부)를 실험 진행자에게 제공한다.

- 실험 대상자의 사진 업로드 방법

모든 실험 대상자들은 하루 동안 섭취한 음식을 사진으로 찍어서 카페에 업로드 하였다.

사진 업로드 횟수에 제한을 두지는 않았으나 기본적으로 세끼(아침, 점심, 저녁) 식사를

기본으로 하고, 식사 외에 간식으로 섭취한 것들도 기록하도록 하였다. 여러 명이 함께 먹은

음식의 경우 실제 섭취량을 추정하여 기록할 것을 권장하였으며, 태그활용을 독려 하였다.

- 전문가 식단평가 및 코멘트 작성

전문가 식단평가 운영 개념도는 [그림 6]와 같다. 실험 대상자가 업로드 한 사진을 보고 두

명의 영양사가 7 가지 항목의 식습관 평가를 통해 전문가 코멘트를 제공하였으며, 평가

항목은 아래와 같다.

① 규칙적인 식사를 했는가?

② 다섯 가지 기초 식품군을 골고루 섭취 했는가?

③ 고당류 식품 섭취가 있는가?

④ 고나트륨 식품 섭취가 있는가?

⑤ 고지방 식품 섭취가 있는가?

⑥ 알코올 섭취가 있는가?

⑦ 기타 사항(커피 섭취 등)

다섯 가지 기초 식품군은 곡류, 어육류(고기, 생선, 달걀, 콩류), 우유 및 유제품류, 채소류,

과일류를 의미한다.

실험 대상자의 비만도와 활동량을 기준으로 권장섭취량(kcal)을 환산한 후 권장섭취량에

맞는 교환단위수와 비교하여 실험 대상자들이 적절하게 섭취하였는지 확인하여 전문가

코멘트를 작성하였다. 교환단위수는 대한당뇨병학회의 식품교환표 활용지침을 참고하였으며

[표 4]에 제시하였다.


10

[그림 6] 전문가 식단평가 운영 개념도

[표 4] 식품교환표 활용지침[3]

열량(kcal) 곡류 어육류 우유/유제품류 채소류 과일류

1,000 4 3 1 6 1

1,200 5 4 1 6 1

1,400 7 4 1 6 1

1,600 8 5 1 6 2

1,800 8 5 2 7 2

2,000 10 5 2 7 2

2,200 11 6 2 7 2

2,400 12 7 2 7 2

2,600 13 9 2 7 2

- 서비스 만족도

설문지의 구성은 서비스 만족도 영역 5 문항, 개인의 잘못된 식습관 인지 영역 3 문항,

흥미도 영역 2 문항, 기타 영역 3 문항으로 총 13 문항이다. 각 문항에 대해 ‘전혀 그렇지

않다’ 1 점에서 ‘매우 그렇다’ 10 점까지 응답자가 생각하는 점수를 주는 스케일 방식을

적용하였다(13 번 문항 제외).

본 평가에서는 서비스 만족도 영역인 5 문항에 대한 평균으로 제공된 서비스에 대한

사용자의 만족도 50% 이상 달성 여부를 평가하였다. 그 외 설문 항목에 대한 결과는 서비스

개선을 위한 참고자료로 활용하였다.


11


4.1 평가환경

- 본 평가는 네이버 카페 App 을 활용하여 실험 대상자의 사진 업로드에 따른 전문가 영양평가

서비스 제공과 이에 따른 서비스 만족도를 평가하는 방식으로 진행된다.

- 시범운영은 네이버에 카페를 개설하여 진행하였으며[그림 7], 실험 대상자들은 네이버 카페

App 을 다운받아 설치하였다.

- 실험 대상자는 실제 서비스와 유사한 환경 조성을 위해 오직 App 을 통해서만 시범운영에

참여할 수 있도록 하였으며, 관리자는 PC 와 App 을 동시에 사용하여 서비스를 제공하였다.

[그림 7] 시범운영 사이트(http://cafe.naver.com/gchfood) 메인 화면

- 본 평가의 실험 대상자들은 참여 전 시범운영에 대한 내용과 절차에 대한 설명회를 가졌으며,

참석이 어려운 외부 참여자의 경우 전화 혹은 이메일을 통해 관련 내용을 전달하였다.

- 시범운영 시 실험 대상자들이 하루 동안 섭취한 음식에 대한 사진을 업로드 할 수 있도록 개별

폴더를 만들어 제공하였다. 아침, 점심, 저녁을 기본으로 간식으로 섭취한 것들도 업로드 하도록

하였으며, 사진과 함께 태그를 달도록 하여 식습관 전반에 대한 데이터를 수집하였다. 태그는

http://cafe.naver.com/gchfood


12

활용 예시를 제공하였으며[표 5], 그 외에도 가능한 범위 내에서 섭취한 음식명이나 양에 대한

부분을 기록하는 것도 허용하였다[그림 8].

[표 5] 태그 활용 예시

기본 태그 예시

맛 짠, 달콤한, 매운, 시큼한 등

동행자 부인, 남편, 자녀, 가족, 부모님, 애인, 친구, 아는 사람, 회사 동료 등

선호도 맛없는, 맛있는, 그냥 먹은, 좋아하는, 싫어하는 등

[그림 8] 카페 App 에 업로드 된 사진 및 태그 활용 예시

- 실험 대상자들(과제 참여 연구원 및 모집 피실험군)에게 영양 평가 결과를 제공하고 이에 대한

서비스 만족도를 설문을 통해 조사하였다.

- 시범운영에 참여한 실험 대상자들의 일반적인 특징은 [표 6]과 같다. 시범 운영 중 1 명은 초기

가입 후 초기 1 회만 사진을 업로드한 후 재방문 기록이 없어 분석에서 제외하였다.


13

[표 6] 시범운영에 참여한 실험 대상자들의 개인 정보

번호 닉네임 성별 나이(세) 활동량 신장(cm) 체중(kg) 질환

1 골고루몽땅 남성 40 보통 174 76.0 -

2 목표는 65 킬로 남성 41 힘든 170 71.0 고혈압

3 jiny0323 여성 52 가벼운 165 53.0 -

4 흥해라 여성 39 가벼운 157 51.0 -

5 와이드탐 남성 34 보통 175 70.0 -

6 리노 여성 36 가벼운 160 44.5 -

7 드래곰 남성 37 가벼운 190 105.0 통풍, 갑각류 알레르기

8 우부이 여성 45 가벼운 160 64.0 -

9 마이닝 남성 47 가벼운 162 61.5 -

10 막사발 남성 53 가벼운 168 73.0 -

11 먹태 남성 38 가벼운 175 89.0 고혈압, 고지혈증 의심

- 전체적인 평가 수행일정은 [표 7]과 같다.

[표 7] 시범운영 평가 수행일정


서비스 시범운영 계획 수립 2015. 02. 23. ~2015. 02. 28.

서비스 시범운영 시나리오 설계 2015. 03. 01. ~2015. 03. 11.

서비스 시범운영 시나리오 검토 2015. 03. 12. ~2015. 03. 17.

서비스 시범운영 모의 실험 2015. 03. 18. ~2015. 03. 20.

본 실험 2015. 03. 21. ~2015. 03. 30.

자료 처리/결과분석/보고서 작성 2015. 03. 31. ~2015. 04. 10.


- ‘영양관리 서비스’는 관리 대상의 영양적 특성을 고려하여 교육, 상담 등의 서비스를 꾸준히

제공하고 질병의 사전 예방과 예후 관리를 위한 영양 관리식을 제조, 제공하는 것까지 포함하는

포괄적인 서비스라고 할 수 있다. 지금까지 우리나라 영양관리 서비스는 병원에서 환자를

대상으로 하는 서비스에 국한되어 있는 실정으로 대상 영리/비영리별, 특성별, 니즈별 서비스

내용을 달리하는 모델 개발의 필요성이 제기되어 왔다[4-5].

- 따라서 시범운영을 위한 계획 단계에서 40-50 대 액티브 시니어라는 특정 타겟층을 선정하고,

이들의 니즈에 부합하는 서비스를 구성하는데 중점을 두고 진행하였다.

- 본 평가는 일반적인 영양관리 서비스 시범운영의 기본 틀을 유지하면 진행되었다. 시범운영

설명회를 통해 운영목적과 내용을 소개하고 실제 서비스와 유사한 환경 조성을 위한 App 메뉴

구성을 위해 네이버 카페를 개설하여 활용하였다.


14

- 시범운영 중 실험 대상자의 서비스 제공 예시는 [표 8]과 같다. 실험 대상자가 전날 섭취한

음식사진을 업로드 하면 그 다음날 전문가 코멘트 결과를 확인할 수 있도록 하였다. 코멘트

작성은 하루 식단을 기준으로 나쁜 식습관이 무엇인지 확인하고, 균형잡힌 식사를 하기 위해

현재 부족한 식품군을 보충할 수 있는 방법을 제안하였다. 또한 효과적인 정보 제공을 위해

텍스트 외에도 보조적인 방법으로 영양정보를 담은 이미지를 활용하기도 하였다.

[표 8] 실험 대상자의 서비스 제공 예시

사진

업로드

전문가

코멘트

(텍스트)

튀김, 패스트푸드, 과자 등을 주로 드셨네요. 상대적으로 채소 및 과일류의 섭취가 부족한

식단입니다. 채소와 과일은 우리 몸에 활력을 주는 비타민이 많은 식품입니다. 하루 필요한

채소와 과일을 잊지 말고 드세요.

사진

업로드

전문가

코멘트

(텍스트)

한끼에 필요한 채소의 양은 데친 콩나물 한주먹 or 풋고추 약 15 개 or 오이 2/3 개 or 상추

20~30 장 정도입니다. 하루 드신 채소양을 생각하면서 더 드세요. 과음은 비만 및 각종

성인병의 원인이 됩니다. 적정량(성인 남성 2 잔/day)을 드시도록 노력해주세요. 간식으로

과일, 우유 섭취하시는 것도 잊지마세요^^

전문가

코멘트

(이미지)

[피부노화방지에 제격~ 알록달록 파프리카]

파프리카는 많은 비타민 C를 함유하고 있어, 피부 진피

층의 콜라겐 합성을 도와주고, 피부 탄력과 수분유지에

도움을 준다.


15


- 일반사항

시범사업 참여자들이 제공한 정보를 바탕으로 비만도를 판정 결과는 [표 9]와 같다.

[표 9] 시범운영에 참여한 실험 대상자들의 비만도 판정

번호 닉네임 성별 나이 BMI 비만판정 표준체중(kg) 에너지 필요량(kcal)

1 골고루몽땅 남성 40 25.1 비만 66.6 1600

2 목표는 65킬로 남성 41 24.6 과체중 63.6 2200

3 jiny0323 여성 52 19.5 정상 59.9 1800

4 흥해라 여성 39 20.7 정상 54.2 1600

5 와이드탐 남성 34 22.9 정상 67.4 2400

6 리노 여성 36 17.4 저체중 56.3 2000

7 드래곰 남성 37 29.1 비만 79.4 2000

8 우부이 여성 45 25.0 비만 56.3 1400

9 마이닝 남성 47 23.4 과체중 57.7 1400

10 먹태 남성 38 29.1 비만 67.4 1600

- 서비스 만족도

서비스 만족도는 실험 대상자가 생각하는 이상적인 영양관리 서비스와 실제 제공받는

서비스에 대해 일치 정도를 의미한다. 시범사업 참여자를 대상으로 만족도 평가 결과 총

만족도 점수는 10 점 만점에 6.1 점으로 나타났다[표 10].

세부항목을 살펴보면 제공받은 서비스에 대한 전반적인 만족도는 10 점 만점에 5.8 점, 서비스

내용에 대한 유용성은 10 점 만점에 6.0 점으로 나타났다. 타인에게 서비스에 대해 참여를 권하고

긍정적으로 이야기 해 줄 의향이 있는지에 대한 설문은 가장 높은 점수를 받아 10 점 만점에

6.9 점으로 나타났다. 또한 본 서비스 참여를 통해 식습관 개선에 도움이 되었는지에 대한

설문은 10 점 만점에 6.1 점으로 나타났으며, 제공받은 서비스가 기대했던 것과 비교하여

어떠하였는지에 대한 서비스 실효성은 10 점 만점에 5.9 점으로 나타났다[그림 8].

[표 10] 만족도 평가 결과

만족도 항목 총점 평균점수

전반적인 만족도 10점 만점 5.8

서비스 유용성 10점 만점 6.0

서비스 추천의향 10점 만점 6.9

생활습관(식습관) 개선 기여도 10점 만점 6.1

서비스 실효성 10점 만점 5.9

총 만족도 10점 만점 6.1


16

[그림 8] 서비스 만족도의 세부항목 결과

*평균은 10점 만점(점수가 높을수록 긍정적인 결과임)

- 식습관 인지도

식습관 인지도는 본인 스스로가 자각하는 잘못된 식습관의 수준을 조사하였다. 평균

4.3 점으로 본인의 식습관이 '양호한 수준'에 미치지 못한다고 인지하고 있었다. 식습관의

인지수준에서 세부적인 내용을 살펴보면, 공유된 다른 사용자의 사진을 통해 본인의

식습관에 문제가 있다고 인지하는 경우보다 전문가 평가를 통해 본인의 식습관에 문제가

있다고 인지하는 경우가 높았다.

- 서비스 흥미도

서비스 흥미도를 살펴보면, '전문가 평가를 통해 서비스 흥미를 느낀다'는 문항에 5.5 점을

나타냈으나 '다른 사용자와의 사진 공유를 통해 서비스에 대해 흥미를 느꼈다'는 8.0 점으로

더 높게 나타났다. 이는 실제 서비스 적용 시 커뮤니티 형태로 사진공유 서비스를 적용할

수 있음을 시사한다고 볼 수 있다. 그러나 본 시범운영에 참여한 대상자들이 서로를 알고

있는 경우가 있어 호기심을 더욱 자극했을 것으로 보이며, 실제 서비스가 상대방을 모르는

상태로 진행된다면 다른 결과가 도출될 가능성도 있음을 고려해야 할 것이다.

- 서비스 참여율

총 10 일간 진행된 시범운영에서 하루에 1 회 이상 음식사진을 업로드한 경우 참여한 것으로

평가했을 때 100% 입력을 완료한 대상은 10 명 1 명이었으며, 5 일 이상(50% 참여) 입력한

대상자는 6 명 이었다. 시범운영 중 서비스 참여 분포는 [그림 9]과 같다. 서비스 참여

시기가 지날수록 실험 대상자들의 참여율(하루 1 회 이상 음식사진 업로드 한 경우)이

전반적으로 감소하는 경향을 보였으며, 특히 8 일째부터는 참여율이 50% 이하로 감소하였다.

0

2

4

6

8

10

전반적인

만족도

서비스

유용성

서비스

추천 의향

생활습관 개선

기여도

서비스

실효성

5.8 6.0

6.9 6.1 5.9


17

[그림 9] 시범운영 기간에 따른 영양관리 서비스 참여율 분포

- 서비스 페이지 방문 횟수

시범운영 중 서비스 페이지 방문횟수를 살펴보면 [그림 10]과 같다. 하루 세끼 섭취한 음식을

올린다고 가정했을 때 방문횟수가 낮은 것으로 조사된 바, 실제 서비스 적용 시 서비스 참여 및

서비스 이용시간을 높이기 위해서는 흥미를 유발할 수 있는 컨텐츠 개발이 보강되어야 할

것으로 사료된다.

[그림 10] 서비스 페이지 방문 횟수

- 기타 서비스 요구도

서비스 이용 중 실험 대상자들의 의견을 요약해 보면, 사진 찍어 올리는 것이 귀찮거나 잊는

경우가 많아 잊지 않고 사진을 올일 수 있도록 알람 기능을 설정하는 것이 필요하다는 의견이

있었다. 또한 다른 사람의 사진이 오히려 식욕을 자극했다, 전문가의 코멘트가 평이하게

느껴진다, 하루 종일 먹은 음식을 올리다 보니 개인 정보가 노출되는 것 같아 부담스럽다 등의

의견이 있어 실제 서비스 제공 시 고려해야 할 점으로 보인다.

9 9

8

6 6

7 7

5 5

4

0

2

4

6

8

10

1일 2일 3일 4일 5일 6일 7일 8일 9일 10일

사진업로드

인원수

(명)

시범운영 기간

5

1

3

1

0

1

2

3

4

5

6

1회/일 2회/일 3회/일 1회/주

인원수

(명)


18


- 본 평가 보고서는 산업통산자원부 산업핵심기술개발사업 ‘퍼스널 빅데이터를 활용한

마이닝마인즈 핵심기술 개발’ 과제의 12 가지 평가항목 중 ‘퍼스널 큐레이션 서비스 적용 모델과

시범운영’에 대한 평가결과를 명시하였다.

- 본 평가서는 일반 성인을 대상으로 퍼스널 빅데이터에 기반한 큐레이션 서비스 모델 실증을

통해 서비스 요구도 및 만족도를 평가함으로써 향후 마이닝 마인즈 플랫폼에 기반한 개인

사용자 맞춤형 영양관리 서비스 적용 가능성 검토하고 사업화 촉진을 위한 비즈니스 모델을

확정하는데 목적이 있다.

- 평가는 자체평가로 진행되었으며 평가기관 및 실험 진행자는 녹십자헬스케어, 실험 대상군은

과제 참여연구원 및 피실험군으로 구성되었다.

- 자체 평가 기준은 제공된 서비스에 대한 사용자의 만족도가 50% 이상을 달성하였는가를

기준으로 하였으며, 그 외에도 서비스 사용 중 개선이 필요한 부분에 대한 의견을 수렴하였다.

- 평가결과 시범운영을 통해 제공된 서비스에 대한 만족도 평균은 61%으로 나타났다. 전반적인

만족도, 서비스의 유용성, 서비스 추천 의향, 생활습관 개선 기여도, 서비스 실효성 부분에서도

보통 수준 이상의 만족도를 보였다. 본 시범운영의 결과는 향후 실제 비즈니스 모델 및 구체적인

서비스 내용 적용 시 활용될 예정이다.


[1] 조용운, 오승연, 김미화. 건강생활관리서비스 사업모형 연구. 보험연구원. 2014

[2] 최혜미. 21 세기 영양학(제 4 판). ㈜교문사. 2014

[3] 식품교환표 활용지침. 대한당뇨병학회[http://www.diabetes.or.kr/general/food/sub02.php]

[4] 이행신, 김초일, 연미영, 김도희, 이지연, 남지운. 영양관리서비스 산업동향 조사 및 산업

모델개발 기반연구. 보건산업진흥원. 2013

[5] 이행신, 연미영, 김도희, 이지연, 남지운, 박승주, 권성옥. 영양관리서비스산업 모델 개발 및 적용

방안 연구. 보건산업진흥원. 2014


19

[부록] 만족도 설문지 서식

영양관리 서비스 만족도

닉네임:

※ 각 문항은 10 점 만점으로 하여 1 에서 10 까지의 숫자 중 선택하여 주십시오.

1. 전반적으로 제공받은 서비스에 대해 얼마나 만족하십니까?

1 2 3 4 5 6 7 8 9 10

2. 서비스의 내용이 얼마나 유용했다고 생각하십니까?

1 2 3 4 5 6 7 8 9 10

3. 주위에 영양관리가 필요한 분이 계시다면 본 서비스에 참여를 권하실 의향이 있으십니까?

1 2 3 4 5 6 7 8 9 10

4. 서비스가 본인의 생활습관(식습관) 개선에 도움을 주었다고 생각하십니까?

1 2 3 4 5 6 7 8 9 10

5. 제공받는 서비스는 귀하가 기대하셨던 것과 비교하여 어떠하였다고 생각하십니까

1 2 3 4 5 6 7 8 9 10

전혀

도움 안됨

매우

유용했음

매우

불만족

매우

만족함

전혀

그렇지 않음

매우

그러함

전혀

도움이 안됨

매우

도움됨

크게

기대에 못미침

기대했던

것보다 좋음


20

6. 서비스에 참여하기 전, 평소 귀하의 식습관에 문제가 있다고 생각하십니까?

1 2 3 4 5 6 7 8 9 10

7. 다른 사용자의 사진을 봤을 때 귀하의 식습관에 문제가 있다고 느끼셨습니까?

1 2 3 4 5 6 7 8 9 10

8. 귀하의 전문가 평가를 봤을 때 귀하의 식습관에 문제가 있다고 느끼셨습니까?

1 2 3 4 5 6 7 8 9 10

9. 다른 사용자의 사진을 봤을 때 귀하는 서비스에 대해 흥미를 느끼셨습니까?

1 2 3 4 5 6 7 8 9 10

10. 귀하의 전문가 평가를 봤을 때 귀하는 서비스에 대해 흥미를 느끼셨습니까?

1 2 3 4 5 6 7 8 9 10

11. 서비스에 참여하기 전, 전반적인 서비스에 대한 기대는 어떠하셨습니까?

1 2 3 4 5 6 7 8 9 10

12. 서비스 페이지는 얼마나 자주 방문하십니까?

① 일 1 회 ② 일 2 회 ③ 일 3 회 ④ 주 1 회 ④ 주 2-4 회 ⑤ 주 5-6 회

13. 본 서비스에서 불만스러웠거나 개선이 필요한 점이 있으면 말씀해 주세요.

전혀

그렇지 않다

매우

그렇다

전혀

그렇지 않음

매우

그러함

전혀

그렇지 않음

매우

그러함

전혀

그렇지 않음

매우

그러함

전혀

그렇지 않음

매우

그러함

기대가

매우 낮음

기대가

매우 높음


지식관리툴 만족도 (수요자)

Satisfaction level of knowledge

maintenance tool by users







요약(Summary)

평가항목

(Evaluation item) 지식관리툴 만족도 (수요자)

평가기준


- 툴 사용에 대한 만족도 80% 이상

인터페이스의 외관 및 느낌

인터페이스 레이아웃의 복잡도

새로운 룰 생성에 소요되는 시간

시스템 도움말의 실용성

다양한 도메인 전문가들의 평가

평가방법

(Methodology)

- 평가는 총 네 개의 그룹이 연동하여 수행함

검증기관 : 한국정보처리학회 지식 및 데이터공학 연구회

평가기관 : 녹십자헬스케어, 유투시스템, 타파크로스

실험 진행자 : 녹십자헬스케어

실험 대상 그룹 : 녹십자헬스케어 소속 전문가 6 명

- 수요기업인 ㈜녹십자 헬스케어의 서비스 관리자인 헬스 트레이너, 영양사,

간호사 각각 2 명 총 6 명에게 지식관리 툴을 제공하고 총 5 개의 지식관리

기능에 대한 설문 조사를 통해 만족도를 평가함. 다음은 평가 대상인 5 개의

지식관리 핵심 기능임.

조건 생성기(Conditions Generator):

위치 추적기(Location Finder)

분류 생성기(Classification Generator)

룰 확인&검증(Rule Verification & Validation)

지식 베이스 업데이터(KB Updater)

- 설문지의 구성은 지식관리 툴의 사용의 편의성, 효율성을 평가하기 위한

8 개의 질문항목을 선정하고 4 점 척도로 평가하였음.


시나리오

(Evaluation

Environment/Test

scenario)

- 평가 환경

룰 저작 인터페이스

시스템 사용 가이드라인

웰니스 모델

녹십자 헬스케어 6 명의 전문가

간단한 룰 5 개, 복잡한 룰 5 개로 이루어진 10 개의 체중 관리 룰


체중 관리 시나리오를 활용한 룰 생성

룰 저작 인터페이스와 설문지, 웰니스 모델, mockup 동시 제공

녹십자 헬스케어 6 명의 전문가 (영양사 2 명, 헬스 트레이너 2 명,

간호사 2 명)로부터 피드백 정보 획득

사용자 만족도를 위한 피드백 분석

평가결과

(Result) - 툴 사용에 대한 전체 만족도: 81.25%




마이닝마인즈 핵심기술 개발” 과제의 12 가지 정량적 평가항목 중 “지식관리툴 만족도(수요자)”에

대한 평가결과를 명시한 보고서로, 참여기관인 녹십자헬스케어, 유투시스템, 타파크로스가

주도적으로 평가를 진행한다. 이 후 외부기관인 한국정보처리학회 지식 및 데이터공학 연구회에

평가를 의뢰한다.


서비스 큐레이션, 서포팅 레이어)로 구성되며, 이 중 지식관리 툴은 지식 큐레이션 레이어에

위치해 있다. [그림 1]에 나타낸 바와 같이 지식관리 도구는 서비스 큐레이션이 제공하는

서비스의 질을 향상시키기 위해 데이터 기반 및 전문가 기반의 접근법을 사용하며, 현재는

전문가 기반의 접근법을 개발하여 평가를 진행한다. 지식 기반 접근 방식은 지식 유지 보수를

위해 지식 엔지니어의 개입을 최소화하고 도메인 전문가가 직접 지식을 관리하는 방식이다.

Knowledge Acquisition Editor 는 도메인 전문가로부터 지식을 획득하기 위한 모듈이다.

[그림 1] 마이닝 마인즈 플랫폼 지식 큐레이션 레이어 내 지식 생성 및 진화 컴포넌트 구조도

- 마이닝 마인즈 플랫폼이 제공하는 서비스는 일괄적인 서비스가 아닌 각 사용자에 맞는 개인화된

서비스를 제공하는 것을 목표로 하며, 이를 위해서는 시스템이 지능적인 결정을 내릴 수 있는

능력이 필요하다. 이러한 능력은 방대하고 다양한 지식을 보유할 때 이루어질 수 있으며,

시스템은 이 지식을 효율적으로 관리할 수 있는 능력을 지녀야 한다. 효율적인 지식 관리는

지식의 정확성 유지와 새로운 지식의 업데이트가 수반되어야 하며, 정확한 지식을 생산하고

유지하기 위해서는 많은 기계학습과 진화 기술이 사용된다.

- Regier et.al [Regier 2009]은 전문가 시스템의 지식 기반을 최신으로 유지하고 기존 규칙의 논리

변경에 대한 처리시간을 감소 시키는 논문을 발표하였고, Debenham et.al [Debenham2005,

Debenham2003] 은 지식 기반 정비 분석 관리를 제안하고 이를 관리하는 공식 모델을 구성하여

각 지식을 대표하는 서술 규칙을 구성하여 이를 통해 모델 및 지식의 수정을 쉽게 할 수 있는


논문을 발표하였다. Kaljurand [Kaljurand 2008]는 규칙 편집 시스템을 사용하여 지식 관리의 쉬운

표현을 시멘틱 방식으로 수행하는 방법을 제안하였다.

- 기존의 지식기반 시스템[Compton 1989]에서 전문가들이 지식의 옳고 그름을 판별하는 역할을

완벽히 수행할 수 있으나 일련의 지식 생성 과정과 결론 도출 과정을 정확하게 표현하고

시스템에 입력하는 역할은 다소 미흡하였다[Compton1990, Compton1992]. Ripple Down Rules(RDR)은

케이스의 유지 및 획득을 기본으로 하여 지식 획득 과정에서 일어나는 병목현상을 해결할 수

있는 지식 획득 기법으로, 지식 공학자에 의한 지식 분석과 개입 없이도 전문가가 지식베이스

생성을 빠르게 할 수 있게 한다.

- 한편, 1 차년도에 평가하고자 하는 개발한 지식관리툴은 사용자 인증, 기존 룰을 관리하는

대시보드 그리고 룰 편집기로 구성되며, 도메인 전문가가 지식 엔지니어의 도움 없이도 지식을

생성하고 수정할 수 있는 툴이다.


- 본 평가는 개발한 지식관리 툴에 대하여 사용자들의 툴 사용에 대한 만족도를 평가하고, 평가

정보를 바탕으로 툴의 단점 보완 및 성능/기능을 향상시키는데 그 목적이 있다.


본 평가 항목인 “지식관리 툴 만족도(수요자)” 항목을 발췌한 표이다. 1 차년도의 개발 목표는

수요자의 만족도가 80% 이상 산출되는지 검증하는 것이다.

<표 1> “지식관리 툴 만족도(수요자)” - 정량적 목표

평가 항목

(주요성능

Spec1))

단위

전체 항목

에서 차지하는

비중2)

(%)

세계최고

수준 보유국/

보유기업

( / )

연구개발

전

국내수준

개발 목표치

평가 방법


년도

2차

년도

3차

년도

4차

년도

⑪지식관리

툴 만족도

(수요자)

% 9% 초기단계 초기단계 80% 85% 90% 95%

참여기업

평가 및

전문가

평가

- Knowledge Acquisition Editor 는 도메인 전문가들에게 인터페이스를 제공하여 지식의 생성과

유지보수를 쉽게 하고, 지식 공학자의 개입을 줄여 지식의 획득에 소요되는 비용을 감소시키는

것을 주 목적으로 한다.

- “지식관리 툴 만족도(수요자)”의 평가 기준은 수요자의 툴 사용에 대한 만족도가 80% 이상을

달성하는가가 기준이 되며, 여기에는 ① 인터페이스의 외관 및 느낌, ② 인터페이스 레이아웃의


복잡도, ③ 새로운 룰 생성에 소요되는 시간, ④ 시스템 도움말의 실용성, ⑤ 다양한 도메인

전문가들의 평가 내용이 포함된다.


- 본 평가는 크게 검증기관, 평가기관, 실험 진행자, 실험 대상 그룹의 네 그룹으로 구성되며, 모든

그룹은 각자 정해진 역할을 맡아 평가를 진행한다. 아래의 [그림 4]은 “멀티모달 센서기반

행위인지 정확도” 평가에 대한 프로세스를 나타낸 도식도이다.

[그림 2] “지식식관리 툴 만족도(수요자)” 평가 프로세스

- 검증기관: 한국정보처리학회

검증기관은 외부기관인 한국정보처리힉회 지식 및 데이터공학 연구회로 선정하였으며, 지식

분야에 대한 전문가를 모집하여 본 항목에 대한 평가를 의뢰한다. 검증기관은 평가기관에서

설계한 시나리오와 평가 설문지를 평가기관과 함께 공동으로 검토하고, 최종적으로 산출된

평가 분석 결과를 바탕으로 이에 대해 평가 의의, 평가 과정, 평가 내용, 목표 대비

달성율을 검증하여 평가에 대한 신뢰성을 확보한다.

- 평가기관: 녹십자헬스케어, 유투시스템, 타파크로스

평가기관인 녹십자헬스케어, 유투시스템, 타파크로스는 전체적인 평가 계획을 수립하고 평가

시나리오 설계와 평가 설문지를 작성하며, 이를 검증기관과 함께 검토한다. 시나리오와

설문지가 완성되면 정확한 평가 방식을 실험 진행자에게 설명하여 실험이 이루어지도록

하며, 실험이 끝난 후의 평가 데이터를 기반으로 실험을 분석한다.

- 실험 진행자: 녹십자헬스케어


실험 진행자는 평가 실험 대상 그룹이 속한 녹십자헬스케어에서 진행한다. 실험 진행자는

평가 대상 그룹에 속한 6 명의 전문가를 제외한 다른 담장자를 선정하여 본 평가에 대한

기본적인 내용을 숙지하고, 평가기관이 작성한 평가 시나리오를 검토하고 숙지하여

전체적인 실험 진행이 차질이 없도록 한다. 실험 완료 후 실험 진행자는 실험 대상

그룹으로부터 얻은 평가 데이터와 피드백을 기록하고 리를 평가기관에게 전달한다.

- 실험 대상 그룹: 녹십자헬스케어

실험 대상 그룹은 녹십자헬스케어의 6 명의 전문가 (영양사 2 명, 헬스 트레이너 2 명, 간호사

2 명)을 대상으로 진행되며, 본 평가에 대한 기본적인 내용을 숙지하고, 제시된 시나리오에

맞춰 툴 사용과 설문에 대한 평가를 정확하게 진행하도록 한다. 평가 완료 후 실험 대상

그룹은 본 평가에 대한 피드백 의견을 실험 진행자에게 전달한다.

- [그림 3]은 툴 사용에 대한 지식 획득 과정을 나타낸 도식도이다. Knowledge Acquisition Editor 는

도메인 전문가들에게 인터페이스를 제공하여 지식의 생성과 유지보수를 쉽게 하고, 지식

공학자의 개입을 줄여 지식의 획득에 소요되는 비용을 감소시키는 것을 주 목적으로 한다.

아래는 각 컴포넌트들의 입출력과 역할을 나타내며, [그림 4]는 지식 획득 과정의 전체 동작

알고리즘을 나타낸다.

[그림 3] 지식 획득 과정

- 조건 생성기(Conditions Generator)

입력: New Case

출력: Conditions

역할: 도메인 전문가가 입력한 Case와 Condition을 식별함

- 위치 추적기(Location Finder)

입력: Conditions

출력: Available Solution Paths

역할: 식별된 Condition 을 바탕으로 솔루션이 존재하는지 확인함.

- 분류 생성기(Classification Generator)

입력: Conditions, Available Solutions


출력: New Rule

역할: 사용할 솔루션을 기반으로 새로운 룰을 제공함.

- 룰 확인&검증(Rule Verification & Validation)

입력: New Rule

출력: Valid Rule / Conflicted Rule

역할: 새로운 룰에 대한 검증을 담당하며, 이전의 규칙과 상충할 경우 검증 프로세스를 거쳐

규칙을 수정함.

- 지식 베이스 업데이터(KB Updater)

입력: Validated New Rule

출력: Updated Knowledge base

역할: 검증된 규칙을 지식 베이스에 저장함.

[그림 4] 지식 획득 알고리즘 [Kang1997]



- Knowledge Acquisition Editor 평가를 위하여 [그림 5]와 같이 체중 관리 룰, Wellness 모델, 시스템

도움말, 설문지 등을 녹십자 헬스케어의 6 명의 도메인 전문가들에게 제공하였다. 이를 바탕으로

도메인 전문가들은 인터페이스의 외관 및 느낌, 인터페이스 레이아웃의 복잡도, 새로운 룰

생성에 소요되는 시간, 시스템 도움말의 실용성에 대한 평가를 진행하였다. [그림 6]는 Wellness

모델을 나타낸 도식도이며, 룰 및 설문지의 내용은 다음과 같다.

[그림 5] 테스트 환경 (테스트 시나리오)

[그림 6] Wellness 모델


- 규칙:

Simple Rules: [Wikipedia]

1. If ( Weight = 74 & Height = 176.8 ) then BMI = 23.7

2. If ( BMI < 18.5 ) then Obesity Level = Nil

3. If ( BMI > 30 & BMI <=34.9 ) then Obesity Level = Class I

4. If ( BMI >= 35 & BMI <=39.9 ) then Obesity Level = Class II

5. If ( BMI >= 40 ) then Obesity Level = Class III

Complex Rules: [Britten2006, Health]

1. If (Gender =Male & Age >41 & Age <50 & Activity Factor = 1 ) then EER=2200

2. If (Gender =Male & Age >46 & Age <50 & Activity Factor = 1.11 ) then EER=2400

3. If (Gender =Female & Age >41 & Age <50 & Activity Factor = 1.12 ) then EER=2000

4. If (Gender =Female & Age >41 & Age <50 & Activity Factor = 1.27 ) then EER=2200

5. If (Gender =Female & Age >41 & Age <50 & Activity Factor = 1.27 & Health condition = pregnant)

then *EER=2800

- 설문지:

Q1: 본 시스템에 대한 만족도는 어떻습니까?

a. 높음

b. 보통

c. 낮음

d. 기타:

Q2: 시스템의 구성에 대한 느낌은 어떻습니까?

a. 매우 깔끔함

b. 깔끔함

c. 혼동됨

d. 기타:

Q3: 시스템에서 사용되는 용어는 실제 설문자의 작업과 관계가 있습니까?

a. 모두가 그렇다.

b. 대부분이 그렇다.

c. 관계가 없다.

d. 기타:

Q4: 시스템이 지식 생성에 얼마나 많은 도움을 줍니까?

a. 많은 도움이 된다.

b. 보통이다.

c. 도움이 되지 않는다.


d. 기타:

Q5: Wellness 모델이 규칙 생성에 얼마나 많은 개념을 다루고 있습니까?

a. 모든 개념을 다룬다.

b. 대부분의 개념을 다룬다.

c. 관계가 없다.

d. 기타:

Q6: 도움말이 룰 생성에 얼마나 많은 도움이 됩니까?

a. 언제나 많은 도움이 된다.

b. 많은 도움이 된다.

c. 전혀 도움이 되지 않는다.

d. 기타:

Q7: 시스템을 사용하면서 규칙 생성에 어느 정도의 시간이 소요됩니까?

a. 1 분 이하

b. 2 분 이하

c. 5 분 이하

d. 기타:

Q8: 룰 생성시 순서도는 어떠합니까?

a. 매우 명확함

b. 명확함

c. 혼동됨

d. 기타:


- 평가는 녹십자헬스케어의 6 명의 전문가에게 제공된 설문지에 대한 평가 결과를 바탕으로

이루어졌다. 설문 평가의 만족도 등급은 <표 2>와 같이 4 개로 매우 만족 (100 점), 만족 (80 점),

조금 만족 (60 점), 불만족 (40 점)으로 설정하였다. 평가자 6 명은 <표 3>과 같이 2 명의 영양사,

2 명의 헬스 트레이너와 2 명의 간호사로 구성되어 있다. <표 4>는 지식관리 툴 사용의 만족도

결과를 나타낸 표로, 전체 평균 81.25%를 보여 평균 기준인 80%를 상회하는 것을 볼 수 있다.

<표 2> 설문 평가 만족도 등급별 점수

설문 평가 만족도 등급 점수(%)

매우 만족 100

만족 80

조금 만족 60


불만족 40

<표 3> 설문 평가 참여자 정보

평가자 명 직책 실무

박미경 영양사 상담

조상원 영양사 영양 서비스 디자인/알고리즘 개발

김영준 헬스 트레이너 물리치료사

강명성 헬스 트레이너 운동 전문가/운동상담

표진희 간호사 개발

태세원 간호사 개발

<표 4> 설문 평가 만족도 결과

만족도 (%)

User-ID 평가자 Q1 Q2 Q3 Q4 Q5 Q6 Q7 Q8

1 헬스 트레이너 - 1 80 60 100 80 80 80 60 100

2 헬스 트레이너 - 2 100 80 80 80 80 100 80 60

3 영양사 - 1 80 100 80 60 80 80 60 80

4 영양사 - 2 80 80 100 80 100 80 100 80

5 간호사 - 1 80 80 80 100 80 100 80 80

6 간호사 - 2 100 60 80 80 80 80 60 60

평균 86.67 76.67 86.67 80 83.33 86.67 73.33 76.67

전체 평균 81.25%

[그림 7] 설문조사 결과

1 2 3 4 5 6 7 8

평균 86.67 76.67 86.67 80 83.33 86.67 73.33 76.67

0

10

20

30

40

50

60

70

80

90

100

지식관리 툴

평균 만족도 = 81.25%

사용

자만

족도

(%)




마이닝마인즈 핵심기술 개발” 과제의 12 가지 정량적 평가항목 중 “지식관리툴 만족도(수요자)”에

대한 평가결과를 명시하였다.

- 1 차년도에 개발한 지식관리툴은 사용자 인증, 기존 룰을 관리하는 대시보드 그리고 룰 편집기로

구성되며, 도메인 전문가가 지식 엔지니어의 도움 없이도 지식을 생성하고 수정할 수 있는

툴이다.

- 본 평가에서는 전문가들의 지식관리 툴 사용에 대한 만족도를 조사하는 것으로, 평가 기준은 ①

인터페이스의 외관 및 느낌, ② 인터페이스 레이아웃의 복잡도, ③ 새로운 룰 생성에 소요되는

시간, ④ 시스템 도움말의 실용성, ⑤ 다양한 도메인 전문가들의 평가 내용이 포함되며 설문

평가도 동시에 진행되었다.

- 평가는 네 개의 기관에 의해 이루어졌으며, 검증기관으로 정보처리학회 지식 및 데이터 연구회,

평가기관으로 녹십자헬스케어/유투시스템/타파크로스, 실험 진행 기관으로 녹십자헬스케어,

그리고 실험 대상군은 녹십자헬스케어의 전문가 6 명으로 선정하였다.

- 전문가들은 인터페이스의 외관 및 느낌, 용어의 적절성, Wellness 모델, 시스템 도움말에는

만족한다고 답변하였으나, 프로토타입이라는 부분에서 만족도가 다소 떨어진다고 답변하였다.

또한 인터페이스 레이아웃과 룰 생성에 걸리는 시간에 대해서는 불만족함을 표시하였다.

- 1 차년도 목표 만족도 지수는 80%였으며 평가 결과 이를 상회하는 수치(81.25%)를 보였다. 또한

전문가들에 의해 제시된 문제점들은 향후 개발 버전에서 개선될 예정이다.

- 향후 연구로 더 나은 서비스를 제공하기 위해 데이터 기반 접근법을 사용하여 동적 지식

획득방법을 연구, 적용할 예정이다.



[Regier 2009] Regier, R., Gurjar, R., & Rocha, R. A. (2009). A clinical rule editor in an electronic medical

record setting: development, design, and implementation. InAMIA Annual Symposium

Proceedings (Vol. 2009, p. 537). American Medical Informatics Association.

[Debenham2005] Debenham, John. "An analysis of knowledge base maintenance." Computer Science and

Information Systems 2.1 (2005): 1-29.

[Debenham2003] Debenham, John. "A rigorous approach to knowledge base maintenance. “Developments in

Applied Artificial Intelligence. Springer Berlin Heidelberg, 2003. 219-228.

[Kaljurand 2008] Kaljurand, K. (2008, October). ACE View---an Ontology and Rule Editor based on

Attempto Controlled English. In OWLED.

[Compton 1989] P. Compton, K. Horn, J.R. Quinlan, and L. Lazarus. Maintaining an expert system. In J.R.

Quinlan, editor, Application of Expert Systems, pages 366–385. Addison Wesley, 1989.

[Compton1990] P. Compton and R. Jansen. A philosophical basis for knowledge acquisition. Knowledge

Acquisition, pages 241–257, 1990.

[Compton1992] P. Compton, G. Edwards, G. Srinivasan, et al. Ripple down rules: Turning knowledge

acquisition into knowledge maintenance. Artificial Intelligence in Medicine, pages 47–59,

1992.

[Kang1997] Kang, B, Yoshida, K, Motoda, H & Compton, P 1997, 'Help desk system with intelligent

interface', Applied Artificial Intelligence, vol. 11, no. 7-8, pp. 611-31.

[Wikipedia] http://en.wikipedia.org/wiki/Classification_of_obesity

[Britten2006] Britten P, Marcoe K, Yamini S, Davis C. Development of food intake patterns for the

MyPyramid Food Guidance System. J Nutr Educ Behav 2006;38(6 Suppl):S78-S92.

[Health] www.health.gov/dietaryguidelines/dga2010/dietaryguidelines2010.pdf


시제품(서비스)에 대한 UI/GUI 안의

전문가/사용자 평가

Expert/user evaluation of UI/GUI on

prototype product(service)




작성자(Name) 최재현

기관명(Affiliation) ㈜유투시스템


요약(Summary)

평가항목

(Evaluation item) 시제품(서비스)에 대한 UI/GUI 안의 전문가/사용자 평가

평가기준


- 평가 대상

전문가 : Service, UI, GUI 각 분야별 2명의 전문가(총 6명) 섭외

사용자 : 40~50대 남녀 각 3명(총 6명) 섭외

- 평가 방법

실제 사용 경험과 유사한 동적 환경(Prototype)을 구성하여 만족도 조사

행태 관찰 Solution(Eye Tracker)을 활용하여 사용 맥락, 에러 발생

포인트, 에러 발생 빈도 조사

정량 평가 데이터와 Interview 내용을 기반으로 개선점 도출

- Task 수행 만족도 : 전체 Task 만족도 최종 평균 80% 이상 달성

평가방법

(Methodology)

- 전문가 평가

Email 로 평가 설문지를 전달 받아 Task Flow 확인 후 2가지

Dimension(UI, GUI, Service)에 따라 설문 응답

- 사용자 평가

Prototype 과 Eye Tracker 를 활용한 1:1 In-Depth Interview

웹 기반 Prototype 을 통한 Task 수행 후 만족도 조사와 Interview 진행

Eye Tracker 장비를 활용하여 Task 수행 중의 시선과 마우스 움직임

기록(오류율과 만족도에 대한 상세 분석 자료로 활용)

평가 Task (총 4가지) : 회원가입, 식단기록, 추천식품확인, 보고서 확인

- 평가 결과는 각 Task 별 만족도 및 전문가 평가 점수를 산출함


시나리오

(Evaluation

Environment/Test

scenario)

- 평가 사용 기기 : 노트북, 모니터, Eye Tracking Solution (Morae S/W, MyGaze),

캠코더, 4채널 DVR

- Prototype : Online Prototyping Tool(Oven, http://ovenapp.io)을 사용하여 Task

시나리오에 맞게 Workflow 구현

- Eye Tracker : 모니터 하단에 Eye Tracker를 배치하여 각 평가자 마다

Calibration 후 Task 수행.

- 수집 데이터

정량적 : Preference, 에러 발생 빈도

정성석 : Pain Point, Needs, 개선안

- 평가 진행 과정

전문가 : 이메일로 설문지 확인 ▶ Task Flow 확인 ▶ 평가 항목 Rating,

의견 & 개선안 제시 ▶ 이메일로 설문지 답장

일반 사용자 : 서비스 Flow 확인 ▶ 평가 진행 순서 확인 ▶ Task 수행

▶ Task 시나리오 확인 ▶ 평가 항목 Rating & Interview

평가결과

(Result)

- 전문가 평가 점수 : 평균 89.44%

- 일반 사용자 평가 만족도 : 평균 84.72%

http://ovenapp.io/



본 평가 보고서는 산업통산자원부 산업핵심기술개발사업 “퍼스널 빅 데이터를 이용한 마이닝마인즈

핵심기술 개발” 과제의 12 가지 정량적 평가항목 중 “시제품(서비스) 1 종에 대한 UI/GUI 안의

전문가/사용자 평가”에 대한 평가결과 보고서로 참여기관인 유투시스템이 주도적으로 평가를

진행한다.

1.1. 평가 대상 서비스

마이닝 마인즈 플랫폼 상에서 녹십자 헬스케어가 40-50 세대를 위해 제공할 개인화/지능화 Healthy

Life care 서비스는 총 4 종이며 스마트폰 어플리케이션 형태로 제공될 예정이다. 각 서비스는

아래와 같다

- 영양 섭취 관리 서비스

- 신체 활동 관리 서비스

- 물 섭취 관리 서비스

- 수면 관리 서비스

본 평가 대상은 영양 섭취 관리 서비스 1 종이며 마이닝 마인즈 플랫폼 구조도의 Services 모듈

중에서 Healthy Diet Management 에 적용될 예정이다. 아래 마이닝 마인즈 플랫폼 구조도 [그림

1]에서 빨간 사각형 부분이 본 평가에 사용된 모듈이다.

[그림 1] 마이닝 마인즈 플랫폼 구조도


1.2. 평가 대상물 개발 과정

영양 섭취 관리 서비스 기획의 Research 단계에서 수행된 Desk Research 와 Focus Group

Discussion 을 통해 서비스의 사용자 경험(User eXperience. 이후 UX 로 칭함) Concept 이

정해졌고 UX Concept 에 부합하는 사용자 인터페이스(User Interface. 이후 UI 로 칭함) Concept 을

아래의 [그림 2]와 같이 기능과 Component 간의 Interaction 이 표현된 Wireframe 형태의 UI 로

개발하였다.

[그림 2] 영양 섭취 관리 서비스의 Wireframe 예시

GUI 는 UX Concept 을 잘 표현할 수 있으면서 서비스의 주요 고객층인 40~50 대의 신체 기능적,

정서적 특성에 적합한 Concept 을 정해 개발된 UI 를 기반으로 전체적인 Look & Feel, 배경과

글자의 적합한 Color 및 Contrast, 적절한 형태와 크기의 Icon 등을 고려하여 개발했으며 이것들을

Online Prototype Tool 인 Oven(https://ovenapp.io/) 서비스를 이용해 Prototype 형태로 구현하였다. 아래

<표 1>은 UI 결과물을 기반으로 작업된 GUI 결과물의 예시이다.


<표 1> UI 결과물과 그에 대응되는 GUI 결과물 예시

UI 결과물

(Wireframe)

GUI 결과물

(Image)

1.3. 평가 진행 방법

평가는 2 가지로 나뉘어서 진행한다. 평가 1 은 40~50 대 일반 사용자를 대상으로 하며 영양 섭취

관리 서비스의 사용성(UI, GUI)과 유용성(Service)에 대한 만족도를 평가하고 Eye Tracking 장비를

활용하여 Task 수행 중 시선 움직임을 기록하여 Task 별 오류 발생 포인트와 오류율을 산출한다.

평가 2 는 UI/GUI/Service 전문가를 대상으로 하며 영양 섭취 관리 서비스의 사용성(UI, GUI)과

유용성(Service)에 대한 평가 및 개선 방안에 대한 의견을 수렴한다.



본 평가는 40~50 대 일반 사용자와 전문가를 대상으로 영양 섭취 관리 서비스 어플리케이션의

사용성과 유용성을 평가하여 서비스의 UX 품질 수준을 검증하고 개선하는 데 그 목적이 있다.

아래 <표 2>는 본 과제의 연구제안서에 기술된 개발기술의 평가에 대한 정량적 목표 항목 중 본

평가 항목인 “시제품(서비스)의 UI/GUI 에 대한 전문가/사용자 평가” 항목을 발췌한 표이다.

1 차년도의 개발 목표는 발굴된 서비스 1 종의 서비스, UI/GUI 에 대한 만족도 및 전문가 평가가 80%

이상 산출되는지 검증하는 것이다.

<표 2> “시제품(서비스)에 대한 UI/GUI 안의 전문가/사용자 평가” – 정량적 목표

평가 항목

(주요성능

Spec)

단위

전체 항목

에서

차지하는

비중

(%)

세계최고 수준

보유국/

보유기업

( / )

연구개발

전

국내수준

개발 목표치

평가 방법


년도

2차

년도

3차

년도

4차

년도

⑫

시제품(서비스)의

UI/GUI 에 대한

전문가/사용성

평가 결과

% 9%

사용자 평가 분석기법

(UX Design)의 기확보

(100% 국내기술 보유)

전문기술

보유 80% 82% 83% 85%

만족도 평가

및 전문가

평가

“시제품(서비스)에 대한 UI/GUI 안의 전문가/사용자 평가”의 평가는 ① 평가 대상으로 서비스의

Target User 인 40~50 대 남녀 10 명 이상의 평가 대상자를 사용하였는가, ② 영양 섭취 관리 서비스

1 종에 대한 사용자 만족도 평가와 전문가 평가가 전체 최종 평균 80% 이상을 달성하는가에 대한

기준을 바탕으로 이뤄진다.



본 평가는 크게 검증기관, 평가 진행자, 평가 대상 그룹의 네 그룹으로 구성되며, 모든 그룹은 각자

정해진 역할을 맡아 평가를 진행한다. 아래의 [그림 3]은 “멀티모달 센서기반 행위인지 정확도”

평가에 대한 프로세스를 나타낸 도식도이다.

[그림 3] “시제품(서비스)에 대한 UI/GUI 안의 전문가/사용자 평가” 프로세스

검증기관: 한국정보과학회

검증기관은 외부기관인 한국정보과학회 IT 융합서비스 연구회로 선정하였으며,

UI/UX/GUI/Service 분야에 대한 전문가를 모집하여 본 항목에 대한 평가를 의뢰한다.

검증기관은 평가 진행자가 설계한 시나리오를 평가기관과 함께 공동으로 검토하며,

최종적으로 산출된 평가 결과를 바탕으로 이에 대해 평가 의의, 평가 과정, 평가 내용, 목표

대비 달성율을 검증하여 평가에 대한 신뢰성을 확보한다.

평가 진행자: 유투시스템

영양 섭취 관리 서비스의 UI/GUI 를 개발한 유투시스템이 평가 진행을 담당한다.

유투시스템은 전체적인 평가 계획을 수립하고 평가 시나리오를 설계하며, 이를 검증기관과

함께 검토한다. 완성된 시나리오로 평가를 하며 모든 평가는 동영상으로 기록을 한다.

평가를 한 후 평가 대상 그룹으로부터 얻은 평가 데이터를 기반으로 최종 평가 보고서를

작성한다.

평가 대상 그룹

평가 대상 그룹은 평가 진행자로부터 본 평가에 대한 기본적인 설명을 듣고, 제시된

시나리오에 맞춰 정확한 평가가 진행하도록 한다. 평가에 차질이 없도록 평가 대상 그룹은

평가 전에 평가에 영향을 줄 수 있는 장애요소를 삼가며, 평가 진행자와 같이 평가를


진행한다. 평가 완료 후 평가 대상 그룹은 본 평가에 대한 피드백 의견을 평가 진행자에게

전달한다.

3.1. 평가 대상자

본 평가는 일반 사용자를 대상으로 한 평가 (평가 1)와 전문가를 대상으로 한 평가 (평가 2)의 두

가지 방식으로 진행된다. 평가 1 에서는 사용성(UI, GUI)과 유용성(Service)에 대한 만족도를

측정항목으로 선정하였다. 평가 2 에서는 사용성(UI, GUI)과 유용성(Service)에 대한 평가와 개선

방안에 대한 내용을 수집한다.

본 평가를 위한 평가 대상 중 일반 사용자는 영양 섭취 관리 서비스의 Target User 인 40~50 대

남녀를 표본집단으로 구성하였으며 이 중 헬스케어 서비스 사용 경험이 있는 남녀 각 3 명(총

6 명)을 지원 선발 했다. 전문가는 Service, UI, GUI 각 분야별 2 명(총 6 명)을 섭외하여 평가를

진행하였다. 선정 세부 기준은 아래 <표 3>과 같다.

<표 3> 평가 대상자 구분 및 선정 기준

구분 인원수 선정 기준

일반 사용자

남성 3명 운동과 식단에 관심이 있는 40~59세의 일반 남녀

Smartphone 보유자로서 사용기간이 최소 1년 이상인 자

안경을 착용하지 않은 자 (콘택트렌즈 착용자는 가능) 여성 3명

전문가

Service 2명 학계 및 실무경력 10년 이상

UI 2명 인간공학 or 디자인 전공 석사이상

학계 및 실무경력 10년 이상 (인간공학 박사 or 기술사 포함)

GUI 2명 디자인 전공 석사이상

학계 및 실무경력 10년 이상

3.2. 평가 대상물

아직 개발 완료되지 않은 서비스의 Service/UI/GUI 에 대한 만족도를 평가하기 위해 여러 방법 중

하나인 Prototype 을 활용하여 평가를 진행하였다. Wireframe 을 기반으로 개발된 GUI 결과물을

아래 [그림 4]와 같이 Online Prototype 제작 Tool(Oven, https://ovenapp.io)에 적용하여 페이지간 이동

Interaction 을 추가하여 제작하였다.


[그림 4] Online Prototyping Tool Oven으로 Prototype을 제작하는 화면

실제 평가에 사용한 Prototype 의 형태는 아래 [그림 5]와 같고 URL 주소는 다음과 같다.

https://ovenapp.io/view/lrQcoW4Ds6O508OEq4IvOp8OoLG7Oktx/)

[그림 5] 실제 평가에 사용된 Prototype 화면 예시


3.3. 평가 방법

본 평가에서 각 대상자별로 행해지는 평가 프로세스는 아래 <표 4>와 같으며, 사용자는 User Test

Room 에서 Prototype 과 Eye Tracker 를 활용하여 1:1 로 평가를 진행한 후 Survey 와 Interview 를

진행했고 전문가는 Email 로 설문지를 보내 응답을 받았다.

<표 4> 대상자별 평가 방식 및 단계

대상 사용자 전문가

평가방식 Prototype 을 활용한 1:1 Interview Email Survey

Step. 1 Introduction : 서비스 컨셉 확인 Task 시나리오 및 세부 정보 확인

Step. 2 Introduction : 평가 프로세스 확인 사용성(UI/GUI), 유용성(Service) 평가

Step. 3 Eye Tracker Calibration 개선 방안 제시

Step. 4 Task 수행

Step. 5 Task 시나리오 및 세부 정보 확인

Step. 6 만족도 Rating

Step. 7 In-Depth Interview

1:1 사용성 평가에서는 수행시간, 오류빈도, 오류 발생 화면, 경로 등의 수행능력 데이터를

수집해 Task 문제점을 도출하고, 인터뷰를 통해 사용자의 Pain point & needs 를 도출하여 문제점이

발생되는 원인을 파악한다. 그리고 설문조사에서는 선호도 데이터인 각 Task 별 만족도를 수집해

각 Task 별 개선 우선순위를 선정하고, Task 별 개선안을 도출했다.

Tasks

영양 섭취 관리 서비스의 주요 기능 중 Main Task 4 개를 선정하고 Workflow 형태로 구성하여

평가에 사용하였다. 각 Task 의 내용과 Workflow 는 아래 <표 5>와 같다.

<표 5> Task 내용과 Workflow

Tasks Workflow

Task 1

회원 가입

Task 2

식단 입력


Task 3

추천 식품 확인

Task 4

식습관 보고서 확인

사용자 행태 분석(Eye Tracker)

평가 대상자가 Prototype 을 사용해 Task 를 수행하는 동안 Workflow 를 녹화하고 해당

화면에서의 시선 분배 패턴을 기록하기 위해 Usability Test 전용 Software 인 Morae 와 Eye Tracker

장비인 MyGaze 를 사용하였다

Task 수행 중 에러 빈도는 Task 수행 중 Optimal Route 를 벗어난 횟수를 기준으로 측정하였다.

Morae 의 Observer Module 에서 실시간으로 체크하고 이후 녹화된 영상과 비교하여 대조

평가하였다.

Survey

현재 구현된 Prototype 수준에서 유용성 관련 만족도 부분을 평가 하기에는 무리가 있어 Task

수행 후 Survey 전에 평가 진행자가 평가 대상자에게 아래의 [그림 6]과 같이 세부 시나리오 및

기능에 대한 부가 설명을 했다.

[그림 6] Task에 대한 세부 시나리오 및 기능 설명


시나리오 설명 이후 Survey 를 진행하였다. Service/UI/GUI 3 가지 부분에 대해 사용자 만족도 및

전문자 평가를 검증하기 위해 위의 3 가지 파트로 구분하여 질문을 구성했고 이것을 다시

유용성(Service)과 사용성(UI, GUI)의 2 가지 UX Dimension 으로 구분했다. Survey 에서는 각 Task

별 사용자 만족도 및 전문가 평가를 15 Point Likert Scale 로 조사했다. 세부 질문 항목은 아래

<표 6>과 같다.

<표 6> 평가 요소, 평가 대상, Task에 따른 Survey 질문 내용

Task 평가 요소 사용자 대상 질문 전문가 대상 질문

1 UI

사

용

성

회원가입 단계를

사용하는데 불편함이

없었는가?

- 이름/이메일 입력, 생년월일, 키 , 몸무게, 활동

정도, 목표 설정 UI 가 사용하기에 불편함이

없는가

- 화면 하단 버튼들(취소, 이전, 다음/완료)의

위치와 크기는 사용하기에 적절한가

GUI 회원가입 단계의

화면의 디자인이


없었는가?

- 키와 몸무게 조절 화면의 GUI 요소 표현이

사용자들이 이해하기 쉽도록 구성되었는가

- 포인트 컬러로 사용된 붉은색이 4050 세대에게

적절한가

Service 유

용

성

회원가입 단계의

기능과 정보가

유용한가?

- 텍스트 크기를 조절하는 기능이 사용자에게

유용한가

- 서비스 이용 목표를 설정하는 기능이

사용자에게 유용한가

2 UI

사

용

성

식단입력 단계를


없었는가?

- 사용자들이 사진을 찍고 먹은 음식을 표시하는

기능을 쉽게 사용할 수 있을 것인가

- 사용자들이 Tag 입력 기능을 쉽게 사용할 수

있을 것인가

GUI 식단입력 단계의



없었는가?

- 식단 입력 안내 화면(#1 참조)과 먹은 음식

표시 안내 화면(#2 참조)이 사용자들이

이해하기 쉽게 표현되었는가

- 먹은 음식을 표시한 단계(#3 참조)에서 표시한

부분과 표시되지 않은 부분의 구분이 사용자가

인지하기 쉬운가

Service 유

용

성

식단입력 단계의

기능과 정보가

유용한가?

- 직접적인 텍스트 입력 대신 사진을 입력하는

기능이 사용자에게 유용한가

- 태그 입력 기능이 사용자에게 유용한가

- 되돌리기 기능이 사용자에게 유용한가

3 UI

사

용

성

일일 부족 식품군

추천 확인 단계를


없었는가?

- 모아보기 화면, 추천식품 화면, 음식점/식품

세부 정보 화면 디자인이 각 기능에

부합되는가

- 버튼(음식점 정보 보기, 좋아요, 전화걸기,


지도보기)의 위치는 사용하기에 적절한

위치인가

GUI 일일 부족 식품군

추천 확인 단계의



없었는가?

- 모아보기 화면, 추천식품 화면, 음식점/식품

세부 정보 화면이 서로간에 혼동되지 않게

구성되어 있는가

- 사진 위의 글자와 배경의 색은 적절하게

사용되었는가

Service 유

용

성

일일 부족 식품군

추천 확인 단계의

기능과 정보가

유용한가?

- 식습관 진단 정보 기반 부족 식품군 식품 추천

기능이 사용자에게 유용할 것인가

- 일정 정보 기반 음식점 추천 기능이

사용자에게 유용할 것인가

- 음식점 정보와 식품 정보에서 보여지는 연관

Tag 가 사용자에게 유용할 것인가

4 UI

사

용

성

식습관 확인,

주간/월간 보고서

확인 단계를


없었는가?

- 이전 식단 기록을 쉽게 확인하고 이해할 수

있도록 구성 되어 있는가

- 보고서의 내용을 쉽게 확인하고 이해할 수

있도록 구성 되어 있는가

GUI 식습관 확인,


확인 단계의 화면의

디자인이 사용하는데

불편함이 없었는가?

- 식단 기록 화면의 각 요소와 배경의 색은

적절하게 사용되었는가

- 보고서 화면의 각 요소와 배경의 색은

적절하게 사용되었는가

Service 유

용

성

식습관 확인,


확인 단계의 기능과

정보가 유용한가?

- 제공되는 식단 기록 정보가 사용자에게

유용한가

- 제공되는 식습관 진단 보고서의 내용(식습관

진단 결과, 특정 질병 발병 위험도 예측, 식품

섭취 균형도)이 사용자에게 유용한가

In-Depth Interview

일반 사용자는 Task 수행 후 Interview 를 통해 해당 Task 의 Service/UI/GUI 부분에 대한 평가

대상자의 의견을 조사했다. 각 항목별 평가 대상자의 점수에 대한 이유와 Pain Points, Needs 를

수집했다. 이때 Scripter 는 키보드로 사용자의 의견을 모두 받아 입력하고 구조화 하여 향후

개선 방안 도출에 활용할 수 있도록 하였다.



4.1 평가 환경

관찰실과 평가실

평가는 유투시스템의 UT Room 에서 진행되었다. UT Room 은 관찰실과 평가실로 구분할 수 있고

이 사이에는 아래 [그림 7]과 같이 1-way Mirror 가 설치되어 있어 관찰자가 평가를 방해하지

않으면서 평가 상황 및 평가 대상자의 행동 등을 관찰할 수 있다.

[그림 7] 관찰실의 전경과 1-Way Mirror를 통해 보이는 평가 상황

평가실의 천장에는 관찰용 돔형 카메라 4 대가 각 모서리에 설치되어 있어 각기 다른 각도로

평가 상황을 관찰하고 녹화할 수 있다. 아래 [그림 8]은 평가실 전경과 관찰용 카메라로 보여지는

평가실의 모습이다.

[그림 8] 평가실 전경과 관찰용 카메라로 보여지는 평가 상황


아래 [그림 9]와 같이 평가 진행자(이후 Moderator)가 가장 왼쪽에 앉아서 Prototype 을 준비하고

설문 응답에 대해 Interview 를 했다. Scripter 는 평가 대상자의 모든 발언을 노트북을 이용에 직접

입력하였다. 평가 대상자의 우측 뒤편에 고해상도 캠코더를 설치하여 Task 를 수행하는 과정의

모든 Screen Flow 를 녹화하였다.

[그림 9] 평가실 내 평가 준비 상황

Moderator Guideline, Evaluation Sheet

원활한 진행을 위해 Moderator 는 평가 과정과 질문 내용이 기재된 Moderator Guideline([그림

10])을 작성하여 평가 중에 지참했고 평가 대상자에게는 평가 관련한 내용을 외부에 발설하지

않을 것을 서약하는 보안 서약서와 Task 에 대한 평가 설문지([그림 11]가 제공되었다.

[그림 10] 평가에 사용된 Moderator Guideline

[그림 11] 평가 대상자에게 제공된 평가 설문지


평가 대상자 프로필

평가 대상자는 실험 방법의 평가 대상자 Screening 기준에 따라 일반 사용자와 전문가 각 6 명 (총

12 명)을 섭외 하였다. 아래 <표 7, 8>은 평가 대상자의 프로필을 나타낸 표이다.

<표 7> 평가 대상자 프로필 : 일반 사용자

평가 대상자 나이 성별

A 49 남자

B 48 남자

C 52 남자

D 46 여자

E 45 여자

F 51 여자

<표 8> 평가 대상자 프로필 : 전문가

평가 대상자 Domain 직업 & 이력

최영현 Service 디자인학 박사, 계원예대 광고브랜드디자인학과 교수

배형미 Service 스마트비즈랩 대표

권오재 UI 한국산업기술대 산업디자인공학과 교수

우범영 UI 슬로우디자인 대표, SK Planet 상생혁신센터 강의 다수

허도석 GUI 유투인터랙티브 대표

김근찬 GUI 위드아이 대표

사용자 행태 분석용 Usability Test Solution

Software 의 Usability Test 를 위한 전문 Solution 을 활용하여 사용자가 Task 를 수행하는 동안 Eye

Tracker 와 Recorder Module 을 활용하여 시선 움직임과 시선 배치 분포도를 Screen Flow 와 함께

기록하고 동시에 Observer Module 을 통해 사용자의 화면을 실시간으로 관찰하며 에러를

Tagging 했다. 이후 결과 데이터를 Manager Module 을 통해 분석했다. 아래 <표 9>는 각

Module 에 대한 상세 설명이다.


<표 9> Usability Test Solution의 4가지 Module

Module 기능 화면 or 외관

Recorder 사용자의 업무 및 작업내용을 Screen Flow

그대로 녹화하고, 더불어 노트북 또는 pc 에

설치된 web cam 을 활용하여, 사용자의 표정 및

대화내용까지 녹화할 수 있다.

Eye

Tracker 모니터 하단 거치형 별도 장치로 소프트웨어

UI/GUI 모니터링 및 리서치를 위한 전용

프로그램(Morae)과 연동된다. 사용자의 시선

추적이 가능하며, 경로 및 빈도, 시선이

머무르는 시간 등이 기록되어 추후 Manager

프로그램을 활용하여 분석 가능하다.

Observer Recorder 를 통해 녹화되고 있는 영상 (Screen

Flow 와 평가참여자의 웹캠화면 및 아이트랙킹

데이터)을 스트리밍 방식으로 전송해, 별도

장소에서 실시간 관찰이 가능하다.

Manager 평가참여자의 영상데이터를 다양한 방식으로

분석, 활용할 수 있는 프로그램이다.


Eye Tracker 를 사용하기 위해서는 Calibration 과정이 필요하며 아래 <표 10>과 같은 순서에 따라

진행된다.

<표 10> Eye Tracker Calibration 단계 설명

순서 Calibration 단계 설명 이미지

① 모니터 하단에 Eye Tracker 장비를 배치한다.

(빨간색 점선 테두리로 표시된 부분이 Eye

Tracker Module)

② 눈이 인식되는 거리 범위 내에 있는지

확인한 후 화면에 흰점 두개가 가운데에

보이도록 평가 대상자의 위치를 조정한다.

③ 5-Point Calibration 을 실행한다.

④ 화면의 가운데에 점이 나타난 후 네

모서리로 차례로 이동한다. 이 점을 눈으로

따라가며 주시한다.

⑤ Calibration 이 제대로 됐는지 확인 후 제대로

됐다면 Task 수행 단계로 진행하고 제대로

되지 않았다면 ②번으로 이동해 다시

Calibration 을 수행한다.


Eye Tracker 장비인 ‘MyGaze’의 사양은 아래 <표 11>과 같다.

<표 11> 평가에 사용된 Eye Tracker 장비 ‘MyGaze’의 사양

Sampling rate 30Hz

Interface setup Use with Monitor/Tablet (10” to 22”), Use with laptop

Gaze position accuracy 0.5°

Spatial resolution (RMS) 0.1°

Data Timestamp, gaze data (x/y screen coordinate), 3D eye

position


일반 사용자 평가는 서비스에 대한 소개를 한 이후 Prototype 을 통해 Task 를 수행하고

Moderator 에게 Task 상세 설명을 듣고 이후 Survey 를 통해 만족도 평가를 하고 In-Depth

Interview 를 진행하였다. 아래 [그림 12]는 시나리오를 도식화한 것이다.

[그림 12] 사용자 평가 시나리오



5.1. Survey 결과

Task 별로 15 point Likert scale 을 사용하여 평가 하였고 평가를 통해 수집된 데이터를 100 점

만점으로 환산하여 평균을 산출했다. 아래의 <표 11>과 같이 100 점 환산 기준으로 사용자

84.72 점, 전문가 89.44 점으로 평가 되었고 목표 80%를 초과 달성했다.

<표 12> 사용자, 전문가 Survey 결과 각 평균 점수

사용자 만족도 평가 전문가 평가

평균 점수 84.72 89.44

사용자를 대상으로 한 평가 결과 ‘Task 2 식단 입력’이 Service/UI/GUI 모든 평가 지표에서 가장

낮은 평가를 받았다. 반면, ‘Task 1 회원가입’은 Service/UI/GUI 평가지표에서 타 task 대비 모두

가장 높은 평가를 받았다.

<표 13> Task별, Dimension별 사용자 평가 결과

사용성 유용성

평균 UI GUI Service

Task 1 96.67 87.78 96.67 93.71

Task 2 71.11 74.44 74.44 73.33

Task 3 84.44 84.44 84.44 84.44

Task 4 88.89 87.78 85.56 87.41

평균 85.28 83.61 85.28 84.72

전문가 평가 결과 ‘Task 2 식단입력’은 UI, GUI 평가 지표에서 타 task 대비 가장 낮은 점수를

받았으며, ‘task 3 추천 식품 확인’은 service 평가 지표에서 가장 낮은 점수를 받았다

<표 14> Task별, Dimension별 전문가 평가 결과

사용성 유용성

평균 UI GUI Service

Task 1 92.78 92.22 92.78 92.53

Task 2 87.22 86.11 89.26 87.53

Task 3 87.78 88.33 86.30 87.47

Task 4 93.33 87.22 90 90.18

평균 90.28 88.47 89.59 89.44


5.2. In-Depth Interview 결과

‘Task 1 회원가입’의 경우 사용자 평가의 인터뷰에서 특별한 불만 사항이 없었다(개인적 취향에

대한 불만 제외). 그 외 장점으로는 글자의 크기 조절 기능이 마음에 들었다는 의견이 있었다.

<표 15> ‘Task 1 회원가입’ VOC

내용

사용성

UI 장점

- 쉽고 간편한 기본자료 입력(3 명)

- 글씨 크기 조절 가능하여 시인성이 좋음(1 명)

단점 (없음)

GUI 장점 - 만족스러운 디자인(5 명)

단점 - 붉은 색 싫어함(1 명)

유용성 Service 장점

- 필요한 정보만 간단히 요구하여 진행단계가 간편하고

체계적임(5 명)

단점 (없음)

‘Task 2 식단 입력’의 경우 장점보다 단점에 대한 의견이 더 많았다. 사진을 촬영해서 식단을 입력

해야 하는 생소한 방법 때문에 기능에 대한 이해도가 낮거나 신뢰도를 의심하는 의견이 있었다.

<표 16> ‘Task 2 식단입력’ VOC

내용

사용성

UI

장점 - 사진 촬영만으로 가능해 편함(2 명)

단점

- 사진 찍어야 되는 지 몰랐음(2 명)

- 플러스버튼,추천식품버튼 등 의미 모호(1 명)

- 공공장소에서의 사진촬영에 대한 부담감(1 명)

GUI

장점 - 만족스러움(1 명)

단점

- 버튼(플러스버튼,식사추가버튼, 사진입력버튼 등)의 낮은

직관성(2 명)

- '먹은 음식 표시'기능에서 화면의 대비 강조를 원함(1 명)

유용성 Service

장점

- 실제 먹은 음식을 이용하여 유용할 듯(2 명)

- 사진 촬영 방법이 유용함(2 명)

- 전문가의 추천을 받을 수 있다는 기대감(1 명)

단점

- 한 그릇은 어떻게 입력할 지 모르겠고, 이 시스템 자체에

공감부족(2 명)

- 사진촬영방식에 대한 낮은 신뢰성(1 명)

‘Task 3 에서 먹는 양의 많고 적음에 대한 정보가 아닌 나에게 부족한 식품군에 대한 정보를 줘서

좋다는 의견이 있었고, 못 먹거나 안 먹는 음식을 피할 수 있는 기능이 있으면 좋겠다는 의견이

있었다.


<표 17> ‘Task 3 추천 식품 확인’ VOC

내용

사용성

UI 장점

- 추천식품 정보확인의 간편한 단계 등 전체적 단계에 대한 높은

만족도(1 명)

단점 (없음)

GUI 장점 - 시인성이 좋고 만족스러운 디자인(3 명)

단점 - 화면들이 조금씩만 바뀐 디자인이라 매력 떨어짐(1 명)

유용성 Service

장점 - 추천정보가 유용함(3 명)

- 추천음식 기능이 음식 선택 고민을 덜어줄듯(2 명)

단점 - 한 화면에 너무 많은 정보를 보여줌/영양 뿐 아니라 선호하는 음식

스타일(못 먹는 음식은 피하고) 추천기능도 원함(1 명)

‘Task 4 보고서 확인’에서 보고서의 정보가 유용하다는 의견이 많았지만, 보고서의 목록 화면이

Touch 행위를 유발하지 않게 보여 진입할 수 있다는 생각을 못했다는 의견이 있었다.

<표 18> ’Task 4 식습관/보고서 확인’ VOC

내용

사용성

UI

장점 - 접근이 용이함(3 명)

- 사진과 '보고서' 덕분에 시인성이 매우 좋음(1 명)

단점 - 스크롤 상하이동이 안 되어 불편(1 명)

- 하단에만 집중하여 상단의 '식단기록'과 '보고서 버튼'을 못 봄(1 명)

GUI

장점

- 색, 배열 등 디자인이 만족스럽다(3 명)

- '하루일과'와 '식단 기록'이 이해하기 쉬움(1 명)

- 한 눈에 볼 수 있어서 좋음(1 명)

단점

- 버튼에 대한 불만(1 명)

- 식습관-식단기록 화면에 지나치게 많은 정보(1 명)

- 사진으로 영양사가 평가를 한다는 것에 대한 의문/불신(1 명)

유용성 Service

장점

- 몰랐던 정보들이 한 눈에 제공되어 유용함(3 명)

- 기존의 서비스와 달리 많은 정보를 제공해주어 안 좋은 습관

고치기 효율적일 듯(1 명)

- 부족한 음식 정보제공을 한번에 해주고, 그래프를 통해 시인성

또한 좋음(1 명)

단점

- 양호, 불량 등에 대한 폰트칼라의 다양성 원하고 먹는 양에 대한

수치화된 정보 부족으로 신뢰성 낮음(1 명)

- 불량, 양호라는 어감이 거부감 일으킴(1 명)

- 나의 잘못된 부분까지 하나하나 가르쳐준다는 것에 대한

부담감(1 명)


5.3. 시선 분산 패턴 결과(Eye tracker)

Morae 소프트웨어의 Observer Module 과 Task 수행 녹화 영상을 대조 평가하여 전체 에러 빈도와

Task 별 에러 빈도를 체크하였다. 전체 에러 횟수 30 회 중 과반이 넘는 18 회가 ‘Task 2

식단입력’에서 발생했다. 반면, ‘Task 1 회원가입’은 어떠한 에러도 발생되지 않았다.

<표 19> Task 별 Error 횟수

Task Error

Total 30

Task 1 0

Task 2 18

Task 3 6

Task 4 6

MyGaze 를 사용한 시선 추적 데이터를 Morae 소프트웨어를 이용하여 사용자가 실제 보고 있는

화면에 맵핑해 에러가 발생한 task 들을 분석 했다.

‘Task 2 식단입력’에서 식단 입력의 메인 화면에서 하단 버튼보다 상단 화면 등에 먼저 시선이

가고 주로 상단 화면에 시선이 머문다.([그림 12]의 좌측) 시인성이 낮은 하단 버튼들로 인해 버튼

탐색을 계속(scan-path 가 목적 없이 길다)하는 것이 관찰되었고([그림 12]의 중앙), 비교적

직관성이 높은 ‘추천식품’이나 ‘식습관’을 쳐다보며 ‘+’ 버튼을 간과하는 모습이 관찰되었다.([그림

12]의 우측)

[그림 13] ‘Task 2 식단입력’의 Gaze Plot


‘Task 3 추천식품 확인’에서 추천식품 화면 진입 시 너무 많은 정보가 제공되어 시선이

우측상단의 ‘좋아요’ 버튼, 사진부터 하단의 태그, 사진까지(scan-path 가 길다) 여러 곳을

봤다([그림 13]의 좌측, 중앙). 또한, 정보를 읽느라 많은 시간을 소비(하단의 태그 부분과 사진에

fixation 이 길다)하는 것을 관찰 할 수 있었다([그림 13]의 우측).

[그림 14] ‘Task 3 추천식품 확인’의 Gaze Plot

‘Task 4 식습관/보고서 확인’에서 2 월달 보고서를 찾아 보기 위해 ‘식습관’ 버튼을 바로 선택하지

못하고 하단버튼들에서 탐색을 계속하는 것이 관찰되었다(‘식습관’과 ‘보고서’ 사이의 낮은

연관성)([그림 14]의 좌측). ‘보고서’ 버튼이 강조가 되지 않아, 이를 찾기 까지 오랜 시간이

걸렸으며(scan-path 가 매우 길다)([그림 14]의 중앙), ‘2 월’ 이라는 단어 때문에 ‘2 월간 보고서’를

보긴 하나, 버튼임을 인식하지 못하여 계속 탐색하는 것이 관찰 되었다(2 월간 보고서 주위에

잦은 fixation 과 2 월간 보고서 외에 다른 부분(3 월보고서, 양호 등)을 봄)([그림 14]의 우측).

[그림 15] ‘Task 4 식습관 보고서 확인’의 Gaze Plot



우리는 Activity Tracking, 영양 섭취 관리 2 개의 서비스 중에서 영양 섭취 관리 서비스의 Mobile

Application UI/GUI 에 대해 사용자/전문가 평가를 진행하였다. 평가한 내용은 주요 서비스

중심의 4 개 Task 로써, 회원가입 및 정보 입력, 식단 입력, 추천 식품 확인, 식단 기록 및 식습관

보고서 확인이다.

평가를 통해 서비스의 유용성 측면에서 높은 평가를 받았다. 다른 서비스와 비교했을 때, 칼로리

분석 (‘많이 먹었다’, ‘적게 먹었다’) 중심으로 얘기하는데, 해당 서비스는 개인화, 지능화되어

개인에 맞게 구체적으로 제안(‘무엇을 먹어라’, ‘부족한 식품이 무엇이다’)해서 좋았다는 의견이다.

또한, 평가에 참여한 대부분의 사용자들이 스마트 폰에 일정을 관리하는데, 일정에 맞추어 식당

추천하는 서비스를 마음에 들어 했다.

그러나 한편으로 ‘사진으로 영양사가 분석했을 때 정확도에 대한 신뢰도가 의심이 된다. 그러나

정말로 된다면 좋을 것 같다.’ 라는 의견도 있었다.

UI/GUI 사용성 측면에서는 한 눈에 확인할 수 있는 식단 기록과 순차적인 회원가입 방법과

직관적인 메타포를 사용한 정보 입력 방법은 편리했으나 용어에 대한 순화가 필요해 보인다.

버튼을 표현할 때도 아이콘만으로는 기능 인지를 어려워하여 레이블과 함께 표현하고 명확한

Cue 를 제공할 필요가 있다.

평가 결과를 종합했을 때 녹십자 영양 섭취 관리 서비스에 대해 대체적으로 만족스럽고

사용하는데 큰 불편이 없다고 하였다. 그러나 사진분석 방법의 신뢰성이라든가 건강관련

서비스로써 컬러, 용어 사용에 대해서는 고민할 부분이다. 또한, 평가 시료가 실제 스마트폰

어플리케이션이 아닌 Paper Prototype 으로 진행되어 실제 사용하면서 나오는 불편사항이나

요구사항 등의 의견수렴이 미흡하였다.

1 차년도에는 Activity Tracking Service 와 영양 섭취 관리 서비스 2 종에 대해 Start 를 하였기

때문에 향후에 두 서비스의 고도화 작업을 위해 서비스별 UI/GUI Trend 와 사용자 의견을

수렴하여 계속 변화하는 Trend 를 반영하고 구체적인 서비스 기능 발굴이 진행되어야 한다.


개선안

평가 결과 중 사용자 만족도, 인터뷰 내용, 전문가 평가, 개선 방안 제안 등의 내용을 바탕으로

아래 표와 같이 영양 섭취 관리 서비스의 UI/GUI 개선안을 도출하였다.

<표 20> 평가 결과에 따른 영양 섭취 관리 서비스 UI/GUI 개선안

평가안 개선안

Task 2 의 개선안(1/2)

사진을 촬영하여 식단을 입력하는

버튼에 대한 개선안으로 버튼의

메타포를 수정하고 버튼 하단에 기능을

직접적으로 설명하는 Label 을 추가

하였다.

Task 2 의 개선안(2/2)

먹은 음식을 표시하는 화면의 가이드를

화면의 중앙으로 이동 시켰고 ‘확인’

버튼을 배치하여 사용자가 가이드를 다

읽은 후 다음 단계로 진행할 수 있도록

개선하였다.


Task 4 의 개선안

식습관 보고서 목록 화면에서 목록을

Touch 하여 진입할 수 있다고 인식

하기 힘들었다는 의견을 반영하여 진입

개념의 대표 메타포인 우측 화살표를

목록에 추가하여 개선안을 만들었다.

설문조사(알러지) 개선안

알러지를 유발하거나 앓고 있는 질병

관련하여 먹을 수 없는 음식에 대한

정보를 서비스 중간에 설문 형태로

물어보는 것은 큰 위험이 있다는

의견을 수렴하여 회원가입 단계에서

해당 정보를 반영 하는 것으로 개선

하였다.



[1] MacKenzie, I. S. (2012). Human-computer interaction: An empirical research perspective. Newnes.

[2] Cairns, P., & Cox, A. L. (2008). Research methods for human-computer interaction (Vol. 12). Cambridge University Press New York, NY, USA.

[3] Martin, B., Hanington, B., & Hanington, B. M. (2012). Universal methods of design: 100 ways to research complex problems, develop innovative ideas, and design effective solutions. Rockport Pub.

[4] 김진우. (2005). Human Computer Interaction 개론. 서울: 안그라픿.

[5] National Institute of Aging. U.S. Department of Health and Human Services.

http://www.nia.nih.gov/health/publication/making-your-website-senior-

friendly#easy

http://www.nia.nih.gov/health/publication/making-your-website-senior-friendly#easy

http://www.nia.nih.gov/health/publication/making-your-website-senior-friendly#easy

1차년도 정량적 평가 보고서 (Quantitative Evaluation Report)

Documents

Transcript of 1차년도 정량적 평가 보고서 (Quantitative Evaluation Report)