uT 환경에서의 Telemedicine / Telematics 서비스의 HCI 연구 개발

2007.04

박 범 (Peom Park), Prof. / Ph.D.

Ajou University / HuminTec, Co., Ltd.HCI & Human Factors Laboratory

2

컴퓨팅 기기의 대중화 및 범용화

자료 : http://www.ubiq.com/hypertext/weiser/

컴퓨팅 기기의 소형화

최초의 컴퓨터(’46)

Mainframe(’65 ~)

PC(’80 ~)

Post PCMicroprocessor,

etc.

특징 최초의 컴퓨터

초기 Mainframe

초기 PC

(IBM)Post PC

크기초대형

( 무게 : 30t)대형 소형 초소형

처리속도

1/100 초( 밀리 )

1/100 억초( 나노 )

1/1 조초( 피코 )

1/1 조초( 피코 ) 이하

IT 환경의 변화 (1)

3

컴퓨터 패러다임의 변화

70 년대 80 년대 90 년대 00 년대

Personal computing

Shared Dedicated

Distributed computing

Centralized Distributed

Mobile computing

Static Mobile

Ubiquitous computing

Poor Rich

Simple Complex

네트워크의 확산

IT 환경의 변화 (2)

4

컴퓨팅 기기의 대중화 및 범용화

컴퓨팅 기기의 소형화

컴퓨터 패러다임의 변화

네트워크의 확산

컨버전스 현상의 심화

IT 환경의 변화

Use

r M

obili

ty

none

some

none some

Interfacetransparency

MobileComputing

WearableComputing

UbiquitousComputing

DesktopComputing

SmartEnvironments

AugmentedReality

AwarenessSystems

AdaptiveInterfaces

자료 : Communications of ACM, 2002

유비쿼터스 등장

유비쿼터스 환경을 구성하는 핵심 5 대 기술 ( 센서 , 프로세서 , 인터페이스 , 네트워크 , 보안기술 ) 중 인터페이스 부분과 시스템 수준에서의 사용성을 평가하는 것이 필요함

5

HCI 특성

Ⓐ I/O Devices Ⓑ Operating System Ⓒ User Interface Ⓓ HCI (Human Computer Interaction)

HCI 연구의 목적은 컴퓨터 혹은 시스템을 포함한 체계에 대한 사용성 즉 , 효율 , 성능 , 만족도 , 안전성 등을 개발하거나 개선하는 것

설계자 사용자

시스템

User Centered Design/Development

6

Text 기반 UI Graphic 기반 UI Network 기반 UI Ubiquitous 기반 UI

현재 단계

Command based XEROX Star 프로젝트

이전

GUI 와 WUI(Web based UI) 의 혼합

WWW 대중화 Hyperlink, Navigation

Apple, MS, IBM PC 대중화 WYSIWYG 스타일

Intelligent Interface 센서를 통한 상황

인지 능동형 반응

중앙 집중식 환경 텍스트 기반 환경 단일 사용자 환경 단일 업무 처리 환경

분산 컴퓨팅 환경 인터넷 / 인트라넷 기반 환경 다양한 사용자 , 다양한

업무 처리 환경 멀티미디어 데이터

프로세싱

Mobile, Ubiquitous 환경 Agent decision-support Intelligent Virtual Reality & 3D

정의 (Definition) : 사용자를 위한 입력 언어 , 기계를 위한 출력 언어 , 그리고 상호작용을 위한 프로토콜 (1985, ACM SIGCHI)

인터페이스 연구 추세

7

인터페이스 타입 (1)

사회적 사용자 인터페이스 앵무새 ( 피디 ) 형상의 메타포 사용 프로토타입 제작 중 MS Usability Lab 주관 200 여명의 박사 연구원 10 억불 /1 년 예산

역동적인 상호작용을 지원 상호작용과 지연의 조율을 인식 간섭을 효과적으로 관리 상호작용의 사회적 , 감성적 측면을 인식

Introduction

Requirements

Natural language and audio based intelligent interface

MS Persona agent project

8

인터페이스 타입 (2)

3D Graphical Interface

구분 설명

방식 ① Virtual Reality

② Hologram

용도

미시세계 / 거시세계 제어 시뮬레이션 / 교육 컨텐츠 멀티미디어 진화 형태 유비쿼터스 시스템

장비 HUD(Heal-Up Display) Data Glove 3D Scanner

특징 높은 몰입성 제공 현실 세계에 근접한 모델 직관적 / 직접적 시스템 지원

9

인터페이스 타입 (3)

홍채 인식 / 뇌파 인식 interface

뇌파 키보드ERTI, 2004 년 12 월

간단한 게임이나 제어에 활용장애를 가진 사용자를 위한 기술약간의 훈련 필요

10

정의 : 특정한 목적을 성취하기 위한 특정한 사용자들에 의해 어떤 제품을 사용할 때 특정한 맥락의 사용에 있어서 성능 , 효율성 그리고 만족도에 대한 것 (ISO 9241-11, 1998)

Effectiveness Efficiency Satisfaction

ISO 9241-11 / 90 년대 Learnability Efficiency of use Memorability Few and Noncatastrophic Error Subjective satisfaction

Jakob Nielsen / 00 년대

?

GUI based NUI based

Ubiquitous 시대

시기 목적 방법 비고

탐색 초반 디자인 컨셉유효성 평가

페이퍼 목업화면 디자인

사용자는 제품을 사용하면서 무엇을 상상하고 생각하는가 ? 제품이 제공하는 기능들이 사용자에게 가치를 부여하는가 ? UI 를 직관적으로 사용할 수 있는가 ? 이전의 사용자들이 새로운 GUI 의 사용법을 알 수 있는가 ? 초보자와 경험이 많은 사용자를 모두 수용하기 위해서는 도움말이나 매뉴얼의 목차를

어떻게 구성해야 하는가 ?

평가 초 / 중반 컨셉 효율성 평가

정량적 자료과업 수행 상동

검증 후반부사용성 보증표준 부합

여부

실행척도( 속도 , 정확도 )

선호도결함 발견

과업의 표준이 “시간 안에 완료하는 것”이라면 , 참여자의 70% 는 표준에 들어가야 한다 . 혹은 모든 참여자의 점수의 평균을 구하여 단순히 표준과 비교한다는 것을 정해 두어야 함

비교초반중반후반

대안 평가인터페이스스타일

요소 평가

비교 제품에 반하여 얼마만큼 필적할 수 있는지 제안된 타겟 집단의 잠재성 선호도

Usability 연구 추세

11

Usability testing room

Mobile Usability testing

12

uHealthcare 프로젝트

DigitalHospital

SmartMedicine

UbiquitousHealthcare

Digital 병원

Digital 건강보험

원격 진료

환자 상태 관리

13

u-Healthcare 정의 u-Healthcare 정의

Telemedicine ?

Medicine on distance or remote medicine

Irregardless of patient and specialist locations, rapid access to the expertise in distant location whenever necessary. (by European Commission for Telemedicine)

Ubiquitous Healthcare ?

A computer system that enables people to manage/enhance/monitor their health without paying attention to the computers.

14

Future

Past

Present

• 병원 중심의 POC (Point of Care)• 경제성 , 기술 완성도 등의 문제로 인해 실효성 있는 서비스 이루어지지 못함• 의료 정보 진화 : HIS OCS PACS EMR EHR uT Healthcare

• 환자 중심의 POC (Point of Care)• 모바일 디바이스의 Seamless 한 특성에 기반• 초기수준의 Biosensor 에 의한 특정환자 상태 모니터링 중심• 위치인식 기술과 결합하여 응급상황대처 가능

• 의료기술의 혁신 - Bio, Nano, Robotics Technology 발전에 따른 e/m Healthcare 의 고도화 - Decision Making Supporting System 의 신뢰도 향상 등을 통한 오진 예방 - 치료에서 예방으로 개념 및 기술 중심 이동

• 웰빙라이프 등 생활건강의 중요성 대두 - Environments, Activity, Cognition 등이 건강에 주요한 인자로 작용 - ICT 기술 발전에 기반한 Self-treatment 확산

• HCI 기술발전 Easy to Use 등의 고전적 HCI Principle 을 포함하여 Personalized Interface, Persuasive Technology, Multimodal Interaction, Augmented Reality 등의 최신 개념 및 기술 활용한 사용자 중심의 Human Computerized System Interaction 개념 활성화 커뮤니티 중심의 uT Multimodal Interface Interaction

네트워크화 이전

Off-Line Medical Treatment

유선네트워크

Telemedicine

이동통신

m-Healthcare

Ubiquitous Computing

u-Healthcare

uHealthcare 발전방향

15

Home Appliance

i-potOffering a way to monitor the elderly Relatives living as far away as North America and Europe can

use the i-pot to monitor elders living in Japan. Members of the service can see recent records of i-pot usage

on a Web site.

Case Study (1)

In addition, twice a day the

server e-mails the most recent

three usage times to

a designated recipient.

The report specifies when the i-

pot was turned on, how often

water was added to

the machine, and how long the

electric kettle was in use.

iCatInteractive Personal Dietician Toy In Philips’s HomeLab, a demo uses iCat as a helpful assistant in the kit

chen. It combines information about the user’s calendar, weight and activity t

o give tips on what to eat and do, taking into account personal preferences.

It uses multi-modal interaction including speech, vision, touch and emotional feedback

through animated motion, light and sound.

According to Time Magazine: “The notion of robot as home companion is nothing new,

but iCat adds a human dimension to the job: an expressive face.

Tell her to go away, and iCat will look sad. Praise her, and she will beam.”

16

Home Appliance

Case Study (2)

CareNet DisplayInteractive Digital Picture Frame The device is to help local care network members provide daily

care. The color of the icons represents high-level status of the differen

t types of information. Each of the main icons (meals, medications, outings, activities,

mood, falls, & calendar) change slightly to convey state.

To get more information

about an event, the user

merely touches the icon;

this causes the photo of

the elder to be replaced

with details of that event

.

The Persuasive MirrorComputerized Persuasion for healthy living The Persuasive Mirror makes use of behavioral data in order

to provide its user with continuous visual feedback on their behavior in a natural and least intrusive manner.

The main goal of this project is to evaluate if such computerized persuasion can help people reach their personal goals, for example leading a healthier lifestyle like regular Exercise or quitting

smoking. The Persuasive

Mirror aims at helping people by using one’s reflection to improve lifestyle.

17

Health – ware

Case Study (2)

Bio-shirtsInteractive Digital Picture Frame The city of Daegu will be the first city in South Korea to provide a ubiquitous healthcare service in which wearable computers will be used to monitor the health of elderly people living alone and patients with chronic diseases

The devices, in the form of shirts, alert medical staff in real time when an emergency occurs.

The shirts have embedded sensors that register vital signs and send the information to medical centers through the network.

They also permit self-diagnosis, distance monitoring, emergency

care and medical consultation for users in an environment of ubiquitous connectivity.

Therapeutic JacketSoft Therapy This is essentially a therapeutic jacket using a healing and calming combination of

Light, warmth and vibration massage.

18

MyFoodPhoneDigital Nutrition Advisor A camera phone service can make losing weight a snap.

You take a picture of what you're about to eat, then e-mail the photos with a brief written description about your meal to the my food phone website.

A dietician then reviews what you're eating and sends you comments and suggestions on how to improve your next meal.

Mobile Devices

Case Study (3)

Gluco PhoneHealth Phone for Diabetic PatientsThe single button touch will lead you to the data center in your KP8400

where you can assess your blood sugar level and calories intake. In addition, the info can be sent to the caretaker about the patient’s well-being.

The new KP8400 even manages your meal plans and can manage your diabetes simply and expediently.

19

SurgiChipThe Smart Way to Surgical Safety.

Helps Prevents the Wrong-patient, Wrong-site, and Wrong- procedure Surgery.

This system incorporates a 3-step verification process designed to complement the existing protocols followed prior to a surgical procedure.

At each step along the way, positive patient identification is accomplished and critical data pertaining to the surgical procedure, site, and side are verified for accuracy.

RFID Tags

Case Study (4)

20

HuminTec’s Point of Care System

1. On-site real-time patient information querying system

Use of wireless internet, co-operating with Ajou University Hospital

2. Will be popular with Ubiquitous-hospital trend

3. Features: search patient information and diagnosis, organizing inpatients, nursing, etc.

4. Plan to co-operate with a leading SI medical corporation such as LG CNS

Case Study (5)

21

HuminTec’s RFID Middleware and Academic Version Package

1. Messaging technology applied middleware

2. Provided Real-time stream data filtering and summarization

3. Real-time error handling and auto execution control

4. Component based

5. Cost efficient

Case Study (6)

22

HuminTec’s WellbeingCare Home Gateway S/W

Home

Gateway

Doctor’sView

er

RAW DATA

(XML, NOT HL7)

View in the

EMR. OCS

S/W

(Prototype)

Screenshots of major function of S/W

Case Study (7)

23

HuminTec’s Smart Mirror

24

HuminTec’s Smart Picture Frame and Robot

25

HuminTec’s WellbeingCare Total Service Solution

Management – Emergency information alarm in

mobile Environment

Management – EMR Gateway

Observing International Standard

HOME CARE A - Management : Materializing system and sensor interface

– Commission 1 : Research and development of intelligent Agent – Commission 2: Drawing up user scenario , HCI research

Management – Bio Sensor interface (Wearable PC S/W)

Commission 1 - Intelligent Agent

(1) COPD PATIENT & BIO-SIGNALINTERFACE

(2) WIRELESSHOME NETWORKIEEE 802.11B,G

(3) HOME CARESERVER

DOCTOR A

DOCTOR B

DOCTOR C

ACCESS in the HOSPITALCommission 2 : U-HCI research

between medical specialist and patient

(4) EMR GATEWAY

FAMILY A FAMILY B

FAMILY C

(5) U-TELEMEDICINEWWW SERVER

HOME CARE B

HOME CARE C

HOME CARE D

HOME CARE E

HOME CARE F

● Input ComponentUnrestricting & Non-intrusive Vital Data Monitoring Devices (Heart Rate, Breathing Rate, Blood pressure, EKG, SpO2…)

● Decision-making Support Component- Classifying & standardizing vital data system- CAD (Computer Aided Diagnosis) System- CAP (Computer Aided Prediction) System - Clustering Algorithm System- Knowledge Base

● Output ComponentInformation display & interaction component

● Sending vital data / alert messageInformation display & interaction component

Case Study (9)

26

uCity 프로젝트

교육 , 업무 , 주거 , 서비스 교통 , 행정 등의 도시생활 전체 서비스에 유비쿼터스 기술을 적용하여 기업 , 정부 , 시민으로 구성된 도시 거주자에게 편의를 제공하는 미래형 도시

uCity 주체

시민Intelligent Life

기업Integrated Business

정부Integrated Business

27

ITS 및 Telematics 등 교통과 관련된 요소들이 유비쿼터스 기술과 접목되어 사용자의 편의성과 안정성을 극대화하는 교통 시스템

uRoad 시스템

Case Study (1)

28

향후 발전방향

유비쿼터스 환경의 발전 단계에 따라 HCI 분야에서도 사용자의 특성 및 욕구 (needs) 를 정확하게 예측하면서 인터페이스 기술 및 usability 평가 기술을 활용하여 사용자 중심의 시스템 (user centered system) 을 구현하도록 지원해야 함

29

The End.