基于ARToolkit立体视觉成像增强现实系统的研究第六图书馆

沉浸性是虚拟现实系统最为吸引人的特点,也是研究的重点和热点。而增强现实技术是将计算机生成的虚拟环境的图像和真实环境

的景象叠加显示到用户所佩带的辅助显示设备来获得真实的沉浸感。ARToolkit为增强现实技术的应用提供了一种方便快捷的开发

工具.本文介绍了一个使用ARToolkit实现具有立体视觉成像的人机交互系统。沉浸性是虚拟现实系统最为吸引人的特点,也是研究

的重点和热点。而增强现实技术是将计算机生成的虚拟环境的图像和真实环境的景象叠加显示到用户所佩带的辅助显示设备来获

得真实的沉浸感。ARToolkit为增强现实技术的应用提供了一种方便快捷的开发工具.本文介绍了一个使用ARToolkit实现具有立体

视觉成像的人机交互系统。增强现实 计算机视觉 立体视觉 沉浸微计算机信息易俊 李自力华中科技大学电子与信息工

程系,武汉4300742007第六图书馆

www.6lib.com

第六图书馆

软件 天地

文章编号：1008-0570(2007)1o一1—0255-03

基于ARToo l kit立体视觉成像增强现实系统的研究 Stereovision Imaging Augmented Reality System Based on ARToolKit

(华中科技大学)易 俊 李 自力 Yl JUN Ll ZIL

摘要：沉浸性是虚拟现 实系统最为吸引人的特点．也是研究的重点和热点。而增强现 实技术是将计算机 生成的虚拟环境的图

像 和 真 实环 境 的景 象叠加 显 示 到 用户 所佩 带 的 辅助 显 示设 备 来 获得 真 实的沉 浸 感 。 ARToolkit为 增 强现 实技 术 的 应 用提

供 了一种 方便 快捷 的开发 工具 ．本 文介 绍 了一个使 用 ARToolkit实现 具 有 立体视 觉成 像 的人机 交 互 系统。

关键词：增强现实；计算机视觉；立体视觉；沉浸

中图分类号：TP391．9 文献标识码：A

Abstract：Immersive is the most attractive part of virtual reality system ，and also is focal point and hot spot studied． Augmented Reality

(AR) is a technology that overlays virtual world image generated by computer on real world scene and it is showed on the supportive e—

quipment user wears to obtain real immersion．ARToolKit provides a convenient and quick tool to develop AR application；this paper per-

forms a man-machine system of stereovision imaging with ARToolKit．

Key words：augmented reality，computer vision,stereovision，immersion

1 引言

增强现实(Augmented Reality，简称 AR1就是将计算机生成的

虚拟对象与真实世界进行融合，构造出具有虚实结合的虚拟空

间．与传统虚拟现实技术所要达到的完全沉浸的效果不同，增强

现实技术致力于将计算机生成的虚拟图像或其它信息叠加到

用户所看到的真实世界上。体验者通过佩戴头盔或者立体眼镜，

可以清晰的看到虚拟物体叠加到真实场景上，同时通过多种方

式与虚拟物体进行交互。

因此增强现实技术 在工业设计 、机械制造 、建筑 、教育和娱

乐等领域都有着广泛的应用前景．而且它不仅提供了一种更容

易实现的虚拟现实的方法，更代表了下一代更易使用的人机界

面的发展趋势 。AR技术 也渐 成为近年来虚拟 现实范畴的一个

热点研究领域。

开发增强现实系统的难点在于如何实时、精确的计算观察

者视点相对真实世界的位置和姿态，使得虚拟场景能够与真实

世界无缝融合f即三维注册)。当前流行的基于计算机视觉的三

维注册方法主要 有两种 ：基于标识 的三维注册和基于 自然特征

的三维注册。ARToolkit采用基于标识 的视频检测方法进行三维

注册的，其工具包中包含了摄像头校准和标记制作的工具，它支

持将 Direct3D、OpenGL图形和 VRML场景合并到视频流中，同

时支持显示器和头盔等多种显示设备。ARToolkit是一套基于 C

语言的增强现实系统二次开发包 ，同时由于其开放源代码已成

为在 AR领域使用最广泛 的开发包。许多 AR的应用都使用

ARrr0olkit或在其基础上改进的版本来进行开发的。

2 基于 ARToolkit的计算机视觉原理

ARToolkit利用计算机视觉技术来计算摄像机相对于黑白

标识f带黑色方框的正方形)的距离与位置。首先根据用户设定

的阈值将采集到的一帧彩色图像转换成一幅二值f黑白)图像 ，

然后对该二值图像进行连通域分析。找出其中所有的四边形区

易 俊：硕士

域作为候选匹配区域，将每一候选区域与模板库中的模板进行

匹配 ，如果产生匹配，则 ARToolkit认为找到了一个标识，利用

该标识区域的变形来计算摄像机相对于已知标识的位置和姿

态．最后根据得到的坐标变换矩阵实现虚拟场景与真实世界之

间的三维注册 。

通过计算标识点的图像坐标与其空间三维坐标间的变换关

系．可以求出摄像机的内部参数f焦距 、像平面中心坐标、像素的

水平和垂直间距1以及摄像机相对于标识点的旋转矩阵和平移

矩阵。其计算公式如下：

1 ㈤ = ff 0 f 0 f 1 0 0

l 0 0

r1／

0

0

)

1

0

1／Ay

0

式中，e为摄像机坐标系；w为世界坐标系：R为 3x3的正交

单位矩阵；t为三维平移向量；fx，y)为空间中任意一点 P的图像物

理坐标，fu，v)表示以象素为单位的图像坐标系下的坐标，f为摄

像机焦距；fu。，vn1为像平面中心坐标；Ax、AY为像素的水平间

距 和垂直间距 。

式f11表示的是摄像机坐标系与真实世界坐标系的关系，式

f2)表示了图像坐标系下与摄像机坐标下的投影关系，式(3)表示

了空间一点 p在以象素为单位的图像坐标系下与以物理长度为

单位的图像坐标系下的关系。式f1)～式f3)共包括 l1个未知参数，

因此只要已知 6个以上的图像点坐标就可解算出全部未知参

数．而其中标识点P在真实世界中的坐标位置是已知的，进而可

以确定摄像机相对于图像标识点的位置和姿态，从而完成整个

@圄自控 局订阅号．82-946 36。元／年_255一

、J p

＼、●●●●●●● ／

y l V 八

维普资讯 http://www.cqvip.com

http://www.6lib.com 第六图书馆

www.6lib.com

第六图书馆

软件天地 中文核心期刊《微计算机信息》(测控自动化)2007年第23卷第1O-1期

场景的三维注册 。

3 海底冒险室内增强现实系统的实现

利用三维建模软件完成对海底场景及生物进行建模 ，利用

ARrr0olkit的基于视觉的注册方法完 成了海底 冒险室 内增强 现

实的系统 。最终运行环境 为：Windows XP操作系统；采用的 CCD

摄像头刷新率 为 30Hz，USB接 口、主机 CPU为 P4 3．0G．、RAM

为 2G。开发环境使用 VC++6．0，3dsmax软件进行建立模型，使

用 VRML编写脚本 。

以下是真人参与的系统 的实际显示效果 ：

图 1(a)海底冒险室内增强现实系统的外观示意图

图 1(h)头盔显示器(HMD)中的混合场景

3．1系统框架

以下是整个海底 冒险系统 的结构功能框 图

虹

设备 l I控制

海底场景模型 l 背景声音

鱼类几何模 型 I交互揭 月 声音

鱼类行为模型 l摄像机 标系

感 知行为模 型 l 显示器 举标 系

虚 拟音

视 频流

立体成

像处理

视觉

定标

摄 像头

真丈 税

颚 流

色键

抠 像

共盔硅 I l屏幕显示 l l 音箱

图 2海底冒险的系统框图

3．2系统的主要硬件构成

表 中罗列的是整个 系统所用到的最主要的硬件构成 以及简

单 的功用介绍。

表 1系统所用主要硬件及功用

设 备 具 体 规 格 功 能

主机 双核 CPU P4 630 3 0G，内存 DDR533 2G 流畅运行按个海底 冒险系统程序

显 卡 L曲 ou小 Fx34o0 4Buff~ 显存 256M 实时渲染绘制虚实混台的立体视频 流

摄像头 Logitech PR05000最 大分辨率 640X480 3O 捕获真实视频流

头盔 GVD510-3D 40荽 亨 萃、g2可传拳 60fps 交瞽帧显示按个场景的立体视频画面

空中鼠标 Gyration 2．4 GHz自跳频适应 USB无线接收器 用来替代墩光枪的无线交互设备

3-3系统 的创新点 ：

3_3．1场景中的鱼类逼真且具有一定 的智能。

除了建立逼真的虚拟鱼类三维几何模型，为了更真实的表现鱼

类的运动，本系统建立了鱼类的运动学模型：鱼的骨架控制器、

躯体形变运算器以及运动控制器。其中鱼的骨架控制器用于控

制鱼骨架中的每一个关节的位置与姿态：躯体形变运算器用于

计算由于鱼骨架摆动状态的改变而导致鱼身软组织表面的变形

度：运动控制器则是通过鱼的骨架控制器与躯体形变运算器来

实现某一具体运动。

而交互动作的实现，则有赖于虚拟鱼的感知行为模型的建

立。藉此鱼类能够主动获取到虚拟世界的环境信息。并能根据

这些信息作出相应 的反应。

兰竺竺卜—— 感 息 知 输 选 行 出 择 为 制

缓 控 裁 制 冲

图 3 感知行为模型

由图三可知，虚拟鱼的感知行为模型在整体框架上分为以

下几个组成部分：

①传感器群：主要负责收集各种环境信息。

②信息选择、缓存：对不同传感器的信息进行选择、缓存。

③感知行为控制：将输入信息映射到相应的行为上。

④输出仲裁：对多个行为输出进行仲裁，选择最合适的动

作输出 。

因而场景是具备交互性以及智能性的，而不是一般系统那

种简单 的三维场景叠加。系统 已经具备有一定 的人工智能了。

3．3-2场景是立体视觉而不是三维视觉的

区别 于一般系统的三维视觉显示 ，本 系统采用更逼真的基

于人 眼立体视觉成像的显示 。

左右眼分 离视角

左眼 一

图 4立体成像原理图

基于以上立体成像的原理，利用程序对虚景的每一帧图像

同时进行模拟人眼的双目绘制，并通过一定时延的交替帧显示，

通过光照的配合，以及体验者观察过程中视角的不断变换，通过

一 256—36O元 ，年 邮局订 阅号 ：82．946

-

、

＆ 右

维普资讯 http://www.cqvip.com

http://www.6lib.com 第六图书馆

www.6lib.com

第六图书馆

软件天地

佩戴头盔可以看到海底场景以及鱼类具有显著的深度感和逼真

的立体感。为此特别的我们设置了4个 buffer，左右眼前后通道

各 占 1个 buffer，前后 的 buffer形成屏 幕 闪烁 ，左右 的 buffer生

成视差。其立体绘制流程如下：

设置左眼投影矩 阵一>设置模型视点矩阵一>选择左 buffer绘

制虚拟物体一>设置右眼投影矩阵一>设置模型视点矩阵一>选择

右 buffer绘制虚拟物体一>左右 buffer绘制完后，前后 buffer交

换一>生成立体视差图像

3-3-3场景结合了多种音效

为了再现真实的海底场景。本系统添加了模拟海底背景的

声音 ，还对交 互过程 中所 产生 的声 响进行 了模拟 ，在一定 的状

况触发下实时调用相应的声音。其控 制函数类 的实现如下 ：

class Sound{ public： Sound(void)；

void playBackGround(bool looptrue)；

void stopSong0；

void setBackGroundSong(char*name)；

void setHitSong(char*name)；

void palyHitSong0；

~ Sound(void)；

private： char _

backgroundsongname；

char 一

hitsongname；

}；

3．4系统的其它特点：

通过色键抠像，实现景致的层次叠加；采用了标识阵列定位

的改进方案，不仅提高了定标的稳定性也增大了体验者活动范

围；虚拟场景中的打光与实景中的光源吻合获得了良好的光照融

合效果；根据良好的脚本控制，体验者与系统有多种交互方式等。

基于以上特点，结合立体显示技术．以及头盔对增强现实的

混合音视频的逼真显示，体验者叉能在一个较大范围内活动并

与海底生物进行一定的交互，因而体验者获得了一般简单 AR．

Toolkit系统难 以达到 的沉浸感。

结论

增强现实系统的开发是一项十分复杂的工作．但 ARToolkit

为增强现实技术的应用提供了一种可行的开发工具．在本系统应

用中还是很成功的．但由于它对模型渲染特效的支持有限，此外

基于摄像头的定位也不够稳定。为了获得更真实的体验效果，基

于ART0olkit的增强现实系统开发还有很多工作等待我们去做。

本文作者创新点：创造性地赋予了虚拟物一定的人工智能

以及借助立体显示技术同时辅以逼真的音效．体验者在简单的

增强现实系统中获得了良好的沉浸感。

本项 目为广东科技中心数码艺术馆重点子项 目，项目规模

为 500万。

参考文献

『t]ARToolkit．http：／／www．hit1．washington．edu／artoolkit

f2]Inside ARToolkit．http：／／ar．in．rum．de／twiki／pub／．

【3]Jan Fischer，Dirk Bartz，Wolfgang StraRer．Stylized Augmented

Reality for Improved Immersion．Proceedings Visual Reality 2005

IEEE．12—16 March 2005：195—202

【4】唐晶磊，蔡勇，林茂松等．基于 VR与 Agent技术的室内漫游系

统lJ]微计算机信息．2006，7一l：258—260

【5】朱淼 良，姚远，蒋云 良．增强现实综述．中国图象图形学报 ，

2004(07)：767—774

【61陈靖，王涌天，施琦，等．基于视觉的增强现实运动跟踪算法．

2002(02)：15-17、21

作者简介：易俊(1981一)，男 ，汉 ，硕士 ，专业 ：通信与信息系统 ，

主研 方向 ：计算机 图形学 、虚 拟现 实；李 自力(1965一)，男 ，汉 ，副

教授，主研方向：计算机图形、虚拟现实、数码艺术。

Biography：Yi Jun f198 1一)，male，the Han nationality， Hubei，

Huazhong University of Science＆ Technology．Speciahy：communi—

cation and information Systems， mostly enaged in Visual Reality

and Computer Graphics。

(430074 武汉 华 中科技大 学电子与信息工 程系)易俊 李 自力

通 讯地 址 ：(430074 湖北 湖 北 武 汉 华 中科 技 大 学 东 12舍

124室)易俊

f收稿日期：2007．7．23)(修稿日期：2007．8．25)

(上接第 42页1

图5给出了在第 2秒时有规律的改变系统参数时的系统斜

坡响应曲线。由图可以看出，在系统参数发生大范围摄动时，神

经网络滑模控制器构成的系统仍能够很好的跟踪给定 目标，动

态性能快 ．稳态性能好 。

7 小结

上述仿真结果表明．本章针对交流伺服系统所提出的神经

网络调节变结构控制器参数的控制策略是有效的。它具有传统

PID控制和滑模变结构控制不可 比拟 的优越性能 ．对系统参数

摄动和外在扰动有很强的鲁棒性，在削弱变结构控制中存在抖

振问题方面具有显著的效果。同时，也改善了交流伺服系统的

动、静态性能。该控制策略的设计方法简单，算法也不复杂，便

于实际应用。

本文作者创新点：采用带有偏差单元的递归神经网络和滑

模变结构控制器相结合，依靠神经网络来调节变结构控制器参

数，很好的改善了交流伺服系统的动、静态性能。

参考文献

【11李军红等．交流永磁同步电机伺服系统的变结构控制．微特电

机 。2004(1)：26～28。

【21李永东．交流电机数字控制系统．机械工业出版社，2002．4：339。

【31姚琼荟，黄继起等．变结构控制系统．重庆大学出版社，1995．8

I41黎学远，刘庆敖．柔性臂仿人智能变结构控制．微计算机信息，

2002／03：25—26。

作者简介：应根 旺(1966．4)，男，浙江缙云人 ，淮阴工学院电子

信息工程系，讲师 ，主要从事交流电机调速及控制策略研究；

刘保连(1979．11)，男 ，安徽霍邱人 ，淮阴工学院电子信息工程

系讲师 ，硕士，主要从事 电力电子与电力传动方面的研究。

Biography：Ying Genw(1966．4)，Male，JinYun，ZheJiang Province，

WorkingCompany：Department of Electronic&Inform ation，HuaiYin

Institute&Technology．Maior in AC motor speed control and it’

s tragic．；Liu Baolian(1979．11)，Male，HuoQiu，AnHui Province，

WorkingCompany：Department of Electronic&Inform ation，HuaiYin

Institute&Technology．Master degree，Major in Power Electronics

and Electric Drives．

(223001 淮阴 淮 阴工学 院电子信 息工程系)应根旺 刘保连

通讯地址 ：(223001 淮 阴 淮 阴工学院 电子信息工程 系)应根旺

(收稿 日期：2007．7．23)(修稿日期：2007．8．25)

鼬 控搠 邮局订 阅号 ：82-946 360~ ／-q--257—

维普资讯 http://www.cqvip.com

http://www.6lib.com 第六图书馆

www.6lib.com

第六图书馆