面向任务的虚拟环境和人机交互的方法研究

第 卷第 期 年 月

文章编号 2 2 2

≤

信息与控制

面向任务的虚拟环境和人机交互方法研究

崔茂源 董再励 田彦涛 朱 枫 周 船

吉林大学控制科学与工程系 长春

中国科学院沈阳自动化研究所机器人学开放研究实验室 沈阳

摘 要 基于虚拟现实技术的人机交互方法为面向任务的机器人远程作业研究提供了新的思想和思路 增强了机器人系统的遥控作业能力 本文对机器人系统中虚拟环境和人机交互方法研究进行了综述 对虚拟环境中的示教和遥操作进行了评析 并探讨了未来遥操作机器人系统作业的发展趋势 Ξ

关键词 遥作机器人 虚拟现实 机器人示教 遥操作 人机交互中图分类号 ×° 文献标识码

ΤΑΣΚ ΟΡΙΕΝΤΕΔΣΤΥΔΨΟΦ ΙΡΤΥΑΛΕΝ ΙΡΟΝΜΕΝΤΑΝΔ

ΜΑΝ ΜΑΧΗΙΝΕΙΝΤΕΡΑΧΤΙΟΝΙΣΣΥΕΣ

≤ 2 ∏

2 × ≠ 2 ≤ ∏

Δεπτ οφΧοντρολΣχιενχεανδΕνγινεερινγ ιλινΥνι Χηανγχηυν

ΡοβοτιχσΛαβ ΣηενψανγΙνστιτυτεοφΑυτοματιον ΧηινεσεΑχαδεμψοφΣχιενχεσ Σηενψανγ

Αβστραχτ 2 √ ∏ √ 2 × √ √ √ ∏ ∏ √ 2 × √ ∏ √ ∏ ∏ ∏

√ Κεψωορδσ ∏ 2

1 引言 Ιντροδυχτιον

自从为了抓取放射性材料而设计制造的第一台遥控机械手的诞生那时起 面向任务的机器人远程作业系统就因其广阔而明朗的应用前景而受到了世界各国的普遍关注 有关成功的样机及实验结果陆续见诸报端≈ 在众多的机器人远程作业系统应用中 大量的研究集中在远程系统 即远处的机器人控制器!传感器及运动执行系统 !主从遥操作系统的控制以及与此相关的应用问题上 如劣质视觉反馈下的遥操作和具有时间延迟遥操作 相对较少地关心在操作过程中虚拟环境 ∞ 的影响和人机交互

合作的问题≈ 随着计算机科学及现代网络技术的发展 图形仿真!虚拟现实 !视觉检测等技术为机器人学研究 尤其对在危险与恶劣环境中工作的遥操作机器人提高遥控作业能力提供了新的思想和思路

这种研究的发展 强调了虚拟环境在仿真和增

助操作和信息反馈过程中的重要性≈ 虚拟现实技术的出现和发展使得为用户提供一种崭新和谐的人机交互遥操作系统作业环境成为可能 在这里 虚拟现实技术作为高端的人机接口 允许用户通过多传感器通道实时地与虚拟环境交互 利用声!像!力以及图形等交互设备形成具有指导性的感知环境 配合人的指挥或动作提示 辅助机器人进行遥操作

其中 如何利用各种传感器信息反馈 通过人机

交互设备 建立和理解操作者和任务交互的环境模型!提供直观友好的人机界面!实现人机协调合作控制是面向任务的虚拟环境和人机交互研究的重要内容 这类研究成果 对机器人学中的示教!遥操作以及离线编程问题的解决具有特别重要的意义 是一项富有挑战性的工作

2 虚拟环境的建模与标定技术 Μοδελινγανδχαλιβρατιονοφ ιρτυαλεν ιρονμεντ

2 1 虚拟交互环境模型

通过标定机器人的相应参数 利用商业 三

强现实任务环境模型以及人机交互在环境感知!辅

Ξ收稿日期

基金项目 国家自然科学基金项目

信 息 与 控 制 卷

维建模软件 建立机器人以及相应环境物体的三维模型 在模型中引入机器人机构学和场景动力学 对机器人的行为及其与场景的交互加入约束条件 是建立虚拟交互环境模型的有效方法 提供了一个鲁棒的平台来综合和可视化许多操作 允许用户同虚拟环境交互 现存常用的 商业软件开发工具包 有如下一些 √ ≥

° ≥∏ × ≥ × ∞ ≥ 根据下面的几项评价指标 对前六种常用的 软件开发工具包进行

了评述 指出了它们各自的特点≈

#数据输入))轻松地将各种不同格式的数据

输入到 ∞中

#选择算法))处理不需要转换的隐含对象的程序的复杂层次

#碰撞检测))在 ∞的物体之间处理碰撞的

算法类型

#多处理器支持))工具包是否支持多处理

器

#网络化交互))工具包是否支持合作 比较的结果表明 没有单独的工具包具有全部

期望的性质 而且多数系统固有的本质使得在平台间的移植是件非常困难的事情 为此开发了一种针对远程合作虚拟加工操作的行为层结构

∞ ≥ 是 公司的产品 在实际

的应用中得到了令人满意的性能≈

除此之外 复杂系统的模块化建模方法也取得

了显著的进步 并逐渐形成了一套基本的概念体系 它们是

#模型的声明式定义 # 子 模型中界面的标准化 #面向对象的设计

模块化建模方法使复杂系统建模过程变得容

易 具有可表述和检验性 并支持模型的再使用

等在所开发的 ≥∞≥ ∏

≥ ∞ √

≥ ∏ 仿真环境基础上 用模块化的方法来建

立复杂 系统的模型 结果表明在复杂性管理!效

率和准确度方面具有良好的性能≈

由于操作者和系统紧密结合在 ∞环境中 因

此 当我们努力实现 ∞技术的潜力时 就不可能将人的因素从设计问题中隔离开来 在这里 操作者通过离散的命令 控制远程机器人连续运动 这是一个

典型的复杂的混合系统 因此 有关混合系统的建模理论 越来越多地应用到这样的系统中 这对设计实用!高效的交互虚拟世界是一项新的挑战 °

采用离散事件系统理论 ∞≥ 将人机交互

模型化 通过这一交互模型 操作者的命令能够融合到自动控制系统的命令中≈

2 2 Ρ标定技术

辅助的机器人作业系统中 ∞的可靠性是

非常重要的 ∞模型必须准确地与真实世界中机

器人的运动状态及机器人与作业对象间的位置关系相匹配 才能在 ∞中实现对远程对象的操作 ° 实验室为此开发了 标定技术≈ 将被仿真的

图形模型的 ∞与远程任务环境的实际相机图

象相匹配 这种 标定 将被标定的图形叠加到现场视频图象上 使得具有高保真的预测显示 为增强现实 ∏ 环境模型和克服延迟引起的控制不稳定问题奠定了基础 ° 实验室通过操作者交互式相机标定和能够处理多相机视频图象的基于新的线性Ù非线性最小二乘算法的物体定位程序 实现了可靠准确的标定 所开发的 标定技术已成功使用在 ° Ù ≥ 2 ≥ ≤遥操作服务示范中 具有较高的定位精度和可信度 另外 英国

≥ 大学的± 和他的同事开发

了一个 辅助的导航系统用于水下有缆机器人的遥操作中 基于声纳的机器人定位系统将获得的数据与由 × 表示的被监控水下结构的≤ 模型相匹配 为了克服声纳数据的噪声 机器人的实际尺寸被/安全区0而增大 以防止碰撞或电缆缠绕 提高了水下机器人的操作效率≈

3 用户界面与交互方法 Υσεριντερφαχεανδμαν μαχηινειντεραχτιονισσυεσ

3 1 交互设备

在构建面向任务的虚拟环境中 输入和输出交

互设备是操作者产生临场感所必需的装置 只有对人类工程学和所用交互设备的优缺点有充分的理解 才能自然!直观地将设备硬件和交互技术相匹配

#输出设备 视觉输出显示

在与 ∞交互的 用户界面中 视觉显示设

备是最普遍!最直观的输出设备 根据操作者的沉浸程度 将视觉显示设备大致分为完全沉浸式 ∏ √ 和半沉浸式 2 √

期崔茂源等 面向任务的虚拟环境和人机交互方法研究

两种≈ 完全沉浸式显示设备如头盔式显示器

!臂式显示器 2 ∏

!虚拟视网膜显示 √ ∏ 等 这些设备使操作者与真实世界完全隔离 在这种情况下 实际的物理对象要求在 ∞中用图形表示 半沉浸式显示设备如立体监视器

!工作台 !环境 屏幕虚拟现实系统 ≥∏ ∏ 2 √ ∏

等 这些设备使操作者同时看到实际和虚拟的世界

非视觉输出显示

除了视觉输出显示外 声音!力觉!触觉!嗅觉也

是重要的输出显示设备 ∏ 的研究表明 通过将有关信息转换成声音输出 来实现辅助定位是有效的≈ 声音输出显示在分布式环境下多操作者合作控制中特别有用 每个参加者依靠声音提示能够辨识 ∞中其他人的信息 力觉和触觉是虚拟环境中 用户界面的重要组成部分 逐渐成为人们研究的热点 ∏ 的研究证明了操作者的触觉和力觉对于虚拟环境中对象操作和碰撞检测是必要的≈

#输入设备

输入设备是用来实现各种交互技术的物理工

具 根据产生的的事件类型 输入设备可粗略分为离散式输入设备!连续式输入设备!混合式输入设备

离散式输入设备

用户每作用一次 产生一个事件 按扭按下或其

他的动作表示事件信号 通常是一布尔值 如压力手套 ° √ 用户挤压两个或多个手指作为事件信号

连续式输入设备

与离散式输入设备相比 连续式输入设备每次

作用时产生一个事件流 最常见的连续式输入设备是位置Ù方向跟踪器 Ù 和数据手套 √ 它们能够传送手指的弯曲角度的信号

混合式输入设备

融合离散式和连续式事件!形成单个多柔型设

备被称为混合式输入设备 如环行鼠标

∏

一个小设备戴在用户手上 融合了超声波跟踪和两个按扭 还有如笔式写字板 2

在 ∞应用中非常流行 因为它们给用户提供两维交互的的能力

3 2 用户界面和交互方法

随着非传统交互设备的迅速增生 相应的用户

界面和交互方法越来越多样化 鼠标!键盘!窗口!菜单和图标 这些传统的 Ù ° ∏

Ù ∏ √

界面的标准部件已不能胜任系统操作的要求≈ 基于自然语言的交互界面≈ !基于手势的人

机交互界面≈ 基于 的人机交互界面≈

以及众多交互技术结合在一起的多模式交互界面≈ 在实际的应用中都得到了很好的性能 根据当前这一领域最新的研究成果 给出了进行 用户界面设计的可借鉴的原则≈

#当任务要求高生产率和效率时 考虑/有吸引

力的0界面取代/自然的0界面 当物理世界的重复性是重要的时候 应该使用自然的交互方法

#根据应用的要求来选择交互技术 同样一套

技术不会在每种情况下都好用

#尽可能限制输入要求的自由度 并提供物理

的或虚拟的约束来帮助引导用户输入

#充分利用全身输入设备!多模式 Ù 设备和

新颖的输入设备所提供的柔性 同时也要在管理增加的复杂性时给用户提供结构和支持

与传统的单一界面相比 多模式交互界面融合

了多种输入输出模式 给用户提供了更为丰富的交互信息 特别是使用具有互补性!并发性的多种交互模式 如视觉!声音与力觉等其它冗余信息模式 产

生的协同效果 给操作者提供了最大可能的支持 发挥了良好的性能≈

4 面向任务的机器人虚拟环境作业系统 Τασκ Οριεντεδτελεροβοτιχσψστεμβασεδον ιρτυαλεν ιρονμεντ

在 ∞中进行的任务有两类 交互式任务

自动式任务≈ 在交互式任务中 操作员与 ∞中对象有较高的交互度 在 ∞中装配任务是一个交互式任务的例子 操作员使用交互设备 如指挥棒和数据手套 积极地参与抓取物体!并将它们装配在一起的过程 操作员能引导物体到一个期望位置 并执行任务 在交互模式下 环境必须能够通过一个规则执行机构 将约束加在操作员的动作上 在自动式任务中 ∞中的对象与操作员交互最小 操作员仍保持对 ∞的控制 机器人的工作车间是一个自动任务的例子 机器人负责将工件分配给机器中心 并在工作间中传输工件 操作员能在 ∞中引导!检查被执行的任务 开始和终止任务的执行 以及在紧急情况下做出决策 在自动模式下 通过一个驱动模块

信 息 与 控 制 卷

每隔一段时间提供数据以运行应用程序来执行任务 环境必须能为驱动模块提供规则执行或状态信息的数据 以便它能以有意义的方式控制界面数据

在面向任务的机器人远程作业系统中 基于 ∞的机器人示教和监控遥操作是交互式任务和自

动式任务的较为典型的应用 在实际的系统运行中显著地提高了任务质量

#基于 ∞的机器人示教

示教再现 2 是机器人普遍采

用的作业方式 典型的示教过程是依靠观察机器人及其夹持工具相对作业对象的位姿 通过示教盒的操作 记录下机器人的作业动作和轨迹 这种示教方式依靠人的观察反复调整机器人的作业位姿!速度和动作 不仅要求操作员具有相当的专业知识和熟练操作技能 而且示教过程非常烦琐!耗时和危险 但是考虑到传感器的性能局限和机器人和环境的干扰 复杂任务的完全自动示教可能是不现实的≈ 为此 日本 ××的人机界面实验室的 ∏ 和× × 进行了在 ∞中机器人装

配操作示教的研究 开发了一个使用交互图形界面

的演示示教 系统≈

随后 该实验室的≠ 和他的同事开发了集图象!声

音交互于一体的/多模式示教顾问0 × 用于复杂轿车底盘的焊缝焊接≈ 需要补充的是在交互式任务的执行中 自动解释!执行人的任务指令的这种自动式翻译执行任务是必不可少的

#基于 ∞的机器人监控遥操作

遥操作通常被应用在危险或人难以到达的环境

中操作者遥控机器人完成任务的作业方式 在危险材料处理!空间和水下探测!以及在内窥镜和微型外科手术等医疗领域都有广阔的应用 当机器人工作在这些非结构化的环境中 当前机器人的有限的智能和适应能力 要求操作者仍然在控制回路中 这时候在机器人与操作者间就产生了两个控制回路 由机器人和现场环境构成的远程回路和操作者和 ∞

构成的本地回路 加州大学伯克利分校的 和≥ 使用期望的机器人子目标的/任务顺序脚本0 ∏ 列表 开发了一个基于模型的监控控制方法 经过 控制远程机器人 操作者规定遥操作机器人工作环境 × ∞ 离散模型的设置点 允许机器人具有自主控制能力来调整设置点间的实际轨迹 操作者在任务执行前预览该轨迹以同意或修改≈ 印度人工智能和机器人学研究中心的 √ 和日本× ∏大学的

航天和空间工程系的 ∏ 则提出了综合共享智能 概念 通过 界面 操作者和机器人的能力被合适地融合在一起 解决了路径规划问题≈

5 分布式虚拟交互环境下的人机合作控制 Μαν μαχηινε

ιντεραχτιον

χοοπερατιον

ισσυεσινδιστριβυτεδ ιρτυαλεν ιρονμεντ

当系统复杂到必须由多个操作者或多个机器人共同工作时 数量上的增加必然导致物理上的分布 于是分布式虚拟交互环境 ∞ 下 ≥

∏ ¬ ! ≥ ∏ ¬ 和 ∏ ¬ ∏ ¬

问题的研究受到了重视 与≥ ≥

系统相比 这些系统要求快速实时的网络通信和同步交互协调能力

分布式虚拟交互环境是分布式系统与 系统

的有机结合 具有下面 个特征≈

#共享的虚拟工作空间 #仿实体的行为真实感 #支持实时交互 共享时钟 #多个用户以多种方式相互通信

#资源信息共享以及允许用户自然操纵环境中

的对象

≥ 系统的一个成功例子是法国巴黎机器

人实验室所做的工作≈ 一个研究人员能够操作在法国和日本两地 个不同的机器人 操作者戴了一个数据手套 用来检测手和手指位置 并为每个手指提供力反馈 通过被映射到远处机器人的图形界面的手势来自然地完成任务 在 ∞中 受控的从机器人被表示成虚拟的人手而不是机器人形式 从机器人依靠自身的传感器执行各自的任务 同时接受来自操作者通过 ∞发来的一系列命令

处于不同地理位置的几个操作者合作控制单个机器人的 ≥ 系统也得到较为充分的研究 代表性的工作是美国宾夕法尼亚州立大学的≤ 和

× 与≥ 国家实验室的 和他的

同事合作开发的系统≈ 实验中 每个操作者戴有一个数据手套用来控制一套共享的/虚拟工具

√ ∏

0 这些虚拟工具是被叠加到远处机器人反馈来的现场视频图象上的图标 当代表远处夹具的虚拟工具在 ∞中从一个位置移动到另一个

位置时 对应的机器人轨迹就自动产生 一个操作者

期崔茂源等 面向任务的虚拟环境和人机交互方法研究

控制的一个虚拟工具的运动同时被复制到所有的监控工作站上 以便参加合作的所有操作者能够合理作出决策 并达成一致 在操作中 最终的前进命令由主监控者下达 在清扫放射性物质场地的遥操作实验中 结果表明 设备利用率 机器人运动时间与全部任务执行时间之比 是没有合作遥操作控制的

倍 而且作者提到 使用合作控制策略与单操作者

系统相比 在解决复杂问题时具有较好的决策潜力 此外 加州大学伯克利分校的° ∏ 和≤ 的基于 的遥操作研究也取得类似的成果≈

随着机器人和所参与的操作者的规模扩大 系统在动态数据管理!对象行为控制!分布

式交互方面的复杂性超过了任何一个≥ 系统

或 ≥ 系统 现在还处于理论研究阶段

6 结论 Χονχλυσιον

基于虚拟现实技术的人机交互方法为面向任务的机器人远程作业研究提供了新的思想和思路 增强了机器人系统的遥控作业能力 目前国内在这方面的研究也已取得了一定成果 开发了相应的实验系统 如清华大学计算机系研制的基于视觉临场感机器人遥操作系统

≈

北京航空航天大学机器人研

究所开发的基于网络的空间机器人遥操作系统≈ 以及已经投入临床使用的机器人辅助立体定向手术系统≈ 此外 南开大学!哈尔滨工业大学!沈阳自动化研究所等一些科研单位也已开展了相关研究

≈

根据目前这一领域的国内外研究现状 我们可

以得出下列结论

利用商业 三维建模软件 同时考虑机器

人机构学和场景动力学 对机器人的行为及其与场景的交互加入约束条件 是建立虚拟交互环境模型的一种便捷有效的方法

多模式人机交互 特别是具有互补性!并发性

的多种模式交互方法 在解决实际问题时可以具有良好的性能

具有局部自主能力的机器人与操作者合作

在 辅助下进行共享控制 可以提高机器人远程作业能力 增加系统的智能性

分布式虚拟交互环境下人机合作控制 在解

决复杂问题时可以具有较好的决策潜力

当前 随着现代通信网络技术和 技术以及

机器人学的飞速发展 面向任务的虚拟环境和人机

交互方法的研究正在经历着变化 我们认为下面两点在未来的研究中应该引起重视

虚拟环境和人机交互与操作者的合作密不可

分 因此设计友好自然的人机界面 必须充分考虑人的因素的影响 对人类工程学的研究以及与此相关的 ∞评价体系就格外引人注意

随着任务复杂性的增加 分布式环境下的虚拟合作控制的优点逐渐被人们所认同 提高系统中操作者的决策质量 特别是将人工智能技术引入到系统中面临新的考验

总之 面向任务的虚拟环境和人机交互方法具

有重要的研究价值 随着研究的深入 它将极大地改变了人类的工作方式 对人类的生活!工作产生深远影响

参 考 文 献 Ρεφερενχεσ

× ×

≥ 2

≥∏ √ ≤ × ° × ∏ ∞ √ 5

≤ ∏ √ √ × ≥ ∏ ∞∞∞× ∏ 15

≠ ≠ ×

∏ × √ ≥ ≥ ∏ ∏ ≤ ∏ 2 ∏ ∏ 14

≥ ∏ ∞ √ × ≥ ∏ ∏ ≥ 36

×

∏

≥∏ √ ∏

° × ∏ ∞ √ 6

∏ ×

∞√ ∏ ∏ ∞ √ × ∏ ° × ∏ ∞ √ 10

∏ εταλ ∏ 2

° × ∏ ∞ √ 10

∏ ≥ ∏ ∏ ∏ °

∏ × ∏ ∏

≥ ≥ × ∏ ∏ ∏

∏ ∏ 9

∏ ∏ 2 ≥ ∞∞∞ ∏

信 息 与 控 制 卷

≥ ∏ ∞ √ ∞∞∞× ∏ 15

≥ ∏ ≤ ° √ Ù° √

× ° × ∏ ∞ √ 5

° ≤ ≤ ∏ ≥ ≤ ∞√ ∞∞∞× ≥ ≤

30 εταλ √ ∏

× √ ∏ ∏ ∏ ∞∞∞× ∏ 16

± εταλ ∏ ×

°

∞∞∞

≤

∏

∏ ∏ ∏

± ≤ ∏ ×

≥ ≥∏ ≥ ° × ∏ ∞ √ 8

° √ ∏ 2 ∏

∏ ∏ ° ° × ° × ∏ ∞ √ 8

∏ × ×

×

∏ ∞ √

∞∞∞

× ∏ 10

≥ ≥ ≤εταλ √ ∏ ∏ √ 2

≤× εταλ ° ∏

× ° ≤ ≤

≤ × ∏ ≥∏ √ ≤ √ ≤ ° × ∏ ∞ √

6 ≥ εταλ ∏ √ ≤

√ ≥ ∞ ±∏ ° ∞∞∞ ≤ ∏ ∏ ∏ ∏

∞° ∏ ≤ √ √ ° ∞∞∞ ≤ ∏

∏εταλ ≥ ∞ 2≤ √ ° ≤ ≤

刘伟军 朱 枫 董再励 虚拟现实辅助机器人遥操作技术研究

机器人 23

游 松 王田苗 朱广超等 基于网络的空间机器人遥操作系统

高技术通讯

徐旭明 叶 榛 淘 品等 基于视觉临场感机器人遥操作系统

高技术通讯

王田苗 刘达 张启先等 医疗外科机器人的研究开发与产业化

前景 机器人 22

作者简介

崔茂源 男 博士研究生 研究领域为机器人遥操作

董再励 男 副研究员 研究领域为虚拟现实 三维测量等

田彦涛 男 教授 博士生导师 研究领域为不确定复杂系统的建模!优化与控制 分布式信息处理与智能系统

本文来源：https://www.bwwdw.com/article/a894.html