三维用户界面：理论与实践 (2010 年度畅销榜NO.15019 )

随着虚拟环境、增强现实、混合现实以及普适计算等“脱离桌面”技术的出现，三维用户界面（3D UI）的设计和开发已经成为一个重要的研究领域。在计算机辅助设计、放射治疗、外科手术模拟、科学和信息可视化、游戏和娱乐等领域，正越来越多地用到3D技术，3D UI已经成为当今人机交互研究中最热门的方向之一，是这一领域中的创新前沿。
本书涉及3D UI技术、设计和评估的各个方面。包括用于3D UI的输出和输入设备；面向通用任务的3D交互技术，如选择、操作、导航以及系统控制等；有关3D UI设计和开发的指南和评估技术；3D UI的未来，包括增强现实和混合现实交互技术以及影响3D UI未来发展的若干重要课题。书中同时包含了大量有建设性的例子和方案，它们是对3D UI最新理论和实践的全面总结。
本书结构合理，内容丰富，适合作为计算机及相关专业高年级本科生及研究生的教材和参考书，也可作为相关领域从业人员的优秀参考资料。

第一部分3D UI基础
第1章3D UI介绍
1.1什么是3D UI
1.2为什么需要3D UI
1.3术语
1.4应用领域
1.5小结
第2章历史及发展历程
2.13D UI的历史
2.23D UI的发展历程
2.2.1影响3D UI设计的领域
2.2.23D UI子领域
2.2.3受3D UI影响的领域
2.3本书范围
2.4小结
第二部分3D UI硬件技术
第3章3D UI输出设备
3.1引言
3.1.1本章导读
3.2视觉显示设备
3.2.1视觉显示设备的特点
3.2.2深度线索
3.2.3视觉显示设备类型
3.3听觉显示器
3.3.13D声音定位线索
3.3.23D声音的生成
3.3.3声音系统的配置
3.3.43D界面中的听觉
3.4触觉显示器
3.4.1触觉线索
3.4.2触觉显示特征
3.4.3触觉显示类型
3.4.43D界面中的触觉显示设备
3.5设计指南:为3D UI选择输出设备
3.6小结
第4章3D UI的输入硬件
4.1引言
4.1.1输入设备特性
4.1.2本章导读
4.2桌面输入设备
4.2.1键盘
4.2.22D鼠标和轨迹球
4.2.3基于笔的手写板
4.2.4操纵杆
4.2.56 DOF桌面输入设备
4.3跟踪设备
4.3.1运动跟踪器
4.3.2眼动跟踪
4.3.3数据手套
4.43D鼠标
4.4.1手持3D鼠标
4.4.2穿戴式3D鼠标
4.5特殊用途的输入设备
4.6直接人体输入
4.6.1语音输入
4.6.2生物电输入
4.6.3脑电波输入
4.7自制的输入设备
4.7.1制作输入设备的策略
4.7.2自制输入设备和计算机的连接
4.8为3D UI选择合适的输入设备
4.8.1考虑的因素
4.8.2输入设备分类学
4.8.3实验评估
第三部分3D交互技术
第5章选择和操作
5.1引言
5.1.1本章导读
5.23D操作任务
5.2.1规范的操作任务
5.2.2应用特定的操作任务
5.3操作技术和输入设备
5.3.13D操作中的控制维度和集成控制
5.3.2力控制与位置控制
5.3.33D操作中设备的放置和形状因素
5.4用于3D操作的交互技术
5.4.1操作技术的分类
5.4.2指点交互
5.4.3直接操作:虚拟手技术
5.4.4缩微世界
5.4.5组合技术
5.4.6非同构3D旋转
5.4.7桌面3D操作
5.5设计指南
第6章漫游
6.1引言
6.1.1本章导读
6.23D漫游任务
6.2.1探索
6.2.2搜寻
6.2.3机动浏览
6.2.4漫游任务的其他特点
6.3漫游技术
6.3.1技术分类
6.3.2身体运动技术
6.3.3驾驶技术
6.3.4路径规划技术
6.3.5基于目标的技术
6.3.6手动操作技术
6.3.7基于比例的漫游技术
6.3.8视点方向技术
6.3.9速率指定技术
6.3.10集成在桌面式3D环境的相机控制
6.4设计指南
第7章路径查找
7.1引言
7.1.1本章导读
7.2理论基础
7.2.1路径查找任务
7.2.2空间知识的类型
7.2.3自我中心和外向参考框架
7.3以用户为中心的路径查找支持
7.3.1视野
7.3.2运动线索
7.3.3多感觉输出
7.3.4临场
7.3.5搜索策略
7.4以环境为中心的路径查找支持
7.4.1环境设计
7.4.2人工线索
7.5评估路径查找辅助手段
7.6设计指南
7.7小结
第8章系统控制
8.1引言
8.1.1系统控制的人类因素
8.1.2输入设备
8.1.3系统和应用级因素
8.1.4本章导读
8.2分类
8.3图形菜单
8.3.1技术
8.3.2设计和实现问题
8.3.3实际应用
8.4语音命令
8.4.1技术
8.4.2设计和实现问题
8.4.3实际应用
8.5手势命令
8.5.1技术
8.5.2设计和实现问题
8.5.3实际应用
8.6工具
8.6.1技术
8.6.2设计和实现问题
8.6.3实际应用
8.7多通道系统控制技术
8.8设计指南
8.9案例研究:混和系统控制方法
8.9.1ProViT系统
8.9.2ProViT的系统控制设计方法
8.9.3任务到设备的映射
8.9.4系统控制的布置
8.9.5系统控制反馈
8.10小结
第9章符号输入
9.1引言
9.1.1符号输入为什么重要
9.1.2使用场景
9.1.3符号输入简史
9.1.4符号输入的鲜明特点
9.1.5本章导读
9.2符号输入任务
9.2.1字母数字输入
9.2.2编辑字母数字符号
9.2.3标记输入
9.3符号输入技术
9.3.1基于键盘的技术
9.3.2基于笔的技术
9.3.3基于手势的技术
9.3.4基于语音的技术
9.4设计指南
9.5超越文本和数字录入
第四部分设计和开发3D UI
第10章设计和开发3D UI的策略
10.1引言
10.1.1面向人的设计
10.1.2创造3D UI
10.1.3本章导读
10.2面向人的设计
10.2.13D UI中的反馈
10.2.2约束
10.2.3双手控制
10.2.4面向不同用户群的设计
10.2.5面向用户舒适感的设计
10.3创造3D UI
10.3.1借鉴于真实世界
10.3.2改编自2D用户界面
10.3.3魔力与美学
10.4设计指南
第11章3D UI评估
11.1引言
11.1.1评估的目的
11.1.2术语
11.1.3本章导读
11.2背景
11.2.1用于评估设计和实现的工具
11.2.2面向3D界面的评估方法
11.33D界面的评估度量
11.3.1系统性能度量
11.3.2任务绩效度量
11.3.3用户偏好度量
11.43D界面评估的重要特点
11.4.1物理环境因素
11.4.2评估者因素
11.4.3用户因素
11.4.4评估类型因素
11.4.5混杂因素
11.53D评估方法分类
11.6多方法评估的两类方式
11.6.1测试台评估方法
11.6.2顺序评估方法
11.6.3方法间的比较
11.73D界面评估指南
11.7.1通用指南
11.7.2形式化实验指南
第五部分3D UI的未来
第12章超越虚拟:真实世界的3D界面
12.1引言
12.1.1什么是增强现实
12.1.2在真实世界中添加虚拟界面
12.1.3本章导读
12.2作为3D数据浏览器的AR界面
12.33D增强现实界面
12.4增强表面和实物界面
12.5实物AR界面
12.5.1实物AR的设计
12.5.2实物AR中的时间复用交互
12.5.3实物AR的优缺点
12.6AR中的智能代理
12.7可转换的AR-VR界面
12.8小结
第13章3D UI的未来
13.1关于3D UI技术的问题
13.2关于3D交互技术的问题
13.3关于3D UI设计和开发的问题
13.4关于3D UI评估的问题
13.5关于资金问题
附录A3D UI数学参考指南
A.1标量
A.2矢量
A.3点
A.4矩阵
A.5四元数
参考文献
索引

随着虚拟环境、增强现实、混合现实以及普适计算等“脱离桌面”技术的出现，三维用户界面（3D UI）的设计和开发已经成为一个重要的研究领域。目前，支持3D UI的技术正逐渐成熟，非传统的设备和界面组件正在快速增多并越来越普遍。在计算机辅助设计、放射治疗、外科手术模拟、科学和信息可视化、游戏和娱乐等领域，也越来越多地用到3D技术，这就需要设计良好的用户界面。3D UI已经成为当今人机交互（HCI）研究中最热门的方向之一，是这一领域中的创新前沿。 3D交互指的是用户任务直接在三维空间上下文中执行的人机交互方式。虽然已有的对于2D UI的有用经验可以为这种交互方式提供有益的参考，但它是一种全新的界面形式，面临着技术和应用的挑战。目前的3D UI还没有统一的范式或标准，各种交互设备和交互技术以及它们之间的组合复杂多样，这一方面使用户界面的设计空间变得更大，另一方面也使界面设计与特定应用密切相关，没有适合于所有领域的通用设备和技术。另外，自然、和谐的3D交互也是困难的，因为在计算机生成的虚拟仿真世界中，还无法精确地模拟和再现真实物理世界中的许多规则和约束，因此迫切需要发展新颖的基于真实交互的3D UI或其他的交互隐喻。 来自3D UI领域的研究和开发前沿的几位年轻作者，敢于向3D UI的难题挑战，写出了这本内容丰富、观点鲜明的专著，值得敬佩。本书是作者以及他们的老师和学生的个人研究经验的结晶，其中部分内容以1999年到2001年的IEEE VR和ACM SIGGRAPH等会议中举办的相关课程为基础，这些课程都获得了非常大的成功。书中以分类学为指导，对界面组件的设计和开发进行了阐述，并特别强调了心理学和人因学在界面设计、开发和评估中的作用。 本书的内容涉及3D UI技术、设计和评估的各个方面。包括用于3D UI的输出和输入设备，选择和开发I/O设备的指南；面向通用任务的3D交互技术，包括选择、操作、导航以及系统控制等；有关3D UI设计和开发的指南和评估技术；3D UI的未来，包括增强现实和混合现实交互技术以及影响3D UI未来发展的若干重要问题。书中同时包含了大量建设性的例子和方案，它们是对3D UI最新理论和实践的全面总结。 3D UI的核心是实现人机和谐的自然交互。我国提出了建立和谐社会、以人为本的国策，我们应该在实现人机和谐环境的主要内容——人机交互和用户界面领域中有所作为，引领未来。 参加本书翻译工作的是中国科学院软件研究所人机交互实验室的研究人员，有张凤军、纪连恩、王亮和朱继玉，并由戴国忠研究员和肖连华研究员进行了仔细的审校。我们也感谢电子工业出版社的编辑，他们给予了我们很多的帮助。 译文中若有不当之处，敬请读者批评指正。

主持译者戴国忠为中科院软件所研究员，博导，浙江大学兼职教授，中国自动化学会计算机图形学和CAD 专业委员会主任 ，美国计算机协会图形学分会中国主席，获得国家科技进步二等奖三次。

一位建筑师坐在家中的办公室里，正对市内公园新大门的设计方案做最后的调整。在她面前的办公桌上呈现出公园的三维虚拟模型，她用肘向右轻推一条路来绕开洼地，然后将模型变成实物大小，这样她可以沿着这条路来观看效果。“入口处的颜色太深了，这可不好。”她想着，很快地将颜色面板改成明亮的主色调。她抬头看到客户正赶来参加最后一次的设计评审会议，他们在这个城市的不同地方办公，但是都可以看到这个三维模型，因此可以互相交流并提出修改建议。“建筑规划是什么？”一位客户问道。建筑师于是播放了一段从项目开始到结束的整个过程的动画。“第一步未必合适，”客户说道，“挖掘现场太靠近操场了，你来看看。”他向办公室的窗外看去，这里能看到公园，他把虚拟的建筑规划覆盖到公园上。“确实如此，”建筑师说，“那我们将操场稍微移一点，这会比挪动建筑物位置要省钱得多。”当看到变更后的效果时，所有的人都认为这个规划是合适的。会议就此中止。 这个场景和其他一些类似的情景说明了3D环境及应用所具有的巨大潜能。目前已经出现了实现这样的场景的技术，但是还不是非常完美，这个场景仍然忽略了大量的信息——使梦想变成现实的关键信息。建筑师是如何加载公园模型，又是怎样操作她的视图的呢？她用什么样的技术来改变路径？怎样能够使得多个客户同时操纵模型？虚拟空间的参与者如何互相呈现？动画的播放速度和重放如何控制？客户如何命令系统实现虚拟和现实的场景融合？ 所有这些问题都与用户界面（UI）的设计和3D应用的交互技术相关，这个领域在未来派的电影和书籍中经常给出很粗略的介绍。通常场景都假定用户和系统的交互是“自然的”——采用直觉的手势和语言等技术，或者是“自动的”——系统有足够的智能来推断用户的意图。但是这样的交互的可行性如何?也许只是幻想罢了。 本书讨论3D UI设计的重要范围——一个寻求详细回答上述问题的研究领域，给出实用有效的3D系统与导致用户受挫、犯错误甚至不舒适的系统之间的差别。我们给开发者介绍实用知识、最新的研究进展、用户界面设计者容易遵循的指南以及相关的应用实例。尽管已有一些通用的用户界面(特别是2D用户界面)设计的书籍，但在3D UI方面却关注很少。这个领域的工作成果的传播主要通过大量的会议、期刊文献、书籍的单独章节以及网站等途径。这个领域需要一本参考和教学的课本来汇集所有最好的实践和研究成果，这就是我们写这本书的目的。 这本书是如何产生的 关于这本书可以追溯到1998年4月，当时Ivan Poupyrev和Doug Bowman分别是日本广岛大学和美国乔治亚理工大学的博士生，都从事虚拟环境(VE)下对象操纵的3D交互技术研究。他们通过电子邮件保持密切联系，探讨这些技术的设计和可用性以及一般的3D UI。Ivan当时是华盛顿大学的访问学者，他建议如果这一领域的其他研究人员也参与讨论的话，可能更加有益。这样3D UI的邮件用户列表就产生了。从那时起，世界各地有100多位研究人员加入到这个列表中参加讨论(访问http://www.3D UI.org可以获得所有的邮件列表档案或者加入这个列表)。Joe LaViola 和 Ernst Kruijff就是第一批加入的。 同年8月，Doug向列表中的成员转述了一个电话，电话内容是邀请我们在即将召开的IEEE虚拟现实会议上做一个演讲。在经过讨论之后，Joe，Ivan，Ernst同意和Doug一起组织一个主题为“3D交互的艺术与科学”的演讲。演讲在休斯顿的会议上获得巨大成功。接下来，我们四人相继在1999年的ACM 虚拟现实软件和技术会议、2000年的IEEE虚拟现实会议和2000年及2001年的ACM SIGGRAPH会议上就这一主题做过演讲。 根据这些演讲的底稿并增加了大量的内容后，我们认为如果不将所有信息完善并扩充成书的形式，这将是没有意义的。更进一步说，在一天的演讲中想包含全部的3D UI信息也是不可能的。这就是今天呈现在你面前的这本书——一本无法在其他任何单个资源上找到的包含了3D UI信息的书。 书里讲些什么 书的副标题强调了这本书不仅针对专业研究人员，也针对使用和开发人员，同时还适合对基础研究感兴趣的人和对应用感兴趣的人。本书的大部分章节都包含理论指导和实践知识。我们希望它成为一本教科书，同时也是一本参考书。 本书的理论部分包括:● 关于多种3D交互任务的心理学和人因学的章节 ● 3D UI评估的各种不同方法（第11章） ● 3D交互技术的实验性研究成果 ● 3D交互技术的研究议题（第13章） ● 大部分章节的末尾都会提供推荐读物列表 ● 重要研究成果的全部参考文献本书的实践部分包括:● 为3D系统选择合适的输入输出设备的原则（第3章和第4章） ● 实现一些通用的3D交互技术的细节和有用的技巧 ● 实现常见3D任务的交互技术的选择指南 ● 真实世界中3D UI的案例研究本书分为五个部分。第一部分介绍3D UI的基础；第二部分讨论在3D UI开发中用到的输入输出设备及技术，重点是这些设备对可用性和性能的影响；第三部分介绍用于实现通用任务的大量3D交互技术，例如导航、选取、操纵、系统控制和符号输入等；第四部分讨论完整的3D UI隐喻和应用的设计、开发及评估；第五部分展望未来，包括介绍在增强现实中的应用技术和3D UI的研究成果。附录包括相关的数学背景知识，最后是有关3D UI的参考文献。 纵观全书，有几个特点。首先，大多数章节包含许多指南，它们是已经实践过或被证实的对于设计和开发的建议。指南按如下的正文形式表示。跟随本书的指南来帮助你设计有用的3D UI。本书也包含许多通用有效的交互技术的实现细节。我们使用正文和数学描述相结合的形式来描述这些算法（以避免对特定的开发工具和编程模式的依赖）。 怎样使用本书和相关材料 如果您是3D UI开发人员 专业开发人员在设计、实现和评估具有3D UI的应用时，通过本书可以获得灵感和指导。在设计过程中，开发者可以考虑第四部分中所有的UI隐喻，从第三部分中选择特定的交互技术，并且从第二部分中找到合适的输入和显示设备。所有这些章节中的设计指南可以帮助开发人员制定合理而全面的决策。3D UI的实现可以从第三部分中提供的交互技术的内容和数学描述中获得帮助。最后，开发者可以基于第11章的知识选择评估方法，评估他们的应用系统的可用性。如果您是教师 本书可以在不同类型、不同层次的大学课程中讲授，而对于学习3D UI设计的研究生，可以用它作为主要的教科书。对于普通的虚拟环境课程，可以讲授本书的第一部分至第三部分，介绍VE交互中所使用的基本技术和方法。对于本科层次的HCI课程，可以从第一部分和第四部分中抽取部分内容组成一个模块，介绍3D界面和它与传统界面的不同点。来自第三部分的通用技术实现可以作为交互式3D图形的提高课程。如果您是研究人员 本书可以作为一个全面的参考指南，供从事3D UI的设计评估、3D应用研究、使用虚拟环境以及增强现实的研究人员参考。第13章的研究议题可以给研究人员和研究生提供在这个领域所涉及的重要问题的列表，它甚至可以作为博士研究生寻找3D UI相关课题的切入点。3D UI设计是一个快速变化和发展的领域，因此，我们会致力于更新书中的内容，一种方式是通过这本书的官方网址http://www.3dui.org更新。这个网站将包含最新的3D UI研究和应用的信息和链接，并且采用和本书相同的组织方式，以方便读者快捷地获取某个特定部分或章节主题的最新知识。网站允许大家加入3D UI邮件列表，我们也希望能够获得您的帮助，以便保持本书的更新。访问上面的网址，并通过在线反馈表格告诉我们您的见解、问题或者另外的相关信息链接，您也可以直接发邮件到3dui@3dui.org。您的建议将帮助我们更新网站以及本书的再版内容。 致谢 没有一个大团队成员的辛苦工作、支持和智慧，这本书就不会得以出版。 首先，我们向那些为提高本书的质量而付出了时间和精力的审阅者们表示感谢。他们的见解和建议使得本书更加完整、更有可读性、更实用。感谢Ben Shneiderman，Harry Hersh，D.Jay Newman，Jeff Pierce，Dieter Schmalstieg和Bob Zeleznik，他们提供了非常宝贵的援助。特别感谢Jim Foley的鼓励和支持。 其次要感谢Addison-Wesley出版社的编辑Peter Gordon，他给我们提出了宝贵的建议和鼓励。包括Bernie Gaffney，Amy Fleischer，Julie Nahil，Heather Mullane以及Curt Johnson在内的其他成员也给我们提供了极大的帮助。同样感谢Simone Payment和Carol Lallier在本书出版过程中出色而专业的工作。 还要对3D UI社区中的同事们所提供的富有成效的讨论与合作表示我们的感谢，包括Mark Mine，Rober Lindeman，Matthew Conway，Ken Hinckley，Shumin Zhai，Kiyoshi Kiyokawa，Chris Shaw，Mark Billinghurst，Rudy Darken，Pablo Figueroa和Bernd Frhilch。 本书的部分工作获得了美国国家科学基金（NSF）的支持（编号DUE-0127326和IIS-0237412）。书中的任何观点、发现、结论或建议均来自作者，而不代表NSF。 Doug Bowman:我想感谢我的妻子Dawn，因为她永不停息的爱与支持。同样要感谢我的亲朋好友们，特别是那些在Gra

无封面