更多精彩PDF电子书尽在

    书名：增强人类：技术如何塑造新的现实

    作者：【美】海伦·帕帕扬尼斯

    出版社：机械工业出版社·华章图文

    出版时间：2018年5月

    ISBN：9787111594970

    本书由北京华章图文信息有限公司授权得到APP电子版制作与发行

    版权所有·侵权必究

    更多精彩PDF电子书尽在O’Reilly Media，Inc.介绍

    O’Reilly Media通过图书、杂志、在线服务、调查研究和会议等方式传播创新

    知识。自1978年开始，O’Reilly一直都是前沿发展的见证者和推动者。超级极客

    们正在开创着未来，而我们关注真正重要的技术趋势——通过放大那些“细微的信

    号”来刺激社会对新科技的应用。作为技术社区中活跃的参与者，O’Reilly的发展

    充满了对创新的倡导、创造和发扬光大。

    O’Reilly为软件开发人员带来革命性的“动物书”；创建第一个商业网站(GN

    N)；组织了影响深远的开放源代码峰会，以至于开源软件运动以此命名；创立

    了Make杂志，从而成为DIY革命的主要先锋；公司一如既往地通过多种形式缔结

    信息与人的纽带。O’Reilly的会议和峰会集聚了众多超级极客和高瞻远瞩的商业

    领袖，共同描绘出开创新产业的革命性思想。作为技术人士获取信息的选择，O’

    Reilly现在还将先锋专家的知识传递给普通的计算机用户。无论是通过书籍出版，在线服务或者面授课程，每一项O’Reilly的产品都反映了公司不可动摇的理念—

    —信息是激发创新的力量。

    业界评论

    “O’Reilly Radar博客有口皆碑。”

    ——Wired

    “O’Reilly凭借一系列(真希望当初我也想到了)非凡想法建立了数百万美

    元的业务。”

    ——Business 2.0

    “O’Reilly Conference是聚集关键思想领袖的绝对典范。”

    ——CRN

    更多精彩PDF电子书尽在“一本O’Reilly的书就代表一个有用、有前途、需要学习的主题。”

    ——Irish Times

    “Tim是位特立独行的商人，他不光放眼于最长远、最广阔的视野并且切实

    地按照Yogi Berra的建议去做了：‘如果你在路上遇到岔路口，走小路(岔路)。’回顾过去Tim似乎每一次都选择了小路，而且有几次都是一闪即逝的机会，尽管大路也不错。”

    ——Linux Journal

    更多精彩PDF电子书尽在本书赞誉

    像作者一样，本书对人类的未来具有深刻的洞察力，鼓舞人心并且态度严谨

    ，是你想象和创造新现实的指南。对于想要了解新方向和下一步未来的人来说，这是一本必读书籍。

    ——Soraya Darabi，企业家和投资者，Trailmix Ventures公司创始人

    本书全面概述了增强人类的已知不同方式，以及这些增强领域可用于创造新

    的沟通和讲故事的方式。本书揭开了这种新媒体的无限可能。

    ——Jody Medich，奇点大学实验室设计总监

    这是我所见过的最全面、最实用的增强现实指南。我不仅学到了很多东西，而且将其应用到了工作中。

    ——Stefan Sagmeister，Sagmeister＆Walsh公司设计师兼联合创始人

    更多精彩PDF电子书尽在译者序

    翻译本书的过程中正好遇到父亲心脏出现问题，几经周折医生建议安装心脏

    起搏器。父亲心里很纠结，一台电子仪器植入体内或多或少让人感觉有些惶恐。

    于是利用本书安慰父亲说：“你只是提前体验了未来，等翻译完了一定要让你看看

    更广阔的增强人类世界。”

    虽然只是一句安慰父亲的话，但本书的确为我们展现了一个全新的世界，甚

    至定义了新一代结合智能技术的增强人类，这是在翻译本书之前始料未及的。翻

    译过程中不断查询作者引用的企业和产品，就像展开了一幅通向未来的画卷，经

    历了一次非常享受的想象力之旅。在另一位译者晓雷的提议下，我们在原书的基

    础上添加了很多图片，试图传递我们在这个过程中得到的启发和提示。也许本书

    的再版就会脱离纸面，通过各种感官技术带给各位读者身临其境的感受。

    本书的另外一个重要贡献如前言所述，VRAR技术本身已经日臻完善，但如

    何应用这些技术却是另外一个挑战。在这个科技时代我们经常会拿着各种新技术

    的“锤子”去找“钉子”，这种做法在科技时代之前带有很强的讽刺意味，经常会被

    导师用来教育那些知其然而不知其所以然的学生们。但随着第四次工业革命的到

    来，我们看到了类似AR这样的技术突破引领着人们对问题认知本身的改变。拿着

    锤子找钉子这样的做事方法被重新定义为用新技术去颠覆各行各业，这件事情正

    在我们身边随时发生着，以至于谈起新技术每个人都会有自己的感慨。

    对于VRAR技术，很多人预测将随着5G网络时代的到来而爆发，这也是我们

    最初选择翻译本书的原动力。但怎么爆发以及在什么地方爆发却不可能有人给出

    准确的答案。就这个爆发的问题，本书作者给出了非常有意义的见解，书名也从

    增强“现实”变成了增强“人类”。这意味着我们的关注点应该从技术本身转移到我

    们人类自身，从自身的感受和体验出发去寻找增强的机会点。采用增强现实技术

    更多精彩PDF电子书尽在的目标也应该是为人类提供更好的生活和体验，从这一点出发我们会发现一个很

    不一样的增强现实领域，它超越了简单意义上的视屏叠加，而是能够调动人类的

    听觉、味觉、触觉，甚至于情感的体验增强。

    到这里，我们确实对作者关于增强体验设计是一门艺术的观点非常赞同。未

    来良好的增强人类应用很可能出自于艺术家的手中，就像身边的各类艺术作品一

    样，美化着我们的体验，成为我们生活的一部分。而艺术本身就是一种创作，最

    好的作品是来源于生活却高于生活的，这也是我们在考虑现实增强技术应用时所

    需要遵循的原则。从某种意义上讲，技术人员应该尝试着像艺术家一样去贴近生

    活，让技术服务于我们的生活，并创造更好的生活。

    最后，这也是一本充满正能量的科普读物，相信大家读完后会少一点对新技

    术的恐惧，多一分对未来生活的向往。技术本身没有正邪之分，作为创造者和应

    用者的我们决定了技术的走向。读完此书，我们更加坚定技术会增强人类的生活

    体验。而翻译结束时父亲也开始揶揄自己是增强人类了。

    肖然，技术工作者，持续学习者

    2018年1月14日于成都

    更多精彩PDF电子书尽在序

    当海伦告诉我她正在创作本书时，我自告奋勇地要(实际上是请求她让我)

    写序。那时，我还没有读过手稿，对她将要说什么几乎一无所知。然而，基于对

    海伦学术声誉和缜密思考习惯的了解，我知道她对增强现实这种新兴技术及其在

    增强人类中的应用的理解将会极有见地，甚至会发人深省。

    迄今为止，已经有大批研究者在创造这一新媒介的探索途中付出了努力。多

    年来，增强现实(AR)往往被看作一个创新点，又或是一把可以拿出去找“钉子”

    的“锤子”。然而，并没有足够的呼声将它暴露在普罗大众的视野中，而这一点对

    于在这个领域获取更多的投资和关注至关重要，并将直接决定下一阶段的市场化

    和规模化应用。作为AR技术开发早期的所谓开拓者之一，这一“可耻”的荣誉给了

    我写这篇序的资格。

    就我个人而言，这段旅程始于52年前，在作为赖特–帕特森空军基地的美国

    空军官员的时期，我曾为战斗机和其他军车设计过更好的驾驶舱。我的工作主要

    是帮助飞行员合理分配注意力，因为他们需要在高度紧张和危险的环境中操作复

    杂的系统。这个问题促使我对增强现实的方法进行了探索，以提高飞行员对现实

    世界的觉察。最初的想法是以虚拟图像的形式组织和描绘信息，并通过可穿戴头

    盔设备将信息投影和叠加到现实世界中。此后，我将这项工作扩展到了虚拟现实。

    现在，AR和VR技术终于成熟了(尽管花了比我想象中更长的时间)，我作

    为一个工具制造者的角色即将谢幕。是时候把火炬交给海伦和她的同事们来做一

    些有用的事情了。建立一个新的媒介是一回事，但在这个媒介上传递信息是另一

    回事。最终，还是信息更为重要。

    正如我预期的那样，帕帕扬尼斯博士出色地完成了这本权威著作。本书虽然

    更多精彩PDF电子书尽在简短，但冲击力巨大。她为我们奠定了基础，描述了增强现实及其各种模式的含

    义，设计了知识体系来帮助我们对应用进行分类，并向我们介绍了一系列的内容

    和应用(以及它们的开拓者)。她比我们想象的走得更远。在这一至关重要的时

    刻，海伦让我们认识到：AR并不像我们传统意义上理解的那样，它不仅仅是一个

    新的媒介，而是人类自身的增强。它并不会像电视、电影甚至是虚拟现实所带来

    的体验那样，把我们从现实世界中隔离出来，而是让技术与现实世界融合成一体

    ，从而提升我们在整个混合体验中的感受。在这个层面上，她向我们展示了增强

    现实赋予人类的能力，我们需要扩展自身的思维和想象力，重新思考“增强”一词

    在未来对于人类的意义。

    增强现实这一媒介所传递的信息往往会给我们带来许多新的自由度，如非线

    性叙事体验，又比如各种不遵守现实世界中物理法则的新型现实。正如海伦所解

    释的，我们需要打破那些限制我们在现实世界中进行理解和互动的旧原则。在她

    的设想中，当我们开始接受这些新的经验及其丰富内涵时，将会拥有更多的发现

    力、创造力和想象力，在未来的日子中逐渐找到成为增强人类的意义。虽然我们

    并不能确定她的预言是否会成真，但毫无疑问，这是为我们揭开人类增强史诗这

    一新篇章的基础，也是必不可少的试金石。

    我特别欣赏海伦对艺术家(或她称为的“惊喜创作者”)这一角色的洞察力和

    敏感度，这将会是下一波创新的火花。据我所知，迄今为止没有一个组织或社区

    曾经踏足过这片天地。增强现实不仅是工程师和计算机科学家的领域，也同样是

    作家和艺术家的地盘。体验才是我们能够记住并终将改变我们的。希望技术(或

    者说类似于我的贡献)能够变得“不可见”，为人类的创作腾出更大的空间。

    我从心底同意海伦在本书结束时的总结：我们需要共同努力，建设属于自己

    的文明，使用我们这个时代特有的工具来唤起人性，激发世界的积极变化。最后

    ，让我们一起来回答这个问题：增强技术是否能够让我们的生活更美好？

    汤姆·弗内斯，ARVR之父，虚拟世界协会的创始人

    2017年7月16日于西雅图

    更多精彩PDF电子书尽在前言

    我为什么写这本书

    12年前，我第一次目睹了增强现实作为一种新的通信媒介的力量。这是一种

    纯粹的魔力：一个虚拟的三维立方体出现在我的物理环境中，我很惊讶。增强现

    实展示出的立方体在当时不是互动的(它除了出现以外没干别的)，但是，它引

    发了我对AR如何发展和演变的想象。那一刻，我将自己接下来的创造性工作、研

    究和演讲奉献给了那些因为AR成为可能的新体验。

    我写这本书是因为我开始目睹一个迫切需要转变关注点的AR领域，从专注于

    技术转向在AR中创造吸引人的内容和有意义的体验。本书就是关于探索那些创意

    点子和AR能够提供的非凡新现实的。现在是时候去梦想、设计和建造我们美好的

    未来了。

    随着AR领域的发展，我们必须问：如何设计AR体验才能增强用户的生活，并使其更轻松和更美好呢？麻省理工学院媒体实验室创始人Nicholas Negroponte

    说：“计算不再仅仅是计算机了，而是关于生活的一切。”AR也不再只是关于技术

    ，而是关于生活在现实世界中，创造以人为本的神奇而有意义的体验。本书的关

    注点是AR如何丰富我们的日常生活，并以前所未有的方式扩展着人类世界。

    谁应该读这本书

    一个全新的媒体出现并不常见。如果你是一个制造者、一个行动者，或者是

    一个对开拓一条崭新道路感到兴奋并希望为这个快速发展的行业做出贡献的探索

    者，你应该阅读这本书。作为一个理性的消费者，希望了解这方面的知识，以便

    窥视我们生活、工作和娱乐方式的新体验，你也应该读一读这本书。

    你可以是一位设计师、一位开发者、一名企业家、一个学生、一位教育家、一位商界领袖、一名艺术家和一个技术爱好者，对AR提出的可能性充满好奇和兴

    更多精彩PDF电子书尽在奋。你致力于设计和支持新的AR体验，以深入人类的价值观，对改善人性状况产

    生深远影响。

    阅读本书不需要有关AR的先验知识。为了充分利用本书的内容，建议读者亲

    身尝试AR体验(理想情况下多试几次)，包括各章中提及的各种案例。

    如何阅读本书

    本书的组织结构如下：

    第1章重新审视从1997年开始的AR的经典定义，扩展了AR今天和未来的变化

    ，同时介绍了下一波AR技术，这些技术能够提供全新的空间理解和感官认知，从

    而创造出更具身临其境感、集成性和互动性的体验。

    第2章探讨了计算机视觉如何为我们提供新的眼睛和视角，从艺术家装置到

    机器人和自动驾驶汽车，以帮助视力受损的人。

    第3章介绍了触觉技术的研究和创新(触觉反馈)，以便将我们所看到的与

    感受到的东西同步，并创造使用触感进行沟通的新方法。

    除了将声音用于导航和旁白之外，第4章还探讨了增强音频和“可听式”设备(

    佩戴在耳朵中的可穿戴技术)，这些方法可以改变你倾听周边环境声音的方式，甚至改变环境如何“听到”你的声音。

    在第5章中，我们将了解数字嗅觉和数字味觉这个持续成长的研究、原型和

    产品设计领域，它可以增强我们共享和接收信息的方式，增强娱乐体验，加深我

    们对某个地方的理解，并影响我们的整体感受。

    第6章介绍了AR如何通过创新来创造引人入胜的叙事体验，在创作的过程中

    关注我们习惯出现的主题和约定，并能够融入我们展示出的新兴风格和机制。

    第7章讨论虚拟化身、智能代理、物品和材料如何成为活跃的情境变化因素

    ：针对情境来学习、成长、预测和进化。

    第8章探讨了增强身体的方式，从电子纺织品到嵌入身体的技术，以及大脑

    控制接口的方式。

    第9章讨论了迄今为止的10个AR体验类别，目的是通过一种对人性提升的感

    更多精彩PDF电子书尽在慨和承诺，将AR发展的可能性延续到不久的将来甚至更远。

    Safari在线图书

    Safari Books Online针对企业、政府、教育机构和个人提供了不同的购买计划

    ，你可根据实际需求进行选购。

    用户可以访问上千种图书、培训视频、学习路径、互动教材和专业的播放列

    表，这些内容来自超过250个出版商，包括O’Reilly Media、哈佛商业评论、Prenti

    ce Hall Professional、Addison-Wesley Professional、Microsoft Press、Sams、Que、Peachpit Press、Adobe、Focal Press、Cisco Press、John Wiley＆Sons、Syngress、Morgan Kaufmann、IBM Redbooks、Packt、Adobe Press、FT Press、Apress、Man

    ning、New Riders、McGraw-Hill、Jones＆Bartlett和Course Technology等。关于Saf

    ari在线图书的更多信息，请访问http:oreilly.comsafari。

    联系方式

    美国：

    O’Reilly Media，Inc.

    1005 Gravenstein Highway North

    Sebastopol，CA 95472

    中国：

    北京市西城区西直门南大街2号成铭大厦C座807室(100035)

    奥莱利技术咨询(北京)有限公司

    我们有个关于本书的网页，上面有勘误表，示例和所有的附加信息。可以通

    过以下链接访问：http:bit.lyaugmented-human。

    关于本书的评论和技术问题，请发邮件给bookquestions@oreilly.com。

    关于本书的更多信息，如教程、会议、新闻，请参见网站：

    http:www.oreilly.com

    http:www.oreilly.com.cn

    更多精彩PDF电子书尽在致谢

    能够拥有一个友爱、支持、善良、耐心、激励和鼓舞人心的家庭是十分幸运

    的，这不仅在写作本书的过程中，而且在整个生命中都给我信心。我亲爱的爸爸

    妈妈，感谢你们慷慨给予的爱与关怀，你们不遗余力地致力于整个家庭的幸福与

    快乐。本书以及我所做的一切都是为了我的家人，我的内心充满了热爱和感激。

    感谢Caitlin Fisher在我硕士和博士学位上的出色指导，并邀请我在12年前成

    为约克大学AR实验室的一员，这改变了我的生活!你让我睁开眼睛看到了AR的

    奇迹和魔力。对你，我是如此感恩。

    我的编辑Jeff Bleiel提供了许多有益指导，你的耐心和热情对我帮助巨大，并

    让这次写作成为令人愉快的体验。没有O’Reilly的Susan Conant和Laurel Ruma，这

    本书也只会是一个梦想。谢谢各位让它成为现实并相信我的工作。

    特别感谢Tom Furness，Tom Emrich，Matt Miesnieks，Soraya Darabi，Stefan

    Sagmeister，Jody Medich，Al Maxwell，Jonah，Dan，Mary，Sophie，Tom，Fred

    elle和Martin。

    同时感谢我的读者们，感谢你们选择这本书。我们有令人难以置信的机会和

    特权来设计未来；让我们抓住机会出色发挥。

    更多精彩PDF电子书尽在第1章

    新现实的浪潮

    更多精彩PDF电子书尽在你即将进入一个崭新的现实。在这里，整个世界将会为你而变，按照你的喜

    好、需要和环境来展现。现实变的可塑、可变和高度个性化，甚至完全由你来定

    义和驱使。整个世界并不囿于语言的限制，一旦突破了沟通的障碍，我们可以创

    造全新的感知，人类的视觉、听觉、触觉、味觉都将拥有全新的体验。依赖于模

    拟信号的世界规则将不再适用，可穿戴电脑、传感器和智能系统将打破人类能力

    的界限——我们会拥有超能力。

    这就是新的增强现实，你准备好了吗？

    在这本书里，我将为你介绍增强现实(Augmented Reality，AR)技术，包括

    它是如何发展的，它会为我们带来怎样的机遇，以及它将来的发展趋势。我会引

    导你来到一个全新的维度，带你身临其境地感受这一媒介。然而，你却不需要离

    开你的物理世界——数字体验将进入你的世界。

    请听我为诸君分解。

    这本书的主题不是虚拟现实(Virtual Reality，VR)，让我们先来理解一下虚

    拟现实和增强现实的区别。

    在虚拟现实中，通常通过一套特殊设计的头盔来将我们的视线从物理世界隔

    离开来，完全依靠计算机生成的环境取代了我们对真实世界的感知。

    SnowWorld是第一个旨在减轻成年人和儿童疼痛的沉浸式VR世界，由Hunter

    Hoffman和David Patterson于1996年在华盛顿大学人机接口技术(HIT)实验室研

    发。SnowWorld设计的初衷是帮助提升烧伤患者的伤口护理体验，华盛顿西雅图

    大学在《Virtual Reality Pain Reduction》[1]

    中解释了VR技术是如何依靠分散病人

    在现实生活中的注意力来缓解疼痛的：

    疼痛的感受需要占用注意力资源。VR的本质是让用户产生置身于计算机生成

    的环境中的错觉。沉浸在另一个世界里占用了大部分的注意力资源，给处理疼痛

    更多精彩PDF电子书尽在信号留下的注意力资源就不多了。

    虚拟现实技术依赖于幻觉，能够使人沉浸在另一个时空；一般来说，虚拟现

    实会让你从所在的现实世界中消失。而在增强现实中，你仍然置身于现实的物理

    世界中，虚拟信号依靠透明的数字眼镜、手机、平板、可穿戴设备等进入你的世

    界。你仍然可以看见并体验现实世界中的一切，所有的感官体验都将继续，只是

    它们现在变得可以通过数字化来增强和改变了。

    AR技术早期的一个成功案例叫作单词透镜(Word Lens)[1]

    ，见图1-1。想

    象一下，当你在一个陌生的国家旅行时，你不会讲当地语言；如果没有其他人的

    帮助，在餐馆点菜或者阅读道路指示牌这种小事都将会是艰难的任务。现在我们

    有了单词透镜，当你用智能手机指向菜单的时候，菜单上印刷的外文文本便被自

    动翻译成你所选择的语言。毋庸置疑，你将会在这种技术的帮助下更顺利地融入

    当地环境，拥有更好的旅行体验。

    虚拟现实(VR)有它擅长的领域，但增强现实(AR)将会使我们能够更深

    入地沉浸在真实的世界中，与现实世界无缝连接——而现实世界才是大部分人每

    天花费大多数时间的地方。与虚拟现实一样，我们必须意识到，尽管它的设计并

    不会让使用者与周围的环境隔离开来，但是增强现实也会占用一部分注意力资源。我们必须认真思考如何将人类的体验置于这种新媒介的中心。我们不希望任何

    人在这些先进的设备中迷失，我们将会以人类的身份主导这场进步，技术将隐于

    幕后。

    更多精彩PDF电子书尽在图1-1：单词透镜的典型场景，能够将西班牙语文本实时翻译成英语(https:y

    outu.beh2OfQdYrHRs)

    [1] 这门技术由谷歌公司在2014年收购，并集成进了谷歌翻译应用当中，现在

    它支持37种语言(http:bit.ly2woMXwD)。

    更多精彩PDF电子书尽在什么是增强现实

    最常用的增强现实定义为真实世界之上的数字化叠加，由计算机图形、文本

    、视频和音频组成，并且可以与我们实时互动。AR技术的体验方式包括配备有相

    应软件和相机的智能手机、平板电脑、计算机或AR眼镜。我们可以使用AR技术

    识别夜空中的星星和行星，或者深入探索具有交互式AR指南的博物馆展览，见图

    1-2。增强现实技术为我们提供了机会，使得我们可以以前所未有的方式更好地了

    解和体验我们的世界。

    自1997年以来，我们对AR技术的定义未曾改变，技术专家Ronald Azuma在《

    A Survey of Augmented Reality》[2]

    中简明扼要地解释道：“AR技术允许用户查看

    叠加或合成了虚拟对象的真实世界。因此，增强现实补充现实，而不是完全替代

    它。”

    图1-2：具有交互式AR指南的博物馆展览，虚拟向导形象无缝出现在你面前(h

    更多精彩PDF电子书尽在ttps:vimeo.com70035191)

    传统上，AR技术通过在可用的设备(如智能手机)上使用相机和软件跟踪现

    实世界中的目标。这些目标可以包括图标、图像、物体、声音、位置甚至人物等。目标输入数据经过软件处理，并与含有潜在对应信息的数据库进行比较。如果

    匹配到对应的内容，则会触发增强现实体验，将其效果叠加到我们对现实世界的

    感知之上。

    Azuma对增强现实的初级系统定义包括以下三个特征[2]

    ：

    ·真实和虚拟融合

    ·实时互动

    ·三维注册

    第三个特征“三维注册”是指将虚拟对象无缝地对齐到现实世界中的三维空间。没有准确的注册，虚拟物体在物理世界中的存在感就会受到影响，我们将不再

    相信那些叠加对象的真实存在。通常情况下，如果一个虚拟台灯看起来漂浮在物

    理桌面上，而不是准确地摆放在桌子上，我们将会觉得办公室在闹鬼，这个技术

    难点将会影响我们对空间中存在一盏台灯的认知。但当我们为虚拟对象添加阴影

    时，它就变得更加可信了，因为它反映出了物理环境更多的特征。

    更多精彩PDF电子书尽在增强现实的演进

    考虑到AR的下一波技术浪潮，在当前的增强现实定义中，我认为还缺少一个

    关键字：上下文。借助于对你的体验、你的位置、你的兴趣和你的需求的充分理

    解和定制化设计，上下文信息将会使增强现实体验得到提升。上下文信息通常需

    要建立在注册数据之上，这门技术可以在真实世界之上注册、合成并关联各种有

    意义的数据，为你创造个性化的用户体验。

    在新的增强现实技术中，这种上下文注册的成功并不是让你看到一盏虚拟的

    台灯，并感觉它完全位于你现实世界中的桌子上(就像我们在1997年定义的那样)。我们需要的设计是让台灯能够通过环境信息知道你何时需要更多的光线，从

    而在适当的时候自行出现，或者把自己关掉，以表明现在是应该结束工作开始休

    息的时候了。毫无疑问，随着技术的发展，作为技术难点的注册问题将会得到解

    决，尽管技术问题一直都很重要，但我们将把重点放在为人类提供有意义和引人

    入胜的增强现实体验之上。

    随之而来的目标匹配的过程也将变得更加复杂，因为它不再是一个连接到静

    态数据库的“命中”过程。在传统AR技术中，当我们在教科书中发现了一张恐龙的

    照片，就会触发对应的恐龙的三维模型的显示。而今天，三维模型和增强现实体

    验日渐进步，已经可以主动去适应每个学生的课程计划甚至学习风格等因素了。

    我们很高兴能够看到，在下一次学生打开增强现实课本时，恐龙的种类已经自动

    根据其学习进展进行了调整，并集成了学生感兴趣的其他话题。增强现实技术现

    在成为了一个有生命的数据库，与我们一同呼吸：在交互中的触发和对应内容的

    更新都是动态的，可以随时改变。借助于对随时变化的上下文和背景数据的实时

    处理和适应，新的AR技术可以根据你和你周围的环境提供定制化的信息和体验。

    我们早就应该重新审视增强现实的定义以及它的发展方向，尤其是现在，增

    强现实技术的研究已经不再局限于学术机构。以前，增强现实需要高度专业的设

    更多精彩PDF电子书尽在备，这些设备的体积和价格都让大众望而却步。但今天，随着智能手机中传感器

    数量的增加，强大的增强现实设备已经可以被装在你的口袋里。这门技术的发展

    将会越来越快，可穿戴式计算机将会悄无声息地嵌入你的衣服里，眼镜上，甚至

    皮肤下面。

    诸如苹果、Facebook、微软、谷歌和英特尔等大公司正在密切关注增强现实

    的未来，它们进行了大量的投资，让其尽快转化为大众能够使用的技术。Faceboo

    k总裁马克·扎克伯格将增强现实称为“新的通信平台”，2014年3月25日，他在自己

    的Facebook页面上写道：“有一天，我们相信这种沉浸式的增强现实体验将成为数

    十亿人的日常生活的一部分。” [1]

    苹果首席执行官蒂姆·库克表示增强现实是“像智能手机一样的巨大科技创新”

    [3]

    ，库克表示：“我认为增强现实有令人难以置信的巨大发展潜力。通过这项技

    术，我们可以改善大量人类的生活体验，这让我感到兴奋。并且，这件事情本身

    也非常有趣。” [3]

    2017年，在苹果全球开发者大会(WWDC)[2]

    上，苹果公司推

    出了ARkit，一套用于开发面向iPhone和iPad的增强现实应用程序的前沿平台(见

    图1-3)。在WWDC主题演讲中，苹果软件工程高级副总裁Craig Federighi将ARkit

    称为“世界上最大的AR平台”。

    作为提升人类体验的一项技术，增强现实不会独立演进。它将成为一种超级

    媒介，与同时发展的其他新兴技术相结合，包括可穿戴计算、传感器、物联网(I

    oT)、机器学习和人工智能等。

    AR的第一次浪潮，我称之为“叠加”，主要内容是在现实之上叠加数字虚拟层。想象一下出现在棒球交易卡上的棒球运动员的三维模型，或出现在啤酒杯垫子

    上的虚拟问答游戏形象，它们都是“叠加”的典型体验。这类体验的主要特征是，当我们之后再次访问时，场景中出现的虚拟形象和内容几乎没有变化。这种虚拟

    形象通常基于完全相同的内容，重复访问的趣味性会大打折扣。通常在首次访问

    的时候，你还需要下载特定的形象和目标，并加载它以触发增强现实体验。

    更多精彩PDF电子书尽在图1-3：ARkit的典型应用：无缝在现实世界的桌面上展示虚拟玩具车

    现在，我们正在进入AR的第二次浪潮，我称之为“代入”。这一阶段将会创造

    出更加身临其境的、与环境集成的互动体验。“代入”和“叠加”的关键区别是用户

    ，也就是你——这同时也是创建有意义的AR体验的秘诀。用户是“代入”发展的动

    力，也是定义体验质量的关键。

    与叠加不同，下一波增强现实的浪潮不仅仅是对虚拟目标的复制和加载；根

    据对空间的全新理解和更深入的环境智能，将使整个世界都成为可追踪的目标。

    在代入阶段，我们突破了叠加阶段的技术限制，通过新的传感器来增强交互体验

    ，从而加强与世界和彼此的互动。

    当前，代入的成功案例包括配备有新一代传感器的AR智能手机，如联想Phab

    2 Pro和华硕ZenFone AR，它们主要基于谷歌的AR技术Tango开发。Tango结合运

    动跟踪技术和深度感知技术，使设备能够像人类一样来引导我们探索物理世界。

    当你握住设备并在房间中四处移动时，深度感应摄像机会看到你看到的内容

    ，并能够智能识别周围环境的物理边界和布局。它可以识别墙壁的位置，地板的

    位置，甚至定位每一种家具。在不久的将来，诸如Tango等技术将使增强现实成

    更多精彩PDF电子书尽在为日常体验，就像为你的孩子讲述睡前故事一样。请想象一下，你的床变成了一

    辆虚拟的卡车，在野生动物园中驰骋，你会看到一只猴子从衣橱顶上跳到台灯上

    ，而狮子在梳妆台顶部睡得正香，你的物理环境被整合到故事世界中，可以拥有

    身临其境的体验。

    [1] 马克·扎克伯格的Facebook页面：(https:www.facebook.comzuckposts10

    101319050523971)，2014年3月25日。

    [2] WWDC 2017主题(https:youtu.beoaqHdULqet0)。

    更多精彩PDF电子书尽在感觉代入

    微软Kinect最近在增强现实技术上取得了相当可观的进步，实现了在现实世

    界中识别目标方式的重大转变。Kinect有助于你更好地体验增强现实，因为你的

    身体现在已成为可追踪的目标。在Kinect之前，AR目标通常是静态的，例如某个

    具体形象的复制和展现等。而Kinect这项技术借助于对用户行为的观察和识别，打开了互动体验新的大门——它甚至能够识别你的面部表情和当下的情感。(可

    以在第2章中看到计算机视觉在AR中的发展，以及它如何给我们一双新的眼睛来

    体验这个世界。)

    Kinect发明人Alex Kipman(同时也是微软AR耳机HoloLens的发明者)在《H

    ow The X-Box Kinect Tracks Your Moves》[4]

    中提到，Kinect为我们带来了“一个

    巨大的转变，将整个计算机行业从一个我们必须了解技术的旧世界带入到一个新

    的世界里。在这个新世界里，技术壁垒将不再显式地存在，技术将会了解我们。”

    增强现实技术不仅可以探测到我们和我们周围的环境，更开始识别我们的活动，并对此进行回应。我们与技术交互的方式变得更加自然，因为技术将隐于幕后，而体验变得至关重要。这就是代入的核心。

    代入也将带来一个全新的沉浸层级：在今天，我们需要透过叠加层的玻璃俯

    瞰增强现实的世界，而在代入阶段，这层玻璃将被打碎，我们可以在新的维度里

    体验虚拟的所有感官。人类的感觉将会超越视觉，在下一波的增强现实技术中发

    挥更为突出的作用。例如，增强音频通常与视觉效果相辅相成，也可以在增强现

    实中独立出现，不需要显示甚至也不需要与其他感觉进行集成。除了视觉和声音

    之外，我们现在能够触摸、闻到并品尝数字信号，甚至创造新的感官体验(这些

    想法将会在第3章、第4章和第5章中分别进一步探讨)。

    在代入阶段，增强现实会创造出物理和虚拟结合的新模式。AR技术将物理世

    界与数字媒体融合在一起，虚拟感觉能够让人拥有前所未有的体验。借助于数字

    更多精彩PDF电子书尽在用户交互界面，包括气压场、可变形屏幕和特殊控制器等，触觉技术能够使人体

    验到与现实生活中一样的物体触感。例如，AR技术使得我们可以触摸到一只虚拟

    的宠物猫，真的感觉到它毛皮光滑的触感和呼吸时候腹部的振动。

    一些AR设备可以让我们在增强现实中拥有味觉和嗅觉，如“电子味道感受机”

    和“香气体验机”，这两项发明都是伦敦城市大学广义计算实验室的教授Adrian Da

    vid Cheok的功劳。香气体验机是一个可以插入智能手机音频插孔的小型设备，可

    以让你分享香味的气味信息。而电子味道感受机使用金属传感器，根据通过电极

    的电流，诱使舌头体验各种口味，从酸到苦，从咸到甜，在你的大脑中生成虚拟

    的味觉体验。

    Cheok希望我们的五感都能够以物理世界中互动的同样方式与电脑进行交互。他在《Share touch，smell and taste via the internet》[5]

    中解释说：

    想象一下，当你使用计算机、iPhone或笔记本电脑的时候，一切都在玻璃后

    面，仿佛是隔了一扇窗户。你要么是触摸玻璃，要么透过玻璃来看。但在现实世

    界中，我们可以打开这扇窗户，我们能够触摸，我们能够品尝，我们能够闻到虚

    拟的“真实”。

    在增强现实的下一波浪潮中，我们能够“打碎玻璃”，增强人类的感官体验。

    更进一步的是，人脑可以理解数字信号和电化学信号，以体察其含义甚至创

    造新的感官体验，虽然人类目前看不到无线电波、X射线和γ射线，但这些东西仍

    然客观存在。人类看不到(或者至少暂时看不到)这些信息，是因为我们生来没

    有配备适当的传感器，而增强现实技术可以提供这些超能力，使得我们不仅可以

    看到，而且可以使用我们身体的每一个部分来充分体验各种各样的信息和数据。

    这种新的技术使我们可以用前所未有的方式来参与和了解我们的世界。

    更多精彩PDF电子书尽在更多精彩PDF电子书尽在

    5.增强娱乐

    建筑商进行交互，并充分参与工地上的设计工作。

    我们远距离工作的方式。例如，日本的建筑师可以通过AR技术在加拿大的现场与

    释和建议。这一全新的、允许实时远程协作的工作模式正在迅速发展，并将改变

    AR技术已经开始提供修理指导，能够分享你当前看到的东西并提供实时的注

    4.增强工作

    产品和服装的外观，还可以触摸和感受它们，就像在商店里那样。

    的穿着效果。人们正在努力推进这一领域的发展，以让线上消费者不仅可以看到

    是什么样子的；增强现实试衣间还可以让你看见手表和服装这类服饰在自己身上

    目前，AR技术已经可以让你看见某些产品(比如家具)出现在你家里的时候

    3.增强零售

    ，如果你看起来有些走神，AR技术可能会向你提问以确保学习进度。

    在线课程，如果你看起来很困惑，那么AR技术将会向你提供进一步的解释。或者 个学生定制内容和进度。例如，如果你正在通过你的AR设备进行远程学习或观看

    学习上的难题。在不久的将来，教师们将能够用这项技术来制定教学计划，为每

    今天，我们已经可以使用AR技术来跟踪面部表情，实时知道学生是否遇到了

    2.增强学习

    从而为现实生活中的手术积累完全真实的临床经验。

    久之后的某一天，触觉元件的最新发展将使外科医生可以在虚拟的大脑上练习，。医生们现在可以操纵数字模型，甚至3D打印出模型的不同阶段来辅助手术。不

    增强现实技术使医学专家可以与人体解剖学的虚拟三维可缩放模型进行交互 1.增强健康

    我们来看看在哪些行业中下一波增强现实技术已经开始产生影响。

    跨行业的增强现实技术有一天，你可能不再需要电视：你的AR头戴视图器将成为你的娱乐中心，向

    你提供丰富的个性化内容。不管是让你最喜欢的表演者出现在家中为你唱歌，还

    是让你身处一个开放场地来尝试走出一个虚拟迷宫，这些全新的数字内容将被量

    身定制，结合你身边的物理环境，为你提供更好的娱乐体验。

    更多精彩PDF电子书尽在今天的增强现实：以人为本

    12年前，当我开始AR方面的工作时，整个领域的主要焦点是技术；内容的设

    计很晚才出现，在一段时间内甚至没有人关心，通常人们在技术出现后才会考虑

    内容。在那个大多数研究人员和开发人员都关注于AR技术中的注册和跟踪问题的

    年代，我有幸成为加拿大多伦多约克大学一个特别棒的实验室中的一员，在Caitli

    n Fisher博士的领导下，我们尝试定义未来世界中AR的内容和故事体验。我们的

    实验室当时与其他研究机构非常不同：我们隶属于美术系和电影系，而大多数AR

    研究实验室都在计算机科学系。其他实验室的研究焦点通常集中在AR技术的一个

    特定领域，专门发明和改进这些技术，而我们实验室的工作重点是创造内容和体

    验。

    我们并不是软件或者硬件方面的专家。增强现实技术激发了我们的设计灵感

    ，与此同时，我们并不局限于技术上的限制。已经有足够多的实验室正在解决不

    同的技术问题，而现在，更需要探索的领域是在技术允许的前提下进行全新的内

    容创作和不同类型的体验设计。我们尝试了多种新兴技术，将它们以新的方式结

    合起来，以超越传统增强现实用途的局限。如果技术尚未存在，我们就和工程师

    和科学家一起合作来实现它。

    2009年，我们的实验室开发了SnapDragonAR，如图1-4所示，它是首款商业

    化的AR拖放式软件工具之一，可以让非程序员们更容易为这一新媒介做出贡献，使增强现实技术可以惠及教育工作者、艺术家、电影制作人员和更一般的受众群

    体。同时，这为各个领域的制造商创造了内容制作的平台。我们扩大了AR技术的

    世界，使其不再局限于计算机科学专业领域，让创新者们可以继续在这条道路上

    前进。

    更多精彩PDF电子书尽在图1-4：SnapDragonAR的虚拟拖拽方式(http:www.futurestories.casnapdragon

    ar)

    AR不再仅仅是一项技术，而是对我们现实世界中生活方式的重新定义；它让

    我们思考如何更有意义地设计内容和交互体验，从而推动人类的下一步发展。AR

    的技术、意识和形态在过去十年中发生了巨大变化。现在我们拥有的这一切已经

    如此令人难以置信，将来又会是怎样？在定义AR的发展路径时，我们将一起来回

    答这个问题。我们需要跨企业、跨设计和跨文化的领导者来引导这一快速发展的

    行业，使梦想成为现实。增强现实技术将彻底改变我们的生活、工作和娱乐方式。

    更多精彩PDF电子书尽在参考文献

    [1]Hunter Hoffman，“Virtual Reality Pain Reduction，”(http:www.hitl.washin

    gton.eduprojctsvrpain)University of Washington Seattle and U.W.Harborview Burn

    Center.

    [2]Ronald T.Azuma，“A Survey of Augmented Reality，”(http:www.cs.unc.ed

    u~azumaARpresence.pdf)Presence：Teleoperators and Virtual Environments 64(1

    997)：355-385.

    [3]David Phelan，“Apple CEO Tim Cook：As Brexit hands over UK，‘times are

    not really awful，there’ssome great things happening’，”(http:ind.pn2u7tbJy)The

    Independent，February 10，2017.

    [4]“How The X-Box Kinect Tracks Your Moves，”(http:www.npr.org201011

    19131447076how-the-x-box-kinect-tracks-your-moves)NPR，November 19，2010

    .

    [5]“Share touch，smell and taste via the internet.”(http:bit.ly2wb4wAS)

    更多精彩PDF电子书尽在第2章

    看世界的新视角

    更多精彩PDF电子书尽在我们已经开始大规模地改变自己看待和体验现实世界的方式。计算机视觉、机器学习、新型相机、传感器和可穿戴设备正在以不同寻常的方式延伸人类的感

    知。增强现实(AR)给了我们新的眼睛。

    作为新的通信媒介的进化，AR的出现可以追溯到早期电影史。1929年，先驱

    电影制作人Dziga Vertov撰文阐述了相机的力量，描绘了一个新的现实：“我是一

    只机械眼。我，作为一台机器，为你展示我眼中的世界。”Vertov的知名作品《持

    摄影机的人》使用了创新的摄像角度和技术，以超越人类视觉的局限性。

    Vertov尝试了新的拍摄视角(例如在摩托车这类移动交通工具上进行拍摄，在火车飞快掠过时将照相机放在火车下面的轨道上，见图2-1)。他还通过叠加图

    像、快进和慢放镜头等技巧来探索新的时空体验。Vertov使用机械相机的新兴技

    术来扩展人眼的能力，并创造出拍摄世界的新方式。他写道：“我在探索一条不同

    寻常的道路，创造看世界的新视角。借助于这种新的方式，我将解读出一个你们

    闻所未闻的世界。”

    近一个世纪以后，Vertov的研究指向了增强现实这项技术，并确实带来了崭

    新的视角，刷新了我们对世界的理解。相机在传统的AR技术中起着关键的作用：

    相机与计算机视觉结合在一起，扫描和解码我们的物理环境。但过去的AR严重依

    赖于基准标记(黑白的几何图案)或图像来增强二维表面(譬如印刷品)的表现。

    更多精彩PDF电子书尽在图2-1：拍摄者冒着生命危险寻找最适当的画面(https:upload.wikimedia.org

    wikipediacommonscc7Mikhail_kaufman_on_train.jpg)

    然而，现实世界并不是二维的，我们对现实的体验多数基于三维空间。与二

    维基准标记或图像不同，AR技术正在使用三维深度感应摄像机来识别、映射和理

    解我们的空间环境。三维深度感应摄像机(例如微软Kinect相机和Intel RealSense

    相机的发明)正在取代传统上使用基准标记和图像的测量方法，它们将革新计算

    机感知、投射和增强三维环境的方式。

    Vertov的工作同时探索了另一种可能性：相机(或者说机械视觉)将如何超

    越人类视觉极限。他提出了新的观点：如果人类可以用和相机一样的方式感知世

    界，将会如何？同时，像Kinect和RealSense这样的深度感应摄像机的发明，也促

    使我们从另一个方向思考这个问题：如果相机和计算机可以像人类一样感知世界

    ，又将会如何？AR技术开始模仿人类的感知设计，使我们能够以全新的方式去看

    更多精彩PDF电子书尽在、去听、去体会。

    更多精彩PDF电子书尽在由你控制

    2010年推出的Kinect改变了我们体验增强现实的方式。Kinect的口号是“由你

    控制”。通过简单地移动你的身体，就像平时所做的那样，你便可以触发并控制自

    己的增强现实体验。

    在Kinect之前，为了使自己体验到AR技术，你需要在身上放置二维的基准标

    记——比如在衣服上打印一个图像，或者搞一个AR纹身。但是，现在有了Kinect

    ，增强现实体验变得更自由了。我们和虚拟形象之间的障碍不复存在。站在由Ki

    nect驱动的屏幕前，你可以看到增强处理之后的自己，并与其进行交互，就像站

    在数字魔镜前面一样，如图2-2所示。增强现实技术将会一一响应你的动作和手势

    ，创造独特的交互体验。

    更多精彩PDF电子书尽在图2-2：利用Kinect自制钢铁侠套装(https:youtu.bebx5McnEht7Q)

    作为新型互动体验创造的先锋，艺术家们立即接受了Kinect这个创意工具。2

    012年Chris Milk所创作的“The Treachery of Sanctuary(http:milk.cotreachery)”是

    Kinect在艺术创作中使用的一个成功案例，如图2-3所示。站在一组三个互动面板

    的前面，你可以体验出生、死亡和再生的整个过程。在每个面板中，你的身体都

    会出现不同的变化，它们产生的暗色阴影将会映射回你身上。在第一个面板中，你看到自己的身体慢慢展开，分解成一群小鸟，飞入空中。在第二个面板中，这

    些小鸟俯冲向你，展开攻击。在第三个也是最后一个面板中，有巨大的翅膀从你

    的肩胛处展开，你只需要挥动你的手臂，便可以感到自己慢慢飞起来，离开地面

    ，冲向天空。

    更多精彩PDF电子书尽在图2-3：体验“The Treachery of Sanctuary(http:milk.cotreachery)”

    Milk在自述[1]

    中写道：

    对我来说，作品和观众之间的双向交流才是真正有趣的事情。可以将观众看

    作设计理念的重要部分，而技术允许观众与作品进行交互。因此，我们强调体验

    的重要性，创新设计需要不断地超越过去的规则，以达到灵肉合一。

    Kinect的魔法还有一个重要因素：技术隐形。科技的迅速发展使得技术渗透

    在了细节里：只要站在它的前面作出动作，便会得到相应的体验；身体和动作就

    更多精彩PDF电子书尽在是一切反应的触发器。科技给我们创造了新的体验，但用户才是最终内容的创造

    者。如同字面上的含义那样，技术隐于幕后，而你成为焦点。

    更多精彩PDF电子书尽在观察运动并预测行为

    Kinect使用深度感应摄像机来感知三维世界。它将红外光点按照一定的模式

    在空间中进行投射，然后测量每个点光源发射的光反射回相机的传感器芯片所用

    的时间。这些数据经过软件处理，用于识别视野中可能出现的人类特征，譬如头

    部和四肢。Kinect使用骨骼模型将人体分解为多个部分和关节。这套软件内嵌了

    超过200个姿势，可以理解人体如何移动，并能够预测身体下一步可能的动作。

    我们广泛地在日常活动中与周围环境进行互动，而预测是人类感知的最重要

    的特征之一。Palm计算(为我们提供第一台手持计算机的公司)的创始人Jeff Ha

    wkins——《On Intelligence》的作者，将人脑描述为一套记忆系统，其功能为存

    储和提取历史事件，以帮助我们预测接下来会发生什么。

    Hawkins指出：人类大脑不断对我们环境中将要发生的事情进行预测。我们

    通过记忆存储和提取的一系列模式来体验世界，用它们来与现实环境相匹配，以

    预测接下来会发生什么。

    康奈尔大学个人机器人实验室的研究人员使用Kinect成功制作了机器人来预

    测人类的行为意图，这个机器人可以协助我们完成倒饮料或是打开冰箱门之类的

    任务，见图2-4。机器人观察你的身体动作，以检测目前发生的行为。它可以访问

    包含约120个居家行为的视频数据库(从刷牙，到吃饭，到把食物放入微波炉等)来预测下一步将要执行的动作，然后提前计划以协助你完成任务。

    更多精彩PDF电子书尽在图2-4：在双手被占用的时候，能够帮我们拉开冰箱门的机器人(http:pr.cs.c

    ornell.eduanticipationindex.php)

    更多精彩PDF电子书尽在使用SLAM技术构建3D地图

    为了让机器人在环境中顺利移动和执行对应的动作，它需要对周围的环境创

    建地图，还需要知道自己在地图中的哪个位置。研究人员已经开发了同步定位与

    导航(Simultaneous Localization and Mapping，SLAM)技术来完成此任务。在SL

    AM之前，构建该地图所需的传感器一直价格高昂且体积庞大，而Kinect推出了价

    格实惠的轻量级解决方案。在Kinect发布的几周内，基于Kinect辅助的机器人视频

    便频频出现在YouTube上，从四旋翼飞行器在房间内自主绕圈飞行，到机器人在

    废墟中自动巡航来寻找地震的幸存者。

    谷歌的自动驾驶汽车也使用了SLAM技术和自行研发的相机和传感器。如图2

    -5所示，这辆汽车可以自行处理地图和传感器数据以确定其位置，并根据周围物

    体的大小、形状和运动方式对环境进行理解与判断。自动驾驶技术让汽车能够预

    测环境中各个物体下一步可能的动作，并作出响应，例如检测到穿过街道的行人

    时会自动刹车。

    更多精彩PDF电子书尽在图2-5：谷歌自动驾驶汽车在街道上自如行驶(https:waymo.com)

    SLAM的用途并不仅限于自动驾驶车辆、机器人或无人机，人类也可以用它

    来对环境建模。麻省理工学院(MIT)为人类开发了可穿戴SLAM设备的首个实

    例。该系统最初是为紧急救援人员设计的。譬如，首次进入未知领域的响应人员

    只需要在胸前佩戴一个Kinect相机，该环境的三维数字地图就可以随着相应人员

    的移动而实时建立。同时，用户也可以使用手中的按钮对特定位置进行标记。地

    图可以实时共享，并无线同步到离岸指挥中心。

    SLAM技术也为我们带来了新的游戏形式。2011年瑞典斯德哥尔摩第13实验

    室创造了一款游戏：星球入侵，这是早期将SLAM整合到AR游戏中的经典案例。

    只需要将iPad放在面前，便可以看到物理环境中到处漂浮着虚拟的目标，我们可

    以在其中自由地追逐和射击。独特的是，在“星球入侵”中，虚拟元素可以与你的

    物理世界相互作用：虚拟子弹从你面前的墙壁上弹起，虚拟的球体入侵了你的家

    并隐藏在你的家具后面。当你移动iPad的相机来玩这款游戏的时候，一个三维环

    境地图正在实时构建以支持这些互动。2012年，第13实验室发布了“点云”，这是

    一款采用SLAM 3D技术的iOS软件开发工具包。2014年，VR技术公司Oculus将第

    13实验室收购。

    今天，SLAM已经成为谷歌Tango AR计算平台背后的基础技术之一。2015年

    ，Tango的平板电脑开发套件首先对专业开发人员开放，在此之后的2016年到201

    7年间，基于Tango的智能手机接连推出，比如联想的Phab 2 Pro和华硕的ZenFone

    AR。Tango可以实现诸如无GPS精确导航、虚拟三维世界观测、实时空间测量以

    及特殊设计的增强现实游戏——智能地对周围环境进行建模并定位用户位置。谷

    歌将Tango的目标设定为“让移动设备像人类一样理解空间和运动”，如图2-6所示。

    更多精彩PDF电子书尽在图2-6：谷歌Tango的增强现实应用示例(https:www.google.comatapproject-

    tango)

    现在，我们已经离不开自己的智能手机了，而日新月异的AR技术(比如Tang

    o)致力于让智能手机和人类一样观察、学习和理解这个世界。这会给我们带来

    和物理世界的全新交互方式，并且和虚拟世界无缝连接；物理世界和虚拟现实可

    以分享同样的内容和情境，从而创造出更深层次的沉浸感。虚拟和真实之间的分

    界线会愈加模糊，技术将逐渐学会理解我们的环境，并帮助我们更好地适应它，从而让我们拥有更好的生活体验。

    更多精彩PDF电子书尽在让盲人看见

    如果我们能够让电脑和平板电脑看见这个世界，为什么不使用同样的技术来

    帮助人类呢？英特尔RealSense交互设计组总监Rajiv Mongia及其团队开发了一款

    可穿戴设备的便携式原型，利用RealSense 3D相机技术，来帮助视力障碍者更好

    地了解周围环境。

    在Las Vegas的2015年国际消费电子展(CES)上，在舞台上展示了RealSense

    空间知觉体验可穿戴设备。它的主体是一个装有计算芯片的背心，通过无线与8

    个拇指大小的振动传感器进行连接，这些传感器分别位于胸部、躯干、手腕和脚

    腕附近。它可以通过查看深度信息来感知佩戴者周围的环境，并通过接触体验技

    术利用电机的震动将反馈发送给佩戴者，如图2-7所示。

    更多精彩PDF电子书尽在图2-7：装有振动传感器的背心原型，能够告知佩戴者周围的环境信息

    更多精彩PDF电子书尽在振动传感器的工作形式和手机上的振动模式类似，振动强度与物体距佩戴者

    的距离成正比。如果物体非常接近，则振动较强；如果物体较远，则震动强度相

    应减小。

    英特尔技术项目经理Darryl Adams已经对系统进行了测试。Adams在30年前

    被诊断为色素性视网膜炎，他表示该技术使他可以充分利用他所拥有的视力，结

    合触觉更好地感知周围的环境。

    对我来说，这项技术有着巨大价值，尤其在对周围环境变化进行感知这项能

    力上。如果在静止站着的时候感觉到振动，我就可以立即转向信号传来的大致方

    向，来确认具体发生的事情。通常，我会发现有人接近我，在这种情况下我可以

    向他们打招呼，我可以知道他们在那里。没有这项技术，我一般会错过这种社交

    场景，这常常也会带来一点尴尬。

    该系统在三名佩戴者身上成功进行了测试，每个佩戴者的需求和视力水平都

    不相同，从低视力到全盲。通过硬件模块化技术，Mongia和他的团队正在努力使

    系统变得可扩展，以允许用户选择最适合其特定情况的传感器和触觉终端的组合。

    Adams希望让软件可以感知环境，以便系统可以在任何给定情况下响应佩戴

    者的需求。他认为这项技术可以不断演进，譬如逐渐囊括面部识别或视线跟踪等

    功能。当有人正在看着自己时，佩戴者就可以收到警报，而不仅仅是知道附近有

    人。

    人工智能(Artificial Intelligence，AI)技术可以与AR技术进一步整合，以便

    更好地理解佩戴者的环境和背景，从而为可穿戴设备提供更好的体验。诸如机器

    学习这类方法可以帮助计算机提供人类大脑的一部分能力，使计算机程序能够在

    接收到新数据时自主学习如何执行新任务，而无需提前对这些任务进行明确的编

    程指令。

    1.机器学习辅助计算机视觉

    更多精彩PDF电子书尽在OrCam(http:www.orcam.com)是为视障人士特别设计的设备，它使用机

    器学习技术来帮助佩戴者了解自己所在的环境，并更好地与之进行交互。该设备

    可以识别文本和物体，诸如人脸、产品和纸币等。

    OrCam设备看起来是一副装有相机的眼镜，它可以持续对佩戴者周围的环境

    进行扫描。相机与一个小到可以放到口袋里的便携式计算机通过很细的数据线连

    接。OrCam使用音频代替了振动传感器(比如RealSense空间知觉体验可穿戴设备

    使用的那种)。针对不同的场景，它会读出相应的物体词汇或人物名称，通过骨

    传导扬声器将声音传递给佩戴者。

    OrCam的佩戴者可以通过手指来告诉设备他感兴趣的内容。“简单地指向图书

    ，设备将会为你阅读，”OrCam研究与开发部门负责人Yonatan Wexler在《Augmen

    ted Reality Applications：Helping the Blind to See》[2]

    中提到，“只需要将手指沿着

    电话账单移动，智能设备将会读取这些内容，让你知道是谁的来电和对应的金额。”为了教会系统阅读，它反复读取了数百万个示例，使得算法能够稳定地产生可

    靠的结果。

    Wexler表示，确定人物和面孔时不需要定向。“当你的朋友正在接近你时，设

    备会提醒你。我们只需要大约十秒的时间来教会设备识别一个人，”他说，“所有

    需要做的事情就是让那个人看着你，然后说出他们的名字。”OrCam为该人拍摄了

    一张照片，将它存储在系统内存中。当下一次相机的镜头中出现这个人时，设备

    将会识别他的身份，甚至可以给出被识别者的名字。

    OrCam使用机器学习来进行人脸识别。研发团队必须为OrCam提供数十万张

    不同面孔的图像，用以对OrCam的模型进行训练。当用户佩戴OrCam时，程序会

    排查所有图像，拒绝其中不匹配的对象，直到只剩下一张匹配的图片。每次OrCa

    m佩戴者遇到他们曾经鉴识过的人的时候，都会马上执行这个人脸识别过程。

    2.让大脑看见声音

    OrCam受过专业训练，可以看到你的世界，并为你提供周围环境的口译服务。而另一条技术发展的道路来自于计算机视觉技术，如vOICe和EyeMusic。这些

    更多精彩PDF电子书尽在技术并非借助机器学习技术告诉穿戴者它正在看什么，而是探索人类的大脑如何

    接受其他感官的信号，其中的一个重要方向是学习如何“看见”声音。

    神经科学家Amir Amedi提出了一个问题：“我们是否可能找到一种为视力障

    碍的人类直接在大脑中提供视觉信息的方式，来绕过他们眼睛存在的问题？”Ame

    di和他的团队进行的脑成像研究表明，当先天失明者使用vOICe和EyeMusic这样

    的辅助系统来“看”这个世界的时候，他们大脑中与视觉正常人类相同的信息处理

    区域将被激活。然而，信号不是穿过视觉皮层，而是通过听觉皮层进入大脑，并

    传导到大脑中的正确位置。

    vOICe系统(OIC=Oh I see=“哦，我看见了!”)可以将摄像机的图像转换为

    音频信号，以帮助那些先天失明的人。由Peter Meijer开发的vOICe像是一副带有

    小型相机的太阳眼镜，可以连接到计算机和耳机，该系统也可以通过在智能手机

    上下载软件，借助于手机的内置相机执行相应的功能。

    vOICe软件使你的周边环境成为“有声景像”。摄像机从左到右连续扫描环境

    ，将每个像素转换为蜂鸣声：频率表示其垂直位置，音量表示对应的像素的亮度。更明亮的物体会发出更大的声音，而声调告诉我们物体的物理位置是高还是低。

    Amedi和他的同事让天生失明的人能够使用vOICe和EyeMusic来“看”这个世界

    ，最近由Amedi开发的应用程序能够赋予不同色调相应的音调，并使用不同类型

    的乐器来传达色彩。例如，蓝色由小号表现，红色是管风琴上的一个和弦，黄色

    对应着小提琴，白色由人类的声音代表，而黑色表示着沉默。

    Amedi表示，训练一个人的大脑学会“看”大约需要70个小时。系统可以教会

    用户识别各种物体，包括人脸、身体和景观等。这些信息都将在大脑的视觉皮层

    处理。“人们认为大脑根据感官收集到的信号组织信息，但我们的研究表明情况并

    非如此，”Roni Jacobson在《App Helps the Blind‘See’With Their Ears》[3]

    中表示，“人脑比我们想象的更灵活。”

    Amedi和Meijer所进行的这类研究向我们展示了传统意义上“看”世界的方式正

    更多精彩PDF电子书尽在在发生改变，计算机和人类大脑正在学着以新的方式观察世界——科技与人类将

    共同进步。

    更多精彩PDF电子书尽在定制属于你的现实

    在计算机视觉的帮助下，感知和解释环境的能力也使得过滤真实物体成为可

    能；我们可以有选择地看见或者看不见周围的世界。这种技术为我们提供了从现

    实世界中去除掉我们不希望看到的东西的可能性。

    《黑镜》——一部极受欢迎的讽刺现代技术的电视剧，在2014年的“白色圣诞

    节”一季中，想象了一种按下一个按钮就能够屏蔽现实世界中其他人的能力。屏蔽

    后你会看到一个人形的空白，并听到一声闷响同时被屏蔽的人将会看到和你眼中

    一样的场景。2010年，日本开发商Takayuki Fukatsu使用Kinect和OpenFrameworks

    ，搭建了一个与《黑镜》一剧中描述的技术类似的演示模型。Fukatsu的光学迷彩

    模型成功展示了人与其背景融合而变得不可见的这一过程。

    被称为“可穿戴计算之父”的史蒂夫·曼恩博士是多伦多大学电气工程与计算机

    科学系教授。曼恩在20世纪90年代定义了“介导现实”一词。他在《Mediated Realit

    y：University of Toronto RWM Project》[4]

    中提到，“介导现实与虚拟现实(或增

    强现实)不同，它允许我们过滤掉违反我们意愿的事情”。对于曼恩来说，可穿戴

    式计算设备能够为用户提供“自创的个性化现实”。曼恩使用“介导现实”技术，用

    个人笔记和说明代替了现实世界中频繁出现的广告。

    新媒体艺术家Julian Oliver将曼恩的工作作为“艺术广告家”的灵感，这是2008

    年发起的一个介导现实项目，由他与Damian Stewart和Arturo Castro合作开发。“艺

    术广告家”是一个软件平台，可以实时用艺术品取代广告牌。这一平台训练计算机

    以识别广告所在区域，并将此区域转换成虚拟画布，使得艺术家可以在其上展示

    图像或视频。人们可以用手持设备(看起来就像一架双筒望远镜)来观看艺术品

    ，如图2-8所示。

    更多精彩PDF电子书尽在图2-8：在“艺术广告家”中，广告所在的位置可以被用户喜欢的艺术品所取

    代(http:theartvertiser.com)

    Oliver认为“艺术广告家”是“改进现实”的一个案例，而不是增强现实的一种形

    式，他将该项目描述为将“公共空间”从“只读”转换为“可读写”平台。“艺术广告家”采用了颠覆性的技术来定位和暂时拦截由广告主导的现实环境。

    2015年建立的“品牌杀手”是基于曼恩和Oliver的工作的新项目。它由宾夕法尼

    亚大学的学生Tom Catullo、Alex Crits-Christoph、Jonathan Dubin和Reed Rosenblut

    h创建，用于实时模糊出现在其佩戴者视野内的广告。学生们提出了一个问题：“

    作为消费者，我们要如何面对这个拥有太多公司品牌的世界？”“品牌杀手”是一台

    定制化的头戴式显示器，它使用openCV对图像进行处理，以实时识别和封锁用户

    视野内所出现的品牌和商标。这群学生把它比喻为“现实世界中的AdBlock”。

    我们已经可以通过“介导现实”技术来阻止广告，甚至阻止我们不想见到的人

    再次出现在我们的视野中。那么，除了广告和其他人之外，我们还能选择性地通

    更多精彩PDF电子书尽在过这项技术屏蔽什么呢？

    当我们设计增强现实的未来时，一个需要考虑的问题是：根据用户的需求利

    用数字技术过滤、调和和替换选定的内容这一行为，究竟是会提升我们的现实体

    验，还是会将我们与真实世界分离。从个人的角度，我希望这些新技术将用于支

    持人际交往、沟通和交流，甚至帮助人类建立共情。

    虽然人类往往倾向于从现实中除去自己不想看到的东西，如流浪者、贫穷者

    和疾病者，但我们或者说整个社会必须积极地面对和处理这些事情。“介导现实”

    技术的确有可能培养出偏向回避甚至无知的文化，我们不应该对真实的现实视而

    不见。

    “介导现实”的一个积极面是它为我们提供了一种集中注意力的方式。将来，这种技术可以依靠对干扰因素的过滤，为我们带来更多人与人之间交流的机会。

    在这个信息爆炸的时代，我们每天都在被各种技术和通知轰炸。如果“介导现实”

    可以提供一个简单的方法，让我们暂时完全摆脱干扰呢？

    另一个关键问题是，谁将会成为这个新的现实世界的导演？某个人、某个公

    司还是某个组织？我们将感知谁的介导现实？什么样的视觉过滤器或信号拦截工

    具将会出现？用Oliver的话说，我们将成为可读写环境的一部分吗？还是只读的？

    和互联网分享信息的方式类似，我相信增强现实(包括“介导现实”)将会是

    可读写的。万维网发明家Tim Berners-Lee认为互联网是一个允许我们用新颖和强

    大的方式来分享经验的地方。在《Tim Berners-Lee：Weaving a Semantic Web》[5

    ]

    中，他说：“我最初想做的事情是使它成为一个合作的媒介，一个大家可以互相

    了解并一起阅读和写作的地方”。互联网重组了我们分享和接触信息的方式，而增

    强现实也拥有同互联网一样的潜力。

    时至今日，增强现实技术已经积攒了足够多的案例，并提出了一种感知世界

    的新方式，它可以让视力障碍者重新看到世界，可以帮助艺术家想象新的互动体

    验，可以提供能协助人们日常生活的机器人。AR技术有能力改善人们的生活，也

    更多精彩PDF电子书尽在有能力启发我们以新的生活方式与周围环境相互影响。

    在本章开头Vertov的句子“我，一台机器，为你展示我眼中的世界”中，我们

    不妨用“人类”来代替“机器”一词，这样我们将得以享受互联网带来的丰富信息：

    对人类经验和观点的全球化收集和共享。为了对社会产生积极影响，以有意义的

    方式为人类做出贡献，增强现实技术也需要找到属于自己的道路来呼应万维网的

    原始愿景：海纳百川，有容乃大。

    更多精彩PDF电子书尽在参考文献

    [1]“The Treachery of Sanctuary.”(http:milk.cotos-statement)

    [2]Helen Papagiannis，“Augmented Reality Applications：Helping the Blind to S

    ee，”(http:iq.intel.comaugmented-reality-applications-helping-the-blind-to-see)i

    Q，February 10，2015.

    [3]Roni Jacobson，“App Helps the Blind‘See’With Their Ears，”(http:bit.ly2

    wa9Btg)National Geographic，April 5，2014.

    [4]Steve Mann，“Mediated Reality：University of Toronto RWM Project，”(htt

    p:www.linuxjournal.comnode3265print)Linux Journal，March 1，1999.

    [5]Andy Carvin，“Tim Berners-Lee：Weaving a Semantic Web，”(http:bit.ly

    2wp2kVT)February 1，2005.

    更多精彩PDF电子书尽在第3章

    触摸体验

    更多精彩PDF电子书尽在下一波AR技术将探索并创造新的感官体验——技术为我们创造的感受将不仅

    限于视觉。触感增强现实不仅可以同步我们看到的东西及其带来的现实触感，还

    拥有为我们创造新的沟通方式的潜力。苹果手表的“taptic引擎”(http:tacticalhapti

    cs.com)可以为新信息通知等提供恰如其分的触感反馈，如图3-1所示，对于为虚

    拟现实应用设计的新型触觉遥控器(例如战术触觉Tactical Haptics)来说，触觉

    体验将为VR提供新的现实感，数字触觉的发展也指日可待。

    图3-1：依靠手柄周围的盘状滑片进行触觉反馈的装置，滑片能够独立驱动并

    垂直滑动(http:tacticalhaptics.comfilesIQT_Quarterly_Fall2014_Provanche

    r.pdf)

    在物理世界中，你可以用手摸到面前的东西，把它拿在手上或者做点其他的

    事情。在增强现实中，虚拟物品虽然看起来存在于你的世界里，但如果你伸出手

    来触摸它，将会触到玻璃或稀薄的空气——取决于你使用的是智能手机还是增强

    更多精彩PDF电子书尽在现实眼镜。

    在第1章中，三维注册被认为是在现实世界中无缝对齐三维空间中的虚拟对

    象的最好方式。增强现实中的注册目前集中在视觉对齐上，但其他感官呢？如果

    AR的目标之一是提供无缝的环境和体验，那么当用户尝试触摸虚拟物品时，这种

    感觉就会被破坏，我们不会有任何感觉。所以增强现实的下一步发展是使虚拟物

    品可以被触摸，这项技术将会进一步模糊我们对真实和虚拟的认知边界。

    触摸可以帮助我们探索和理解现实世界。触觉通过感受物体的纹理和重量等

    方面，帮助我们了解一些更深层次的东西。从而我们能够认知：这个东西是用什

    么制造出来的，它和其他东西摸起来有什么区别。触感允许我们验证一个物体在

    物理上是否真实存在。

    我曾经坚信上一段的最后一句话是真的，直到2011年，在南澳大利亚大学魔

    术视觉实验室，我第一次尝试了触觉体验(能够提供触觉反馈的新技术)。我能

    记得的事情是，自己一直在努力确认什么是真实的，什么又是虚拟的。我被彻底

    震撼了。我能够看到并触摸一条虚拟的鱼，感觉到鱼身上的每一片鳞片，就像它

    真的存在一样。能够摸到真实世界中并不存在的东西并拥有物理上的触觉反馈，这真的是前所未有令人迷惑的感受。这是怎么变成可能的呢？

    顶着头戴式显示器(HMD)，拿着被称为PHANTOM桌面的触觉设备(它具

    有和笔类似的附件)，我可以触摸并感受出现在我周围环境中的虚拟物体。该触

    觉装置使用三个通过在触针上施加压力而产生力反馈的小电动机，在单个接触点

    处模拟触感。除了纹理之外，我们还可以使用这个工具感受到重量，如图3-2所示。

    这种错觉现在变得非常可信：我所看到的物体可以与我的感觉实际对应。视

    觉和触感在现实中紧密耦合，但在目前的增强现实技术中，绝大多数情况下，两

    者之间存在着区别。增强触觉体验彻底改变了我的AR经历，同时也让我对未来新

    媒体发展的设想更加大胆。

    更多精彩PDF电子书尽在图3-2：借助手持反应式握力触觉运动控制器进行物理交互的案例(http:tact

    icalhaptics.comfilesIQT_Quarterly_Fall2014_Provancher.pdf)

    2011年，我设计并制作了《Who’sAfraid of Bugs？》，这是世界上第一本使

    用iPad图像识别的AR立体书(见图3-3)。这本书结合了纸艺工程的艺术(切割

    、胶合和折纸)与增强现实的魔力，创建了一本探索对虫子的恐惧的物理立体故

    事书。在通过iPad或智能手机读这本书的时候，各种虚拟小动物将会出现，譬如

    一只爬过你手的毛茸茸的狼蛛。虽然在澳大利亚魔术视觉实验室的触觉体验演示

    之前，我已经完成了对这本书的设计；但我可以很容易地想到触觉体验能够如何

    被整合到本书的下一个版本中。它可以用来创造一个更棒的恐惧诱导体验——用

    户不仅可以看到蜘蛛爬过自己的手，还能够感觉到蜘蛛在皮肤上经过时的重量和

    质感。

    与前面提过的虚拟鱼的例子一样，我们可以重新创造物体在物理世界中的体

    验，并将其应用于虚拟对象，作为进一步增强“注册”的手段。在推进AR作为新体

    验媒介时，更重要的是，我们还会考虑并探索新的方式，例如我们可以使用增强

    触觉体验，而不仅仅是视觉上复制物理现实。

    举个例子，我们是否可以创造出具有强烈对比体验的触觉特性，使得某些东

    西看起来很柔软，但是感觉却很坚硬？我们如何超越屏幕，以新的方式体验触觉

    更多精彩PDF电子书尽在？我们可以用触觉刺激作为非语言交流的手段吗？在本章中，我们将探讨触觉技

    术的研究和创新，这将有助于回答上面这些问题。

    图3-3：《Who’sAfraid of Bugs？》立体故事书样例，一只狼蛛出现在使用者

    的手上(https:vimeo.com25608606)

    更多精彩PDF电子书尽在触觉和触摸屏

    2011年在魔术视觉实验室体验到的触觉体验演示中，我们使用了一般人无法

    负担的昂贵而笨重的设备。而现在，大多数增强现实使用的是智能手机或平板电

    脑，在不久的将来，随着增强现实技术逐渐在眼镜上可用，重大转变指日可待。

    比起触摸智能手机或平板电脑上的玻璃屏幕，AR眼镜可以使得虚拟世界在你面前

    自如伸展，以新的方式(包括触觉)进行交互。

    在2011年发表的《A Brief Rant on the Future of Interaction Design》[1]

    中，用

    户界面(UI)设计师和人机交互(HCI)研究员Bret Victor对各种未来互动概念进

    行了观察，发现其中大部分概念都完全忽视了我们双手对物体的感受和操纵。他

    认为，世界上几乎每一个物体都会给我们提供某种形式的触觉反馈(无论是重量

    、质地、柔韧性还是形状边缘)，在使用它们的时候，我们可以感受到这个物体

    就在我们手里。然而，他表示，像iPad这样的设备“牺牲了我们手上所有丰富的触

    感”。Victor呼吁，互动的未来是“我们可以看到、感受和操纵的动态媒介”。

    自2011年Victor发表这篇文章以来，我们走了多远呢？2015年，苹果公司在iP

    hone和iPad上推出了taptic引擎，为用户提供了触觉反馈。我们开始看到触觉反馈

    设备和触感控制正在虚拟现实游戏中积极发展，在不久的将来，我们可能会看到

    这些为增强现实定制的工具在游戏和娱乐领域提供的更佳体验。

    在2012年消费电子展(Consumer Electronics Show，CES)中，Senseg(一家

    位于芬兰的创业公司)的E-Sense技术首次出现，它提供了一种利用平板电脑或智

    能手机将触觉技术和增强现实集成的方式，如图3-4所示。

    更多精彩PDF电子书尽在图3-4：用户可以在平板上感受不同材质的触感(https:www.youtube.comwatc

    h?v=FiCqlYKRlAAfeature=youtu.be)

    Senseg的副总裁Dave Rice表示，该技术能够为触摸屏显示器增加触觉效果，能够兼容的设备包括智能手机、平板电脑、触摸板和游戏机等。他讨论了开发新

    型游戏应用程序的可能性，譬如说设计一款寻宝游戏，其中藏起来的宝藏只能通

    过触摸屏幕来感受。Rice在《New Technology：Haptic Feedback for Touchscreens

    》[2]

    中提到：“没有任何视觉线索这件事情非常令人兴奋，因为现在我们可以踏

    入触觉的世界——这一世界不仅可以作为对视觉世界的补充，还可以独立存在，真正创造一个新的世界供我们探索”。

    E-Sense通过使用静电场来为我们提供触觉，它可以模拟不同程度的摩擦，使

    其在平面屏幕上产生质感。该技术使用库仑力(基于其电荷性质而对物体或粒子

    产生引力或者斥力)。举个例子，当你将气球在头发上摩擦之后，气球会粘在头

    发上，因为当我们用气球摩擦头发时，电子从你的头发转移到了气球上：你的头

    发带正电，气球带负电，而相反的电荷之间具有吸引力。Senseg在你的手指和屏

    幕之间创造了一个吸引力。通过对这种力的调节，可以模拟产生各种感觉，以给

    更多精彩PDF电子书尽在不同的形象赋予不同的纹理和质感。

    想象一下，在智能手机或平板电脑上使用这种技术可以让我们在家中体验虚

    拟的动物园，并且能够感受到绵羊绒毛的柔软度。触觉现在可以与你在增强现实

    中看到的内容一一对应，虚拟形象不再拥有“玻璃感”。

    日本富士通实验室是另一家从事触摸屏触觉体验的公司。在西班牙巴塞罗那

    举行的2014年移动世界大会上，该公司提出了触感平板电脑的原型，展示了该技

    术如何在触摸屏表面上模拟大大小小形状各异的三维结构。这次演示让人们亲身

    感受到了转动锁的咔哒声，沙子从指缝间流下的触感，以及手指在琴弦上拨动的

    感觉。

    富士通实验室使用超声波振动来代替静电触觉反馈，依靠不同程度的脉冲力

    来让人们感受到触觉。超声波振动通过将手指从平板电脑表面推开来产生作用，借助于对强度的控制，它可以模拟各种纹理表面。低摩擦和高摩擦之间脉冲的快

    速变化可能产生粗糙或颠簸的感觉，而对应的物体表面可以通过感受高压空气层

    的流过以减少摩擦。富士通实验室计划将该技术商业化，网络购物将是其中一个

    典型的场景：你可以感受到自己想要购买的商品的面料了。

    更多精彩PDF电子书尽在变形屏幕

    Senseg和富士通都选择在平面触摸屏上模拟触觉效果，但是如果触摸屏可以

    动态变形并且物理上取代所代表的图像或对象的形状呢？想象一下，我们可以用

    双手直接把虚拟对象和数据从2D显示屏拖到3D环境中。

    GHOST(通用高度有机变形表面材料)是2013年由位于英国、荷兰和丹麦的

    四所大学发起的一个研究项目，主要研究可以触摸和感觉的可变形显示器。研究

    人员基于莱卡技术建立了一个平板显示器，与玻璃不同，它可以随意变形，并允

    许你直接触及对象甚至数据，如图3-5所示。

    图3-5：变性材料图示(http:www.kasperhornbaek.dkpapersAVI2014_Gestures.

    pdf)

    哥本哈根大学的项目研究员Kasper Hornb——最好是它们可以自动改变形状。这与Victor将电脑屏幕视为动态视觉媒介的想法不谋而合。动态视觉媒介可以

    直观地表现大部分事物，而一个动态的触觉媒介，也应该能够表现几乎任何东西

    ，现在，我们拥有了一条通往实践的道路。

    举两个例子，这种可变形显示技术可以允许外科医生进入虚拟大脑开展手术

    更多精彩PDF电子书尽在，并有着与现实生活中一样完整的触觉体验；也可以允许习惯使用粘土等物理材

    料的艺术家和设计师用手持续地重塑物体，并将其存放在计算机上。 表示

    ，这种现实技术可以让你握住另一半的手，即使他身在另一个大陆。

    哥本哈根大学研究团队的成员Esben Warming Pedersen解释了可变形显示技术

    与普通玻璃触摸屏工作方式的不同之处。“iPad实际看到的只是你用来触摸玻璃显

    示屏的指尖部分。所以，当iPad试图找出我们触摸它的位置和方法的时候，其行

    为可看成是在一个平面坐标系上的定位。”而可变形显示技术则更为复杂：当你将

    手指按在显示屏上时，对应的传感器可以感知三维深度数据的位置和手指给屏幕

    的压力，如图3-6所示。Pedersen正在努力开发相应的计算机视觉算法来读取这种

    三维数据，并采用对计算机和人类都友好的方式来表示，从而使其能够在人机交

    互中得到应用。

    图3-6：变形屏幕图示。右侧四台摄像机用于实时记录影像(http:www.kasperh

    ornbaek.dkpapersAVI2014_Gestures.pdf)

    Pedersen发现的另一个挑战是我们还不知道如何与这些新屏幕进行交互。他

    认为，当前我们常用的交互方式主要针对的是二维显示器，例如用两根手指往不

    同方向拖拉照片，照片会被缩小或放大；在屏幕上滑动手指，则将切换到另一张

    图片。但是如果我们把视线转向在三维空间中的手势或者改变物体形状手势，屏

    幕的使用方式则并不直观。Pedersen正在进行用户调研，以寻找针对新屏幕的直

    更多精彩PDF电子书尽在观交互方法。

    2014年，Pedersen和Hornb [3]

    ，这是一项充满不确定性的研究，其中要求参

    与者在可变形屏幕上用他们认为适合的手势来完成不同类型的任务，例如对象的

    选择、导航和3D建模。参与者建议的一部分手势包括将手穿过屏幕，用手掌向前

    平推，抓住物体进行扭转等，如图3-7所示。

    图3-7：缩放三维物体的用户手势设计示例(http:www.kasperhornbaek.dkpape

    rsAVI2014_Gestures.pdf)

    更多精彩PDF电子书尽在能触摸的不仅是屏幕

    迪士尼实验室研发了一种截然不同的触觉感知方式，没有采用屏幕，而是探

    索其他的互动体验。2012年，由Ivan Poupyrev和Olivier Bau开发了REVEL [1]

    ，使

    得人工触觉不仅可以以屏幕为载体，还可以在包括家具、墙壁、木头、塑料甚至

    人体皮肤等各种日常物品上得到应用。

    REVEL利用了迪士尼实验室称之为反电动振动的新触觉技术。设备将弱电信

    号注入用户的身体，在用户手指周围产生振荡电场。当使用者将手指滑动到物体

    的表面时，就能够感觉到物体的纹理和质感。通过改变信号特性可以产生不同的

    触感。

    哪怕是塑料物体平坦甚至滑溜的表面也可以产生粗糙的满是沟壑的感觉。RE

    VEL可以应用于增强现实中，譬如为投影到桌子和墙壁上(或者通过AR眼镜看到)的虚拟对象添加纹理。在没有眼镜或投影的情况下，REVEL技术也可以对现有

    的物品进行增强表现，例如允许用户透过博物馆的玻璃展示柜亲手感觉文物的纹

    理和质感——通常情况下，这些独一无二的脆弱文物是不允许触摸的。此外，RE

    VEL可以针对用户的需求进行定制，例如对个性化的私有内容进行展示，包括可

    以触摸的密码提示。

    2013年，迪斯尼研究实验室开发了《AIREAL：自由空气中的交互式触觉体

    验》[4]。不必佩戴或触摸任何物理设备，AIREAL就可以在空气中提供触觉体验。这是通过使用空气涡流(空气环)压缩气体力场以对用户的皮肤产生刺激来实

    现的，使得用户能够看到并且感觉到投影的物体，如图3-8所示。

    更多精彩PDF电子书尽在图3-8：AIREAL应用示例。恐龙出现在现实世界中，并带有相应的介绍(http:

    aireal.io)

    AIREAL的设计集成了深度图像传感器，用户的手、头部和身体将在三维世

    界中被跟踪以进一步交互。例如可以将3D蝴蝶投影在用户手上。用户的手和手臂

    的运动由AIREAL实时定位，相应调整空气旋涡的方向以模拟蝴蝶翅膀的震动。

    早期用户反馈指出，“这种互动方式为虚拟蝴蝶提供了令人惊讶的身体感觉” [4]

    ，其中一位用户表示，“这种感觉非常自然，就像一只真正的蝴蝶给我带来的一样”。

    UltraHaptics [2]

    也允许你在空中感受虚拟对象。与AIREAL通过在用户面上吹

    小气环来模拟触感不同，UltraHaptics的核心技术是高频超声波。作为GHOST项目

    的一部分，布里斯托大学的计算机科学家在2013年开发了UltraHaptics，并成立了

    一家创业公司以将此技术产品化。

    UltraHaptics利用红外传感器来跟踪用户手指在三维空间中的精确位置，使超

    声波能够准确地指向用户的手，并产生相应的触感。该公司设想了一系列技术应

    用，包括与VR游戏中的移动物体(可扩展到AR)进行交互，以及汽车仪表板的

    空中控制。在家庭环境中，该技术可以在空中控制各种厨房用具，以避免在烹饪

    时弄脏双手。

    更多精彩PDF电子书尽在该公司还在研究安全解决方案，包括与捷豹路虎合作开发其信息娱乐智能系

    统的空中触摸屏幕。该系统可以最大限度地减少驾驶员的眼睛和手停留在屏幕上

    的时间，以减少司机分心的情况发生。在交互区域内，UltraHaptics解决方案能够

    对驾驶员的手进行定位和跟踪，系统会利用物理感觉来指示相应的链接。用户可

    以感觉到开关和按钮，在空中控制它们，并获得反馈以确认相应操作已经成功完

    成，而所有这些操作都不需要查看显示屏。

    [1] https:www.disneyre search.comprojectrevel-programming-the-sense-of-touc

    h。

    [2] http:www.ultrahaptics.com。

    更多精彩PDF电子书尽在触觉通信

    除了模拟控件或虚拟对象的触感，UltraHaptics之类的交互系统还为我们的交

    互提供了其他的可能。苏塞克斯大学信息学系的科学家和讲师Marianna Obrist正

    在使用UltraHaptics来探索情感的沟通。Obrist写道：

    触摸是人类之间交流的强大手段。对交互式系统的设计需求正在不断增长，对面部表情和语音沟通之外的情绪表达的支持也越来越强。尤其是通过触摸传达

    和表现情感这一研究领域，为情感相关的沟通开辟了新的设计机会。

    Obrist指出了UltraHaptics这样的下一代技术如何能够通过刺激手中的不同领

    域传达幸福、悲伤、兴奋或恐惧的感觉。拇指、食指和手掌中间部分的空气在短

    时间内突然爆发将会产生兴奋感，而悲伤的感觉是由于手掌外侧和小手指周围区

    域受到缓慢和适度的刺激而产生的。

    Obrist举了一个假想的例子，早晨上班前，一对夫妇刚刚吵了一架。而在会

    议中，女人通过手镯感受到了传递到她掌心的温柔感觉。这种感觉安抚了她，告

    诉她自己的伴侣不再生气了。

    Obrist认为该技术的应用将十分广泛。它可以开辟新的沟通方式，不仅对盲

    人和聋人有用，也可以帮助所有人。它可以应用于一对一的相互交流，例如相距

    千里的夫妇或朋友之间的触觉交互系统，或者可以用于一对多的交流，为较大的

    群体(如电影院的观众)创造更加身临其境的观看体验。

    Smartstones [1]

    是一家总部位于美国加利福尼亚州圣巴巴拉市的公司，它正在

    开发一种触觉语言系统，以为朋友和亲人提供一种不需要说话的交流方式。Smart

    stones平台允许你配置消息库，并使用简单的触摸手势发送和接收消息。这种被

    称为Touch的硬件设备形状就像是河里的一块石头，可以作为吊坠或腕带佩戴在

    更多精彩PDF电子书尽在身上，或者握在掌心。每次收到消息，都将产生振动和发光模式的独特组合，被

    称为“Hapticon”，如图3-9所示。

    每块“石头”包括蓝牙连接、陀螺仪、LED灯、扬声器、电容式触摸屏(以识

    别和响应手指的轻微触摸)以及手势识别库。智能手机的配合并不是必需的，To

    uch可以通过一个应用程序进行编码，以对特定的手势产生反馈。你可以使用它来

    创建自己的个性化通信系统，甚至发送秘密消息。当敲击两次时，这块“石头”可

    以告诉所爱的人“我想你”，当用拇指摩擦石头时，将传达你“感到焦虑”的信息。

    它能够识别的其他手势包括滑动、点击和摇晃。

    虽然Smartstones这一设计可以被任何人使用，但该产品最初是针对患有中风

    或神经系统疾病(如ALS)的老年人所研发的。Smartstones也引起了有自闭症儿

    童的父母的兴趣。该设备的初始目标之一是为不能口头沟通的人发出声音，让他

    们能够以简单的方式快速地进行交流，而无需长时间学习盲文或手语。“实际上，我们为许多人的理解和交流创造了一个不断发展的平台，”Smartstones创始人兼首

    席执行官Andreas Forsland在《Augmenting life.Unlocking minds》[5]

    中提到，“当

    前的重点是人与人之间的沟通——增强人类交流和发展的能力。更具体地，我们

    可以帮助具有语言障碍的人，如自闭症、ALS、失语症等人群，一般人群也可以

    从研究中得益。”使用手势，Smartstones可以将数据从石头传递到石头，从石头传

    递成文字，甚至从石头传递成声音。

    更多精彩PDF电子书尽在图3-9：用户可以通过触摸石头来传递想法和情感(https:www.linkedin.compu

    lseaugmenting-life-unlocking-minds-andreas-forsland)

    Obrist和Forsland的工作都指出，技术将会使得更隐形化的数字通信模式成为

    可能。在新一代的互动模式中，我们的手将用于传递语言和情感。随着我们的日

    常生活越来越数字化，这些项目能够帮助我们重新获得(甚至重新定义)人的触

    觉，在虚拟时代，我们将赋予触觉更多创造性的意义，甚至设计一种全新的理解

    世界的方式。

    [1] http:www.smartstones.co。

    更多精彩PDF电子书尽在新世界和新感觉

    不仅仅是只用指尖触摸物体(不管它们是真实的还是虚拟的)，如果你的整

    个身体都沉浸在故事中来感受各种角色，又将会怎样呢？Victor在《A Brief Rant

    on the Future of Interaction Design》[6]

    中写道：“我们拥有着整个身体的主控权，在未来的交互中，真的可以满足于仅仅一根手指的体验吗？”(见图3-10)。

    图3-10：互动设计的未来想象(http:worrydream.comABriefRantOnTheFuture

    OfInteractionDesign)

    麻省理工学院媒体实验室的研究人员Felix Heibeck、Alexis Hope、Julie Legau

    lt和Sophia Brueckner创造了一本可以用整个身体穿戴和体验的书——《感官小说

    》。书的原型包括一个连接到电子书的触觉背心，允许读者通过生理反应来感受

    主角的情绪。可穿戴设备可以改变声音、照明、温度，可以使读者胸闷，甚至改

    变读者的心率，以反映书中主要人物的体验。

    更多精彩PDF电子书尽在“亨利，今天晚上去看《Feelies》吗？”助理预言员问道，“我听说阿罕布

    拉新上映的表演最棒。在熊皮地毯上的爱情场面被人们交口称赞。熊皮上的每一

    根毛发都被重现了。那是最惊人的触觉效果。”

    ——Aldous Huxley

    《感官小说》的原型与Aldous Huxley的科幻小说《勇敢的新世界》(1932)

    相呼应，描绘了一种娱乐体验，使观众能够“感受”虚构的叙述。《感官小说》是

    一部将感觉与视觉和声音相结合的电影。电影观众将抓住椅子扶手上的金属球，从而感受到与屏幕上人物的动作相对应的触觉。

    回到Obrist的想法，我们可以在电影院中使用触觉技术来创建更加身临其境

    的观看体验。我可以为她的研究想到几种应用场景，不仅仅是像在《感官小说》

    中一样，用于反映电影中人物的动作和环境，使人感觉到熊皮地毯毛茸茸的触感

    (如上文引用)；根据Obrist的研究，演员们的情绪状态可以通过短暂而尖锐的

    空气在观众的掌心中爆发，让观众体验到如同电影中人物一样的兴奋感。在没有

    视觉效果伴随的情况下，我们依旧可以拥有类似的体验——这一发现可以应用于

    音频或广播剧。这使得“情感触觉”(我想到的一个用来描述这个例子的术语，尽

    管它还不存在)成为可能，我们通过这种全新的方式来与角色建立链接，与他们

    共情。看电影不再是仅仅通过视觉和听觉，我们可以通过触觉来体验到电影中人

    物感受到的一切。

    Obrist、Forsland和麻省理工学院研究人员的工作为我们展现了一种与故事中

    的人物形成更深层次联系的方式，这种非语言的方式可以为我们传递相应的情绪

    、心境、信息甚至故事。与人体的感觉相结合，为我们提供了一种新的方式来认

    识和理解。但是，我们要如何用这种感觉信息的方式来解释其他类型的数据呢？

    更多精彩PDF电子书尽在感官替代

    神经科学家David Eagleman正在努力以一种新的直观的方式来拓展人类感知

    数据的能力——通过特殊触觉背心来传递对信息的感受。

    Eagleman及其在斯坦福大学医学院感知与动作实验室的团队创建了VEST [1]

    (多功能超感觉传感器)，这是一款可穿戴式设备，能够让聋哑人通过一系列震

    动感受到语言，如图3-11所示。智能手机或平板电脑基于相应的应用和麦克风采

    集声音，然后通过蓝牙将这些声音发送给背心。背心将声音转换成佩戴者身体背

    部感觉到的对应振动。

    图3-11：VEST设计示意图(http:www.eagleman.comresearchsensory-substitu

    tion)

    Eagleman的研究为我们解决了一个重要问题，人们的感受是不能被解释为盲

    文的。正如他在2015年TED的演讲《Can we create new senses for humans》[7]

    中所

    更多精彩PDF电子书尽在说：

    佩戴背心时感觉到的振动模式代表声音的频率。人们感觉到的东西并不是一

    个字母或一个单词的代码——与莫尔斯电码不同，实际上传输给人们的是声音的

    表达。

    Eagleman认为VEST与可穿戴设备(例如Apple Watch)是截然不同的。在可

    穿戴设备的设计中，常常分配不同的振动模式来表示不同的事物(例如，一组振

    动模式代表有新的微博，另一组振动模式代表有新的短消息)。

    取而代之的是，VEST使用了“感官替代”技术——信息通过不同寻常的感觉通

    道进入大脑，然后大脑自然知道该怎么做。这类似于我们在第2章中讨论的EyeMu

    sic和vOICe这类产品，大脑可以通过特定的训练“看到”声音。在这些情况下，信

    号不是穿过视觉皮层，而是通过听觉皮层进入大脑，并传输到大脑的正确位置。

    VEST采用类似的原理，对聋哑人进行感官替代。

    Eagleman和他的团队一直同聋哑参与者们一起对VEST进行测试。在他的TED

    演讲中，Eagleman展示了Jonathan(一名37岁的天生聋人)如何将复杂的振动模

    式翻译成对所说内容的理解，这仅仅是在使用该设备训练五天后。

    Eagleman及其团队对VEST的下一步研发重点是在听觉信息之外包含其他数

    据流，如股票市场数据或天气数据等。例如，如果股票市场的数据被转换成嗡嗡

    声，穿着VEST的人们可能开始觉察到他们对某些经济趋势有了直觉。

    “我们不必再等待大自然母亲根据她的时间表来派发感觉的天分。”Eagleman

    说，“相反，像许多优秀的父母一样，她给了我们需要的工具，我们应该走出去，找到属于自己的轨迹。”

    所以，现在的问题是：我们如何用新的感觉(譬如触觉)来增强我们对世界

    的感知？

    在第2章中，我们研究了增强现实技术如何通过新的方式来让我们感知周围

    的环境。在这里，借助于Eagleman对未来的展望，我们可以更进一步，不仅刷新

    更多精彩PDF电子书尽在视觉上的体验，还能够刷新整体的感受；结合触觉体验，我们将以前所未有的方

    式参与和了解周围的世界。基于可变形屏幕的技术发展，我们能够通过掌心中传

    来的振动来感应到另一个人；利用像Eagleman设计的这类触觉背心，我们可以对

    世界拥有全新的感性理解。另一件可以确定的事情是：增强未来不会再给我们“玻

    璃界面”的体验，一切都将是发自内心的。作为人类，我们居住在一个三维的世界

    ，用整个身体与周围环境进行交互，但现有的技术往往把我们限制在二维平面上。将来，更强大的AR技术将使我们拥有身临其境的全方位体验，通过人类能力和

    数字技术的有机结合，增强现实技术甚至能够进一步扩展和增强我们的感官。

    [1] http:www.eagleman.comresearchsensory-substitution。

    更多精彩PDF电子书尽在参考文献

    [1]Bret Victor，“A Brief Rant on the Future of Interaction Design.”(http:worry

    dream.comABriefRantOnTheFutureOfInteractionDesign)

    [2]“New Technology：Haptic Feedback for Touchscreens.”(https:youtu.beFiC

    qlYKRIAA)

    [3]Giovanni Maria Troiano，Esben Warming Pedersen，Kasper Hornb“User-Defi

    ned Gestures for Elastic，Deformable Displays，”(http:www.kasperhornbaek.dkpa

    persAVI2014_Gestures.pdf)Proceedings of the 2014 International Working Conferen

    ce on Advanced Visual Interfaces，(2014)：1–8.

    [4]Rajinder Sodhi，Matthew Glisson，and Ivan Poupyrev，“AIREAL：Interacti

    ve Tactile Experiences in Free Air，”(http:www.disneyresearch.comwp-contentupl

    oadsAireal_FNL1.pdf)ACM Transactions on Graphics(TOG)-SIGGRAPH 2013 C

    onference Proceedings，(2013).

    [5]Andreas Forsland，“Augmenting life.Unlocking minds.，”(http:www.linked

    in.compulseaugmenting-life-unlocking-minds-andres-forsland)Linkedin，June 5，2

    015.

    [6]Bret Victor，“A Brief Rant on the Future of Interaction Design.”(http:worry

    dream.comABriefRantOnTheFutureOfInteractionDesign)

    [7]David Eagleman，“Can we create new senses for humans？”(http:bit.ly2hr

    qVXk)TED，March，2015.

    更多精彩PDF电子书尽在第4章

    音频和听觉世界

    更多精彩PDF电子书尽在声音能够让我们融入周围环境，甚至可以让我们觉得自己身处另一个地方。

    通过听觉，我们可以拥有“心灵剧场”，用自己的想象力构建视觉元素，甚至时间

    旅行。很多场合中，我们已经对环境的声音进行了增强处理：忙碌的火车上，一

    位男士只听得到自己降噪耳机的嗡嗡声；在飞机起飞和着陆期间，一位女士只从

    耳机中听到她最喜欢的摇滚音乐。增强音频的未来不仅将帮助我们屏蔽生命中的“

    噪音”，还能够让我们拥有更有意义和影响力的声音体验。

    “当人们谈论增强现实时，他们往往认为它是一种视觉效果，类似于将虚拟形

    象合成在镜头拍摄到的图像之上。确实，一直以来我们都是在视觉上体验增强现

    实，很少人认为声音也可以被增强，”Leigh Alexander在《Dimensions Augments R

    eality Purely Through Sound》[1]

    中提到。Michael Breidenbruecker(Last.fm的联合

    创始人和Reality Jockey Ltd的创始人)也认为，虽然到今天为止，我们仍然可以

    将AR只理解为视觉效果，但音频可以为我们创造出高度逼真且灵活多变的体验，而不基于视觉上的增强。

    声音可以与增强现实中的其他感官体验进行整合，也可以独立存在。它可以

    帮助你导航，帮助你接收信息，让你身临其境地沉浸在体验当中，通过新的交互

    方式激发你的想象力，又或者自定义周围的环境。本章探讨了这些领域中的各种

    可能，并讨论了“可听式”产品设计(能够挂在耳朵上的小型无线装置)——这是

    一个在日渐增长的可穿戴技术市场中越来越受欢迎的新类别。除了从耳朵上收集

    健康监测信息和健身活动的生理数据外，听众还可以进行新型的互动和交流，就

    像是拥有一个能够听取语音命令并作出响应的智能数字助理。

    更多精彩PDF电子书尽在如影随形的增强音频漫步

    精确导航到特定的位置、信息丰富的博物馆之旅或醍醐灌顶的冥想等都是以

    声音、摄录或直播的方式带领你进入一场旅途的例子。音频可以帮助点亮你周围

    的环境，伴随着人声或者音乐，引导着你的注意力聚焦在前方的道路上，又或者

    帮你指出那些可能不明显的东西。它可以打开一个宝盒，其中盛放着整个世界的

    新意识和新体验。

    自1991年以来，全球知名的加拿大艺术家Janet Cardiff一直在创造令人回味无

    穷的音频漫步。Cardiff在《Introduction to the Audio Walks》[2]

    中讨论了她的作品

    ：

    音频漫步的格式与音频指南的格式相似。发给听众一个CD播放器或iPod，告

    知听众站在或坐在特定的地方并按下播放按钮。听众便可以通过CD听到引导者的

    声音指示，如“左转”或“走过这个长廊”，这些声音被压制在音频背景上：引

    导者的脚步声、交通信号声、鸟类的叽喳声和预先记录的杂音——这些声音都存

    放在他们正在听到的同一个网站上。作为录音的重要部分，虚拟录制的音景必须

    和真实的体验相吻合，以创造一个新的世界作为两者的无缝组合。引导者的声音

    给出指示，同时也引入了各种想法和叙事元素，这些元素激发着听众完成漫步的

    欲望。

    Cardiff创造的音频混合现实驱动了这个领域的发展，人们开始尝试在公共空

    间中叠加亲密的场景，身在其中的听众可以拥有一份私密感。她在2012年发表于

    《纽约时报》的一篇文章[3]

    中提到，你可以将她的漫步作品视为一种“时间旅行”

    的形式。对于使用先进的技术来增强人们的音频体验，Cardiff的工作成为了很好

    的先驱。

    更多精彩PDF电子书尽在Detour

    [1]

    是一家位于旧金山的创业公司，提供一系列位置感知增强音频漫步

    的体验，如图4-1所示。作为Detour的创始人兼首席执行官，Andrew Mason认为Ca

    rdiff等人提供了巨大的灵感。他说：“当我开始探索这个想法时，我做的第一件事

    情就是在世界各地进行旅行，以亲身采样不同的基于位置的音频体验。”这些体验

    在《Cardiff步行穿过中央公园》[2]

    、《布鲁克林的Hasidic Soundwalk》[3]

    以及Fr

    an Panetta制作的《随意散步在伦敦》[4]

    等文中均有提到。“这些经历告诉了我，位置感知增强音频这一技术极有潜力；我们可以创造一种全方位的感知体验，仿

    佛是将人传送到另一个世界一样，比通过任何其他媒介所体验到的都要接近真实。”Mason说道。

    图4-1：Detour带你游览旧金山著名的卡斯特罗街道(https:i.kinja-img.comg

    awker-mediaimageuploadtvkagpy3syjqhjykhmwz.jpg)

    戴上你的个人耳机，打开Detour智能手机应用程序，当地向导的声音便会在

    你行走时自动进行引导。Mason认为Detour与其他音频浏览应用程序是不同的，在Detour中你可以随时随地使用手机或者单击地图上的标记播放相应的内容。在

    更多精彩PDF电子书尽在《麻省理工学院技术评论》[4]

    中，Mason提到：“我们想要达成的目的是让人们

    拥有融入那里的感觉，好像那个社区中的人和你在一起一样，而技术将会使这样

    的无缝融合成为可能。”借助音频这种交互方式，我们可以将设备收起来放进口袋

    中，无需屏幕便可以自由地了解身处的环境，全身心享受私人导游带来的冒险体

    验。

    Detour与普通音频导航的另一项不同之处在于，这项技术始终关注你在整个

    体验中的位置；它可以动态地按照你的步伐、当时的时间甚至是天气来调整旅途

    的进展。当你到达自己感兴趣的场所时，无需按“播放”按钮，它便已经知道你在

    那里，并可以对你的动作做出反应。为此，Detour在智能手机中使用了GPS、iBea

    cons和其他传感器对位置进行精确测量。iBeacon是苹果推出的蓝牙低功耗(BLE)无线技术实现，旨在为iPhone和其他iOS设备提供基于位置的信息和服务，它可

    以用于对可能不可靠的GPS信号进行补偿。信标(beacon)本身是可以提供接近

    传感器服务的小型廉价蓝牙发射器。iOS应用程序会侦听这些信标传输的信号，并在你的手机或平板电脑进入服务范围时进行相应的响应。当您到达兴趣点时，i

    Beacons与Detour应用程序合作，自动触发特定的用户故事。除了iBeacons之外，Detour还使用了手机的加速度计来检测用户的移动和步伐，并用磁力计感知面对

    的方向。

    [1] https:www.detour.com。

    [2] http:www.cardiffmiller.comartworkswalkslonghair.html。

    [3] http:www.soundwalk.comTOURSwillamsburgwomen。

    [4] http:www.hackneyhear.com。

    更多精彩PDF电子书尽在增强音频带来共情和理解

    Detour的目标是“帮助人们很快理解那些常常覆盖着不可穿透的隔膜的地方，真正感受到它的一切”，Luke Whelan在《This New App Will Change the Way You S

    ee Your Neighborhood》[5]

    中提到。在The Tenderloin Detour中，Detour可以带你

    亲密的散步，就像完全融入了Tenderloin区域(旧金山最容易被误解且变化最快速

    的社区之一)一样，让你看到它被大部分人所无视的那一面。在音频漫步时，你

    不仅可以聆听在那里生活和工作的人们的故事，还可以走进他们睡觉的教堂，或

    者住在他们所居住的单身酒店。Detour的制片人Marianne McCune说：“我认为，经历别人已经走过的路，可以让人们更多地了解甚至亲身体验到别人的感受。”

    McCune担任了15年无线电台的记者。她在WNYC纽约公共广播电台上发起

    了一个青年广播节目“Radio Rookies”，让在贫困社区长大的青少年们讲述自己的

    故事和他们的世界。McCune描述了该计划目标的一部分为“让他们讲述自己认为

    对听众有重要意义的故事(虽然这些听众与他们几乎没有共同点)，可以便于W

    NYC的普遍受过良好教育的听众能够更好地理解他们的世界”。她推荐了一位十

    几岁的电台新秀Shirley“Star”Diaz，并定义了一些常常会让人们难以回答的话题，“但是当你认真倾听的时候，会觉得自己就在她的生活环境中生存，已经足够了解

    她的观点，”McCune说，“我相信，她正在用自己的方式引导听众穿过她的世界，让人们透过她的眼睛看到一些东西。所以，听众们和她是在一起的，当他们能够

    理解她的生活的时候，便是他们能够理解她的时候。”

    McCune表示：“我认为，Detour有可能让我们更深层地从其他人的视角看待

    这个世界：它允许你真正走进其他人的生活。”她拿出来自体验过Tenderloin区域

    之旅的人的一封信。“我的几个同事和我对此很感兴趣，因为我们的办公室正好毗

    邻Tenderloin区域，但是显然我们对这个社区没有做太多探索，”信中写道，“当我

    们走进圣博尼法赛教堂时，令人最有感触的时刻降临了，我们看到所有的无家可

    更多精彩PDF电子书尽在归者都睡在了教堂长椅上。我们捐献了一些咳嗽糖浆，并与一名志愿者进行了交

    谈——这个志愿者自己便是一名痊愈的瘾君子。”音频漫步带来了一场别无可能发

    生的对话，给听众创造了一种革命般的效果。合上这封信之后，像这样一个小小

    的捐赠，一场和志愿者的交谈，这么简单的事情就可以完全改变你对整个社区的

    看法，这是令人惊讶的体验。McCune评论道，“我认为，不管是音频，还是漫步

    ，都允许我们走进其他人的生活，推动我们穿过通常不会被越过的界限。”

    增强音频具有打破隔膜的力量，可以帮助促进共情和理解。它可以鼓励你不

    仅通过别人的观点来看世界，并且可以物理上在现场体验它。它可以激励你采取

    行动，改变我们在现实世界中的生活，甚至为我们展开一次与通常不会搭理的人

    的对话。

    虚拟现实中也正在探索使用技术帮助同理心发展的途径。《锡德拉湾上的云

    》(2014)是联合国组织和电影导演Chris Milk合作的一部VR电影，讲述了一名1

    2岁的女孩，名叫Sidra，住在约旦的叙利亚难民营的故事。这部电影于2015年1月

    在达沃斯举行的世界经济论坛上放映，对举手投足之间影响数百万人生活的领导

    人的决策产生了一系列影响。据Milk指出，除了这种方式外，这些人可能并不会

    有机会体验在约旦难民营的帐篷里的生活。

    当带上VR设备观看《锡德拉湾上的云》时，你正在环顾Sidra的世界——这

    是一种全方位的、360度的体验。你并不是在通过电视屏幕看她，你正坐在她的

    房间里，听着她的声音，仿佛你就在那里，她的世界也成为了你的世界。当你低

    下头时，能够看到自己正坐在和她同一片土地上。“就因为这样，”Milk说，“你更

    深入地感受到了她的性格和她的体验，与她进入了更深层次的共情。” [6]

    尽管虚拟现实技术特别适合让人们体验到那些难以物理上亲身进入的环境，但增强现实技术可以通过Detour所展示的方式进一步促进共情，尽最大可能鼓励

    你在现实世界中与实际环境进行交互。Mason与Detour的目标之一是让人们走出

    去，探索周围的物理世界。“这么多公司似乎都为人类设想了一个共同的游戏结局

    ：你坐在客厅的沙发上，吃完刚刚送到的外卖，收起从洗衣房里面拿出来的衣服

    更多精彩PDF电子书尽在，再和虚拟现实Oculus Rift中的朋友聊聊天。”Mason说，“也许我是一个守旧的卢

    德分子，但我有点喜欢真实生活中那些棱角。我想让Detour成为一个能够帮助人

    们走出去围着篝火跳舞的公司。” [7]

    大部分旅游行程都像是一篇新闻稿，因为它们讲述了有关历史、人物和环境

    的真实故事。Detour也利用它的增强音频漫步为我们讲述了一个故事，或者说一

    个难题：旧金山的垃圾战争。这座城市有一个称为“零废弃” [1]

    的计划，目的是在

    2020年之前不向垃圾填埋场或焚化炉送去任何东西，这意味着重新利用或回收旧

    金山居民扔掉的每一样东西。Detour不是简单向你展示垃圾填埋场或垃圾堆这些

    场所，而是通过引导你走过日常生活中的每一个旧金山的角落，让你思考我们每

    天产生了多少垃圾。Detour改变了我们通过音频感受世界的方式，并有希望在行

    程结束后激发长期可持续的转型。

    [1] http:www.sfenvironment.orgzero-waste。

    更多精彩PDF电子书尽在为盲人在城市中导航

    像Detour和Cardiff这样的增强音频漫步技术可以让你深入了解所处的环境，甚至可能发现另一个前所未有的感官世界。但是，那些可能需要依赖这种技术来

    帮助他们日常生活的人呢？微软的“城市解锁”是为视力不佳的人们开发的一种新

    的声音技术，可帮助他们在城市空间中自由行动。

    “这个项目的灵感来自于我女儿的出生，”微软的Amos Miller——一名视力障

    碍者说。“我想要带她出去玩一天，又或者带她去看电影；我不停地思考，自己应

    该怎么做，才能消除做那些事情时的犹豫。”他在《三维声景展示》[8]

    中详细描

    述了导航系统是如何“通过声音来描述世界，类似于灯塔通过光来为我们引路”的

    ，以及如何消除对新旅程的恐惧。

    佩戴着连接到智能手机的骨传导耳机，你会听到指导你并为你描述周围环境

    的声音。骨传导设备位于颚骨上方，可以通过振动将声音从颚骨传播到内耳。这

    样，用户依旧会听到周围的噪音，而不是被耳机屏蔽了周围的环境。位于耳机背

    面的小盒子包含加速度计、陀螺仪、指南针和GPS芯片，以跟踪你的位置和一举

    一动。该系统连接到智能手机，通过GPS和微软必应地图的位置和导航数据提供

    导航服务，类似于Detour等放置在城市地区的蓝牙信标网络也将提供协助。

    定向音频技术可用于创建三维声景，使得导航方向和地标的描述听起来像是

    从它们实际所在的地方传来的。如果你的兴趣点在前方10米处偏右侧，那么这里

    听起来就会像是声音传来的地方。除了转弯时相应的声音指向外，导航过程中还

    集成了音频提示，例如发出跃马奔腾的声音，以表明你在正确的道路上；或者当

    你正在接近路边时，用低沉的号角声提出警告。你甚至可以向系统询问有关本地

    景点的详细信息，譬如开放时间等，所有这些信息均可以通过语音或物理遥控器

    从必应数据库中获取。微软另外还开发了一个名为“CityScribe”的综合应用程序，使人们能够在大多数地图服务不能监控的城市中标记障碍物，例如公园长椅、低

    更多精彩PDF电子书尽在矮的突起、垃圾箱或街头家具等。

    Kate Riddle是微软耳机的试用者之一。Riddle的视力严重受损，她表示这项

    技术可以让她在去新的地方时不必感到焦虑或失控，在此之前，她必须依靠自己

    的记忆，遵循相同的路线到同一个地方。“在需要去不熟悉的环境时，这项技术极

    大地减轻了我的压力。”她表示[9]

    ：“这项技术非常振奋人心，它让旅途变得令人

    享受而不再是苦差事。不再是‘走出去，因为你不得不’，现在是‘走出去，因为我

    可以’。”对于像Riddle这样的人来说，这项技术可以真正地改变生活。

    “解锁城市”的用户也可以扩展到一般人群。在微软的一段视频[1]

    中演讲者指

    出，我们很容易想象，在不久的将来，人们会面对各种各样的日常挑战，在其中

    每个人都用得到这项技术，比如试图找到离某个大型购物中心最近的卫生间，或

    在不会任何当地语言的情况下探索一个新的城市。该技术不仅可以引导你前往感

    兴趣的地方，还可以通过提供在物理世界中更深入的沉浸体验，让人们更好更自

    信地适应环境。

    [1] https:youtu.beBEzncMLLOxE。

    更多精彩PDF电子书尽在为每个人定制美好

    音频是“解锁城市”整体设计的一个方面。人机交互(HCI)先驱和微软首席

    研究员Bill Buxton表示：这个项目中他最喜欢的那部分不是技术，而是当技术全

    部消失的时候，佩戴者拥有的那一段时间。“最好的技术是看不见的。它只是让我

    继续我的生活。”Buxton说[10]

    ，“与技术的互动应该是自然而然的，用户不是作

    为设备操作员存在，而是作为人类而存在。他或她不是走在街上操作新技术，而

    是打算去上班、呼吸新鲜空气或锻炼身体。”

    对于Buxton来说，伟大设计的关键很简单：如果能够了解高度特殊化用户的

    需求并进行设计，那么最终的结果通常会让每个人都满意。他解释道[10]

    ：

    作为一位互动设计师，对我而言，我的关注重点总是人类的体验质量。我很

    早就发现，如果你想了解一些东西，最好的方式是尝试在极端的情况下体会那些

    边缘案例。在几乎所有的时候，你在极端案例下学到的东西也适用于一般人群。

    在参与Buxton的工作后，我很幸运能够在2013年在多伦多与Buxton合作开展

    了一个名为《大规模变革：全球设计的未来》的项目。Buxton是Bruce Mau设计公

    司的首席科学家，在人机交互方面与我们分享了许多价值连城的见解，甚至为项

    目的展览贡献了他个人的收藏——跨越30年的交互设备[1]。我们请他详细说明在

    “极端情况”下设计的想法[11]

    ，以使每个人都受益。他回答说：“‘城市解锁’是把

    声学增强现实的一般情况向前推演的一个例子。”同时，Buxton引用了他最喜欢的

    参考文献——1987年Frank Bowe发表的《Making Computers Accessible to Disabled

    People》[12]。

    Bowe写道：“如果不同用户的选择都能够被纳入所有计算机的设计，数百万

    残疾人的生活体验可能会大大增强。”建筑设计是大家最熟悉的可访问概念，例如

    更多精彩PDF电子书尽在自动门、入口设计与外部景观美化。Bowe说：“这些设计对我们来说似乎是自然

    的——尽管它们看起来好像是专为残疾人而设计的。”他举了轮椅专用斜坡的例子

    ，观察了使用者的情况，有十个健康人利用了它：有婴儿车的父母、骑自行车的

    人、家具搬运车和发现走上坡比爬楼梯更容易的行人。

    Bowe指出，行业已经开始意识到，为满足残疾人消费者的特殊需求而开发的

    技术对每个人都是实用的。他强调，1987年为了识别和理解人类的演讲而开发的

    电脑，同时也使不愿意使用键盘的高层领导或者双手被其他工作所占用的人员(

    如工厂装配线上的质量检查员)受益。我问Boxton，自三十年前写了这篇文章以

    来，他是否认为新技术的设计需求已经发生了改变。他的回应是：“通过设计，借

    助多种新技术来应对复杂的解决方案可以降低使用难度，反之亦然。”在设计增强

    现实技术体验的未来时，需要考虑的重要一点是低使用门槛，从而能够帮助尽可

    能多的人。

    [1] http:chi2011.orgprogrmbuxtoncollection.pdf。

    更多精彩PDF电子书尽在声音将你环绕

    在虚拟现实中，技术人员正在使用声音来提高虚拟环境的可信度，使用户感

    觉真实。我们将会在增强现实中体验到更多的声音——从声音效果到语音互动—

    —以提升体验。Cardiff、Detour和“城市解锁”这些体验均融合了你身边现实的物

    理环境与虚拟的世界，由引导你的声音带领你踏上旅程。除了导航，声音也有助

    于增强现实中的故事叙述和娱乐体验。

    杜比的VR和AR总监Joel Susal说[3]

    ：“虚拟现实中的音频不是奢侈品，而是

    必需品。”他指出，在物理世界中现实并没有一帧一帧的画面展现，而是让我们能

    够全方位地体会周边环境。在VR中，我们需要同样的信号刺激。不像在传统的电

    影中，我们的注意力可以被集中在屏幕上的某些点上，三维环境需要的不仅仅是

    视觉刺激。“你的耳朵会引导你的大脑，”Susal说：这就是为什么声音定向是如此

    重要。声音使得人们可以更好地沉浸在虚拟现实中，让电影制片人能够真正带领

    你去体验故事。和“城市解锁”使用空间音频提示来引导佩戴者一样，这种模拟来

    自不同位置声音的技术可以应用于VR和AR来产生相同的效果，以帮助吸引用户

    在故事叙述或游戏体验中的注意力。

    佩戴着类似微软的HoloLens(配备两个靠近耳朵的小扬声器)的AR眼镜时，当你的头部和身体远离声音发出的地方，声音将会相应地进行调整；若你转身背

    向声源，声音将从后面传来，如图4-2所示。类似地，当你靠近虚拟发声对象时，声音会变得更大。这有助于使虚拟对象看起来更真实。例如，在玩一个增强现实

    游戏的时候，你将能够听到一条虚拟的龙正在朝着你的方向前进，它的咆哮声传

    到了你的左耳中。

    更多精彩PDF电子书尽在图4-2：微软HoloLens拥有一系列传感器，能够实时监测你的周围环境(https:

    www.microsoft.comen-ushololenshardware)

    HyperSound [1]

    的音频技术提供了创造沉浸式效果的另一种方式。像手电筒发

    出的光束一样，Hypersound使用超声波在窄束中引导声音，并将其限制在特定位

    置，以创建精确的音频区域。在音频区域之外的听众听不见任何声音，而对于频

    道内的听众来说，效果类似于用耳机听音乐。现在，我们可以在公共场所创建私

    人听觉区域，并将声束投射到目标位置。例如，麦当劳正在一个试点计划中尝试

    着使用HyperSound，将电视声音引导到餐馆的特定桌子，让用户在不打扰他人的

    情况下观看节目。这项技术的使用范围包括零售商品展示[2]

    、博物馆建设和游戏

    体验[3]。

    BoomRoom [14]

    是奥胡斯大学计算机科学系副教授 创建的一个原型

    ，它提供了一种在空中直接与虚拟声源交互的新方式。Müller和他的团队创建了

    一个直径三米的小房间，其中窗帘后隐藏着由56个扬声器组成的一个环。利用计

    算机视觉和手势跟踪技术，可以静态分配或移动声源的位置。

    技术团队建立了空间音乐混音室作为系统应用。它可以将音乐曲目分配给房

    更多精彩PDF电子书尽在间中的物体，比如说一个花瓶。需要播放音乐的时候，你只需要拿起花瓶，在空

    中“倒出”一条轨迹。做出分开双手或者并拢双手的手势可以操纵音量、重音和低

    音。

    Müller写道：“我们认为，在空中‘触摸’声源并使相应物体‘发言’的能力为人

    机交互打开了许多新的机会。”例如，他描述了一个大理石应答机，看起来就像是

    普通的碗装满了大理石：

    当从碗中取出一颗大理石时，石头本身可以播放录制的信息，也可以被带到

    另外的空间里。如果用户想删除该消息，她可以简单地把它从大理石中拿出来，然后扔到垃圾桶里去。她甚至可以对着大理石回复语音——这条语音会直接反馈

    给呼叫者。如果她想保留这个信息，可以把大理石放在另一个碗里。

    现在，大理石本身当然不能播放声音，这是幻觉。大理石只是普通的石头，隐藏在墙壁上的扬声器发出声音，给人的感觉像是来自大理石一样。Müller说：“

    这个想法是，所有的物体本身都是完全正常的，并没有黑科技嵌入在里面。”

    在另一个例子中，Müller描述了一些停在房间某处或飞过头顶的鸟群——它

    们象征着未读的电子邮件，新的电子邮件在用户面前和身边飞行，紧急邮件从用

    户的头顶飞过，它们都用定向音频做好了标记。可以通过鸟的啁啾声来识别不同

    的发送者。如果用户想要阅读消息，她可以走向小鸟，在空中触摸它，这封邮件

    就会被朗读。用户也可以通过抓住和操纵鸟儿来回复或转发电子邮件。

    增强音频技术可以为我们与日常生活的世界互动创造新方法。并不一定需要

    和大理石应答机或鸟儿递送电子邮件一样，我们可以为这前所未有的新兴媒体设

    计新的互动范式。这些对典型而平凡活动展开的富有想象力和艺术性的探索，正

    激发着我们重新思考如何与信息进行交互，以及我们可以根据这一独特的渠道发

    明哪些新的体验。

    为了让BoomRoom真正走入我们的日常生活中，下一步努力的方向是用更经

    济的方式将扬声器面板集成到房屋的墙壁中。目前，这个原型为我们打开了一扇

    更多精彩PDF电子书尽在华丽的门，让我们开始思考如何应用增强音频进行沟通，并以物理方式(身体动

    作)与我们周围的环境进行互动。

    [1] http:hypersound.comhome.php。

    [2] http:hypersound.comretail.php。

    [3] https:youtu.be82b2Bl-kA28。

    更多精彩PDF电子书尽在声音的想象，声音的游戏

    日本的可穿戴技术创业公司Moff Band [1]

    设计了一款适合儿童使用的可穿戴

    设备(可在亚马逊上购买)，允许人们使用手势与声音来演绎富有想象力的游戏

    和故事。手环可以通过蓝牙连接到智能手机或平板电脑的应用程序，并使用其内

    置的加速度计和陀螺仪传感器来检测儿童所做的动作。所选择的声音效果可以针

    对孩子的动作实时播放，包括气泡咕噜声、吉他声、忍者挥剑声以及其他运动产

    生的声音。Moff手环可以检测两个独立的动作：手臂左右挥舞，或者上下挥舞。

    哪怕使用者在距离设备30英尺远的地方，发声设备仍然能够正常工作。

    两个孩子(或大人)可以带上Moff手环一起玩耍。例如，假装正在打网球，当你在空气中摆动假想的球拍时，你可以听到网球在空中刷刷掠过的声音。你也

    可以听到虚拟人群欢呼的声音。Moff手环将技术与身体活动相结合，它通过自己

    的音效来鼓励孩子们自由运动、跳跃转身。

    Moff手环与美国PBS KIDS [2]

    合作推出了PBS KIDS聚会应用程序。这项针对

    5～8岁儿童开发的活动旨在通过(戴着手环时)富有想象力的游戏和运动来促进

    学习。该应用程序包括Freeze Dance游戏、 聚会游戏、计数游戏以及录音能

    力。

    Konstruct

    [3]

    是James Alliban从2011年开始设计的的增强现实体验，由伦敦公

    司String提供技术支持，它允许你使用声音结合智能手机来建造虚拟雕塑。这是使

    用增强音频的一种截然不同的方式，声音不仅仅用于支持视觉效果，还可以使虚

    拟体验更加形象，Konstruct可以基于你的声音生成抽象的视觉效果。像Moff手环

    一样，它能够响应你的操作——不管是通过说话、吹口哨或对着设备的麦克风吹

    气。你可以组合各种3D形状、颜色和其他不同选项来构建无穷无尽的虚拟结构，噪音的大小也会影响形状的大小，如图4-3所示。

    更多精彩PDF电子书尽在图4-3：Konstruct能够把音频操作转换成抽象视觉效果的实例(https:itunes.

    apple.comusappkonstructid426861175?mt=8)

    Moff手环和Konstruct都能够创造出有趣的场景，以充满想象力的方式来操作

    声音，从而获得灵活多变、自由配置和个性化的独特体验。能够让用户身临其境

    的原因之一是因为用户自己指导和定义了体验。

    [1] http:www.moff.mobi。

    [2] http:pbskids.org。

    [3] http:apps.augmatic.co.ukkonstruct。

    更多精彩PDF电子书尽在增强音频和个性化

    RjDj是由Last.fm联合创始人Michael Breidenbruecker于2008年创立的伦敦创业

    公司，开发了一种称为反应式音乐的非线性音乐形式，它能够使用智能手机应用

    实时对听众及其环境进行响应。戴着耳机时，听众所处环境的声音由其智能手机

    的内置麦克风收集，实时重新混合，结合听众和其背景为其创建独特的个性化音

    轨。虽然RjDj在2013年关闭其网站并将其应用下线，但其创新工作仍然与今天增

    强音频的发展息息相关。

    我们都熟悉个性化播放列表(Last.fm提供了这样的服务)，但是RjDj的设计

    远远超越了播放列表，它实际上能够个性化音乐和歌曲本身，以对用户和其周围

    环境做出响应。Breidenbruecker提到[15]

    ：“音频技术用了差不多十年的时间来实

    现我一开始对RjDj的设计。”

    RjDj的应用程序基于iPhone所引入的新互动方式进行了开发，结合其集成组

    件、传感器和设备固有的可移植性，创造了以前不可能实现的音乐体验。RjDj的

    首席创意官Robert Thomas解释了其应用背后的技术：

    RjDj的应用程序全部基于开源软件Pure提供的数据。RjDj开发了自己的iPhon

    e端口。针对增强声音体验，我们拥有了自己的工具库。从传感器的角度来看，我们几乎能够在iPhone上使用每一个传感器，包括移动、时间、天气、位置等，当然还包括麦克风——用于分析音频的响度和频率。

    当前的增强音频应用程序(类似Detour这种)同样可以利用智能手机传感器

    来提供结合环境的体验，比如实时了解你在旅途中的位置以及基于所在位置为你

    推送特定的内容。除了智能手机，我们也很高兴看到传感器技术能够应用于其他

    形式的可穿戴设备，譬如AR眼镜等。在未来的AR体验中，传感器将发挥重要作

    更多精彩PDF电子书尽在用——提供个性化内容，使你能够以新的方式与环境更好的同步。

    Here One [1]

    是来自可穿戴设备公司Doppler Labs的最新产品。由一对无线耳

    塞组成，可以通过蓝牙连接到智能手机应用。Here One可以实时对环境声音进行

    操作，以创建个性化的音频体验。

    在第一个版本中，Here One针对的是音乐家和音响发烧友。你可以根据自己

    的喜好，利用应用程序中的控件——包括重奏、中频、低音和其他音效(如混响

    、回声和法兰)——调整音频，甚至可以重放现场演奏的音频。“Here One并没有

    使用流媒体或者播放录制的音乐，”Kraft在《Here Active Listening》[16]

    中解释说

    ，“与众不同的是，内嵌的数字信号处理器通过提供音量旋钮、均衡器和各种音效

    ，来呈现现实世界音频的效果。”

    Kraft设想：下一版本的Here One系统能够提供特定的频率和音调，以产生现

    实世界中的噪音，如婴儿哭泣声或者火车鸣笛声。在这方面，像Steve Mann描述

    的那样，我们可以将Here One视为一种“调制现实”(像第2章中所提到的那样)或

    者“一个自创的个人空间”；而这里强调的是声音并非视觉。调制现实并不会将我

    们与现实世界彼此分离开，像Here One这种设计可以用来聚焦重点、减少分心或

    者关注用户感兴趣的声音，譬如在嘈杂的餐厅中用于放大与你共餐的人的嗓音。

    对于Kraft来说，Here One的未来将会与上下文相关；他在《Holding the Intern

    et to Ransom》[17]

    中解释了自己对这项工作的展望：

    我们把它看作放在耳边的一个新装置，你可以根据不同的环境对此进行优化。我们正在研究的机器算法实际上是很直观的。想象一下，当你走进一家餐馆，通过地理位置定位和启发式搜索以及机器了解到你的身份信息；我们可以说，你

    好比尔，我们知道的第一件事情是你的噪音偏好。大多数时候，你走进餐厅，你

    会调低百分之十五的音量。我们也了解这个房间，因为你在房间的左后角落，你

    背后的两面墙将会形成混响。与此同时，由于你已经将其置于交谈模式，我们将

    使用定向麦克风来降低环境噪音，使你想要密切关注的(后方角落里的)对话在

    这个环境中完美呈现。

    更多精彩PDF电子书尽在Kraft把虚拟现实视为一种隔离技术，将会“使你脱离现实”。像Mason对Detou

    r的设计一样，他希望你可以更好地沉浸在现实中。Kraft相信，在未来“和今天不

    同的是，屏幕上不会再出现你的脸”，我们正在以更强的方式充分利用自己的感觉

    和潜能，无论是消除噪音，或是用语音命令唤醒智能助手。

    [1] https:hereplus.me。

    更多精彩PDF电子书尽在

    更多精彩PDF电子书尽在

    在2016年，苹果推出了AirPods [1] 无线耳塞。用户可以通过双击AirPods来访

    需要低头看着屏幕。

    美，但它在全球范围内带动了这种无需双手的交互体验的发展，让我们不再总是

    通过语音操纵，而需要点击提示来激活Google Now或Siri。虽然Moto Hint并不完

    音提示与耳机进行交互。但是，当连接到iPhone或其他Android设备时，不能只是

    如Moto X)成功配对后，它将进入监听模式，用户可以通过说出手机的自定义语

    下一个约会是什么？”或“我离家有多远？”。当Moto Hint与摩托罗拉智能手机( 意力放在手机上，用户就可以自由提问并得到答案，如“今天需要带伞吗？”“我的

    等智能个人助理进行交互(增强个人助理的未来将在第7章中讨论)。无需把注

    容。但无线耳塞最强大的功能是你可以通过语音与Moto Voice、Google Now或Siri

    Moto Hint可用来拨打和接听电话，或在150英尺范围内收听博客或音乐的内。

    重降噪麦克风、可充电电池和红外距离检测器，以便设备在置入耳朵时自动打开 ，能够兼容任何支持蓝牙的智能手机或平板电脑。它包括扬声器、触控面板、双

    者在任何地方和任何时间进行语音输入。Moto Hint是一枚可以放入耳朵中的耳塞 摩托罗拉的智能耳塞Moto Hint于2014年首次推出，它隐形的设计可以让佩戴

    戴设备”。目前的发展趋势是技术隐形，耳朵提供了一个很好的选择。

    nes are the original wearable tech》 [18] 中表示：耳机是“首先为大众所接受的可穿

    耳机制造商Monster的创始人兼首席执行官Noel Lee在《Forget the iWatch.Headpho 习惯了携带有线耳塞或者蓝牙耳机，这为听觉设备更快发展奠定了良好的基础。

    境也可以通过语音交互来获得指令。语音是最常见的沟通方式，我们已经熟悉并

    方式来聆听以及与环境进行互动。同Kraft指出的那样，听觉设备使得你周围的环

    听觉设备或像是Here One这种基于耳机的智能设备，为我们创造了一种新的

    无处不在的听觉设备问Siri，而不用将iPhone从口袋中取出。AirPods可以自动连接到Apple设备(如iPh

    one和Apple Watch)，并在设备之间进行实时的声音切换。在AirPods宣传片中，苹果公司首席设计官Jony Ive表示：“我们正处在真正的无线未来的开始。多年来

    ，我们一直在努力，让技术可以实现你与设备之间的无缝自动连接。”

    在未来，听觉设备的能力将得到进一步扩展，以创造更多的个性化体验；它

    们将不仅能够监听你的声音，而且能够监听你的身体。佩戴在耳朵中的装置也可

    用于收集生物特征信息，包括血压、心率、心电图和体温等。Valencell

    [2]

    是美国

    的一家公司，正在开发用于可穿戴设备的生物识别传感器技术，其中包括能够从

    耳朵收集生理数据的PerformTek耳塞传感器模块。

    该技术使用光学体积描记术(PPG)——一种无创光学技术，来收集用户的

    血流和活动数据。PPG借助照射在皮肤表面的光线，利用光学检测器来测量来自

    皮肤和血管的散射光的变化(在医院中，这通常依靠夹在指尖的设备完成)。

    Valencell已经将其PerformTek传感器技术授权给消费电子制造商、移动设备

    和配件制造商、运动健身品牌以及游戏公司等，以集成到产品中。已推出的耳戴

    式产品包括LG的心率监测耳机[3]

    和iRiver的iRiverON心率监测蓝牙耳机。在听音

    乐的同时，iRiverON可以通过跟踪你的生物特征(包括心率、燃烧的卡路里以及

    运动的速度和距离)来帮助你“更智能地运动”。例如，在跑步之前，将它放入耳

    朵并连接到智能手机。在运动过程中，设备能够通过耳机收集你的生物特征。其

    语音反馈系统会通过你的耳朵告诉你此时的心率区间以及是否达到了设定的卡路

    里目标。收集到的数据将被实时传送给智能手机端的应用程序，以便稍后查看。

    听觉设备的发展机会并不局限于健康和健身行业。在游戏行业耳机的使用十

    分普遍，而具有生物特征传感器技术的耳塞将会改变我们玩游戏的方式。Valence

    ll首席执行官兼共同创始人Steven LeBoeuf认为，未来身临其境的游戏体验将离不

    开生物识别技术。一些可能的设计包括使用心率作为关键控制的健身游戏，需要

    在人物游泳时相应控制呼吸的动作游戏，以及能够根据用户的心情或压力状态在

    不同游戏模式之间切换的健身游戏等。“借助于生物特征技术，通过心率变化监控

    更多精彩PDF电子书尽在，可以实时掌握玩家的情绪状态，使得游戏可以在玩家无意识的情况下有助于压

    力管理。”LeBoeuf在《How Biometrics Could Change Gaming in 2014》[19]

    中表示

    ，“例如，玩家可以通过改变自己的情绪状态，用意念将身体从Bruce Banner转变

    成绿巨人。”

    正如我们所看到的那样，在本章的所有例子中，增强音频为我们带来的不仅

    仅是声音，还包括对内在体验的创造；这一切推动着我们大步走向真正的导航、娱乐或健身；也允许我们在情感上通过共情、故事和游戏的力量来使我们的体验

    更进一步。每个例子都使人沉浸在聆听或者被聆听的世界中，通过对上下文的理

    解实现个性化体验，将使用者与地点、事件或人物进行更深层次的链接。增强音

    频将我们的注意力引向周边的环境，我们可以选择是否与之同步。在增强现实中

    ，音频技术的未来不仅包括使用音频来补充视觉效果以增强可信度，而且还包括

    结合音频技术与其他增强感官相互作用的独特方式进行探索。

    [1] https:www.apple.comcaairpods。

    [2] http:www.valencell.com。

    [3] http:bit.ly2vsQAVe。

    更多精彩PDF电子书尽在

    更多精彩PDF电子书尽在

    au Design，sharing invaluable HCI insights，and even contributing his personal collect

    sive Change：The Future of Global Design.”Buxton was our Chief Scientist at Bruce M [11]I was lucky to work with Buxton in 2013 in Toronto on a project called，“Mas independence-day)Microsoft Story Labs.

    [10]Jennifer Warnick，“Independence Day，”(http:news.microsoft.comstories ZDNet，November 27，2015.

    tp:www.zdnet.comarticlemicrosoft-updates-smart-headsets-for-visually-impaired)

    [9]Asha McLean，“Microsoft updates smart headsets for visually impaired，”(ht [8]3D SoundScape Demonstrator Video(https:vimeo.com110344933)

    an Francisco，”(http:bit.ly2vwrOEg)The Verge，July 30，2014.

    [7]Casey Newton，“Groupon’sousted founder is making gorgeous audio tours of S (http:bit.ly2v05VMe)TED，March 2015.

    [6]Chris Milk，“How virtual reality can create the ultimate empathy machine，” ood，”(http:bit.ly2unquyx)Mother Jones，November 13，2015.

    [5]Luke Whelan，“This New App Will Change the Way You See Your Neighborh UHDv)MIT Technology Review，March 6，2015.

    [4]Rachel Metz，“First Groupon Founder，Now Tour Guide，”(http:bit.ly2u3 (http:nyti.ms2vsR8ud)The New York Times，July 26，2012.

    [3]John Wray，“Janet Cardiff，George Bures Miller and the Power of Sound，” martworkswalks)

    [2]Janet Cardiff，“Introduction to the Audio Walks.”(http:www.cardiffmiller.co http:ubm.io2v2hPnq)Gamasutra，November 23，2011.

    [1]Leigh Alexander，“Dimensions Augments Reality Purely Through Sound，”( 参考文献ion(http:chi2011.orgprogrambuxtoncollection.pdf)of interaction devices spanning

    a period of 30 years to the project’sexhibition component.

    [12]Frank Bowe，“Making Computers Accessible to Disabled People.”Technolog

    y Review，90 no.1(1987)：52-59.

    [13]Katie Collins，“Dolby’sstereoscopic virtual reality proves utterly terrifying，”(http:bit.ly2unQFVT)Wired，March 5，2015.

    [14] ，Matthias Geier，Christina Dicke，Sascha Spors，“Th ......