Screens were the major focus of 用户界面设计ers for decades, 但随着技术的发展，这种情况正在改变，并扩展到日常生活的更多角落. 超过1.23亿 预计到2023年，美国成年人将使用语音控制的数字助手. 触觉反馈在可穿戴设备中无处不在，并且在电子商务领域呈增长趋势 医学应用. 虚拟现实和增强现实的变化如此之快，以至于需要全新的技术 一组设计最佳实践. 和 物联网 是否尝试着将所有这些互动体验整合在一起, 巨大的, almost invisible user interface that some call 环境智能.

As technology advances, so do methods of 引人入胜的 with virtual and physical surroundings, 这给设计直觉的设计师带来了独特的挑战 用户体验.

这个激动人心的时代 用户界面设计 与2007年iphone的推出所引发的触屏革命相比——只是这种模式要复杂得多. 就像 skeuomorphism 不得不走在 材料设计 可以运行，为这些新兴技术设计界面将需要新的蓝图和更多 实验. According to three leading design experts in the Toptal network, 现在是设计师和公司开始踏上这条路的时候了.

AR and VR: Think Outside the Rectangle

身临其境的现实 has come a long way since Google Cardboard 打开门 to an accessible but rudimentary 虚拟现实 experience. 现在，沉浸式现实集成了许多新的界面和设计可能性: 触觉反馈, 增强现实 (AR), 虚拟现实 (VR), advanced sound design, 声音控制 其中的一些功能在今天的商用设备上可用吗.

的 first modern approaches to immersive reality were, 在大多数情况下, the equivalent of looking at an app up close, Toptal设计师说 亚当·凯尔·威尔逊. Users were mostly spectators on a low-resolution roller coaster, 为VR设计UI就像为普通的移动应用程序设计界面一样.

这已经不够好了——充分利用扩展现实(XR)媒介需要范式转变, 说 爱德华•摩尔•, Toptal UX设计师和游戏开发者，曾为b谷歌和索尼开发VR游戏和体验. “It’s easy to make floating rectangles in virtual environments,摩尔说, but over-relying on rectangles—the 最常用的形状 在界面上——意味着你没有充分利用沉浸式体验. “You have to think three-dimensionally. You need to ask: How do I interact with my actual reality?”

沉浸式环境UI设计的一个关键元素是需要像工业设计师一样思考, with the human body at the center of the experience. What’s the length that an arm has to extend to grab something? 当站, 对象的平均高度应该是多少，这样用户才能直观地与之交互? 的 human body is the primary input mechanism for AR/VR, 硬件正在迅速发展，以完善其与数字世界的互动方式.

例如, Toptal designer 克拉克没有人 最近在做一个 groundbreaking medical application of AR 用于膝关节置换术. Due to technology constraints, 在进行这种精密手术所需的沉浸式界面设计精度方面，先例有限, 没有人说. “Knee surgery is not an easy task. 你只需要一毫米的误差，手术就会很快出错.”

所以Noone和他的团队在游戏中寻找最先进的互动技术. 他们使用 团结, a leading game engine, to create the application for 全息透镜, one of today’s most advanced AR devices. 该应用程序使外科医生能够扫描患者的膝盖，为替换物制作超高质量的3D模具. 它还有助于确定切口的位置，以避免主要神经、动脉和软骨.

As advanced as 团结 and 全息透镜 are, 达到医疗级的亚毫米精度需要大量的实验和迭代. “We needed extra care in the design and approval process. Everything was triple-checked against the requirements. 这并不容易，但我们调整了流程，让它为我们服务.“VR手术应用程序大大缩短了膝关节置换术的恢复时间，并降低了成本. As of 2023, the makers are preparing to file for FDA clearance.

Rules regarding designing for VR aren’t set in stone—yet. 威尔逊, 摩尔, 和Noone建议设计师检查可用的文档，并尽快尝试不同的工具和环境:微软有一个 综合设计指南 for the 全息透镜—its flagship mixed-reality device. 苹果公司专门开发了 完整的部分 of its Human Interface Guidelines to AR (ahead of the launch of its VR / AR耳机)，而Meta则提供 丰富的文档 为元任务设计.

Beyond Displays: Voice, Gesture, Touch

的 物联网 (IoT) is a growing network of 物理设备, 车辆, 建筑, 基础设施连接到互联网，并配备传感器来收集和交换信息. A significant number of IoT devices are small, screenless machines with minimal functionality, 例如，检测温度变化的能力，并将这种变化传递给另一台(可能更大的)机器，从而触发一个动作.

语音和触摸是与无屏幕设备交互的主要方式, these interfaces come with their own set of challenges. 例如，依赖于口语的无屏幕语音界面(例如.g.(Alexa或Siri)比视觉界面更容易被误解. 另一方面, 例如，没有扬声器或屏幕的设备只能通过其他设备进行通信, a 智能锁 用户可以通过手机上的应用程序进行管理，或者使用触觉反馈, 哪一个, 在大多数情况下, 不是很直观.

除了将UI设计原则应用于这些语音和触摸界面之外, 威尔逊, who’s been working with consumer-oriented IoT products since 2013, recommends exploring and researching 经验设计. 体验式设计就是通过对环境的深思熟虑的设计来传达信息, 比如零售商店, 公共空间, 或展览. “你试图为用户打造的东西是在一个物理空间中发生的, 不在屏幕上, so it takes a bit of a shift in thinking,威尔逊说. 他建议, 例如, 为无屏幕设备或沉浸式体验设计的UI专家会研究音频导览如何引导游客参观画廊.

类似的, Noone正在进行一个增强现实音乐制作项目，该项目涉及一个虚拟的360°移动界面墙. 它很大程度上依赖于 手跟踪 because it’s being designed for the Apple Vision Pro, 哪一个 不使用控制器. 缺乏控制器带来了一个重大的新挑战:用户和虚拟世界之间没有触觉反馈.

“我们需要思考一下如何将触觉振动转化为视觉线索，”诺恩说. “例如, when previously touching a button, the controller would elicit a nice rumble, 所以我们必须在按钮周围添加悬停状态和轻微的视觉回声，以帮助用户知道他们可以通过使用他们的手来与它交互.” He adds that for a different app, 设计师可能会使用音频反馈(如微弱的点击声)来帮助用户, but because this project was music-based, any audio cues would be drowned out.

随着技术的进步，物理世界和数字世界之间的融合将继续变得更加复杂. 环境敏感 从智能手机、平板电脑到智能温度计，各种设备都可以通过传感器理解环境并对其做出反应, 软件, 和算法. 重新定位到用户当前位置的地图就是上下文感知的一个例子. 在更大的范围内, 当一个人到家或进入房间时，情境感知设备可以通过运动和红外传感器检测到他的存在. 这些传感器, when connected to home devices such as Alexa or HomeKit, can automatically trigger actions like adjusting a thermostat. Hand-tracking devices like the 跳跃运动控制器 enable users to use 手势s to make commands.

随着时间的推移，设计师可以帮助塑造这些界面，使它们更直观，更广泛地使用.

的 工具 (and the Robots) Are Already Here

设计师们不需要等到官方指南才开始做这样的项目. 威尔逊建议设计师现在就把时间和精力投入到这些新兴技术上, rather than remaining focused on web and 移动 design. “由于平台的成熟，在手机和网页上设计高质量的体验变得越来越容易. It’s a fiercely competitive and saturated market. If you are just starting to study design, by the time your career is complete, 移动 and web probably won’t exist anymore.”

希望进入新兴界面领域的设计师可以学习以下原则 designing for smart environments，找到一个合适的沙盒，并与其他设计师进行实验和合作. 大多数XR体验使用行业标准的视频游戏引擎，如 不真实的 或团结，技术和设计师社区不断为其创造新的指南和工具. 你甚至可以 找到插件 to work with haptic and 的声音 interfaces. “只要深入其中，熟悉你选择的引擎中的编辑器界面就行了,诺恩说。. “一旦舒适, 您会发现每个引擎的UI设计部分都与 Figma, 草图, Photoshop—even going so far as to let you set up design libraries, 组件, smart objects just like your standard 2D design apps.”

Contrary to what you might think, 您不需要知道如何编写代码来设计这些新兴的接口. Knowing programming can aid design 但这不是必须的，摩尔说，他在成为用户体验设计师之前是一名程序员.

UI设计的未来

随着技术的进步，创新的设计师和公司将面临挑战. 用户界面设计ers need to get comfortable working beyond the screen. 如果他们还没有开始探索和试验新的用户界面，那么现在就应该开始了. And organizations should ensure that their teams are equipped with 最新的UI工具, 资源, 以及应对未来挑战的技能，这样他们就不会错过推广产品的机会.

AR, VR，语音，手势等等 触摸功能 如果设计师和公司接受沉浸式界面及其产生的广阔可能性，将会为改善我们交织在一起的数字和现实生活创造更多的途径吗. 的原则 交互设计, 产品设计, 而体验式设计——以及适量的实验——将铺平道路.

• • •

这张信息图说明了AR/VR的一些主要设计考虑, 的声音, 触觉界面. By taking these factors into account, 设计师可以确保新兴的界面是直观的，满足用户的需求.

Download a PDF version of this infographic.