bg line bg line

XR技术:数字世界新入口

XR指VR/AR/MR等相关技术,他们是下一代体验革命和计算平台、是数字世界和物理世界融合的进阶,是算力、联接和显示的革命性升级。XR不仅是显示的变革,还是人机交互方式的革命,将在今年内开启一个数百亿美金的新市场空间。



XR技术:数字世界新入口

VR技术(Virtual Reality),即虚拟现实技术,指利用计算机等现代科技对现实世界进行虚拟化再造,用户可以即时、没有限制地与三维空间内的事物进行交互,仿佛身历其境。VR强调了在虚拟系统中的人的主导作用。从过去人只能从电脑系统的外部去观测处理的结果,到人能够沉浸到电脑系统所创建的环境中,从过去人只能通过键盘、鼠标与计算环境中的单维数字信息发生作用,到人能够用多种传感器与多维信息的环境发生交互作用。

得益于VR的应用,未来观赏型的内容大都不必亲临现场,例如在国庆70周年庆典,传播机构在长安街两侧设置VR机位,观众第一次可以通过VR来看阅兵,可以从长安街高点,从贴地的视角,或者从观礼台的角度来欣赏。VR也正在教育领域得到应用,有了VR后,偏远乡村的学生带上眼镜,就可以近距离学习澳大利亚的地理地貌,也可以穿越到人体中,学习血液在人体中的传输。这种体验极大提升学习兴趣,也正逐渐被应用到工程培训等领域。

AR技术(Augmented Reality),即增强现实技术,是一种融合真实场景和虚拟场景的信息的技术。AR眼镜是集合了显示技术、交互技术、传感技术、多媒体技术等,基于第一视角的交互方式,通过镜片将虚拟信息内容展示在用户的视场中,为用户提供增强现实的感官体验。相比VR,AR是一门更大的生意。经过几年的“用户培育”,AR不仅在休闲应用取得进展,更是进入了多种2B应用领域,例如安防、工业、旅游、医疗等。以工业领域为例,AR智能眼镜可以简化工业操作流程,通过远程辅助等方式提高工作效率。

MR技术(Mixed Reality),即混合现实技术,指的是合并现实和虚拟世界而产生的新的可视化环境。在新的可视化环境里物理和数字对象共存,并实时互动。它是VR与AR的进一步结合发展,这一技术通过在虚拟环境中引入现实场景信息,在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路,进一步增强用户体验的真实感。MR的出现突破了完全虚拟的VR技术局限,进一步拓展了人机交互的模式,相应的也拓展了更广泛意义上的商业运用空间。



目前XR终端产品体验欠佳

设备分辨率低:以VR为例,人眼能达到的理想分辨率大约为60PPD(每度像素数),一般支持4KP60解码能力的芯片能支持的单眼分辨率为21.3PPD,对应到电视只能等效于480P的电视显示效果,视觉上往往有明显的纱窗效应,还远远达不到让人感到舒适和沉浸式的效果。如果芯片能够升级到8KP120的硬解码能力,就可以支持两倍于主流VR的分辨率即单眼42.7PPD,极大提升了用户视觉体验,更舒适而且不易疲劳。



XR技术:数字世界新入口

眩晕感:影响用户沉浸体验,有25% 的消费者认为眩晕感是他们购买设备的主要阻碍。而CPU处理性能不足造成的延迟是眩晕感的主要原因之一:延迟引起视觉接受的信息和身体感知的信息不对称,导致用户视觉与其他感官通道冲突,整体感受紊乱,从而产生眩晕感。



芯片强大的NPU算力支持,保证良好体验

基于NPU智能场景识别是AR的基本功能,场景识别需要从图像采集、分析、上传到显示,耗时越短,速度越快,用户体验越好,其中分析阶段是整条链路中耗时最长的一环,想要做到每分钟上百个人脸、车牌在毫秒级内同时完成分析识别,就需要芯片具备强大的NPU算力支持。云端AR/VR对传输带宽和时延有极高的要求,根据华为X-Labs相关白皮书,要保证良好的体验,需要数百M到数Gbps的带宽和毫秒级时延,传统4G和WiFi难以满足要求,因此WiFi-6和5G将是更理想的选择。



XR技术:数字世界新入口

XR(VR/AR/MR)完整解决方案

海思提供XR(VR/AR/MR)完整解决方案,包括计算处理(AP)、显示、视觉、连接等解决方案组件和整体解决方案:

高性能计算:
海思芯片具备独立的海思专有架构NPU,提供高达9TOPS的充沛的AI算力
海思芯片支持8核高性能A73处理器,支持高速计算,避免延时的产生

超高清显示:
4K超高清低延时编码,支持XR远程沉浸式视频会议及远程协助应用
支持AI PQ增强
支持XR音频和音效处理

低功耗智慧感知:
低功耗AI视觉方案,人/物识别检测、跟踪,AI 视觉增强。
智能语音解决方案
SLAM/6DOF应用

高速低时延联接: 低延时图传,支持云VR应用和短距无线图传应用
高速、低延时连接解决方案(5G/WiFi6)



总之,我们认为XR产品(VR\AR\MR)会是后续世界的新入口,能够更好地实现数字世界和现实世界的连接、映射和增强。XR产品后续会在近眼显示效果、交互体验、端到端延迟以及佩戴舒适性上持续提升。海思芯片支持4K/6K/8K超高清解码显示,支持120°大视野FOV(视场角),还做了AI实时画质增强,带来沉浸式近眼显示体验;在交互上,海思芯片内置高性能算力模块,并集成SLAM、即时渲染等算法,给消费者提供流畅自然的交互感官;并通过5G/WiFi6等高速传输技术,有效降低传输时延,芯片全面提升集成度,降低功耗,降低整机产品重量,保证佩戴便捷舒适。