看和听是人类最基础最直观的交互方式，同时视听也是生活中最重要的娱乐形式。更高清更逼真是视听体验不断演进的趋势：一方面在视觉维度不断提升分辨率和画质，4K逐渐成为主流，8K超高清的产业链也正在成熟；另外一方面视觉和听觉从2D扩展到3D：AR/VR、全景声等新的视听标准正在形成，为消费者提供更加身临其境的沉浸式体验。与之相匹配，上海海思业界领先的智慧视觉产品支持产业伙伴在生产端提供了业界领先的多样化超高清媒体生产工具，例如4K/8K专业相机、运动相机、无人机等；同时上海海思在视听的播放端也有多年的积累，技术水平行业领先，可以提供智慧大屏、机顶盒、AR/VR的SoC等多样化解决方案；特别是在大屏领域，上海海思的显示控制芯片在画质和可靠性等方面有突出的表现，广泛应用在行业高端品牌和产品中。

在非智能时代，电视机一直是家庭中重要的娱乐和信息获取中心，支持接收有线或无线电视台的广播信号，或者通过各种模拟数字接口显示外置设备（机顶盒、DVD）传输的音视频信号。 2007年，第一代可联网的智能电视（Smart TV）诞生，完成了电视产品的一次重大革新，支持安装各种应用程序（APP），通过互联网观看视频直播和点播，让电视的播放内容从“被动接收”转变到了“主动选择”，实现了从单向传输到双向互动的蜕变。这种智能电视包括信号接收（无线、有线）、各类数字/模拟接口、网络接口（有线、无线）、音频/视频信号处理、图像显示几个部分。
从功能机到智能机，手机功能的进化已经远远超出了通信的基本功能。智能电视的进化也是类似，不仅仅是家庭影音娱乐中心，更是信息共享中心、控制管理中心和人机交互中心，向智慧家庭中心演进。新一代的智能电视机不仅在视听方面追求极致体验，支持4K/8K内容、和高质量音频、宽动态HDR内容，同时也通过集成AI摄像头、增加神经网络处理器NPU，丰富WiFi/BT等多样化网络接入能力，支持与家庭其他智能设备互联互通。与之相对应，智能电视机的主处理芯片开始集成更高性能CPU、GPU、NPU、4K/8K编解码、ISP、高质量音频DSP等能力。海思的智能电视方案支持自研的HiStreaming技术，可以快速识别支持HiStreaming技术的外围设备，进行更高效率的通讯，提供更低的延时、更安全更可靠的联接，支持AI结构化数据传输，可以把外围设备虚拟成本地设备进行操控，为消费者提供最佳的使用体验。
海思在智能电视解决方案领域， 有着近十年的技术储备和产品量产经验，全球有数千万台电视正使用海思的技术，为消费者提供最佳的音质和画质体验。作为全球智能电视芯片行业的引领者，海思除了提供全系列支持HDR、AI-PQ、动态运动补偿（MEMC）以及各种分辨率（从FHD到4K/8K）的智能电视主处理芯片，所有的方案可以支持HarmonyOS、LINUX、AOSP等各类主流操作系统。同时海思还配套提供SoC周边配套芯片：

• 画质增强：可选配置，进一步增强高端产品画质
• 显示驱动：大屏TCON时序控制，屏幕Source Driver芯片，兼顾画质与高可靠性
• 视觉感知：配套海思全系列AI Camera芯片，结合海思HiStreaming为用户提供更流畅和智能的体验
• 无线联接：WiFi、4G等

机顶盒又称STB （Set Top Box） ，是一个外接于电视机的媒体设备，主要功能为音视频解码，并把音视频信号输出到电视机，弥补电视机本身处理能力、App扩展等方面的不足。市场上机顶盒包括两种类型：IPTV机顶盒和OTT机顶盒，其中IPTV机顶盒通过运营商管控的专网传输，主要提供直播服务，OTT机顶盒通过公共互联网传输，受制于相关政策，需要安装第三方应用才可提供直播服务。无论哪种机顶盒，从逻辑功能上看可分为网络连接、数字信号处理、视频信号输出等模块。

随着人工智能、物联网等技术、应用的升级与变迁，机顶盒的功能也在不断融合及多元化，由单纯的音视频解码逐渐向集Camera、UHD 编解码、WiFi/BT等多样化网络接入、和高质量音频外放、本地视频展示等多种功能于一身的智慧融合家庭终端演进：

• 与智能家居互联互通，融合远、近场的语音技术，结合摄像头、传感器等的动作捕捉及姿态识别，成为智慧家庭人机交互和控制管理入口。
• 整合互联网视频及音频内容，整合其他新闻资讯，识别用户并智能推荐及呈现，成为家庭信息共享中心。

与此同时机顶盒SoC芯片也不再是单一的解码芯片，不断集成高性能CPU、NPU、UHD编解码、ISP、高质量音频DSP等能力。

近年来腾讯、优酷、爱奇艺等在线视频的来源和种类极大丰富，热门影视节目和综艺层出不穷，同时抖音短视频、在线直播等新兴的休闲娱乐方式也在不断出现。内容多样化、时间碎片化，一台电视的屏幕已经很难满足家庭所有成员的娱乐诉求，做为家庭第二屏的Mini智慧屏应运而生，它可以看做一台集成了高质量音视频输出设备的智能机顶盒，为用户提供更便捷、更灵活的视频观看方式，同时高性能CPU、GPU、NPU、ISP、DSP也很适合成为智慧家庭的控制入口。

海思在2007年就推出了首款机顶盒SoC芯片，在十多年的历程中，海思与众多合作伙伴在高清化、智能化、4K/8K超高清等关键节点共同推动了产业发展方向，目前有数亿基于海思SoC的机顶盒终端在线运营，不仅为消费者提供高质量的音视频享受，而具备高可靠性、可运维、可管理，服务于各家运营商。 海思全系列机顶盒SoC具有业界领先的图像质量增强能力，优异稳定的系统表现力，部分中高端产品将集成达芬奇AI NPU模块，支持深度融入HarmonyOS生态，通过丰富外部接口，与Camera和WiFi等芯片配合为用户提供无缝的家庭联接与智慧家庭服务。

用随身DV记录个性生活，用无人机观山阅海，拍摄并记录生活中的美，通过短视频和在线直播分享vlog，逐渐成为一种新兴的娱乐和社交方式。传统专业影像设备操作繁琐，不易于随身携带，难以满足即时拍摄分享需求。消费者希望拥有功能画质媲美专业但是更简单易用的娱乐相机作为拍摄设备，能够随时随地轻松拍出优质视频。幸运的是，在图像处理、人工智能、物联网等最新技术的加持下，娱乐相机功能越来越专业，在产品形态上细分出面向更多特定场景的相机，如运动相机、智能云台相机、无人机结合相机等新型的拍摄设备。这些设备对解决方案有以下要求：

• 高画质：4K/8K超高清画质，配置专业防抖算法
• 智能化：识别拍摄对象并自动跟拍；无人机SLAM和智能避障
• 小型化：无论是随身拍摄相机还是无人机，都对体积和功耗有非常高的要求
• 无线连接：高速低时延连接，支持无线分享和直播

海思在智慧视觉和联接产品领域拥有业界领先的产品线，为运动DV、智能相机、消费级无人机提供了专业解决方案，轻松拍出专业级大片，时光流转浓缩一瞬，完美捕获美好瞬间

长续航、高清智能拍摄

• 支持最高8K超高清画面，专业ISP+H.265提供更优秀的画质，6Dof图像防抖在运动场景下也能拍出稳定的图像。
• 高效NPU加速AI计算，实现AI场景识别、智能 “C位”构图、专业级目标锁定追踪并跟随，配合云台的转动，可轻松实现传统相机难以做到的智能跟随效果，点燃用户的无限创意，让普通用户也能拍出专业大片。
• 配置DPU（Depth Processing Unit）深度信息处理单元，支持双目测距和三维重建的硬件加速功能，由无人机飞控单元操作避障。
• 智能算法下的超低功耗技术，让电池续航更持久，拍摄更尽兴；配合特有疾速启动特性，不错过美好瞬间。

XR指VR/AR/MR等相关技术，它们是下一代体验革命和计算平台、是数字世界和物理世界融合的进阶，是算力、联接和显示的革命性升级。XR不仅是显示的变革，还是人机交互方式的革命，将在近年内开启一个数百亿美金的新市场空间。

VR技术（Virtual Reality），即虚拟现实技术，指利用计算机等现代科技对现实世界进行虚拟化再造，用户可以即时、没有限制地与三维空间内的事物进行交互，仿佛身历其境。从技术的角度来说，虚拟现实系统具有下面三个基本特征：Immersion（沉浸）、Interaction（交互）、imagination（构想），被认为具有成为新一代通用计算平台的潜力。VR强调了在虚拟系统中的人的主导作用。从过去人只能从电脑系统的外部去观测处理的结果，到人能够沉浸到电脑系统所创建的环境中，从过去人只能通过键盘、鼠标与计算环境中的单维数字信息发生作用，到人能够用多种传感器与多维信息的环境发生交互作用。得益于VR的应用，未来观赏型的内容大都不必亲临现场，例如在刚刚过去的国庆70周年庆典，传播机构在长安街两侧设置VR机位，观众第一次可以通过VR来看阅兵，可以从长安街高点，从贴地的视角，或者从观礼台的角度来欣赏。VR也正在教育领域得到应用，有了VR后，偏远乡村的学生带上眼镜，就可以近距离学习澳大利亚的地理地貌，也可以穿越到人体中，学习血液在人体中的传输。这种体验极大提升学习兴趣，也正逐渐被应用到工程培训等领域。
AR技术（Augmented Reality），即增强现实技术，是一种融合真实场景和虚拟场景的信息的技术。AR眼镜是集合了显示技术、交互技术、传感技术、多媒体技术等，基于第一视角的交互方式，通过镜片将虚拟信息内容展示在用户的视场中，为用户提供增强现实的感官体验。相比VR，AR是一门更大的生意。经过几年的“用户培育”，AR不仅在休闲应用取得进展，更是进入了多种2B应用领域，例如安防、工业、旅游、医疗等。以工业领域为例，AR智能眼镜可以简化工业操作流程，通过远程辅助等方式提高工作效率。
MR技术（Mixed Reality）,即混合现实技术，指的是合并现实和虚拟世界而产生的新的可视化环境。在新的可视化环境里物理和数字对象共存，并实时互动。它是VR（虚拟现实）与AR（增强现实）的进一步结合发展，这一技术通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，进一步增强用户体验的真实感。MR的出现突破了完全虚拟的VR技术局限，进一步拓展了人机交互的模式，相应的也拓展了更广泛意义上的商业运用空间。

但是目前市场上的XR终端产品仍然在体验上存在着各种问题：
首先是设备分辨率低的问题。以VR为例，人眼能达到的理想分辨率大约为60PPD（每度像素数），一般支持4KP60解码能力的芯片能支持的单眼分辨率为21.3PPD，对应到电视只能等效于480P的电视显示效果，视觉上往往有明显的纱窗效应，还远远达不到让人感到舒适和沉浸式的效果。如果芯片能够升级到8KP120的硬解码能力，就可以支持两倍于主流VR的分辨率即单眼42.7PPD，极大提升了用户视觉体验，更舒适而且不易疲劳。
眩晕感也是影响用户沉浸体验的重要因素，有25% 的消费者认为眩晕感是他们购买设备的主要阻碍。而CPU处理性能不足造成的延迟是眩晕感的主要原因之一：延迟引起视觉接受的信息和身体感知的信息不对称，导致用户视觉与其他感官通道冲突，整体感受紊乱，从而产生眩晕感。
基于NPU智能场景识别是AR的基本功能，场景识别需要从图像采集、分析、上传到显示，耗时越短，速度越快，用户体验越好，其中分析阶段是整条链路中耗时最长的一环，想要做到每分钟上百个人脸、车牌在毫秒级内同时完成分析识别，就需要芯片具备强大的NPU算力支持。 云端AR/VR对传输带宽和时延有极高的要求，根据华为X-Labs相关白皮书，要保证良好的体验，需要数百M到数Gbps的带宽和毫秒级时延，传统4G和WiFi难以满足要求，因此WiFi6将是更理想的选择。

海思提供XR(VR/AR/MR）完整解决方案，包括计算处理（AP）、显示、视觉、连接等解决方案组件和整体解决方案：
高性能计算：

• 海思芯片具备独立的海思专有架构NPU，提供高达9TOPS的充沛的AI算力
• 海思芯片支持8核高性能A73处理器，支持高速计算，避免延时的产生

超高清显示：

• 8K超高清解码，支持8K 360度沉浸式XR全景视频
• 4K超高清低延时编码，支持XR远程沉浸式视频会议及远程协助应用
• 支持AI PQ增强
• 支持XR音频和音效处理

低功耗智慧感知：

• 低功耗AI视觉方案，人/物识别检测、跟踪，AI 视觉增强。
• 智能语音解决方案
• SLAM/6DOF应用

高速低时延联接：

• 低延时图传，支持云VR应用和短距无线图传应用
• 高速、低延时连接解决方案(WiFi6)