[db:标签]��费者对[db:标签]��善他们的便利性、安全性和用户体验有着永不满足的需求。我们可以看到，人机界面(HMI)已经有了明显的发展，从纯粹的触摸发展到很多年，涵盖了从语音到手势到视频的各种输入方法，以及从销售终端到智能家居的各种计算机视觉功能。下一步将是不仅能理解直接命令而且能推断意图的设备。与此同时，对基于云的传统连接设备的安全性和延迟的担忧日益增加，这为更多基于边缘的处理铺平了道路。在人机界面中尤其如此。然而，本地处理给技术开发人员带来了新的挑战，他们必须考虑具体的用例要求、开发选项和智能(经过机器学习训练的)设备的成本，这需要引入新的自动化水平来增强感知智能和环境计算。

边缘人工智能是基础

所谓的边缘人工智能是实现更复杂、用户友好和更安全的物联网体验的基础。根据定义，边缘人工智能意味着人工智能处理在终端产品内部运行(如机顶盒或智能显示器)，而不是在云中运行。原因是众所周知的，即更好的隐私、更少的带宽、更快的响应时间，甚至生态友好，因为边缘处理减少了运行大型数据中心所需的能源、水和其他资源。

Edge AI已经被我们每天接触到的许多应用所采用，但是最初的使用主要局限于昂贵的产品，比如智能手机和汽车。因此，为这些产品实现边缘人工智能也非常昂贵，并且对于智能家庭中的消费者零售设备来说是遥不可及的。在很大程度上，现有的边缘人工智能应用程序在用户体验方面是一维的。例如，高级驾驶员辅助系统应用中的具有人工智能功能的视觉或移动电话中的图像质量增强。

为智能家居创造和采用边缘人工智能解决方案的令人信服的理由是什么？

人机界面促进了家庭中的边缘人工智能

我们可以看到，在无处不在的消费物联网细分市场中，人们特别感兴趣，并且有越来越多的应用机会，例如各种娱乐、通信、家庭自动化、安全和其他设备。特别是在当今时代，消费者希望获得互联体验，但传统互联不存在成本、隐私和性能问题。对更具沉浸感和感知能力的人机交互的需求是推动智能家居中边缘人工智能需求的关键因素。

有了市场上基于人工智能的智能家居边缘计算解决方案，创造更人性化体验所需的性能将适用于更广泛的产品。智能家居中有很多“受益于边缘人工智能”的实际应用案例。有些有明显的实际好处。例如，一个家庭门铃摄像头可以分辨掉的包和被偷的包。娱乐设备可以自动检测低分辨率视频流，并将其升级到更高的分辨率，具有出色的感知质量，从而更好地利用高分辨率电视显示器。即使很熟悉，几乎无处不在的视频会议应用程序也可以通过更高质量的视频和音频得到增强，并且可以在经济高效的设备上使用。

其他例子似乎更具未来感。一种冰箱，可以根据冰箱中食物储备的内容提供晚餐(菜单)建议。烤箱能告诉你什么时候把饭菜做得完美无缺。虚拟私人家庭瑜伽教练可以提醒你摆姿势时伸直手臂。家庭自动化设备可以一起工作来预测房主的需求，从取暖和准备食物到选择看什么电视。

这样的解决方案可以将视频、视觉和语音传感器与人工智能处理功能相结合，为新一代熟悉的设备带来增强的功能，例如智能显示器和声音条、机顶盒和安全摄像头。

这些应用程序的共同之处在于，它们需要一个基于边缘的、基于人工智能的解决方案，这种解决方案是专门为智能家庭定制的，而不是智能手机或汽车应用程序。为了进一步普及边缘人工智能，解决方案必须是:

能够在一个有效的系统中结合语音、视频和视觉，并支持多模式人工智能增强的用户体验；通过标准工具，更广泛的人工智能开发者和创新者可以访问它；确保安全和隐私措施满足消费者的期望。

智能家居中的边缘人工智能优势

正如我们之前所讨论的，智能手机和汽车应用的基于边缘人工智能的解决方案主要集中在摄像机视觉应用上。然而，在智能家居中，多模式人机交互界面是在互联设备的新时代增强用户体验的关键要素。以机顶盒为例，该应用将需要视频人工智能，这可能是上述视频增强的形式。它还需要语音人工智能通过语音命令识别看电视的人，并相应地配置体验。例如，更容易选择喜欢的节目。它甚至可能需要视觉人工智能和内置摄像头，以便在与家人远程聊天时提供增强和直观的视频会议体验。

理想的解决方案是以智能家居为中心的片上系统(SoC)，它可以支持高性能视频、语音和视觉处理以及集成的人工智能加速器。SynAptics VS600 SoC系列就是这种解决方案的一个例子。这种方法不仅经过优化以满足智能家居应用对多模式人工智能性能的要求，而且可以将所有这些功能集成到单个芯片中，从而可以使用以消费市场价格销售的普通家用产品。

所需的解决方案从片上系统平台开始，该平台集成了各种类型的处理器引擎:中央处理器、网络处理器、图形处理器和网络服务提供商，并与高性能摄像机和监视器挂钩。该架构实现了高安全性、低成本推理和实时多模式性能的理想结合。Synaptics Edge AI系列是一系列SoCs，每一个都是针对其给定的消费者应用的。该系列中的每个SoC都集成了所需的处理核心和适当级别的应用集成人工智能性能。

一个完整的堆栈工具方法可以简化人工智能开发

正如我们所看到的，成本和性能之间的权衡对于成功地将边缘人工智能扩展到更多的应用程序是至关重要的。在竞争激烈的消费电子领域，上市时间和差异化也至关重要。为了应对边缘人工智能广泛传播的挑战，有必要采用全栈方法，包括必要的开发工具，将人工智能创新引入边缘人工智能系统芯片。

最重要的是，所需的工具集应该与庞大且不断增长的人工智能开发人员用户社区兼容。例如，该工具包将使开发人员能够导入使用行业标准框架创建的模型，如TensorFlow、TensorFlow Lite、Caffe和ONNX。这使开发人员能够利用现有的人工智能创新，并使他们能够在目标SoC上快速轻松地工作。

让我们使用之前讨论过的个人家庭瑜伽教练应用程序。基于该应用的人工智能模型将是人体姿势估计模型，这是用于检测用户在相机视线中的相对骨骼位置的行业标准概念。如果人工智能开发人员使用由行业标准工具(如TensorFlow lite)创建的人体姿势估计模型的实现，他们将使用工具包将其导入到所需的SoC上使用。

当开发人员准备好时，该工具应该使他们能够为将在其上运行的所选处理器优化他们的人工智能模型的性能。开发人员可以选择使用开放的框架，比如TensorFlow或TensorFlow Lite，但是在使用它们时要记住目标处理器的功能。或者他们可以再次使用SoC专用的工具，比如Synaptics的SyNAP工具，它专门为VS600 SoC中的处理器提供优化支持。例如，在我们的示例中，开发人员可以使用突触优化功能来配置他的身体姿势估计模型，以便它可以在VS600 SoC上以每秒30帧的速度实时运行。

然而，安全和隐私需要满足消费者的期望。

人机界面的未来听起来很光明，但采用人机界面的最大障碍可能是用户认为他们的隐私和安全会受到损害。新闻中有许多最近的故事证实了这种担心。任何有意义的人机界面解决方案都必须考虑到这一点。幸运的是，这些视频、语音和视频数据将在设备中处理，而不是在云中处理，这一事实在隐私方面取得了巨大进步。在视频门铃的例子中，通过将人工智能添加到门铃本身，来自前门的视频不需要24/7流播到云，而是仅当有特定事件时。例如，只有当人工智能引擎检测到一个邪恶的人正在接近门口时，视频才会被传输。或者，以我们的家庭瑜伽教练为例，应用程序可以完全在设备中运行，如前所示，而无需从家里向云服务器发送任何图像。

然而，即使这些图像从未被发送到云中，用户可能会担心这些图像仍然会在您的设备中被捕获和处理，即使是暂时的。还有一个安全风险是，恶意用户可能会试图从您的设备获取这些数据。因此，以智能家居为中心的理想人工智能解决方案还必须确保以安全的方式捕获和处理内容，这一点非常重要。“智能家居安全”物联网的新时代将被更多的“本地智能”(edge AI)所推动，这将降低保持连接的需要和风险。人工智能驱动的边缘设备神经网络处理是加速感知智能系统采用的关键。通过在边缘实现该功能，系统可以以更高的安全性和保密性以及更低的延迟运行。它可以支持多模式接口解决方案的高性能，而多处理器SoC(以消费市场的价格提供)将帮助开发人员快速利用人工智能进行创新，使他们的产品脱颖而出。

机器如何使用声音、视频和视觉数据，以及如何使用它们来理解和预测我们的行为(说话或触摸)，从而改善物联网如何为我们的生活提供前所未有的安全性、便利性和生产力。