从语音到感知:帮助机器理解物理世界
·
以下文章来源自Cerence AI Blog,作者Kaivan Karimi, Business Development Senior Director
长期以来,智能机器主要由指令驱动:人们开口说话、轻点屏幕或按下按钮,系统随即做出响应。而物理AI需要具备更全面的理解能力。无论是在工厂车间、自动化生产线上,还是在机器人或车辆中,物理AI系统都需要能够全面感知周围环境、理解上下文、验证交互者身份,并在端侧可靠执行任务。
语音开启更深层次的理解
语音让人们能够自然地与技术交互,尤其是在双手和视线被占用时。赛轮思AI深耕车载语音技术超过25年。行驶中的汽车是最严苛、最复杂的用户音频交互环境之一:路噪、音乐、开启的车窗、多人交谈、网络连接不稳定以及车辆持续行驶等因素,都会让可靠交互变得极具挑战。
制造业和机器人应用也面临同样的核心挑战:机器需要在复杂环境中识别出真正有价值的信号。音频AI让系统的感知能力不再局限于语音本身。例如,主轴运转音调的变化,可能预示刀具磨损;轴承在发生故障前,声音往往已经出现异常;在车内,紧急车辆的警笛声可以在声源进入视野前发出预警;对机器人而言,异常机械声响则可能提示设备卡滞或故障。
声音与音频AI成为系统运行的上下文信息,帮助系统识别变化、判断这些变化是否重要,并将相关信息与相应响应关联起来。
语音仍然是重要的起点,但当它与声音、视觉、触觉、空间感知和身份识别协同工作时,其价值会进一步提升。这些感知能力共同帮助智能机器和系统理解上下文、做出决策,并给出恰当响应。
多模态感知需要上下文融合
成功的智能系统离不开上下文融合(Context Fusion),即将音频、视觉、触觉(力、扭矩、摩擦力)以及空间感知信号(深度、姿态、本体感知)整合起来,形成统一、连贯的环境认知。每种模态都有不同作用:音频可以识别变化,视觉可以说明正在发生什么,触觉反馈可以确认物理交互,空间感知则可以确定事件发生的位置。

上下文融合:多种信号,统一理解
关键在于融合层,它将这些信号汇聚起来,消除歧义,并保持对上下文的一致理解。这种共同理解使智能系统能够做出更有依据的决策、应对突发情况,并与人进行更自然的交互。如今,我们的基础是语音与音频AI——稳健的语音识别和抗噪处理能力,能够在嘈杂的座舱或工厂车间中分离并理解单个说话人的声音,同时满足企业级安全、可信和合规要求。多模态上下文融合是我们正在积极投入并参与定义的下一个前沿方向。

从语音到感知机器
四大场景中的共同交互挑战
在人与智能机器交互的各个行业中,都需要同样的连接层。不同场景的环境各不相同,但核心挑战相似:系统必须理解人、上下文、身份以及周围的物理世界。
制造业
工人在佩戴手套、个人防护装备或其他设备时,需要在无需手动操作的情况下控制系统。语音和手势可以支持人与工厂系统的交互,声学监测则有助于识别设备健康状况或生产质量的变化。在对低延迟、共享设备和多语言团队有较高要求的环境中,这些能力需要快速、本地、可靠地在端侧完成,无需依赖云端连接。工业音频、基于工厂文档的离线多语言理解、带有回读确认的确定性执行,以及用于合规的审计追踪,可让运营技术(OT)在本地运行;而在网络连接可用时,更宏观层面的任务则可在云端执行。
工业自动化
音频、视觉和物理信号相互融合,可用于异常检测和自动错误恢复,使工作单元能够在生产线停机前识别故障、说明故障情况,并在许多情况下自行纠正问题。
汽车
车载助手必须能够在嘈杂环境中识别请求,将其与车辆和环境上下文关联起来,并在网络连接中断时继续运行。感知能力也带来了新的可能性,例如判断紧急车辆警笛声的方向,或根据正在说话的乘客调整交互方式。
机器人
机器人需要结合动作、声音、触觉和空间上下文来理解语言。口头修正可以引导任务执行,而力反馈和触觉反馈则有助于机器人更精确地操作物体。上下文融合让机器人能够更全面地理解环境,从而应对动态变化,包括识别是谁发出了指令,以及该人员是否具备相应操作权限。

四大场景中的共同交互挑战
可信身份让理解转化为授权行动
在关于人机交互未来的大多数讨论中,信任往往是缺失的一环。
在物理环境中,理解请求只是任务的一部分。系统还可能需要知道是谁提出了请求,以及该人员是否有权执行所请求的操作。启动机器、更改生产设置、手动接管车辆功能,或解除机器人的安全停机状态,都可能带来切实影响。
在共享工业环境中,设备会由不同班次的多组人员轮流使用。因此,具备身份感知能力的AI系统将在维护信任、治理和运营监督方面变得越来越重要。展望未来,声纹验证结合零信任架构和篡改可追溯日志,可以为AI驱动的工业系统提供在设备端持续运行的身份层。在这一模式下,系统能够识别说话者,帮助验证其是否有权执行所请求的操作,并在交互过程中持续维护或重新验证授权。图像识别、工牌凭证等其他认证因素也将进一步增强身份验证能力。结合可审计的活动记录,这些能力将帮助组织实现安全、责任追溯和合规目标,包括满足工作场所安全计划、ISO等质量管理标准,以及欧盟《人工智能法案》等新兴监管框架的相关要求。

端侧数字身份
感知能力必须在端侧运行
物理AI不能总是依赖云端连接。车辆会驶入隧道或经过信号覆盖盲区;工厂可能会限制云端访问;机器人和生产系统通常需要以极低延迟做出响应。在这些场景中,用于理解环境并支持关键操作的能力都必须能够在本地持续运行。
端侧优先架构将声学前端、唤醒词、语音识别、语言理解、声纹验证和推理等核心功能保留在设备端。当网络连接可用时,云端服务可以进一步扩展体验;但关键操作并不依赖持续连接。当连接中断时,从运营技术(OT)的角度看,系统不会因此失效;在完全离线模式与混合模式之间切换,也无需进行任何架构变更。

感知能力必须在端侧运行
面向物理AI的交互与感知层
要将这些能力整合在一起,需要跨越多个长期以来相对独立发展的专业领域,包括对话式AI、音频AI、多模态感知、身份识别、端侧部署、云端集成以及真实场景中的系统设计。赛轮思AI在汽车领域积累了深厚经验,而汽车正是人机交互最具挑战性的环境之一。随着智能系统进入工厂、工业自动化、机器人以及其他物理环境,这些经验正变得越来越重要;在这些环境中,噪声、延迟、信任和上下文都至关重要。
这项工作也依赖更广泛的技术基础。NVIDIA技术支持我们先进AI模型的开发与训练,而Microsoft Azure则是我们的企业级基础平台。我们基于Azure和Azure AI Foundry构建解决方案,并越来越多地借助Microsoft面向AI的零信任最佳实践和安全工具,实现从端侧到云端的身份、数据与合规治理。
未来十年的机器将不再只是接受指令。它们将能够听见生产线、读懂场景、识别说话人,并安全、自主地采取行动。我们的目标是成为可信的交互与感知层,帮助智能机器听见、理解、验证并行动,并在这一转变过程中发挥引领作用。随着AI进一步走向物理世界,最能创造价值的系统,将是那些能够解读环境、理解周围的人,并实时可靠地响应的系统。
微信文章
探索更多
未来出行体验