“双面智能体”与武器化AI时代:车载AI智能体的零信任架构
在赛轮思AI，我们与微软在车载AI领域的合作——尤其是移动办公智能体（MWA）的开发——引发了一场重要讨论。继双方联合发布关于车载AI机遇与风险的博客文章之后，我们收到了来自各方的大量反馈。其中，许多人认可支撑移动办公智能体的零信任架构（Zero Trust Architecture），以及纵深防御架构（defense-in-depth architecture）的价值；但也有人质疑是否有必要采用如此严格的安全体系，认为仅依靠模型的安全护栏即可满足需求。
如果说第一阶段的AI安全关注的是安全护栏（Guardrails），那么下一阶段必须关注整体架构。随着AI系统从回答问题逐渐演进为执行任务——包括调用API、检索企业数据以及协调业务流程——安全问题正在发生根本性变化。微软关于AI零信任的指导明确指出：自主智能体引入了新的信任边界和新的风险，其中智能体自身可能成为权限过高、遭到操纵，或目标偏离的“双面智能体”。
对于赛轮思AI而言，这种变化并非理论上的推演。在构建企业互联型移动办公智能体等系统的过程中，我们切身体会到：当系统缺乏端到端明确治理时，“影子AI”（shadow AI）、隐性数据泄露以及非预期操作等风险会迅速出现。
安全护栏仍然发挥着重要作用，但它们主要作用于语言层面，这也是其局限所在。安全护栏可能会被越狱攻击（jailbreak）绕过，也可能受到间接提示注入（indirect prompt injection）的操控，或在多步骤工作流中被风险超越——一个看似无害的请求，最终导致下游执行高风险操作。
一旦智能体开始调用工具、保留记忆，或跨服务进行交互，其攻击面将显著扩大。对于移动办公智能体这样的系统而言，这一点尤为关键——因为智能体不再只是生成回复，而是在代表用户与企业系统进行交互。安全护栏可以影响模型“说什么”，但无法决定系统“能做什么”。
从赛轮思AI的角度来看，安全的AI智能体——尤其是在汽车领域——必须被设计为一个受控系统（governed system），而不仅仅是一个经过安全调节的模型（moderated model）。零信任框架为这一方法提供了坚实基础。它将一些广为人知的安全原则——明确验证、最小权限，以及默认系统可能已被攻破——扩展到整个AI生命周期。针对自主智能体的相关指导进一步提出了关键要求：明确边界；实施确定性控制；对高风险操作要求审批；为智能体分配唯一身份；并默认将所有输入视为不可信来源。
我们将这一体系拆分为四个层面：模型层、安全系统层、应用层及定位层。在这一框架中，应用层具有决定性作用——因为正是在这一层，移动办公智能体等系统决定了智能体可以访问哪些资源、可以执行哪些操作，以及安全策略如何被实施。
对于汽车OEM和企业架构师而言，关键问题已经不再是：这个助手是否具备安全护栏。而是：整个系统——例如支撑移动办公智能体的架构——是否能够对每一个关键操作进行验证、约束和监控。
移动办公智能体提供了一个具体实践案例，展示了如何实现这一目标。
从底层架构开始，我们便基于零信任和纵深防御原则构建该智能体。任何请求都不会仅仅因为来自车辆本身而被默认信任。用户身份基于Microsoft Entra ID进行锚定；应用状态通过Intune进行管理；每一次交互均通过双向TLS以及短有效期OAuth令牌进行安全保护。
请求不会直接流向模型。相反，请求会先经过由赛轮思AI控制的中介层，以及API管理（APIM）网关，然后才到达Azure AI Foundry。这确保了每一个请求在与模型发生交互之前，都已经完成身份认证、权限授权以及策略检查。在这一架构中，大语言模型（LLM）并不是整个系统本身，而是受控系统中的一个受控组件。
同样重要的是，移动办公智能体如何处理数据。
数据治理被视为一级安全控制措施。企业内容会在模型推理之前经过中介处理；敏感信息可以通过Microsoft Purview敏感度标签和数据丢失防护（DLP）信号进行阻断。如果安全策略无法得到验证——无论原因是未知的数据分类、网络连接问题，还是离线场景——系统都会设计为默认拒绝访问，而不是冒险继续执行。
赛轮思AI的移动办公智能体同样严格执行数据最小化原则。只有完成任务所必需的最少数据会被发送给模型。同时，检索增强生成（Retrieval-Augmented Generation，RAG）确保生成结果基于企业数据，而不是依赖开放式内容生成。这不仅降低了模型幻觉风险，也减少了敏感信息不必要暴露的可能性。
这些应用层控制的实际落地，对于实现AI智能体系统的安全性、可审计性以及企业级应用能力至关重要。
这些措施并不会削弱安全护栏的重要性。要将AI系统从“经过安全调节的模型”转变为“受控系统”，就需要将安全护栏融入零信任体系之中，并由强身份认证、最小权限、中介机制、确定性策略执行、网络隔离、持续监控和事件响应等能力提供支撑。
从这一意义上来说，零信任设定的安全标准实际上是一种赋能。正是这一标准，使移动办公智能体这样的AI智能体系统，能够安全地将企业级AI引入汽车这样复杂且高度敏感的环境。
最终，这也决定了AI智能体系统是否不仅强大，而且值得信赖。
赛轮思AI致力于为汽车等受监管行业提供安全、私密且合规的语音AI技术，已有超过25年的经验。随着语音AI向AI智能体时代演进，我们将继续延续自身领先优势，并针对新的威胁环境不断升级技术能力。如果您正在评估具备企业级安全与隐私保护能力的语音AI智能体，欢迎联系我们，了解移动办公智能体如何将这一安全架构真正落地。
