人工智能进入物理世界，安全问题成为产业发展的关键变量

人工智能正在从算法、数据和线上服务能力，快速拓展到对现实世界的感知、决策、控制和行动能力，成为支撑未来经济社会运行的重要基础设施。无人驾驶车辆、低空无人机、智能机器人、工业智能系统和大模型智能体一旦进入规模化部署，其运行状态将直接影响城市交通、公共安全、生产秩序、社会治理和居民生活。与传统信息系统相比，人工智能系统自主性更强、运行环境更复杂、影响链条更长，一旦出现系统故障、算法误判、通信中断、调度失灵、网络攻击或群体性异常等，可能迅速演化为具有公共安全属性和社会治理属性的系统性风险。

从中央政策导向看，发展人工智能，必须坚持高质量发展和高水平安全相统一。人工智能越是进入重点行业、公共空间和城市运行体系，安全就越不再是事后补救问题。特别是低空经济和智能驾驶直接涉及空域安全、道路安全、公共秩序和人民群众生命财产安全，安全能力实际上已经成为新兴产业能不能发展、能不能做大、能不能走远的底线。

人工智能安全正在由技术问题转变为产业问题

人工智能安全并非传统意义上的网络安全问题。一方面，模型性能可能受到数据质量、环境变化和输入扰动影响；另一方面，人工智能系统在复杂应用场景中的行为具有一定不确定性，需要建立持续评估、动态监测和持续优化机制。

以自动驾驶为例，系统安全不仅取决于车辆本身的硬件可靠性，也取决于感知算法、决策模型、道路环境、通信网络、云端平台以及应急处置机制的综合能力。类似地，低空无人系统面临空域管理、通信导航、飞行安全和公共空间风险等多重挑战；大模型智能体则需要解决权限控制、行为边界、任务执行安全等问题。

这说明，人工智能安全已经超越单一技术模块，成为涵盖算法、数据、硬件、平台、应用场景和治理制度的综合性产业体系。

人工智能安全正在形成独立的新兴产业

人工智能安全产业并不是某一个应用领域的附属产业，而是服务于整个人工智能生态的新兴产业。其市场空间来自人工智能系统生命周期中的安全需求，包括研发安全、部署安全、运行安全和治理安全。未来，人工智能安全产业将围绕以下方向形成完整产业体系。

1.人工智能安全测试与评估产业。未来，人工智能系统进入重要应用场景前，需要接受类似传统工业产品质量认证的安全测试，包括模型鲁棒性测试、异常场景测试、对抗测试、可靠性测试和风险评估。这一领域将形成第三方测试、认证服务、安全评价工具和行业标准体系。

2.人工智能安全仿真与验证产业。人工智能系统特别是无人系统和具身智能系统，无法依靠有限真实环境测试覆盖全部风险。因此，需要建设大规模仿真环境、数字孪生平台和极端场景库，对人工智能系统进行压力测试和安全验证。未来，测试场景、仿真环境和安全数据资源本身将成为人工智能安全产业的重要基础资源。

3.人工智能安全基础软件和技术产业。随着大模型向智能体方向发展，人工智能安全将面临新的技术需求，包括模型安全技术、算法鲁棒性技术、数据安全技术、智能体权限控制、安全监测系统等。

4.人工智能安全装备产业。人工智能进入物理世界后，需要新的安全硬件体系支撑。包括安全计算模块、智能传感器、安全控制设备、机器人安全组件、低空安全监测设备、智能应急装备等。这些产业将推动人工智能安全与电子信息、智能制造、装备制造等产业深度融合。

全球人工智能竞争正在向安全治理能力延伸

从国际发展趋势看，人工智能安全已经成为主要经济体布局的重要方向。

美国人工智能安全治理更加注重风险管理框架、技术标准、测试评估和产业协同。美国国家标准与技术研究院（NIST）于2023年发布《人工智能风险管理框架1.0》（Artificial Intelligence Risk Management Framework 1.0，AI RMF 1.0），旨在帮助人工智能系统的设计者、开发者、部署者和使用者识别、评估和管理人工智能风险，提高人工智能系统的可信性和可靠性。

近年来，美国进一步强化人工智能安全测试和标准体系建设。一方面，通过人工智能安全研究机构开展前沿模型评估、安全测试和技术研究；另一方面，通过红队测试方式模拟攻击者、异常输入和复杂环境，对人工智能系统安全边界进行评估。美国还越来越重视人工智能部署后的持续监测。其治理理念正在从上线前安全评估转向全过程风险管理，即人工智能系统投入运行后，仍需要持续监测性能变化、异常行为和潜在风险。

欧盟则更加侧重法律制度建设。欧盟通过《人工智能法案》建立风险分类监管体系。按照风险等级对人工智能系统进行分类治理，将人工智能安全与市场准入制度结合起来，通过合规要求影响人工智能产品进入市场的方式。

虽然美国和欧盟治理路径存在差异，但共同趋势是明确的：未来人工智能产业竞争不仅体现为技术领先程度，也体现为安全标准制定能力、测试认证能力和治理体系建设能力。

人工智能安全产业发展的路径与重点方向

人工智能安全产业的发展，需要避免将其简单理解为人工智能应用的配套服务，而应按照新兴产业发展的规律，围绕技术研发、测试验证、标准体系、产业生态和应用场景，构建独立完整的产业体系。

第一，建立人工智能安全运行监测和应急管理体系。目前，传统安全应急机制主要针对生产事故、自然灾害和一般信息系统故障设计，对于人工智能系统带来的新型风险，尚缺乏相适应的监测、预警、处置和复盘机制。因此，需要建立覆盖人工智能系统全生命周期的安全运行管理体系。未来，应推动政府、企业、第三方机构和科研单位建立协同机制，完善人工智能重大安全事件报告制度和复盘机制，提升人工智能系统风险识别和责任认定能力。同时，这一体系建设也将带动人工智能安全运营平台、风险监测服务、事故鉴定、合规咨询和保险服务等新兴产业发展。

第二，发展人工智能安全仿真验证产业，构建规模化测试基础。人工智能系统最大的特点，是运行环境复杂、风险场景高度多样。因此，需要发展人工智能安全仿真验证产业。未来，高质量安全测试数据、场景资源和仿真能力将成为人工智能安全产业的重要资产。

第三，推动人工智能安全技术创新，形成核心产品体系。人工智能安全产业的发展，最终需要形成具有市场竞争力的技术和产品。重点方向包括模型安全技术、智能体安全技术、数据安全技术、人工智能系统安全监测技术。通过持续监测人工智能系统运行状态，及时发现性能下降、异常行为和潜在风险。

第四，发展人工智能安全装备产业，推动软硬件协同发展。人工智能进入物理世界后，安全需求不仅来自软件系统，也来自硬件设备。未来，人工智能安全装备将成为重要产业方向。特别是在具身智能领域，机器人安全控制、环境感知和人机协同设备，安全装备将成为产业发展的重要组成部分。

第五，完善人工智能安全标准、认证和治理体系。人工智能安全产业的发展，需要标准体系作为支撑。目前，全球人工智能竞争已经不仅是技术竞争，也是标准竞争。谁能够形成具有国际影响力的安全评价体系，谁就可能掌握产业规则制定权。

人工智能安全不是人工智能发展的约束条件，而是人工智能产业进入规模化阶段后形成的新型产业基础。未来，人工智能产业竞争不仅取决于模型能力和应用规模，也取决于安全测试、标准认证和治理体系能力。能够率先形成完整人工智能安全产业体系的国家和地区，将在下一轮人工智能产业竞争中获得更加主动的位置。

（作者罗知为武汉大学数字经济发展与治理论坛联席主席，武汉大学经济与管理学院副院长、教授）