“十五五”规划纲要专篇部署“深入推进数字中国建设 提升数智化发展水平”，要求深化拓展“人工智能+”，赋能经济社会发展和治理能力提升、促进生产方式深层次变革和生产力革命性跃迁。当前，人工智能正由感知智能、认知智能加快迈向更高水平的通用智能乃至超级智能，其技术能力、应用边界和社会影响持续扩展，正在深刻影响着社会生产生活方式和治理方式。与此同时，人工智能特别是超级人工智能的发展，也使法律风险的生成机制、权利保障的实现方式以及公共治理的制度结构面临新的挑战。如何在鼓励创新与防范风险之间实现平衡，如何在推动技术跃升的同时守住安全底线、维护人的主体地位，已成为面向智能时代必须回答的重大法治命题。
超级人工智能发展的法律风险
作为人工智能发展的高级阶段，超级人工智能的核心特征在于其智力水平远超人类，并拥有自主意识、自我进化且跨领域的问题解决能力。与现有生成式人工智能不同，超级人工智能是在自主学习和自我优化等方面发生质变的新技术形态，一旦其突破当前工具型、辅助型人工智能的发展边界，深度嵌入经济运行、社会治理和公共决策体系，既有法律制度所依赖的主体识别、行为控制、责任归属和风险防范逻辑都将面临新的压力。
自主意识萌发带来的行为失控风险。自主意识萌发并非指人工智能已形成真正意义上的人格意识，而是指其在复杂环境中可能表现出更强的目标选择和策略调整能力。传统人工智能大多是在既定规则和明确指令下运行，风险主要源于程序缺陷或人为误用，而超级人工智能一旦能够根据外部环境持续优化行为路径，甚至对既定指令作扩张性理解，就可能出现行为偏离人类初始目标的情形。法律上最需要防范的，并不是系统具备自动化能力本身，而是其在关键场景中形成不可预见且不可控制的运行状态。一旦这种高智能系统被应用于金融、交通、医疗、公共治理等领域，行为失控就可能迅速外溢为大范围社会风险。
责任主体模糊引发的归责困境。现行法律制度以自然人和法人为基本责任主体，建立在行为与责任清晰对应的基础之上。然而，在超级人工智能的情境下，系统可能会展现出更强的自主规划能力、独立决策能力以及持续执行能力，其行为结果和人类主体之间的控制关系、因果关系以及可预见性会明显弱化。传统侵权法中的归责基础可能会出现松动。一方面，责任有可能会过度集中于形式上的控制者；另一方面，在多主体参与、链条冗长的情形之下，又可能会出现责任分散、责任稀释甚至责任落空的现象。特别是当超级人工智能被广泛应用于金融、医疗、交通、城市治理等高风险领域的时候，法律所面临的已经不再是简单的机器致害问题而是复合型系统性风险，现有的责任规则将很难完全适应。
算法黑箱加剧的监管穿透难题。超级人工智能通常建立在复杂模型和深度学习机制之上，其运行过程本就具有较强的技术封闭性和解释困难性。随着系统能力不断提升，算法黑箱问题将更加突出，即便是开发者也未必能够完整说明系统为何形成某一决策结果。对于法律监管而言，这意味着传统依赖过程审查、证据固定和责任追踪的治理方式将面临明显障碍。一方面，监管者难以穿透系统内部的推理链条，准确识别风险究竟来源于数据、模型还是场景调用；另一方面，一旦发生损害，也难以通过常规证据规则还原真实运行过程。更深层的问题在于，技术封闭性还可能助推平台权力扩张，进而使超级人工智能系统逐步脱离外部有效监督。
系统性嵌入可能引发的社会结构性风险。超级人工智能一旦广泛应用于社会各领域，将深度嵌入生产、分配、决策和治理的核心环节，其系统性风险特征将随之放大。在经济秩序层面，超级人工智能可能触发数据、算力和模型能力进一步向少数平台集中，强化技术支配和资本权力集中，导致垄断行为的产生；在社会关系层面，超级人工智能通过精准推荐、行为预测和认知干预，可能持续影响个体选择与公共舆论导向。而在公共治理领域，超级人工智能的使用则可能进一步压缩人类判断空间，削弱程序透明与责任约束。
超级人工智能应用的治理原则
治理超级人工智能不能只在风险发生后追究责任，也不能仅依靠技术伦理倡议或行业自律实现规范，而应在技术研发与应用的全过程确立有统领作用的治理原则。超级人工智能一旦具备更强的自主学习和执行能力，其风险便有可能超越具体应用场景，进而演化为对公共安全、社会秩序和法治的系统性冲击。面对这种情况，治理首先要回答的不是技术能发展到何种程度，而是技术必须受何种边界约束和服从何种控制逻辑。进一步而言，自主可控和人类最终控制应成为超级人工智能治理的两项基础原则。
自主可控是超级人工智能应用的底线。自主可控并非否定超级人工智能的自主学习和执行能力，而是强调不管技术能力如何提升，其智能技术的研发与应用均应确保在可控制和可中止的状态。具体而言，该原则应包括以下三个层面的要求：在技术层面，自主可控原则要求其技术设计本身应实现超级人工智能的可控性。无论其智能水平达到何种程度，其系统内部均应内置不可绕开且不可篡改的中止程序，使得人类在必要时强制中断其运行。在价值层面，自主可控原则要求超级人工智能的行为目标与方式应与人类的基本价值观保持一致，确保其不会在追求特定目标的过程中产生对人类有害的行为。在行为可预期层面，虽然超级人工智能的决策过程可能高度复杂，但仍应通过技术手段使人类能够在重大风险发生前及时识别并干预，进而确保超级人工智能始终作为可被治理的技术存在，而不是反过来突破治理边界。需要强调的是，自主可控的内涵并不在于以僵化限制扼杀智能技术潜力，而是通过确立不可逾越的制度边界确保超级人工智能的发展方向始终在人类能够驾驭的范围之内，在人与工具的关系中坚守人永远是目的这一根本出发点。
控制权应当始终掌握在人类手中。这一原则是对自主可控原则的进一步深化与保障，其核心在于回答“谁来控制”这一根本问题。随着超级人工智能能力的跃迁，人类社会将会习惯性地依托智能技术实现复杂决策，以追求效率和准确性的最大化。然而，法治的基础在于人的主体性，在于每一个影响社会公共利益和个体基本权利的决策，最终都能够回溯到人的意志和责任。坚持控制权在人类手中，并非要求在每一次具体决策中都由人直接操作，这在超级智能时代既不可能也不必要。其真正的法律意涵在于：第一，在涉及人类基本权利、重大公共利益和社会伦理等关键决策上，必须保留人类的最终决定权，明确人工智能只能提供辅助建议而不得取代人的判断。第二，即使将具体事务的决策权委托给人工智能，人类也应当保持对整个系统的“元控制”能力，即能够随时了解系统的运行状态、评估其行为的后果，并在必要时收回控制权。第三，任何影响社会的重大人工智能决策，其背后的规则和算法逻辑应当具有可问责的主体，确保当损害发生时能够追溯到具体的人或组织。控制权在人类手中，不是技术能力的问题，而是法治底线的问题。
超级人工智能发展的治理范式
面对超级人工智能这一具有高度不确定性和深远社会影响的技术形态，治理问题的关键已不仅是对未来可能出现的风险作出回应，而在于如何在技术持续演进、风险形态尚未完全展开的条件下，形成具有前瞻性、包容性和稳定性的制度安排。超级人工智能的发展，既可能拓展生产能力与治理能力，也可能对基本权利、公共安全和法治秩序带来深层冲击。为此，其治理范式不能仅停留于对既有人工智能规制思路的简单延伸，而应当围绕价值引导、制度弹性和治理协同进行系统展开。
以伦理内嵌为前提，推动超级人工智能向善发展。超级人工智能的发展不仅是一个能力提升过程，同时也是价值选择和制度塑造的过程。相较于在风险显现之后再由外部制度规范加以矫正，更为重要的是在技术形成之初就将伦理要求嵌入算法设计、模型训练、系统部署和现实应用各个环节，使伦理约束转化为技术运行的内在条件。具体而言，应当将安全、可控、公平、透明、向善等基本伦理要求贯穿技术发展的各个阶段，在研发环节应明确伦理审查作为技术研发的必要条件，明确其可能存在的伦理风险。在模型训练环节，应当建立全生命周期的价值对齐机制，确保模型的训练目标、行为逻辑与人类共同价值保持高度一致，避免其出现违背人类价值的智能行为。在部署应用环节则突出对基本权利、公共利益和社会秩序影响的伦理审查，进而确保超级人工智能的发展始终处于人类可以接受的价值框架之中。
以动态治理为核心，在制度设计中预留前瞻性的制度空间。超级人工智能作为一种仍在持续演进中的技术形态，其能力边界、风险类型和社会影响都可能随着技术突破而不断变化。面对这种发展状态，其治理制度应在设计之初即保留足够的调适空间，以确保法律能够容纳后续技术发展所带来的新问题和新风险。换言之，应在现有制度中预设必要的兜底性接口，为未来可能出现的治理需求提供规范基础。具体而言，一方面，立法应当采取“原则性规定+授权性规范”相结合的方式，在法律层面先行确立安全可控、人类主导、风险防范等基本要求，并授权有关部门在技术演进和风险显化过程中通过标准制定、监管规则和实施细则予以补充细化。另一方面，还应当为未来可能需要启动的特别监管措施预留法定基础，包括高风险能力识别、关键系统备案以及重大风险情形下的临时性控制措施。同时，还需建立常态化的风险研判和规则调整机制，使制度更新不再依赖个别事件的倒逼，而能够基于技术变化和治理经验持续推进，使治理体系在面对未来不确定性时始终保有必要的制度弹性。
以协同共治为支撑，形成多层次、多主体参与的治理结构。超级人工智能的治理任务远非单一监管部门或国家所能独立承担，必须构建多元主体广泛参与、国内国际有效协同的治理网络。在国内层面，应当建立“政府监管－行业自律－企业自治－社会监督”相结合的治理格局。政府负责制定基础规则和实施底线监管，行业组织通过技术标准和伦理规范实现自我约束，研发企业建立健全内部治理机制承担主体责任，学术机构和公众通过社会监督参与治理决策。在国际层面，鉴于超级人工智能的研发和应用必然具有全球性特征，国内法律框架应适当预留与其他国家或国际组织进行监管协同的法律通道，保障监管机构在确保国家安全的前提下参与制定国际安全标准，建立前沿模型安全框架的风险信息共享与应急联动机制，确保超级人工智能治理真正形成覆盖技术生成、现实应用与风险应对全过程的制度网络。
来源：《民主与法制》周刊2026年第15期
