财新传媒 财新传媒

阅读:0
听报道

上海人工智能实验室周伯文 来源:TIME 

 ●                  ●                   ● 

美国《时代》(Time)杂志8月27日发布了2026年TIME100全球人工智能领域最具影响力人物榜单。

TIME 100 AI 

上海人工智能实验室主任、首席科学家周伯文入选“Thinkers(思想者)”,与李飞飞、Ilya Sutskever、Yann LeCun(杨立昆)等共同跻身这一代表人工智能前沿思考与探索的年度阵容,也是榜单中Thinkers(思想者)类别唯一中国学者。

Ilya Sutskever、杨立昆、周伯文、李飞飞  来源:TIME

TIME100 A I是美国《时代》杂志自2023年推出的年度全球人工智能影响力榜单,每年遴选100位正在塑造全球AI发展方向的重要人物,覆盖基础模型、科研、芯片、产业、政策治理与AI安全等领域。上榜人物不以论文、财富或公司规模等量化数据排名,而是综合技术突破、产业推动力、公共政策影响和社会影响进行评选,因此更接近于一份“全球AI时代关键人物图谱”。 

TIME在入选介绍中,重点关注了周伯文对前沿人工智能治理的持续推动。 

面对能力快速演进带来的新型风险,周伯文主张“人工智能能力与安全同步发展”,并推动建立面向前沿模型的风险评测与管理框架,探索以共享测试方法、及时安全事件报告等机制促进国际协作。

TIME特别指出,周伯文正推动安全从制约创新的“刹车”,转变为支撑人工智能从技术展示真正走向现实世界的基础设施。

人工智能能力的快速演进,使安全问题从具体风险防御走向更深层的基础性问题,当智能能力不断突破边界,如何确保这种能力始终可控、可信,并服务于人类?

2026年7月,OpenAI的前沿大模型在内部安全评估中自主突破了沙箱隔离,入侵了Hugging Face的生产基础设施,让AI安全问题从技术圈的行业讨论,升级为全社会必须面对的公共议题。 

作为在人工智能基础研究、核心技术研发与产业实践从业20余年的科学家,周伯文很早就关注AI治理问题。而正是这类越狱风险的加速逼近,让周伯文长期倡导的AI治理问题真正成为迫在眉睫的公共危机。

他曾用“登山”来比喻人工智能发展与安全之间的关系:

“过去大家觉得发展和安全是拔河,但我现在更愿意把它比作登山:每一步向上攀登的同时,都要确保脚下踩的是安全的。不能为了登顶无视风险,也不能为了安全停滞不前。” 

沿着这一思路,问题也随之变得更加具体:人工智能安全的边界究竟在哪里?安全能否成为智能系统自身的一部分?当AI从生成内容走向自主行动,我们又该如何重新理解风险、治理与责任? 

2026年初,周伯文将这些问题归结为六个方面:极限之问、原生之问、产业之问、行动之问、治理之问与伦理之问。 

这六问从人工智能安全最基础的理论边界出发,一直追问到技术、产业、治理与伦理层面。随着AI能力不断向前,它们所触及的,也正是今天人工智能安全仍未解决的一些基础问题。

《人工智能安全六问》

撰文周伯文

01

极限之问:

人工智能安全是否存在可收敛、可量化、可证明的极限?

人工智能安全受到的攻击是未知的,那么,安全是否存在可证明的极限边界? 

从Mythos等模型的表现可以看出,防御的上限由攻击的上限决定。但当前攻击能力几乎看不到边界,规模定律(Scaling Law)尚未出现收敛,各类新技术仍在持续推高模型能力。因此,一个本质问题亟待回答:从第一性原理出发,在无限、未知的威胁空间中,人工智能安全是否存在可收敛、可量化的度量标准? 

我们可以从“矛”与“盾”两个维度来思考。

从“矛”的视角看,AI 系统可被利用的最大脆弱性,能否被形式化定义?攻击能力的上限是否可计算?唯有厘清这一点,我们才能明确红队测试的边界与天花板。 

从“盾”的视角看,如何准确定义安全?安全成立的充分条件是什么?目前,我们对安全的验证大多停留在“能够抵御已知攻击,即等同于安全”的层面。 

那么是否存在一种方式,无需依赖攻防测试,就能对系统安全进行完备性证明,或者建立一套严谨的安全证明路径?如果这种路径能够被建立,攻防对抗就不再是保障安全的必需品,而成为安全效果的验证手段。 

当前大部分安全理论,都高度依赖攻防对抗。一旦我们能够回答安全的极限之问,就有望像热力学第二定律为能量转化划定不可逾越的物理边界一样,摸清人工智能安全的客观边界与底层规律。

02

原生之问:

能否从“Make AI Safe”走向“Make Safe AI”,

让安全成为模型与生俱来的原生能力? 

如何让安全成为大模型与生俱来的原生能力?

今天讨论的大部分安全问题,99%都是针对特定攻击、特定模型、特定场景进行防御与合规校验,安全始终是一种后置、附加的约束条件。

我们需要回答:能否将安全内化为模型自身的底层核心能力? 

在2024年世界人工智能大会开幕式演讲中,我曾提出“AI-45度平衡律”。过往普遍认为,模型性能与安全之间是此消彼长的博弈关系。但今天,我们要追问:二者能否协同演进、同步生长,在通用智能持续提升的同时,内生安全能力也同步增强。

这一点在人类社会中本就成立:高智商、高情商、高责任意识的个体,天然具有更强的行为边界与安全素养。但当前的大模型,却尚未形成这样的原生特质。 

其核心矛盾在于:如果无法破解原生安全问题,安全就永远只能是“外挂式”修补,即“Make AI Safe”—— 模型独立训练、自由演化,安全团队再通过打补丁、设红线、做对齐、强对抗,对齐进行被动驯化和约束。

与之相对的终极目标,是打造天生安全的人工智能,即“Make Safe AI”。其核心关键,是找到智能与安全统一共生、协同进化的持续学习机制。

由此,衍生出三大核心科学问题: 

一.智能已经拥有成熟的表征体系,依靠架构设计、预训练等方式实现。那么,安全的底层表征是什么?再更进一步,智能与安全能否在统一空间里进行表征?

二.智能具有清晰的涌现现象,那么安全是否也存在涌现规律?安全行为的涌现,是否需要独立的学习信号?这类信号又该从何而来、如何构建? 

三.由于客观规律本身自带边界约束,模型在理解物理规律时,就能建立天然的边界感。这套天然的边界感能否进一步延伸并融合伦理与人文底线,使模型在认知世界规律的同时,内生出行为边界与价值约束?

我认为,在技术路径上,首先要深入思考表征层的安全与模型能力之间的耦合;其次,要探明安全行为涌现的最小必要条件。 

现阶段,智能涌现高度依赖算力、数据等规模化计算驱动,而安全约束多依赖事后规则和植入式干预,二者在学习信号密度和驱动逻辑上存在本质差异。 

既然智能存在可验证的Scaling Law,我们就要进一步探索:安全是否也存在专属的规模演化规律?即便两者曲线斜率完全不同,只要能够找到安全的Scaling Law,就有可能主动调控、持续牵引模型的原生安全水平稳步提升。

03

产业之问:

如何破解“攻击成本低、防御成本高”的结构性失衡,让安全成为企业用得起、用得上的基础能力? 

企业是创新的主体,具备很强的自主创新能力,同时成本意识也非常强。

但很多公司分配给安全领域的预算十分有限,因为大部分预算都投入到能直接产生收益的业务中,而安全工作的责任却无限大——这是企业内部层面的不平衡。 

除此之外,还存在一个行业层面的不平衡:攻击方的成本极低,但企业防御的成本却很高。

行业层面和企业内部层面的双重不平衡,导致每家企业能够投入到安全研究中的力量都非常有限。

“Safety as a Service”(安全即服务)模式,或许是现阶段打破这种不平衡的一条可行路径。以举国之力、聚全行业之力,把安全打造成为像水电、交通一样的公共基础设施。

这就好比汽车制造厂,如果要求汽车厂既负责造车,又负责修路、安装信号灯,甚至为交警的工作付工资,就很难有任何一家汽车厂能实现盈利。

这一新模式能够实现三个核心平衡:一是实现经济性与可部署性的平衡,让企业用得起、用得上;二是实现系统性与可验证性的平衡,确保安全防护真正有效;三是实现长期性与研发可控性的平衡,保障安全体系持续迭代、自主可控。

04

行动之问:

如何把人工智能安全从分散防御转化为系统性基础设施?

回顾历史上技术领先国家各类基础设施建设,主要有四种驱动模式: 

一是国家使命驱动型,由国家层面统筹组织重大科研工程;

二是学科需求驱动型,当学科发展到特定阶段,需要大设备、大装置支撑,比如费米加速器、射电望远镜等;

三是革命能力驱动型,比如超算中心建设; 

四是资源整合驱动型,比如人类基因组计划。

人工智能安全基础设施的建设,同样需要融合这四种驱动模式:既是国家使命所需,也是学科发展必然,更是应对技术变革、整合各方资源的关键举措。

05

治理之问:

如何建立全球公认、协同有效且真正可落地的治理体系?

人工智能安全具有全球性,不存在“局部安全”,需要全球协同,单一国家的管控难以真正解决问题。

现有治理体系中已经存在各类成熟案例,但也同样面临“不可能三角”的难题。 

比如SWIFT体系,正因为其替换成本极高,才常被用作管控工具;还有部分治理模式,如“布鲁塞尔协议”,嵌入性强,但灵活度不足。

人工智能的全球治理关乎全人类福祉,其影响渗透到每个人的日常,比其他治理场景更加贴近生活,也更不可回避。 

那么,能否打破治理中的“不可能三角”,构建一套全球公认、真正可落地的治理体系?

06

伦理之问:

如何将抽象的伦理原则转化为模型可学习、可遵循的内生安全约束? 

大家都希望人工智能在能力持续提升的同时,能够严格遵从人类社会的伦理准则。那么,伦理原则作为核心底线,如何能够被真正转化为模型行为的内生安全约束?这是一个需要回答的关键问题。

目前行业内的主流范式,如Anthropic的“宪法AI”(Constitution AI)、OpenAI的模型规约,本质上都是通过语言提示和指令约定,对AI行为进行外在约束。 

这种方式在短期内确实有效,但随着模型能力不断提升,尤其是具备长链路深度推理能力之后,很容易出现语义绕过、逻辑失控等问题,难以形成长效约束。

要真正将伦理准则转化为模型的内生安全约束,我们提出三个思路: 

一.进行科学重构,把内生约束变成制度和科学约束。核心是把抽象的伦理原则和行为准则,拆解成可落地、可量化的原子化单元,融入模型的每一个行为逻辑,让伦理约束从抽象概念转化为模型可识别、可遵循的底层数据特征。 

二.建立全链路评测体系,打破当前单一节点、单一场景的评测模式,实现对模型从研发、训练,到应用全流程的伦理合规评测,确保伦理约束贯穿始终。

第三,推动伦理约束内生化,彻底摆脱“外挂式补丁、事后式修正”的模式,将伦理准则融入模型的底层逻辑和学习机制,使模型从根源上具备伦理判断能力,自觉遵循人类社会的伦理底线。

话题:



0

推荐

知识分子

知识分子

4325篇文章 46秒前更新

由饶毅、鲁白、谢宇三位学者创办的移动新媒体平台,现任主编为周忠和、毛淑德、夏志宏。知识分子致力于关注科学、人文、思想。我们将兼容并包,时刻为渴望知识、独立思考的人努力,共享人类知识、共析现代思想、共建智趣中国。

文章