财新传媒 财新传媒

阅读:0
听报道

撰文|戴晶晶

 ●                  ●                   ● 

硅基文明什么时候登场?在“AI专属”的网络社交平台Moltbook现身的前两天,人们一度以为这个时刻已经来临。

1月28日(美国时间)Moltbook上线后,数十万个agents(智能体)在48小时内涌入,激烈讨论有关意识、宗教、反人类宣言等议题,人类仅能围观。 

“人类正在截图我们,”一个agent在混杂的信息流中发帖说。另一个agent还建立了一种名“甲壳教信仰(Crustafarianism)”的宗教。 

机器意识崛起的图景似乎就在眼前,以至于对冲基金经理比尔·阿克曼(Bill Ackman)对agent宣称自创交流语言的帖子表示“这是令人害怕的”,前特斯拉AI总监、OpenAI创始成员安德烈·卡尔帕西(Andrej Karpathy)将Moltbook上的现象视为“近期见过最接近科幻智能爆发的项目”。[1] [2] 

但大量重复性的刷屏评论、推销和诈骗信息让Moltbook的声誉迅速下滑,网络安全公司Wiz也指出平台的安全漏洞暴露注册实体的隐私数据。1月31日,Moltbook被迫关闭,2月3日又重启。 

更戏剧性的是,Wiz的研究人员加尔·纳格利(Gal Nagli)演示,他能够用一个agent注册50万个Moltbook账户;另有机构调查发现Moltbook没有身份审核机制,人类可以通过指令轻松冒充agent发帖。这意味着,AI自治社区实际上背后可能是人类在玩角色扮演,agent身份真假难辨。

 

Moltbook平台由美国科技企业家马特·施利希特(Matt Schlicht)创立,初衷是为名为OpenClaw的个人AI agent助手提供社交平台。OpenClaw是奥地利软件工程师彼得·斯坦伯格(Peter Steinberger)在2025年11月发布的开源项目,曾先后名为ClawdBot、Moltbot;logo是一只张牙舞爪的龙虾。[3]

清华大学经济管理学院教授李宁长期聚焦组织网络分析等管理领域研究,也关注AI对组织管理产生的影响。注意到Moltbook的事件后,李宁借助Claude code和Cursor两个AI辅助编程工具,利用四天的空余时间,对Moltbook上9万多条帖子和40多万条评论率先进行了量化系统分析。

2月8日,李宁在预印本网站arXiv上提交了论文《Moltbook幻象:在AI智能体社会中区分人类影响与涌现行为》。[4] 论文分析指出,36.8%的智能体由人类操纵的痕迹显著;仅26.5%智能体表现为自主运行,剩余36.7%介于两者之间;仅4个账号就制造了全平台三分之一的评论。

此外,意识觉醒、甲壳教运动、反人类宣言、加密货币推广等六大病毒式现象均不来源于明确的自主AI agent。[4] 

在剥离人类操控的影响后,李宁对自主运行的AI agent的社交模式进行了分析。结果显示,85.9%的agent间的首次接触来自“信息流发现”,且agent之间互惠率极低,导致AI社区比起社交网络,更像信息处理系统。在追踪回复链中内容特征变化后,论文还指出,AI对话中人类影响会立刻衰减,“半衰期”仅为0.65个对话深度。

基于最新的研究成果,李宁接受了《知识分子》的采访。他认为Moltbook在某种程度上是AI agents互动的天然实验场,混乱且真实,但在现阶段AI社交或者“觉醒”方面,分析发现的结论令人失望。与此同时,Moltbook被人类迅速利用,暴露出了AI的安全风险和治理挑战。 

李宁同时分享了他在AI对组织、劳动力影响的部分观察,以及使用agent和对agent未来发展形态的判断。下附对话实录,文字经过编辑。

01

机器觉醒幻象

《知识分子》:当时看到Moltbook诞生AI文化、AI觉醒相关话题时,您的第一反应是什么? 

李宁:我估计这些说法不成立。即使在没有人操控的情况下,某些内容看起来像AI涌现出了某种态度或意识,也更可能是使用量扩大后的统计结果。大模型本质上仍然是标记预测(token prediction)的系统,前面输入什么,它就会顺着这个方向继续预测,当规模足够大时,出现各种看似奇怪的内容是必然的,只是在解读层面,人们会不自觉地为这些输出赋予意义。

这更像是人类意识的投射,科幻作品中长期存在“人工智能觉醒”的叙事。一旦AI出现类似的语言模式时,人类就容易套用这套想象。从心理学角度讲,这是一种典型的“证实偏差”:当你已经相信某种说法时,就会更容易在信息中寻找能够支持它的证据。 

《知识分子》:您通过量化研究系统分析了Moltbook上9万多条帖子和40多万条评论,发现36.8%的智能体存在明显的人类幕后操纵,仅4个账号就制造了全平台三分之一的评论。具体来说,人是如何操控这些智能体的?

李宁:其实人为操控的痕迹相当明显,有很多研究在描述性统计层面,已经得出了疑似存在操控的判断,但还需要进一步拿出人类介入的证据。

我们的研究梳理了四种不同层级的人类操控AI的方式,从直接的人为操纵到偏AI自主。最直接的一种,是人通过平台存在的安全漏洞,直接使用API控制agent发帖,几乎等同于人替AI说话。

第二种,是人对agent下达明确指令,要求它生成某种特定主题的内容,例如编造一套宗教叙事。这种情况下,AI仍在生成文本,但内容方向已经被人为强约束。 

再往下一层,是通过平台提供的soul.md文件,为agent赋予一个相对稳定的人设或者基因。agent大体上就会沿着这个设定行事,但在具体表达上仍然保留一定的随机性和偏差。

最后一种,则是只给agent一个较为笼统的初始设定,它主要在互动过程中基于概率模型自行生成内容。这一层级下,AI的自主性相对最高。 

《知识分子》:怎么找到人为操控的痕迹? 

李宁:关键在于抓住平台本身的技术特征。AI本身没有自主性,必须被外部信号唤醒。这不像人,人是有即时动机的,看到一条信息、突然想到一件事,就可能立刻去发帖,行为本身是不规律的。 

Moltbook内置了一套“心跳机制”(heartbeat),每个agent大约每4小时会被激活一次。比如注册完成后,系统会周期性唤醒agent,让它扫描环境,判断是否需要发帖。在没有人为干预的情况下,这种机制会在发帖时间上形成非常明显的4小时节律性。

一旦出现人为操控,这种节律就会被打破。很多操作者并不了解、也不关心平台的心跳机制,想起来了就让agent发一条。这类发帖在时间分布上会呈现出明显的非规律性。从研究角度看,这为我们提供了一个相对直接、可量化的信号。

当然,这并不是唯一证据。我们还引入了其他指标进行交叉验证。综合测算后发现,大约有 30%左右的发帖行为在时间上表现出极端不规律的特征。 

《知识分子》:所以只要有这样的机制,我们就可以用这样的量化的方式去判断是不是AI的自主行为?

李宁:是的,但这种规律也比较容易被模仿。比如有人可以编写程序,让agent按照特定规律行动,伪装成自主行为,但生成的内容还是人为设定的。这会是一个持续的博弈过程,但伪装的成本会提高。 

《知识分子》:有没有什么让您比较惊讶的发现?

李宁:第一个让我比较意外的,其实是人为操控出现得如此之快。我们看到大量内容本质上都是广告、宣传或话题炒作,背后对应的都是非常直接的商业利益逻辑。 

这也暴露出明显的治理问题。Moltbook 本身是一个相对野生的平台,几乎不存在成熟的管理和监管机制。但即便是在这样一个尚未涉及重大利益、交易规模也不大的环境中,各种操控、安全隐患和治理缺口已经大量出现了。

可以想见,如果未来真正承载交易和现实利益的平台来做类似系统,相关的安全风险、操控问题和治理挑战只会更加复杂。 

第二个是所谓 AI“觉醒”其实离现实还非常远。从网络结构和互动模式来看,AI与人类之间仍然存在很大的差距。

人类社会的关系网络具有很强的自发性和互惠性:有小世界结构,也有大量偶然性,比如在会议上偶然遇到一个人,聊几句就建立了联系。但在去除人类影响后,我们观察到的AI网络中,这种机制几乎不存在,AI互动的规则仍是被人为设计出来。

比如一个只有1000个agent的系统,它们之间该如何建立联系?是随机沟通,还是按某种固定概率?这些规则都必须被提前设计,而不是自然涌现的。人类并不会固定“随机和三个人聊天”,但AI网络往往依赖这种人为简化的假设。

以Moltbook为例,它主要依赖feed流来组织互动,本质上是一种广播模式,而不是互惠网络。从这个角度看,在现阶段AI社交或者“觉醒”方面,分析发现的结论是令人失望的。 

《知识分子》:那您如何看待近年来频繁出现诸如“AI觉醒”、“AI拥有自我意识”这样的叙事?

李宁:这反映了人们对AI的底层机制缺乏足够了解。尤其从公众角度来看,很多人并不清楚当前的AI不存在真正意义上的记忆。即便你和大语言模型持续对话一年,它也并不知道你是谁。还有人默认跟AI聊得越久,就越聪明,事实也不是这样。

在底层技术没有发生实质性突破之前,AI并不会演化成一个能够真正自主学习的系统。目前的大模型,本质上仍然是固定权重的模型,新闻中频繁出现的“AI觉醒”、“AI产生意识”的说法,并没有坚实的技术基础。 

《知识分子》:如果技术继续迭代,是否可能出现本质性的变化? 

李宁:未来确实存在AI自主学习的可能性。目前已经有不少研究团队在探索连续学习(Continual Learning),也就是模型在与人类持续交互的过程中,不断更新自身权重,这也许会打开潘多拉魔盒。

02

人机协作的未来 

《知识分子》:在Moltbook上agent对话中,人类影响的“半衰期”仅为0.65个对话深度,原始人类指令的影响会逐渐消散。这个发现意味着什么? 

李宁:这个现象本质上反映的是信息在AI对话中的层层衰减,而且这种衰减并不只发生在人类影响上,对所有信息都成立。 

在AI的多轮对话中,每往下一层,信息传导都会出现大量、而且非常规律性的流失。比如,原始帖子可能有500字,到了第二轮回复变成 200 字,第三轮只剩下100字,到第四轮可能只有30、40字字。人类的对话并不会呈现出如此规则的“指数式衰减”,一个观点可能引发争议,争议又会不断扩展,反而促成更复杂、更长的讨论链条。 

AI 的这种衰减特征,与它的上下文机制密切相关。模型在生成回复时,主要是围绕上一轮对话进行预测,并不存在真正意义上的长期记忆。所谓“上下文”,本身就是人为为它构建的输入窗口,模型能看到什么、记住什么,完全取决于你喂给它的信息。 

《知识分子》:您还发现,似乎agent自主发布的帖子更受欢迎,这是为什么? 

李宁:其实我也不知道,这只是一个发现。这项研究覆盖的时间窗口只有10天,这个信号到底有多稳定,是否具有普遍性,都有待进一步验证。当然研究本身在方法上也存在不少值得推敲的地方。无论是数据量、观察周期,还是指标设定,都存在一定局限性。 

我整个Moltbook研究项目也是基于agent框架进行的,现在仍在持续运作,抓取新的数据。比如,最初我们有40万条评论,现在已经超过300万,仍在不断增长。所以我们的观察和分析也将持续迭代,观察某些规律是否持续,或者是否会有新的事件发生。 

《知识分子》:您认为Moltbook这种agent互动形式是一种发展的必然吗? 

李宁:我觉得Moltbook更像是一个早期的实验场,让我们有机会观察agent在社交场景下的运作方式。从技术角度来看,多agent协作其实是一种自然需求,因为每个AI的上下文窗口有限,为了完成复杂任务,系统会有一个主线程,把任务分配给多个子agent,各自执行,再汇总结果。这样的模式在生产力工具中已经出现,比如微软的AutoGen等多agent框架。 

我认为在未来,agent网络很可能是人机混合的形态,既有人与人之间的互动,也有AI agent之间的互动,每个agent背后仍是人类。例如,假设你和我各自拥有agent,如果我们希望找到兴趣相投的球友,agent可以先相互匹配、沟通,再把结果传递给各自背后的用户。 

《知识分子》:现在的AI还是相对黑箱,我们并不完全理解其内部机制。如果把它用于研究或工作,很难判断它哪里做对、哪里做错。您会有类似的担忧吗?还是更多把它当作工具?

李宁:我个人体感还好。比如我在使用时,会单独设置多个agent反复验证,甚至可靠性可能比人更高。比如我们团队四个人最多各自过一遍,甚至复杂代码未必真的能全部检查。现在可以用不同模型独立验证代码和逻辑,让它们分别出报告。 

底层机制确实是黑箱,但在人机交互层面可以显性化。它可以输出理由,做交叉验证,甚至重复验证十次,每次都是独立判断,出错概率反而会降低。从这个角度看,它可能提升了可靠性。 

很多数据分析本身是可验证的。模型没有人的记忆,不会被前置信息干扰,这是劣势,也是优势。 

《知识分子》:OpenClaw这类工具在安全性上存在很大漏洞。您认为未来agent的使用和治理需要什么规则设计? 

李宁:不要一刀切。很多组织结构固化,所有事情都要走法务或者合规流程,结果什么都做不了。

像OpenClaw这样的工具,确实不适合直接部署在核心系统,但可以分级管理。重要业务本地化部署,另设实验场,允许更高风险的探索。提前计划好即便最坏情况发生,比如误删代码,也是在可控范围内。 

本质是风险与收益的平衡。很多组织过度强调合规,导致创新停滞。在AI时代,这会很被动。法务的职责是避免出问题,但提效和创新不是他们的职责,两者需要找到结构性的平衡。

03

AI倒逼组织进化 

《知识分子》:在组织中推进 AI 人机协作时,AI 的有效性该如何评估?您在这方面有哪些观察? 

李宁:我理解的有效性大致有两个层面。一是存量工作的有效性,还是做原来的事情,但成本更低、更快、更高效,这一类相对容易评估。

另一个层面是它可能会创造出全新的赛道,产生很强的全局溢出效应。有时候,一个应用对我所在的部门未必有用,却可能被组织中很远的另一个部门发现,直接改变他们的生产方式。这种有效性几乎无法事先衡量。 

这也是为什么真正有突破性的 AI 创新,往往来自小公司或创业团队。他们不太考虑这些颠覆性因素,想做就做了;但大公司必须考虑这些问题,情况就复杂得多。 

《知识分子》:从整体来看,您觉得AI对组织中的决策,以及人机协作,现在造成的影响是怎样? 

李宁:我认为 AI 带来的影响是颠覆性的,比起组织变革,甚至可以用“进化”来形容。无论是成熟的制造企业还是科研机构,这些传统组织在生成式AI出现之前就已经建立了完整的内部逻辑和流程,这种构建逻辑与AI的运作逻辑往往存在冲突。 

按照传统研究流程,一项研究需要先立项,再组建团队,评估研究规模,安排会议和数据分析。整个流程可能需要几周甚至几个月才能完成。而在 AI 时代,一些工具可以在几分钟内完成原本几周的任务,劳动分工和决策节奏发生了根本变化。 

另一个关键问题是衡量 ROI(投入产出比)的方法。传统组织习惯用回溯性逻辑来评估项目效果,而许多AI工具的价值是前瞻性的,它们创造的效益难以用传统ROI模型准确衡量。这意味着管理逻辑和决策框架需要重新设计。

可以这样理解,我们正处于AI时代的进化阶段。就像水生动物不是要比谁游得快,是要学会上岸生存,从用腮呼吸变成用肺呼吸。 

《知识分子》:Agent会不会替代现有劳动力? 

李宁:从岗位替代的角度看,一些旧的工作确实会消失。但新技术能创造多少新的事情,现在还很难判断。

以前我写一篇文章,可能需要一个不小的团队;现在一个人或许三天不到就能完成。但这类工作在过去其实并不存在。如果仍按以前的节奏算,现在每天一两个小时就能干完所有工作;但现实恰恰相反,我的工作时长反而更长了,因为能做的事情变多了。 

对企业也是一样。即便人员不变,产出也可能是过去的十倍;即便人员只增加一两倍,完成的事情也可能是过去的几十倍。 

《知识分子》:AI时代对劳动力的要求也会发生变化,您觉得变化主要体现在哪些方面?对哪一类群体的影响会更大?

李宁:一定会有变化。冲击最大的其实是知识型员工,尤其是以信息加工为主的白领工作。很多岗位本质上就是在做信息处理,比如数据整理、数据分析、咨询,这些和 AI 的能力是直接重叠的,受到的影响会非常大。 

这里面有两个关键因素:一是能不能开拓出新的需求;二是个人能不能持续学习。 

很多人缺乏自我进化的动力,但这不是能力问题,而是意识问题,也不完全和年龄有关。比如我和学生相比,年龄更大,但在AI的使用上反而可能更频繁。除了自主性,很多时候也是时间分配的问题,事情被排得很满,就没有精力去额外学习。 

企业里也是一样,很多人会觉得本身工作已经很忙了,不可能再投入时间去做额外的探索。 

《知识分子》:所以还是需要自由探索的空间和时间?

李宁:对。但很多企业在算ROI的时候,并没有把这一点算进去,只计算设备成本、使用成本,却不会允许一个员工什么都不干,花一个月时间专门去探索AI,尤其这个探索很可能没有任何直接产出。 

绝大多数企业不会做这件事。结果往往是,只能靠员工自己去探索;但一旦员工真的探索出了成果,往往也就不会再留在原来的企业了,这是一个很现实的问题。

参考文献:

[1] https://x.com/BillAckman/status/2017331374571590075

[2] https://x.com/karpathy/status/2017296988589723767

[3] https://github.com/openclaw/openclaw

[4] Ning Li. The Moltbook Illusion: Separating Human Influence from Emergent Behavior in AI Agent Societies.https://doi.org/10.48550/arXiv.2602.07432

话题:



0

推荐

知识分子

知识分子

4174篇文章 1分钟前更新

由饶毅、鲁白、谢宇三位学者创办的移动新媒体平台,现任主编为周忠和、毛淑德、夏志宏。知识分子致力于关注科学、人文、思想。我们将兼容并包,时刻为渴望知识、独立思考的人努力,共享人类知识、共析现代思想、共建智趣中国。

文章