人工智能伦理的下一步是什么？| 图源：pixabay.com

导  读

2021年11月，经过两年时间的准备，联合国教科文组织（UNESCO）发布关于人工智能伦理的建议书，这是首个全球性的人工智能伦理标准，参与国家多达193个。

建议书呼吁各国采取数据保护行动，提出人工智能系统不得用于社会评分或大规模监控目的。

《知识分子》就该建议书的内容对话UNESCO专家组成员曾毅，他认为：

● 人工智能曾经是一个科学畅想，但在当下是一个“伞概念”，包括各种涉及算法的技术；

● “相称性”应当是人工智能应用时的重要原则；

● 人工智能原则上不应应用于大规模监控和社会评分，但也应有例外情况；

● 伦理规则不应只在人工智能产品的设计阶段起作用，只有在全生命周期真正做技术落地，才有可能真正实现治理；

● 人工智能在研究过程中不需要太多限制的说法是误区，学界应当在人工智能技术发展和伦理治理中发挥引领作用；

● 只有人工智能的发展和治理的深度协同，才能最终实现人工智能的可持续稳健发展；

● 未来人工智能特别应当在推进生物多样性与生态发展、气候治理、文化交互等领域发挥赋能作用，助力全球可持续发展目标的实现。

撰文 | 王一苇

责编 | 陈晓雪

全球化进程中，人工智能在每个国家的发展并不相同，一些国家是技术的引领者，而另一些是技术的被动接受者。此前，美国、中国等国家地区及欧盟、经济合作与发展组织（OECD）、G20等组织也发布过有关人工智能伦理的相关文件，但这些文件主要是回应本地区的问题，而缺少对全球其他地区的关注。

“欧盟在制定相关标准时，不会考虑亚洲的关切…… 不同国家的文化背景使得他们对于技术阵痛的观察视角不同。” 中国科学院自动化研究所人工智能伦理与治理中心主任、国家新一代人工智能治理专委会委员曾毅说，“而UNESCO包含了几乎所有的主权国家和相关地区，应当说是最广泛的共识。”

他指出，没有任何一个国家能预知到所有可能的潜在风险，各个国家根据自己国家的价值观、社会伦理和技术发展阶段来考量。这就需要大家同步互补的观点，互相学习和交流。

UNESCO的建议书以尊重、保护和促进人的尊严、人权和基本自由，环境和生态系统的蓬勃发展，确保多样性和包容性和和谐与和平共处为价值观，提倡公平非歧视、可持续、隐私等原则。

建议书认为，“人工智能” 这一概念随发展而变化，因此不给出唯一定义，只将其视为 “有能力以类似于智能行为的方式处理信息的技术系统”，其中，包含模型和算法是其主要特征。

曾毅在中国科学院大学和清华大学任职，既是类脑智能模型的研究者，也 “跨界” 钻研人工智能伦理与治理。他是起草教科文组织建议书的24位全球专家之一，同时也是中国参与协商该建议书的代表。多个国家讨论出一个共同的伦理标准并非易事，他坦陈 “这是一个求最大公约数的过程”。

第一版草稿形成后，联合国自2020年开始组织区域性的对话，同时教科文组织也把第一版草稿发到各个会员国，正式征求国家建议。2021年6月份左右，193个会员国派出代表，进行政府间磋商，对文本当中的每一个段落做逐字逐句的修改。

针对这份建议书，《知识分子》与曾毅聊了聊他参与起草的过程和对人工智能伦理现状的观察。
 

为了表述的简洁和清晰，访谈稿略有编辑。

知识分子：

建议书称 “无意对人工智能作出唯一的定义”，只探讨 “人工智能系统中具有核心伦理意义并且在国际上已形成广泛共识的特征”，为什么？我们现在说的 “人工智能” 到底指的是什么？

曾毅：每个机构、国家，在人工智能战略里对人工智能的定义都不一样，在这上面达成一个全球共识并不必要。它本身就是一个与时俱进的概念，是快速迭代的。人工智能的定义本身也需要适应时代发展。

一开始，人工智能是一个科学畅想。1956年的达特茅斯会议（作者注：普遍认为是人工智能领域的发起会议）上，发起人 John McCarthy 说，这个会议的目的是 “从一个猜想出发，即原则上，智能每个方面的学习方式和特征都能被精确描述，使得机器能够模拟它们”。[1] 即在计算机系统上重现人类的心智。这种重现不仅仅是行为上的，更是机制上的。

人工智能最开始的目标是推进科学进展，使人们生活得更好，从很多领域内，尤其是体力劳动中，把人解脱出来。现在人工智能的应用在替代劳力的方面确实比较相关。

但几十年后，人工智能变成了一个 umbrella term（伞概念，指概括性的术语），特别是面向产业的时候，不管是自然语言处理、数据挖掘、机器视觉等，都叫人工智能。

现在的人工智能已经不仅仅是一个科学探索的领域。现在一个学生做了一个新算法，比如用户上传图片，人工智能就画一个类似的铅笔画出来，谁都可以用。这个图像可能就存在一个大学实验室的机器上，机器获取了你的数据，却不一定有人仔细思考如何去保护你的数据。但个人信息一次的丢失就意味着终身的风险，你甚至都不知道这样的信息丢失在10年20年后对你来说意味着什么。你没有想过，做应用的人也没有想过。别有用心的人就有可能通过各种途径收集数据，对我们产生负面影响。

尽管我非常不喜欢，但现在大家把这些东西叫做人工智能，它的服务出现在我们生活中。而创造程序的人几乎没有经过任何伦理学培训。

2016、2017年的时候，特别在中国，学界和业界对人工智能伦理的关注非常少，甚至有反对声音认为人工智能伦理会阻碍发展，很多人问我。我说，人工智能治理的目的就是保证人工智能稳健、健康的发展。它阻碍的是野蛮生长。

2018年开始，我在中国科学院大学开设了一门人工智能哲学与伦理的课。当时开课很困难，大家说你又不是伦理学者，凭什么讲这样的课？诺贝尔奖和图灵奖获得者、卡耐基梅隆大学的司马贺（Herbert Simon）写文章 [2] 讨论过一个观点，好的交叉学科研究，一定是领域A的专家变成半个领域B的专家。人工智能伦理也是这样的。

80%来上我的课的学生都是工学相关专业，20%来自人文学院。对于技术研究者，人工智能创新几乎每走一步，都可能涉及社会关怀、社会伦理，他们需要知道注意哪些社会伦理问题，需要了解未来二三十年人工智能作为一个道德主体可能对社会造成的挑战；而从事科学技术哲学研究的学生，未来将会是中国人工智能社会相关领域重要的意见领袖，他们需要知道人工智能真正的进展。

知识分子：

怎么看待建议书中 “人工智能不能用于大规模监控和社会信用评分” 的表述？

曾毅：人工智能不能用于大规模社会监控和社会信用评分，是政府间磋商时德国的学者提出、列进去的。

说到这个，就要提及我们讨论的一个概念叫proportionality（相称原则），意思是，不是什么时候人工智能都好，不需要的时候就不要用。现在很多技术创新者会提出 making AI everywhere（让人工智能无处不在），我看到的时候就觉得，有必要吗？

以城市治理为例。舒可文先生的著作《城里：关于城市梦想的叙述》指出，城市的规划，一半是野蛮生长，一半是规划，这才叫做城市。因为城市中除了技术还有人际关系，它的形成方式是多样的。人工智能也不是什么地方都要去介入，应当适度使用。

不过我有一点保留意见，即使在欧盟的人工智能法中，大规模社会监控这件事也是有例外的。比如抓逃犯、寻找丢失的小孩、威胁国家和社会安全的特殊情况，是可以去应用相关的技术的。中国也在这些领域应用了这些技术，如寻亲打拐，效果也很好。但在教科文组织的规范中，并没有明确给出例外情况，我觉得不是特别合适。

社会评分当中是否要使用人工智能，我觉得确实需要慎重思考。

社会信用系统现在是一个精确匹配的自动控制系统，不是人工智能，没有学习能力。很多规则都是清晰的、人类定义的规则，比如违反交规的扣分和罚款你不交，但有钱去买机票，这个就说不过去。但如果基于大规模的数据去学，学到规则后应用到社会信用评分中，我作为普通公民也会比较担忧，因为学到的这个规则里，很可能有人类的偏见，如果没有人类来辨别，直接应用很可能有潜在风险。

例如，推荐工作的人工智能系统，给40多岁的男性推荐高管职位，给28岁的女性推荐服务员职位，这就是系统学到了社会的偏见。谁说28岁的女性不能当高管呢？人工智能现在没有真正理解的能力，它甚至不知道什么是男女，不知道什么是不公平，也不知道什么是身体和心理的伤害，那么怎么可能对这种偏见去做处理？

曾毅在看一本讲全球公平的图书，他说，“未来使机器人真正理解公平”是AI伦理的核心 | 图片由曾毅提供
 

有些人说，技术是中立的，我不同意这个说法。我觉得说技术中立是一个借口。技术学到了偏见，但没有去处理，它还是中立的吗？推荐算法没有加入干预的过程，而推说这些都是社会的问题，这都是在找借口，社会的问题不代表你没有解决的办法。

正是因为有这样潜在的问题，在没有人为筛选和有意监督的情况下，把人工智能应用到社会评分领域，可能会造成巨大的负面效应。目前我还没有看到这样的例子，希望在哪里都不要发生。

知识分子：

由于新冠疫情，各个国家都开展了不同规模的社会监控和信用评分，这和上述原则不是背道而驰吗？

曾毅：2020年3月份，MIT Technology Review 做了一个工作，分析了各个国家 contact tracing（密接追踪）的软件 [3]，评价上，如果强制收集信息就很糟糕，不强制就好一点；国家运营的话也很糟糕，私营的就好一点。可以看到，中国的评分很糟糕。我认为它的评分很不客观，它只考虑了伦理方面。

选择性地向用户要求信息，实际上降低了这个系统的有效性。如果系统使用过程中采取并非强制而是完全自愿的原则，有可能导致密切接触网络的关键数据缺失，使得系统的数据分析无效，或者效果很差，那么我们为什么要用它？去用一个伦理设计上更道德、但应用层面效果很差的系统，还不如不用。Wired杂志后来有个报道 [4]，说西方国家的 contact tracing 似乎没有亚洲国家那么有效。有效性到很后期的时候才被西方国家提上日程讨论。

在这个过程中，我们要学到的是如何平衡。这种平衡不是妥协。接受为了疫情而采集温度和人脸信息的数据，不意味着让渡隐私。2020年底，在健康码上输入身份证就可以获取到明星的素颜照，这就是开发健康码系统的机构没有很好地保护个人数据。（作者注：2020年12月29日，对于北京健康宝“代查他人健康状态功能，有时不需要进行人脸识别”的情况，开发北京健康宝的单位北京市经济和信息化局大数据建设处（智慧城市建设处）回复称：“此问题已解决。” 事件中未见问责。）

如果相关的机构不能有效保护这些数据，是应当负责任的。2021年11月1日起施行的《中华人民共和国个人信息保护法》，规定个人信息处理者应制定内部管理制度和操作规程，加密，安全培训，制定安全事件预案等方式确保其收集的个人信息的安全，而如果违规违法，则将面临从警告、罚款、停业到刑事处罚的惩罚。此外，2019年起施行的《儿童个人信息网络保护规定》专门针对不满14岁的未成年人信息保护作出规定，违反者由网信部门和其他有关部门依据职责，根据《中华人民共和国网络安全法》《互联网信息服务管理办法》等相关法律法规规定处理；构成犯罪的，依法追究刑事责任。此外，国家互联网信息办公室近期刚结束征求意见的《移动互联网应用程序信息服务管理规定》修订版规定，应用程序的发行者和发布平台应接受社会监督、设立举报机制，对于存在数据安全风险隐患、违法违规收集使用个人信息行为的，或者损害个人、组织合法权益的应用程序，应当停止提供服务。

即使这样的系统是必要的，这不代表用户以任何形式让渡了隐私。它其实提出了更严格的要求，在满足隐私保护约束的前提下，才可以采集信息。

政府对于技术发展的管理和治理有一个学习的过程，而基础设施研发团队如果伦理意识淡薄、安全意识缺位，就会使得购买了服务的政府要为可能出现的纰漏背书。政府一定开展了质量评估，但是由于AI伦理专家的缺位或者设计的缺陷，并不是所有的伦理问题能够在评估阶段发现。政府应该为此负责，但是由于部分信息不透明，有时候我们可能无法了解后续处理情况。在这种情况下，在社会舆论监督的影响和政府的督促下及时调整系统设计与实现，是底线。

知识分子：

纸面上的伦理规则，如何落到现实中？

曾毅：伦理原则即使在设计阶段发挥了一些作用，但在算法实现、产品服务和产品部署的过程中如果不注意，都可能带来各种各样的问题。只有在人工智能产品的全生命周期（包括它的上下游客户）真正做技术落地，才有可能真正实现治理。

举个例子，2019年杭州野生动物世界的案子（作者注：杭州市民郭兵于2019年购买杭州野生动物世界双人年卡，并确定指纹识别入园方式，但野生动物世界此后强制要求激活人脸识别，否则无法入园，郭兵因此提起诉讼，该案以郭兵胜诉告终，被称为 “全国人脸识别第一案”），其实就包括使用和部署环节的问题，知情同意没有做好。此外，采集的数据到底是保存在动物园还是相关企业，企业的保密和数据加密资质是什么样的？这一切都不清晰。

而在伦理原则还未落地、还不是法律的时候，如何实施？换脸软件ZAO和教室表情识别看学生是否认真听讲，是两个具体的例子。ZAO在上线后三四天下线，被工信部约谈；而教室表情识别的事发生后，教育科技司表态，在不必要的场合就不需要引入人工智能，建议不要使用，那时就基本上叫停了相关服务的发展。当时绝大多数人脸识别企业都有做类似尝试，有些可能已经形成应用，甚至规模化应用。据我所知，很多企业的这条产品线基本也都停掉了。

法律讲的是底线，红线。科技发展过程中法律的守护底线红线作用永远不可替代。而科技伦理问题是法律之上的科技发展与社会之间的软性约束和契约。不触犯法律并不代表没有道德伦理问题。伦理道德对科技发展的考量和反思是确保科技健康发展不可或缺的要素。科技发展与科技伦理形成双螺旋结构，科技才能稳健地助力人类文明的繁荣。

企业创新者要做全生命周期的伦理落地，要自律自治。有些企业有专门的伦理委员会和伦理研究组，但有一些小企业或者初创企业没有这个能力，学术界和政府应该给他们提供伦理相关的服务，以公共服务的方式，避免这个问题，后面的监管会省很大力气。

我们现在也在和政府相关部门合作推进人工智能治理的公共服务平台。 [5]

知识分子：

人工智能是不是安全和人工智能是不是道德，有关系吗？

曾毅：人工智能安全和人工智能伦理是两回事，但它们不是不相关的事。安全是AI伦理的一个必要属性。

技术风险会引起社会问题。举例来说，现在的深度神经网络做看似智能的信息处理，但经常会犯人不会犯的错误。去年11月，世界公众科学素质促进大会在北京举办的时候，一个做新冠病毒感染肺炎筛查的企业说他们的准确率已经超过了医生，完全可以替代医生。那时候还没轮到我发言，但我当时不得不打断，我说毕竟这是一个科学素养大会，做的是公众科普（传达的信息要准确）。人工智能永远不应该代替人类决策，说完全替代医生，这是完全错误的。因为现在的人工智能系统很容易造成误诊。比如一个皮肤癌筛查的系统，一个角度照手上的小包就是99.99%的可能性，换一个角度就检测不到。这种错误医生是不会犯的。人工智能说是99.99%的准确率，但一张图像加一点噪声，就可能被识别为其他东西。

有人说，识别错了又怎么样呢？我举一个例子，谷歌的3D物体识别系统，有80%的概率将一个3D打印的乌龟识别为一把来福枪，20%的概率识别为其他东西，但没有一次识别为乌龟。设想这样一个场景，10岁的小孩拿着一个3D打印的乌龟站在马路边上，但监控系统把它识别为10岁的小孩拿着一把来福枪站在马路边。如果有人刻意制造这样的事件，对于社会的治安将是很大的挑战。

又例如未来的自动驾驶无人车，如果被黑客操控了，如果（被威胁方）不交钱就直接开到悬崖下，甚至用于攻击社会，这种风险都是技术本身的风险。

人工智能的风险要分等级，应当对应用紧迫、高风险的领域做合理的分级管理。例如自动驾驶的风险不仅仅在全自动驾驶的时候有，辅助驾驶时，如果视觉系统被攻击，检测不到图像，前面一片白，它就冲过去了。

最麻烦的事情不是技术解决不了这些问题，而是伦理意识的缺失。本来容易解决、可以防患于未然的事情没有人重视，在产品研发过程中没有解决，这才是现阶段我们最大的风险。所以为什么说号召大家把伦理原则嵌入整个产品的生命周期，就是这个意思。

知识分子：

企业对于这份建议书有什么样的反馈？

曾毅：有一些企业会说，它似乎符合其中70-80%的原则，非常自豪。我就说，其实后面的20-30%才是最关键的。如果其中70-80%都不符合，可想而知你做的是一个什么样的产品。

如何去解决后20-30%的问题，我觉得是一个共同挑战。企业与学术界有距离，很可能不知道如何落地，或者有些问题现在大家考虑都比较少，就需要学界和业界共同努力。比如，大家都谈用户隐私，用户授权后，不满意了要撤销，不想用这个服务了，那么你得把我的数据删掉。在数据库里删掉用户数据很容易做到，但人工智能模型中，把用户的特征数据删掉，对于每个模型都很难。除非你重新训练人工智能模型。但对很多企业，重新训练要两个礼拜、一个月甚至半年才做一次，很难做到真正意义上的实时用户授权撤销。

这个问题很多人都知道，但学界和业界都没有做太多的努力，是因为它没有直接帮助你去获得经济利益，所以大家都不太积极。这是个非常糟糕的状况。我们说人工智能赋能可持续发展，（联合国所有会员国通过的）17个可持续发展领域里，大家都在集中做教育和医疗，因为最赚钱，但其他的领域像性别平等就少有人关注。以前没人重视气候行动，因为没有找到赚钱的方式，现在似乎又找到商机了。

真正可持续的发展，责任不光在政府，很多时候是一个生态共同体。按联合国规划，我们总共有不到十年时间实现这些可持续（发展）目标。如果仅仅是政府在推动，这个目标很难在十年内实现。

知识分子：

学界在开展人工智能研发活动时，需要注意什么？

曾毅：一方面，我想纠正一个错误观念，认为在研究阶段不需要太多的限制。我觉得这是不对的。

例如做人脸识别算法，就算没有提供服务，收集了人脸来提升性能，是不是就不会有伦理问题？如果在研究阶段没有伦理考量，很容易因为利益引诱，成果或者副产品作用到社会，产生负面影响。

另一方面，伦理的前瞻性研究，学术界一定要发挥引领作用。一方面是在人工智能服务中加入道德约束，使得它更符合伦理道德规范；另一方面，未来是否能开发真正能自主学习、理解人类伦理道德的人工智能，是非常重要的学术挑战。

仅有产业界的努力是完全不够的，甚至几乎没有产业在做这样的事情。

可持续发展和治理是深度协同的关系，既不是竞争，也不是平衡，就像DNA的双链结构，互为支撑，使结构相对稳定。实现发展和治理的深度协同，最终才能实现稳健的发展。学术界应当前瞻性地作出引领工作。中国和阿联酋的人工智能规范中比较强调可持续，其他国家的可能没有那么明显。

以前人工智能研究考虑不多，但未来非常值得推进的方面有两个。一个是利用人工智能促进生态的可持续发展。2019到2020年澳大利亚大火，很多物种在这场大火中灭绝了，但你很少看到人工智能发挥什么作用，解决问题。（我们还是可以主动思考人工智能如何发挥作用）例如，人工智能技术可以用于监测和预测火势，无人车和无人机可以用于拯救火灾中的动物，甚至可以用于提前驱逐动物到相对安全的区域去。我国的大兴安岭也会遇到类似的挑战，但这方面的考虑和实践非常少。在教科文组织的指南成文过程中，各个国家都很关注生物多样性保护，大家对人工智能推进生态保护和可持续发展都很有共识。

人工智能在实现过程中也会带来碳排放。现在人工智能在向大模型方向发展，能耗是非常高的。而产业在推进大模型研发的过程中，基本没有考虑碳排放的问题。人工智能本身的目的是去替代一些体力劳动，但如果替代过程中碳排放的成本还高于人力，负面作用很大，是否值得就是个问题。我们自己做了一个研究，叫做AI Carbon Efficiency Observatory [6]，人工智能碳能效的观测站。把所有人工智能大模型的碳排放情况列出来，让大家去看一看。

此外，指南中提到的另一个要点是人工智能应该促进文化传承。当时其他的代表提出人工智能促进文化传承，我说，传承是保护，没有交互，它可以更进一步，不仅保护文化，还可以找到文化之间的联系，通过人工智能赋能文化交互。比如你对法隆寺这个传统的佛教寺庙比较熟悉，但不熟悉故宫，它们之间的关联实际上非常多。你喜欢敦煌，而敦煌的文化其实和来自世界其他国家的文化是非常相关的。文化交互引擎(Cultural Interactions Engine) [7]就是通过人工智能技术自动发现不同文化的景点和自然资源间存在着的关联。

现在，很多文化的问题是由于文化割裂引起的，而我觉得这是人工智能能够赋能的地方。很多人运用人工智能去制造隔阂，制造信息茧房，但人工智能真正应该做的是建立一座桥，帮助构筑不同文化相连的网络。

参考资料：

[1]https://250.dartmouth.edu/highlights/artificial-intelligence-ai-coined-dartmouth

[2]https://www.psychspace.com/psych/viewnews-7830

[3]https://www.technologyreview.com/tag/covid-tracing-tracker/

[4]https://www.wired.com/story/why-contact-tracing-apps-not-slowed-covid-us/

[5]https://www.ai-governance.online/cn

[6]http://ai-carbon-efficiency-observatory.ai-for-sdgs.academy/

[7]http://cultural-interactions-engine.ai-for-sdgs.academy/