原标题：人工智能专家曾毅：与人类价值观校准是人工智能最大挑战

曾毅认为，我国急需开展人工智能伦理与安全的研究，将人工智能风险、安全、伦理的思考模型化、算法化、系统化。

5月25日，北京智源人工智能研究院联合北京大学、清华大学等单位发布《人工智能北京共识》，提出了各个参与方应遵循的有益于人类命运共同体的15条原则。

其中研发方面，要服从人类的整体利益，设计上要合乎伦理；使用方面要避免误用和滥用，确保利益相关者对其权益所受影响有充分的知情与同意；治理方面，对人工智能部分替代人类工作保持包容和谨慎态度。共识的发布，为规范和引领人工智能健康发展提供了“北京方案”。

为降低人工智能发展过程中可能存在的技术风险和伦理隐患，北京智源人工智能研究院成立人工智能伦理与安全研究中心，中国科学院自动化研究所研究员曾毅任研究中心主任。研究中心将围绕人工智能伦理与安全的理论探索、算法模型、系统平台、行业应用等开展一系列研究。对此，新京报记者对曾毅进行了专访。

在《人工智能北京共识》发布仪式上，曾毅介绍了人工智能伦理与安全研究中心的主要研究内容。新京报记者 吴宁 摄

人工智能系统还不能准确了解人类价值观

新京报：研究人工智能伦理与安全是否具有紧迫性？

曾毅：作为颠覆性科技的人工智能，其机遇与挑战并存。可以预见，随着新一代人工智能的发展，预测、评估伴随技术应用所带来的社会影响并尽可能减小、避免相关风险尤为重要。

近年来，随着人工智能研究与产业发展，一些相关伦理与社会问题逐渐凸显，例如人工智能带来的安全风险、隐私、算法歧视、行业冲击、失业、收入分配差异扩大、责任分担、监管难题以及对人类道德伦理价值的冲击等。

因此，我国急需开展人工智能伦理与安全的研究，将人工智能风险、安全、伦理的思考模型化、算法化、系统化，融合技术与社会等多方的努力，确保人工智能向对人类和自然有益的方向发展。

新京报：其中，伦理研究出于何种考虑？

曾毅：人工智能伦理准则是各个国家、组织进行对话的重要议题。目前，人工智能系统不能真正理解人类的价值观。

举例说，你需要很快从a点跑到b点，如果中途有个孩子过来，你一定会绕开他。但是机器为了更快达到目标，可能会做出相反的选择，对环境中的人类等造成不可逆的负面影响。

所以，如何使机器自主学习人类价值观、避免风险，是人工智能伦理研究中的重要主题，这叫做价值观校准，是人工智能研究中的圣杯，也是人工智能最大的挑战之一，现在还没有一台机器能真正基于理解实现自主学习人类的伦理道德。

我们的研究中心将开展符合人类伦理道德的智能自主学习模型研究，实现人工智能行为与人类价值观的校准，并在模拟环境与真实场景中进行验证。例如通过机器的自我建模、自我经验的获取与思维揣测，实现避免对环境中其他智能体产生不可逆的伤害。

改变一个像素，机器可能将飞机认成狗

新京报：如何看待人工智能发展中的安全风险？

曾毅：人工智能的发展过程中已出现一些潜在的风险，例如一张飞机的图片，如果改变其中关键的一个像素，人还是觉得图片中的是飞机。但目前很多深度学习模型可能会颠覆认知，认为那是一只狗。这说明现在机器学习算法的自适应性还不能应对实时变化的环境、噪声以及恶意攻击。

机器学习的前提假设最好是输入的数据能够很好地描述实际世界，但实际情况是训练数据往往比较理想化或者片面，而真实世界是非常复杂、多变的。因此，我们未来研发人工智能模型要向低风险、高安全的方向发展。

研究中心的研究内容之一就是低风险机器学习模型与平台的构建，建立机器学习模型安全性的评估体系，并结合具体领域进行验证。

新京报：在一些科幻作品中说，未来人工智能可能取代人类或者消灭人类。人们的担心是否有必要？如何看待此次《北京共识》提出，对人工智能部分替代人类工作保持包容和谨慎态度？

曾毅：人工智能的研发如果不考虑潜在的风险，不考虑服务于人类、构建负责任的、对社会有益的人工智能，就有可能带来不可估量的负面影响。因此在《人工智能北京共识》中，就倡导对通用智能、超级智能潜在的风险进行持续研究与分析。

不光中国科研人员有这方面的思考，英国剑桥大学就正在开展不同通用人工智能发展途径可能存在的风险研究。美国生命未来研究所（future of life institute）也组织过多次有益的（通用）人工智能研讨会，以进行充分考虑，发展有益的人工智能，避免人工智能取代和消灭人类的可能性。

研究中心将探索用户撤销个人数据授权

新京报：《人工智能北京共识》提到，避免技术误用和滥用，如何做到？

曾毅：在构建人工智能平台时，企业往往不知道用户会如何使用平台。其实应该做一些设计，如果出现人工智能滥用，平台应该能自动化检测、告知和避免，这是所有人工智能研究者和企业应该关注的问题。

新京报：如何保证人工智能中的数据安全？

曾毅：目前，很多人工智能应用收集了大量用户数据，有一些虽然得到了用户的许可，但是用户很可能是在没有充分理解数据用途的情况下做出的决策。若随后希望修改这个决策，目前很多人工智能应用中并不支持这样的尝试。

欧盟相关企业对《通用数据保护条例（gdpr）》的实践表明，采取更严格的数据保护机制，虽然一开始，相关企业和服务方需要付出额外努力适应条例，但是随后往往带来用户量的增加。用户反馈说明，用户更相信遵守数据保护条例的企业，更愿意选择为保护用户数据安全做出努力的产品与服务。

研究中心将与企业开展联合实践，建设数据安全示范应用系统，最大限度防止数据泄密，降低风险，探索允许用户撤销个人数据授权的机制及计算平台，提升个人数据安全。

新京报：《人工智能北京共识》的特色和作用是什么？

曾毅：有一些人工智能准则可能是人类中心主义的。然而北京共识更关注实现人类社会和自然的协同发展、可持续发展。此外，基于中国哲学中“和谐”的思想，北京共识倡导不同组织、机构、国家之间深度协作、合作，优化共生。

北京是人工智能国际化大都市和国家新一代人工智能创新发展试验区首个城市，《人工智能北京共识》的发布是北京人工智能科技群体与世界其他人工智能群体的对话，有助于表达北京发展人工智能与其他地区和世界范围形成的共识。

我们希望通过《人工智能北京共识》的努力，与国家各级有关部门、科技团体等协同推动我国新一代人工智能伦理与治理研究，使中国人工智能伦理与治理逐步与国际接轨，期待发展成为全球典范。

新京报记者 张璐 编辑 白爽 校对 李世辉

全身动作捕捉

虚拟制作

无线动作捕捉技术