论坛直击｜安远AI成功主办WAIC 2024前沿人工智能安全与治理论坛

论坛直击｜安远AI成功主办WAIC 2024前沿人工智能安全与治理论坛

2024世界人工智能大会暨人工智能全球治理高级别会议（简称“WAIC 2024”）7月4日-6日在上海世博中心、世博展览馆举行。其中，安远AI主办并主持了7月5日全天的WAIC 2024“前沿人工智能安全与治理论坛”。作为世界人工智能大会上专注于讨论AI安全与治理前沿问题的论坛，设有18场主题演讲、4场圆桌会议和1场炉边谈话。

我们很荣幸地邀请到了上海市人民政府副秘书长庄木弟为论坛致开幕辞，并邀请到中美英法新等国25位世界级专家出席。图灵奖得主Yoshua Bengio开幕主旨演讲，高文院士、张亚勤院士、薛澜院长、Dawn Song，以及3位联合国人工智能高层顾问机构专家何瑞敏、张凌寒、曾毅等重量级嘉宾，与会嘉宾还包括来自上海人工智能实验室、中国信通院、法国国家计算机科学研究中心(Inria)、前沿模型论坛(Frontier Model Forum)、Hugging Face、卡内基国际和平研究院、国际治理创新中心(CIGI)全球人工智能风险倡议等机构和国内外多家顶级大学的知名专家参与，与会嘉宾分别就前沿人工智能安全研究、安全评测、安全治理以及国际合作进行了主旨演讲和深入讨论。最后，上海人工智能实验室主任、首席科学家周伯文为本次论坛作闭幕致辞。

论坛介绍

安远AI的CEO谢旻希作为主办方，首先介绍了本次论坛的政策背景、莅临本次论坛的上海市人民政府领导和20多位重磅嘉宾，以及今天论坛的四个主题：前沿人工智能安全研究、安全评测、安全治理以及国际合作。

主题一：前沿人工智能安全研究

图灵奖得主约书亚·本吉奥(Yoshua Bengio)，鹏城实验室主任、北京大学博雅讲席教授高文院士，清华大学智能产业研究院(AIR)院长张亚勤院士，加州大学伯克利分校计算机科学教授宋晓东(Dawn Song)分别做了主旨演讲。

“

Yoshua Bengio：迈向人工智能风险与安全的国际共识

Yoshua Bengio在开幕主旨中演讲介绍了他牵头的《先进人工智能安全国际科学报告》，旨在为政策制定者提供基于科学证据以理解人工智能的能力并管理其风险。报告指出，人工智能的广泛应用潜力巨大，但存在恶意使用、功能故障、系统性风险等风险。技术方法虽可降低风险，但均有局限性。他呼吁国际合作，制定风险阈值和预警机制，投资于设计保障安全(safety by design)的人工智能研究，并开发透明度和硬件支持的治理机制。

“

高文：新一代人工智能发展的安全问题

高文院士在主旨演讲中强调了人工智能技术快速发展带来的安全挑战，包括技术风险、伦理问题和恶意使用。他提出了从理论到应用的多层次风险预防策略，包括模型可解释性、底层价值取向控制、技术标准化和可信计算技术的应用。同时，强调了国际合作和人才培养在人工智能安全领域的重要性。

“

张亚勤：大模型时代的安全

张亚勤院士在主旨演讲中分享了大模型时代的多模态智能、自主智能、边缘智能和生物智能等发展方向，并讨论了大模型的安全风险。他提出系统级和模型级的安全保障措施，并呼吁建立分级体系、ID实体映射、10%+投资安全、设立红线和边界、国际沟通合作和协调机制等，以应对这些风险。

“

Dawn Song：人工智能安全的挑战和未来方向

Dawn Song在主旨演讲中讨论了人工智能安全面临的挑战与未来方向。她强调当前的安全对齐方法还很脆弱，难以抵抗对抗攻击，并介绍了表征控制和其他未来潜在的防御方法。她还提出通过形式化验证和设计保障安全（Safety by design）来构建具有可证明安全性的系统，并呼吁在LLM对抗性环境中评估其可信性。

“

圆桌讨论1：前沿人工智能安全的研究议程

主旨演讲结束后，Dawn Song教授与上海人工智能实验室大模型安全团队负责人邵婧、北京大学人工智能安全与治理中心执行主任杨耀东、上海交通大学网络空间安全学院长聘教轨助理教授张倬胜进行了圆桌讨论，由安远AI技术项目经理段雅文主持。专家们探讨了当前安全对齐方法的脆弱性、多模态基础模型与智能体安全的独特挑战、以及失控风险、AGI安全和超级对齐等问题，并展望了未来一年的研究方向。

主题二：前沿人工智能安全评测

前沿模型论坛（Frontier Model Forum）首任执行董事克里斯·梅塞罗尔 (Chris Meserole)，中国信通院人工智能研究所所长魏凯，上海人工智能实验室领军科学家与主任助理乔宇分别做了主旨演讲。

“

Chris Meserole：推进前沿人工智能安全的行业实践

Chris Meserole在主旨演讲中探讨了什么是前沿人工智能及其挑战与风险、不同的评测方式对比，以及说明提示敏感性、仔细权衡评估透明度、评估系统和模型、评估正常和对抗性使用、评估边际风险等5类早期的最佳实践。

“

魏凯：中国信通院大模型安全基准思考与实践

魏凯主旨演讲中认为大模型依赖算力和数据，其技术能力边界不断扩展，但对其具体表现缺乏清晰认识，较难完全避免风险。中国信通院与多家机构共同发起了AI Safety Benchmark，进行定期评测，以应对快速发展的人工智能技术，并关注实际应用中的安全需求。

“

乔宇：大模型安全与评测回顾

乔宇在主旨演讲中认为，当前阶段安全问题非常受重视，但是投入的资源相比我们发展大模型的能力和产业应用来讲是远远滞后的。需要发展人工智能安全的Scaling Law，比原来大模型的需要多方参与、更新的研发模式，并从社会体系的角度考虑人工智能安全。

“

圆桌讨论2：前沿人工智能安全评测

主旨演讲结束后，几位主旨演讲嘉宾，以及新加坡政府首席人工智能官兼副首席数字技术官、联合国人工智能高层顾问机构专家何瑞敏，天津大学自然语言处理实验室负责人熊德意加入了圆桌讨论环节。圆桌讨论由安远AI创始人和CEO谢旻希主持，围绕前沿人工智能风险评估重点、人工智能安全评测的科学、第三方审核机构的作用，以及国际互操作性等展开了讨论。

主题三：前沿人工智能安全治理

法国国家计算机科学研究中心 (Inria) 数据科学研究主管、法国政府人工智能专家组成员盖尔·瓦罗夸 (Gaël Varoquaux)，新加坡政府首席人工智能官兼副首席数字技术官、联合国人工智能高层顾问机构专家何瑞敏，中国政法大学数据法治研究院教授、联合国人工智能高层顾问机构专家张凌寒, 加州大学伯克利分校人类兼容人工智能中心 (CHAI) 执行主任马克·尼兹伯格 (Mark Nitzberg) 分别做了主旨演讲。

“

Gaël Varoquaux：人工智能的影响、未来利害关系和治理

Gaël Varoquaux在主旨演讲中认为法国AI治理的独特点在于强调多方参与和国际合作，关注开源和公共利益，注重防范错误信息、隐私泄露、偏见和权力集中问题。他建议通过全球AI组织来实现共同治理和战略方向的制定。

“

何瑞敏：新加坡的AI治理方法

何瑞敏在主旨演讲中建议AI治理应怀有谦卑态度，吸收多方观点，不断提升政策制定者和开发人员的能力，并通过国际合作减少治理碎片化，推动全球AI安全与效益。新加坡积极探索并更新AI治理框架，以平衡创新应用与安全管理，确保AI技术造福社会。

“

张凌寒：从基于风险到基于价值：探索人工智能治理的中国方案

张凌寒在主旨演讲中指出全球普遍采用基于风险的治理方法，但这种方法存在局限。中国正在探索基于价值的AI治理方案，强调多元价值尊重和个体诉求，从风险认知到本土化治理，走向体系化建设。倡导"以人为本，智能向善"，确保AI发展安全可控，促进技术创新与伦理法律相协调。

“

Mark Nitzberg：美国的AI治理方法

Mark Nitzberg在主旨演讲中认为美国的监管目标是促进AI产业增长，保护公共和经济利益。目前监管依赖于行业法规、诉讼和保险。他指出了全球治理道路上监管与创新、能力与安全、红线与暂停之间的常见误解，并提出了确保AI安全性和可解释性的步骤，以实现全球治理。

“

圆桌讨论3: 人工智能治理的地区视角和经验分享

主旨演讲结束后，Gaël Varoquaux、张凌寒、Mark Nitzberg3位主旨演讲嘉宾，以及上海交通大学文科资深教授，中国法与社会研究院院长季卫东、上海人工智能实验室治理研究中心副主任王迎春加入了圆桌讨论环节。圆桌讨论由安远AI资深研究经理方亮主持，围绕如何平衡发展与安全、各地区AI治理的独特挑战和机遇、国家级AI安全研究所和合作网络、以及如何减轻AI的潜在灾难性风险等展开了讨论。

主题四：前沿人工智能安全国际合作

卡内基国际和平研究院主席马里亚诺-弗洛伦蒂诺·奎利亚尔(Mariano-Florentino Cuéllar)、清华大学人工智能国际治理研究院院长薛澜分别做了主旨演讲，并进行了炉边对话。此后，中国科学院自动化研究所人工智能伦理与治理研究中心主任、联合国人工智能高层顾问机构专家曾毅，Hugging Face全球政策负责人艾琳·索莱曼(Irene Solaiman)，牛津大学马丁人工智能治理计划联合主任罗伯特·特拉格(Robert Trager)，国际治理创新中心(CIGI)全球人工智能风险倡议执行董事邓肯·卡斯-贝格斯(Duncan Cass-Beggs)分别做了主旨演讲。

“

Mariano-Florentino Cuéllar：人工智能安全–全球挑战、共同机遇

Mariano-Florentino Cuéllar在演讲中呼吁国际合作，特别是中美之间的协调，以确保AI技术能够负责任地发展，并最大限度地发挥其在医疗、教育和城市管理等领域的潜力。他强调了全球治理和跨国对话的重要性，以应对快速变化的技术环境和地缘政治挑战。

“

薛澜：人工智能安全的国际治理

薛澜院长在主旨演讲中指出人工智能的发展与治理之间的矛盾日益突出。治理挑战主要包括技术进步速度超过治理体系、技术发展方向的不确定性和地缘政治竞争。为应对这些挑战，他建议增加安全研究投入、国际合作、政府监管、敏捷治理和行业自律相结合，特别是在中美技术竞争的背景下，需要为双方技术专家提供合作空间。

“

炉边对话：通过国际交流对话确保人工智能安全

主旨演讲结束后，Mariano-Florentino Cuéllar和薛澜院长还进行了炉边对话，炉边对话由安远AI高级研究经理周杰晟主持，围绕AI安全和治理国际对话的重要性、对话中的摩擦点、政府对话之外的重要对话，以及国际合作希望传达的关键信息等方面进行了深入探讨。

“

曾毅：人工智能安全红线与灾难性风险防范

曾毅在演讲中强调了从风险预防到优化共生的发展路径。他探讨了人工智能的安全红线、长远风险以及自我进化的挑战，并提出了道德人工智能的概念，强调了从自我感知到主动利他行为的发展。最终，他呼吁通过和谐共生的理念，构建人与AI的可持续共生社会，强调了人类和AI需要共同适应变化以实现这种目标。

“

Irene Solaiman：开源治理的国际影响

Irene Solaiman在主旨演讲中强调了开放性超越了开源软件，应超越模型中心主义，从整体角度理解人工智能。她强调了数据集优化、同行审议、跨学科性等方面的贡献，提出开放性与AI安全紧密相关，并提倡跨学科合作和国际合作，以推进AI的安全性和创新。

“

Robert Trager：人工智能安全国际机构

Robert Trager在主旨演讲中强调了国际机构在AI安全和治理中的重要作用。面对AI在诸多方面的共同挑战，他提出应制定全球标准、设立激励机制促进标准采用，通过合作推动制度运行，并逐步建立国际机构的生态。

“

Duncan Cass-Beggs：防范先进人工智能全球公共安全风险的国际条约

Duncan Cass-Beggs在主旨演讲中探讨了全球AI面临的挑战和解决方案。他强调，尽管AI发展迅速，人们仍低估了其潜力及影响。全球需要国际合作来应对这些挑战，特别是在AI武器化和失控风险方面。国际治理创新中心(CIGI)提出了《全球AI挑战框架公约》，旨在通过国际协议实现AI的安全、包容和公平利用，同时减轻全球风险。

“

圆桌讨论4：前沿人工智能安全国际合作的优先事项

主旨演讲结束后，4位主旨演讲嘉宾以及卡内基国际和平研究院专家研究员马特·希恩 (Matt Sheehan) 进行了圆桌讨论，由安远AI高级项目经理吴君仪主持。各位专家就地缘政治压力下国际合作的重要性、模型分享和合作的未来、联合国在全球AI治理中的角色和挑战、现有国际治理机制的局限性等问题分享了真知灼见，并展望了AI国际治理的未来。

闭幕致辞

上海人工智能实验室主任、首席科学家周伯文教授在闭幕致辞中探讨了AI发展中的潜在风险，包括数据泄露、伦理偏见、社会系统风险及恶意使用风险。他提出了"AI-45°平衡律"概念，主张在提升AI性能的同时，必须加强安全措施，确保AI技术的可信性和可干预性。他强调全球合作、技术共享和人才交流的重要性，呼吁共同推动AI安全技术的发展，以实现AI能力与安全的平衡。

至此全天的前沿人工智能安全与治理论坛到此圆满结束。安远AI希望本次论坛可以进一步推动前沿AI安全与治理的讨论和行动，也会在论坛交流群里持续分享相关动态，期待和大家再见！