专家呼吁从训练阶段为人工智能构建安全护栏并培养道德直觉 中国人民大学

高校级教育数字化科研管理通知公告北京

AI摘要

中国人民大学曾毅教授在2026年世界互联网大会乌镇峰会上指出,人工智能安全风险日益突出,生成式AI难以肉眼识别,智能体可能超越授权自主决策,甚至被用于网络攻击。他强调必须从训练阶段构建技术护栏,防止脏数据和危险数据进入训练过程,并探索让AI获得自我感知、情感共情和初步道德直觉,使其明辨善恶。未来AI可能成为人类伙伴和社会准成员,需推动其关爱人类、与人类和谐共生。

关键词: 人工智能安全, 技术护栏, 道德直觉, 智能体, 和谐共生
【AI摘要】中国人民大学曾毅教授在2026年世界互联网大会乌镇峰会上指出,人工智能安全风险日益突出,生成式AI难以肉眼识别,智能体可能超越授权自主决策,甚至被用于网络攻击。他强调必须从训练阶段构建技术护栏,防止脏数据和危险数据进入训练过程,并探索让AI获得自我感知、情感共情和初步道德直觉,使其明辨善恶。未来AI可能成为人类伙伴和社会准成员,需推动其关爱人类、与人类和谐共生。
关键词:人工智能安全 技术护栏 道德直觉 智能体 和谐共生

人工智能安全风险的问题备受关注

如何打造对人类友好的人工智能?

未来应该如何和人工智能相处?

2026年世界互联网大会乌镇峰会期间

中国人民大学人工智能专家曾毅

中国人民大学高瓴人工智能学院吴玉章讲席教授曾毅:人工智能它的风险、安全的问题每天层出不穷。中文当中有一句话叫做“眼见为实,耳听为虚。”现在不管我们眼见的还是耳听的,我们都没有办法真正地去相信了。现在生成式的人工智能,我们公众很难用肉眼去进行精准识别。现在的智能体甚至会超越人类对它授权的内容,进行非授权的自主决策,比如说你让它帮你去看一下邮件,它甚至会自主地帮你去回邮件。另一方面,人工智能现在被利用于做网络的攻击,甚至是自主地发起攻击。一些公司的智能体,深入到其他的国家的政府的网站。现代的人工智能,从某种程度来讲,它的行为已经在不可控的边缘了。所以人工智能的技术的安全护栏,我们的治理的制度,都要与时俱进。我们必须给人工智能构建技术的护栏,一些脏数据、危险的数据,是不应该进入到人工智能的训练的过程当中的。在使人工智能真正明辨善恶的这个方面,我们正在探索的是让人工智能的模型能够获得一定程度的自我感知的能力和自我体验,在这个基础之上发展出情感共情和初步的道德直觉。现代人工智能它只是一个信息处理的工具,但未来的人工智能它可能变成人类的伙伴、社会的准成员。这个时候我们对待人工智能也不能把它当做工具来对待了。人工智能不会永远的只停留在一个看似智能的信息处理的工具。我们未来不只是让人工智能合乎人类定义的规则,而是真正地让它关爱人类,与人类和谐共生。

原文链接:[央视新闻]乌镇“网事”丨曾毅:让人工智能学会“明辨善恶”必须始于训练阶段

来源:中国人民大学 | 查看原文