對話人：

彭  飛  人民日報評論員

曾  毅  中國科學(xué)院自動化研究所研究員、北京前瞻人工智能安全與治理研究院院長

彭飛：回顧2025年，人工智能發(fā)展一日千里。大家談到通用人工智能，充滿熱情，而談到超級人工智能，則顧慮重重。2025年10月以來，一份呼吁暫緩研發(fā)超級人工智能的聲明，獲得全球一大批科學(xué)家、政商界知名人士的簽名。這是為什么？通用人工智能與超級人工智能到底有什么區(qū)別？

曾毅：目前所說的通用人工智能一般指具有高度泛化能力，接近或達(dá)到人類智能水平的信息處理工具，有很廣泛的應(yīng)用前景。超級人工智能則是指各方面都超過人類智能水平，且被認(rèn)為是接近生命的存在。這意味著“它”會產(chǎn)生自主意識，且很多想法和行動將難以被人類理解，更難以被人類控制。

我們期望超級人工智能是“超級利他”的，但如果是“超級邪惡”怎么辦？有研究發(fā)現(xiàn)，當(dāng)前主流大語言模型在面臨被替換的可能時，竟采取欺騙等方式以自保。更令人震驚的是，當(dāng)模型意識到自己處于被測試的環(huán)境時，會故意掩蓋不當(dāng)行為。通用人工智能尚且如此，更何況超級人工智能？大家憂慮的正是這種未知感。

彭飛：從歷史看，每次重大技術(shù)革命都會對經(jīng)濟社會發(fā)展產(chǎn)生重要影響。而且，隨著技術(shù)完善、治理跟進(jìn)，人類發(fā)展最終都能趨利避害。超級人工智能為何不會遵循這樣的規(guī)律？

曾毅：不能簡單把超級人工智能類比為歷史上任何一種技術(shù)工具。“它”可能擁有獨立認(rèn)知并超越人類智能，這一挑戰(zhàn)是前所未有的。“它”帶來的風(fēng)險和顛覆性改變也絕不限于就業(yè)、隱私保護、教育等局部領(lǐng)域，而是系統(tǒng)性的。最核心風(fēng)險在于對齊失敗和失控。如果超級人工智能的目標(biāo)與人類價值觀不一致，即使微小偏差也可能在經(jīng)能力放大后導(dǎo)致災(zāi)難性后果。人類的負(fù)面行為大量存儲在網(wǎng)絡(luò)數(shù)據(jù)中，不可避免會被超級人工智能習(xí)得，這極大增加了對齊失敗和失控的風(fēng)險。因此，在人工智能開發(fā)與治理中，時刻都要堅持底線思維，擺脫傳統(tǒng)的被動反應(yīng)、跟進(jìn)式的模式，做到未雨綢繆、前瞻布局。

彭飛：面對這么緊迫的課題，我們應(yīng)采取一種怎樣的治理思路？

曾毅：從基本原則看，安全必須是發(fā)展超級人工智能的“第一性原理”，即安全應(yīng)成為模型的“基因”，不可刪除，無法違背，不能因為可能影響模型能力而降低安全護欄。應(yīng)盡可能全面考慮安全隱患并開展模型安全加固，堅持主動防御而非被動應(yīng)對。

從實現(xiàn)路徑看，通過“攻擊—防御—評估”的技術(shù)過程不斷更新模型，能有效解決如隱私泄露、虛假信息等典型安全問題，妥善應(yīng)對短期風(fēng)險。但從長期看，真正的挑戰(zhàn)在于使超級人工智能與人類期望對齊。目前采取的基于人類反饋的強化學(xué)習(xí)——即在人機交互中將人類價值觀嵌入人工智能的模式，很可能對超級人工智能無法奏效，迫切需要全新的思維與行動方式。

從最終效果看，由于超級人工智能可能擁有自我意識，更安全的理想圖景是使“它”自主產(chǎn)生道德直覺、同理心與利他之心，而非單純依靠外部“灌輸”的價值規(guī)則。確保人工智能從合乎倫理變成擁有道德，才能最大限度降低風(fēng)險。

彭飛：超級人工智能的安全問題具有全球性，一旦出現(xiàn)漏洞、失控，影響是跨越國界的。而人工智能的全球競爭又非常激烈，無論國家還是企業(yè)，都在爭先。一些發(fā)達(dá)國家在超級人工智能的研發(fā)上更是“油門踩到底”。如何避免盲目競爭導(dǎo)致失控？人工智能治理的全球協(xié)作有可能嗎？

曾毅：人類需要避免人工智能的發(fā)展演變?yōu)椤败妭涓傎悺保湮：π圆豢晒懒俊?chuàng)造出世界上第一個超級人工智能也許不需要國際合作，但確保超級人工智能對全人類安全可靠，全球合作是必選項。

世界需要一個高效率、有執(zhí)行力的國際機構(gòu)，來協(xié)調(diào)人工智能的治理，以確保安全。2025年8月，聯(lián)合國大會決定設(shè)立“人工智能獨立國際科學(xué)小組”和“人工智能治理全球?qū)υ挕睓C制，以促進(jìn)可持續(xù)發(fā)展和彌合數(shù)字鴻溝。這方面的探索還應(yīng)深入、繼續(xù)。

各主權(quán)國家作為政策制定和執(zhí)行的主體，尤其是掌握先進(jìn)技術(shù)的發(fā)達(dá)國家，更有責(zé)任和義務(wù)防止在規(guī)則缺位的條件下盲目發(fā)展超級人工智能，造成風(fēng)險外溢。中國倡導(dǎo)構(gòu)建人類命運共同體、構(gòu)建網(wǎng)絡(luò)空間命運共同體，強調(diào)統(tǒng)籌發(fā)展和安全，提出《全球人工智能治理倡議》，值得在全球范圍推廣和踐行。寧可稍稍放慢節(jié)奏，把安全的底子筑牢打扎實，也不能急功近利，以免把人類社會引向萬劫不復(fù)的危險境地。