隨著人工智能技術(shù)加速迭代演進(jìn)，人工智能正在對(duì)經(jīng)濟(jì)發(fā)展、社會(huì)進(jìn)步、國(guó)際政治經(jīng)濟(jì)格局等方面產(chǎn)生重大而深遠(yuǎn)的影響。深入實(shí)施“人工智能+”行動(dòng)，推動(dòng)人工智能與經(jīng)濟(jì)社會(huì)深度融合，已經(jīng)成為搶抓新一輪科技革命和產(chǎn)業(yè)變革機(jī)遇、培育發(fā)展新質(zhì)生產(chǎn)力、滿足人民美好生活需要、助力全球平等參與智能化發(fā)展進(jìn)程的戰(zhàn)略選擇和內(nèi)在要求。而在人工智能技術(shù)創(chuàng)新和產(chǎn)業(yè)應(yīng)用持續(xù)深入的過(guò)程中，各種人工智能技術(shù)內(nèi)生、技術(shù)應(yīng)用、應(yīng)用衍生的安全風(fēng)險(xiǎn)不斷暴露。如何妥善應(yīng)對(duì)、控制和預(yù)防這些風(fēng)險(xiǎn)，對(duì)我國(guó)人工智能技術(shù)的落地能力和經(jīng)濟(jì)轉(zhuǎn)化潛力具有直接影響，更關(guān)乎社會(huì)穩(wěn)定與國(guó)家在國(guó)際人工智能競(jìng)爭(zhēng)中的戰(zhàn)略地位。
對(duì)此，習(xí)近平總書(shū)記在中共中央政治局第二十次集體學(xué)習(xí)時(shí)強(qiáng)調(diào)，“要把握人工智能發(fā)展趨勢(shì)和規(guī)律，加緊制定完善相關(guān)法律法規(guī)、政策制度、應(yīng)用規(guī)范、倫理準(zhǔn)則，構(gòu)建技術(shù)監(jiān)測(cè)、風(fēng)險(xiǎn)預(yù)警、應(yīng)急響應(yīng)體系，確保人工智能安全、可靠、可控”。在這一發(fā)展安全并重的治理思路指導(dǎo)下，2024年9月發(fā)布《人工智能安全治理框架》1.0版（以下簡(jiǎn)稱《框架》），針對(duì)全球人工智能發(fā)展新趨勢(shì)系統(tǒng)分析人工智能風(fēng)險(xiǎn)，提出應(yīng)對(duì)和治理措施，為全球人工智能治理達(dá)成共識(shí)貢獻(xiàn)力量。2025年9月，正式發(fā)布《人工智能安全治理框架》2.0版（以下簡(jiǎn)稱《框架》2.0版），在繼承和發(fā)展《框架》總體思路的基礎(chǔ)上，針對(duì)人工智能技術(shù)、應(yīng)用、治理的新形勢(shì)、新要求，在安全治理原則、風(fēng)險(xiǎn)分類(lèi)方式、防范治理措施等方面作出了一系列調(diào)整與優(yōu)化，構(gòu)建了一個(gè)更加全面、更具前瞻性和實(shí)踐意義的安全治理體系。具體而言，對(duì)比《框架》，《框架》2.0版主要存在以下幾點(diǎn)重要突破：
一、優(yōu)化風(fēng)險(xiǎn)分類(lèi)方式，回應(yīng)重大現(xiàn)實(shí)需要
隨著人工智能技術(shù)創(chuàng)新和產(chǎn)業(yè)應(yīng)用的快速推進(jìn)，特別是“人工智能+”賦能千行百業(yè)的逐步落地，人工智能安全問(wèn)題已經(jīng)不止局限于模型算法缺陷、數(shù)據(jù)語(yǔ)料質(zhì)量問(wèn)題等技術(shù)內(nèi)生安全風(fēng)險(xiǎn)和模型誤用、濫用、惡用等技術(shù)應(yīng)用風(fēng)險(xiǎn)。人工智能大規(guī)模應(yīng)用對(duì)經(jīng)濟(jì)、社會(huì)、環(huán)境、倫理等產(chǎn)生重大沖擊的衍生安全風(fēng)險(xiǎn)也日益受到各界關(guān)注。例如，圖靈獎(jiǎng)得主約書(shū)亞·本吉奧主持、33個(gè)國(guó)家和政府間組織提名的100位專家代表共同參與編寫(xiě)的，2025年正式發(fā)布的《國(guó)際人工智能安全報(bào)告》（International AI Safety Report）明確將系統(tǒng)性衍生風(fēng)險(xiǎn)作為人工智能三大類(lèi)風(fēng)險(xiǎn)之一。
面對(duì)人工智能安全風(fēng)險(xiǎn)的演進(jìn)趨勢(shì)，《框架》2.0版對(duì)人工智能安全風(fēng)險(xiǎn)分類(lèi)方式進(jìn)行了更新調(diào)整，將《框架》中的“人工智能應(yīng)用安全風(fēng)險(xiǎn)”細(xì)化為“人工智能技術(shù)應(yīng)用安全風(fēng)險(xiǎn)”和“人工智能應(yīng)用衍生安全風(fēng)險(xiǎn)”兩類(lèi)，補(bǔ)充了沖擊勞動(dòng)就業(yè)結(jié)構(gòu)、挑戰(zhàn)資源供需平衡、加劇社會(huì)偏見(jiàn)、沖擊教育體系、挑戰(zhàn)現(xiàn)行社會(huì)秩序等一系列衍生安全風(fēng)險(xiǎn)。這些更新前瞻性地考慮了人工智能普及應(yīng)用可能造成的一系列中長(zhǎng)期經(jīng)濟(jì)、社會(huì)、倫理影響，一方面進(jìn)一步明確了風(fēng)險(xiǎn)歸因，有助于針對(duì)不同來(lái)源的風(fēng)險(xiǎn)設(shè)計(jì)更有力的技術(shù)措施和管理機(jī)制，提高了人工智能安全治理的針對(duì)性；另一方面細(xì)化了風(fēng)險(xiǎn)類(lèi)別，有助于在政府、企業(yè)、用戶等不同主體之間建立更加清晰的責(zé)任鏈條，為“人工智能+”行動(dòng)深入實(shí)施等重大實(shí)踐問(wèn)題提供了預(yù)見(jiàn)性的安全保障。
二、新增防范治理措施，完善框架落實(shí)路徑
2024年至今，人工智能正處于能力躍升與成本革命同步推進(jìn)的關(guān)鍵階段，人形機(jī)器人、多智能體等技術(shù)端和應(yīng)用端的協(xié)同并進(jìn)正在推動(dòng)人工智能從“數(shù)字世界”走向“物理世界”。在此背景下，人工智能應(yīng)用的深化導(dǎo)致技術(shù)幻覺(jué)、算法偏見(jiàn)、可解釋性不足、數(shù)據(jù)安全等問(wèn)題，在各類(lèi)真實(shí)場(chǎng)景應(yīng)用中造成了一系列現(xiàn)實(shí)顯性風(fēng)險(xiǎn)，能否將安全治理框架進(jìn)一步落實(shí)到具體的治理措施和治理路徑，有效降低人工智能的潛在風(fēng)險(xiǎn)，將直接影響人工智能在智慧醫(yī)療、數(shù)字金融、智能交通等低容錯(cuò)率行業(yè)的落地能力和經(jīng)濟(jì)轉(zhuǎn)化潛力。
在此背景下，《框架》2.0版不僅在技術(shù)應(yīng)對(duì)措施部分針對(duì)新的風(fēng)險(xiǎn)分類(lèi)提出了一系列新的應(yīng)對(duì)手段，還在綜合治理措施中補(bǔ)充了建立健全人工智能安全法律法規(guī)、構(gòu)建人工智能科技倫理準(zhǔn)則、提升研發(fā)應(yīng)用全生命周期安全能力、強(qiáng)化開(kāi)源生態(tài)安全和供應(yīng)鏈安全、共享人工智能安全風(fēng)險(xiǎn)威脅信息等一系列治理舉措，進(jìn)一步完善、細(xì)化了安全框架的實(shí)施路徑。這些新增內(nèi)容在治理原則、風(fēng)險(xiǎn)分類(lèi)等基礎(chǔ)上，結(jié)合人工智能發(fā)展趨勢(shì)和實(shí)際應(yīng)用中暴露的實(shí)際問(wèn)題，為中國(guó)乃至全球人工智能安全治理提供了具有重要參考意義，并且可執(zhí)行、可落地的“路線圖”。例如，《框架》2.0版圍繞“建立健全人工智能安全法律法規(guī)”明確提出“推動(dòng)人工智能安全相關(guān)立法，完善基礎(chǔ)設(shè)施安全防護(hù)、分級(jí)分類(lèi)監(jiān)管、人工智能安全測(cè)評(píng)、最終用途管理、重點(diǎn)場(chǎng)景安全應(yīng)用等制度。鼓勵(lì)地方結(jié)合產(chǎn)業(yè)發(fā)展實(shí)踐，差異化探索創(chuàng)新制度設(shè)計(jì)”，較好地回應(yīng)了傳統(tǒng)“事后補(bǔ)救+外掛防護(hù)”的模式難以適應(yīng)多變技術(shù)環(huán)境和復(fù)雜應(yīng)用場(chǎng)景的治理難題。
三、關(guān)注前沿風(fēng)險(xiǎn)問(wèn)題，引領(lǐng)全球人工智能治理
從國(guó)際社會(huì)特別是科學(xué)共同體的視角來(lái)看，人工智能系統(tǒng)失控、核生化導(dǎo)武器知識(shí)和能力失控等可能威脅人類(lèi)生存發(fā)展的前沿、極端風(fēng)險(xiǎn)，是相當(dāng)一部分科學(xué)家最為關(guān)注的人工智能安全問(wèn)題。例如，諾貝爾獎(jiǎng)和圖靈獎(jiǎng)得主杰弗里·辛頓在包括世界人工智能大會(huì)在內(nèi)的多個(gè)場(chǎng)合以“幼虎”比喻當(dāng)前的人工智能，認(rèn)為目前尚無(wú)技術(shù)路徑可以確保人工智能始終處于人類(lèi)控制之下，部分前沿大模型已表現(xiàn)出密謀、欺騙等可能違背人類(lèi)意圖的行為，呼吁各界提前布局防范應(yīng)對(duì)人工智能前沿風(fēng)險(xiǎn)，警惕數(shù)字智能取代生物智能。但與此同時(shí)，針對(duì)人工智能前沿、極端風(fēng)險(xiǎn)的全球治理存在較大空白，大部分國(guó)際討論主要停留在理念共識(shí)或是技術(shù)研討層面，鮮有國(guó)家制定較為完整的前沿人工智能風(fēng)險(xiǎn)治理框架。
而《框架》2.0版從治理原則、風(fēng)險(xiǎn)分類(lèi)、治理舉措等各個(gè)方面圍繞應(yīng)對(duì)前沿人工智能風(fēng)險(xiǎn)進(jìn)行了設(shè)計(jì)，填補(bǔ)了相關(guān)領(lǐng)域的空白，為全球人工智能治理提供了前瞻性、引領(lǐng)性的“中國(guó)方案”，具有重要的示范意義。具體而言，在“人工智能安全治理原則”部分，《框架》2.0版新增了“可信應(yīng)用、防范失控”原則，明確提出“確保技術(shù)演進(jìn)安全、可靠、可控，嚴(yán)防威脅人類(lèi)生存發(fā)展的失控風(fēng)險(xiǎn)，確保人工智能始終處于人類(lèi)控制之下”；在“人工智能安全風(fēng)險(xiǎn)分類(lèi)”部分，《框架》2.0版新增了“核生化導(dǎo)武器知識(shí)和能力失控”“自我意識(shí)覺(jué)醒、脫離人類(lèi)控制”等前沿風(fēng)險(xiǎn)內(nèi)容，回應(yīng)了國(guó)際社會(huì)的關(guān)切；在“綜合治理措施”部分，《框架》2.0版提出“推進(jìn)人工智能安全風(fēng)險(xiǎn)威脅信息共享的國(guó)際合作交流，探索建立相關(guān)國(guó)際合作機(jī)制和技術(shù)標(biāo)準(zhǔn)，協(xié)同防范應(yīng)對(duì)人工智能安全風(fēng)險(xiǎn)跨域大規(guī)模擴(kuò)散傳播”“增進(jìn)協(xié)同應(yīng)對(duì)人工智能失控風(fēng)險(xiǎn)的共識(shí)。加強(qiáng)人工智能最終用途管理，對(duì)核生化導(dǎo)等場(chǎng)景下使用人工智能技術(shù)提出相關(guān)要求，防止人工智能系統(tǒng)被濫用”等具體舉措，充分展現(xiàn)了中國(guó)作為負(fù)責(zé)任人工智能大國(guó)參與、引領(lǐng)全球人工智能安全治理的使命擔(dān)當(dāng)。
2025年9月最新發(fā)布的《框架》2.0版作為中國(guó)乃至全球人工智能安全領(lǐng)域最前沿、最全面的治理框架之一，既是對(duì)當(dāng)前人工智能快速發(fā)展現(xiàn)狀的有效回應(yīng)，也是我國(guó)在人工智能安全問(wèn)題上由積極應(yīng)對(duì)向主動(dòng)引領(lǐng)轉(zhuǎn)變的重要標(biāo)志。該治理框架在具有鮮明中國(guó)特色，注重通過(guò)務(wù)實(shí)方案為中國(guó)“人工智能+”大規(guī)模多場(chǎng)景應(yīng)用保駕護(hù)航的同時(shí)，又與國(guó)際前沿安全議題緊密接軌，充分回應(yīng)了人工智能安全治理的重大現(xiàn)實(shí)挑戰(zhàn)和國(guó)際社會(huì)的普遍關(guān)切，是中國(guó)參與、引領(lǐng)全球人工智能安全治理，推動(dòng)人工智能協(xié)同共治、普惠共享的重要舉措之一。
