巴黎AI行動(dòng)峰會(huì)發(fā)布《通過(guò)基于網(wǎng)絡(luò)安全的方法構(gòu)建可信AI》

信息來(lái)源：江蘇省技術(shù)性貿(mào)易措施信息平臺(tái)    發(fā)布日期：2025-02-27    

2025年2月7日,，法國(guó)國(guó)家網(wǎng)絡(luò)安全局（ANSSI）聯(lián)合其他18個(gè)國(guó)家的安全機(jī)構(gòu)共同簽署《通過(guò)基于網(wǎng)絡(luò)安全的方法構(gòu)建可信AI》,，圍繞基于網(wǎng)絡(luò)風(fēng)險(xiǎn)的方法構(gòu)建對(duì)人工智能的信任展開，分析了人工智能相關(guān)的網(wǎng)絡(luò)風(fēng)險(xiǎn),、攻擊場(chǎng)景,，為不同主體提供了指導(dǎo)方針,，并給出了安全實(shí)施人工智能系統(tǒng)的建議和參考資料。

一,、人工智能發(fā)展現(xiàn)狀與風(fēng)險(xiǎn)分析必要性

人工智能的發(fā)展現(xiàn)狀：人工智能是一項(xiàng)自20世紀(jì)50年代就開始發(fā)展的變革性技術(shù),，如今其應(yīng)用幾乎滲透到從國(guó)防、能源到健康,、金融等各個(gè)領(lǐng)域,。像大語(yǔ)言模型（LLM）這類人工智能技術(shù)的快速普及，使得各利益相關(guān)方對(duì)人工智能的依賴程度日益加深,。這種廣泛且迅速的應(yīng)用,，標(biāo)志著人工智能已成為現(xiàn)代社會(huì)和經(jīng)濟(jì)發(fā)展中不可或缺的一部分。

存在的風(fēng)險(xiǎn)：盡管人工智能發(fā)展迅猛,，但用戶往往傾向于低估與人工智能相關(guān)的網(wǎng)絡(luò)風(fēng)險(xiǎn),。在缺乏足夠應(yīng)對(duì)措施的情況下，惡意行為者有可能利用人工智能系統(tǒng)存在的漏洞來(lái)達(dá)成不良目的,。由于人工智能系統(tǒng)作為軟件系統(tǒng)本身就存在脆弱性,，其數(shù)據(jù)在保密性和完整性方面面臨獨(dú)特挑戰(zhàn)，且與其他系統(tǒng)的互聯(lián)增加了風(fēng)險(xiǎn)擴(kuò)散的可能性,，這些都為惡意攻擊提供了可乘之機(jī),。

風(fēng)險(xiǎn)分析的必要性：對(duì)人工智能相關(guān)風(fēng)險(xiǎn)進(jìn)行分析十分關(guān)鍵。一方面,，只有深入了解這些風(fēng)險(xiǎn),，才能采取有效的措施進(jìn)行緩解，從而推動(dòng)人工智能在可信的環(huán)境中發(fā)展。另一方面,，全面的風(fēng)險(xiǎn)分析有助于充分挖掘人工智能技術(shù)帶來(lái)的各種機(jī)遇,。若忽視風(fēng)險(xiǎn)，可能會(huì)出現(xiàn)惡意行為者利用系統(tǒng)漏洞破壞人工智能技術(shù)應(yīng)用的情況,，進(jìn)而阻礙人工智能的進(jìn)一步發(fā)展和應(yīng)用,，無(wú)法實(shí)現(xiàn)其潛在價(jià)值。

二,、人工智能系統(tǒng)面臨的風(fēng)險(xiǎn)

1,、面臨的威脅種類

共性與特性威脅：人工智能系統(tǒng)作為軟件系統(tǒng)，存在固有脆弱性,，需借助成熟的網(wǎng)絡(luò)安全實(shí)踐,，從開發(fā)到漏洞管理等多環(huán)節(jié)保障其安全性。它不僅面臨與其他信息系統(tǒng)相似的網(wǎng)絡(luò)威脅,，如來(lái)自托管基礎(chǔ)設(shè)施的風(fēng)險(xiǎn),，還因數(shù)據(jù)在系統(tǒng)中的核心地位，在保密性和完整性方面面臨特殊挑戰(zhàn),。

惡意人工智能的威脅：惡意使用人工智能的情況呈增長(zhǎng)態(tài)勢(shì)且手段愈發(fā)復(fù)雜,。人工智能降低了攻擊門檻，擴(kuò)大了攻擊規(guī)模和效率,，在諸如網(wǎng)絡(luò)釣魚,、漏洞掃描及惡意代碼開發(fā)等領(lǐng)域表現(xiàn)明顯。先進(jìn)的生成式人工智能甚至可能引發(fā)貫穿整個(gè)網(wǎng)絡(luò)殺傷鏈的大規(guī)模低成本攻擊,。

2,、風(fēng)險(xiǎn)場(chǎng)景

基礎(chǔ)設(shè)施受損風(fēng)險(xiǎn)：惡意行為者可利用技術(shù)、組織或人為層面的常見漏洞,，對(duì)人工智能系統(tǒng)的托管和管理基礎(chǔ)設(shè)施發(fā)起攻擊,，影響系統(tǒng)的保密性、完整性和可用性,，這一風(fēng)險(xiǎn)在系統(tǒng)全生命周期都需重點(diǎn)防范,。

供應(yīng)鏈攻擊風(fēng)險(xiǎn)：攻擊者可能利用供應(yīng)鏈中軟件庫(kù)、預(yù)訓(xùn)練模型提供商或服務(wù)提供商等環(huán)節(jié)的漏洞發(fā)起攻擊,。以開源庫(kù)為例,，因其在人工智能系統(tǒng)開發(fā)中廣泛應(yīng)用且常集成到更大框架，一旦遭受攻擊,，會(huì)危及整個(gè)系統(tǒng)安全,。

系統(tǒng)互聯(lián)風(fēng)險(xiǎn)：人工智能系統(tǒng)常與其他信息系統(tǒng)互聯(lián)以實(shí)現(xiàn)通信和數(shù)據(jù)整合，但這也帶來(lái)新風(fēng)險(xiǎn),。如間接提示注入攻擊,，攻擊者借此遠(yuǎn)程提取敏感信息或執(zhí)行惡意命令,，尤其當(dāng)人工智能系統(tǒng)與工業(yè)系統(tǒng)互聯(lián)時(shí)，風(fēng)險(xiǎn)會(huì)因工業(yè)系統(tǒng)對(duì)物理世界的直接影響而放大,。

人為和組織風(fēng)險(xiǎn)：人員培訓(xùn)不足會(huì)導(dǎo)致過(guò)度依賴自動(dòng)化,，難以察覺人工智能系統(tǒng)的異常行為。此外,，未經(jīng)組織 IT 部門批準(zhǔn)使用的影子人工智能,，可能引發(fā)數(shù)據(jù)泄露、違規(guī)及聲譽(yù)受損等問(wèn)題,。長(zhǎng)期來(lái)看，在關(guān)鍵活動(dòng)中過(guò)度使用人工智能,，可能導(dǎo)致技術(shù)依賴,，一旦系統(tǒng)故障，人力難以替代其功能,。

系統(tǒng)響應(yīng)故障風(fēng)險(xiǎn)：攻擊者若篡改用于訓(xùn)練人工智能模型的數(shù)據(jù)庫(kù),，會(huì)使模型在生產(chǎn)環(huán)境中給出錯(cuò)誤響應(yīng)。盡管開發(fā)者不斷增強(qiáng)模型對(duì)訓(xùn)練數(shù)據(jù)中毒攻擊的抵御能力,，但在涉及數(shù)據(jù)分類的關(guān)鍵場(chǎng)景（如醫(yī)療,、安防圖像識(shí)別）中，此類攻擊仍極具危險(xiǎn)性,。

三,、應(yīng)對(duì)風(fēng)險(xiǎn)的指導(dǎo)方針

1、用戶,、運(yùn)營(yíng)商和開發(fā)者指南

用例敏感性分析：在考慮使用AI系統(tǒng)時(shí),，第一步是分析用例的敏感性，確保AI系統(tǒng)的復(fù)雜性,、網(wǎng)絡(luò)安全成熟度,、可審計(jì)性和可解釋性與特定用例的網(wǎng)絡(luò)安全和數(shù)據(jù)隱私要求相匹配。這有助于選擇合適的 AI 系統(tǒng),，避免因系統(tǒng)特性與應(yīng)用場(chǎng)景不匹配而產(chǎn)生風(fēng)險(xiǎn),。

多方面實(shí)踐建議：在開發(fā)、部署或使用AI解決方案時(shí),，除遵循常規(guī)網(wǎng)絡(luò)建議外,，還需采取一系列特定的良好實(shí)踐。如根據(jù)風(fēng)險(xiǎn)分析,、業(yè)務(wù)需求和行動(dòng)的關(guān)鍵性調(diào)整AI系統(tǒng)的自主水平,，并在必要時(shí)集成人工驗(yàn)證，以應(yīng)對(duì)網(wǎng)絡(luò)風(fēng)險(xiǎn)和AI模型的可靠性問(wèn)題,；繪制AI供應(yīng)鏈地圖,，涵蓋AI組件,、其他軟硬件組件和數(shù)據(jù)集，以減輕數(shù)據(jù)投毒風(fēng)險(xiǎn)并評(píng)估數(shù)據(jù)提取風(fēng)險(xiǎn)的影響,；跟蹤AI系統(tǒng)與其他信息系統(tǒng)的互連情況,，減少攻擊路徑；持續(xù)監(jiān)控和維護(hù)AI系統(tǒng),，降低“黑箱”性質(zhì)帶來(lái)的風(fēng)險(xiǎn),；預(yù)測(cè)重大技術(shù)和監(jiān)管變化，識(shí)別潛在新威脅,，調(diào)整策略,；對(duì)內(nèi)部人員進(jìn)行AI挑戰(zhàn)和風(fēng)險(xiǎn)的培訓(xùn)，提高全員安全意識(shí),。

2,、政策制定者指南

支持研究與能力建設(shè)：政策制定者應(yīng)支持與AI風(fēng)險(xiǎn)相關(guān)的研究，包括對(duì)抗機(jī)器學(xué)習(xí),、隱私保護(hù)計(jì)算和新興的AI攻擊性應(yīng)用等領(lǐng)域,，以加深對(duì)AI風(fēng)險(xiǎn)的理解和應(yīng)對(duì)能力。同時(shí),，要支持基于共享標(biāo)準(zhǔn)的安全評(píng)估和認(rèn)證能力的發(fā)展,，增強(qiáng)對(duì)AI模型、應(yīng)用程序,、數(shù)據(jù)和基礎(chǔ)設(shè)施的信任,。

推廣最佳實(shí)踐與促進(jìn)合作：繼續(xù)推廣最佳網(wǎng)絡(luò)安全實(shí)踐，明確指導(dǎo)方針,，確保AI系統(tǒng)的安全部署和托管,。根據(jù)風(fēng)險(xiǎn)水平調(diào)整安全要求，并分享反饋,，幫助組織避免常見錯(cuò)誤,，優(yōu)化AI在運(yùn)營(yíng)中的集成。促進(jìn)網(wǎng)絡(luò)和AI領(lǐng)域參與者之間的對(duì)話,，特別是網(wǎng)絡(luò)安全機(jī)構(gòu)和AI安全機(jī)構(gòu)之間的對(duì)話,，明確各自的職責(zé)范圍，共同應(yīng)對(duì)AI系統(tǒng)的網(wǎng)絡(luò)挑戰(zhàn),，重點(diǎn)是共享新興威脅信息和協(xié)同保護(hù)關(guān)鍵系統(tǒng),。

持續(xù)對(duì)話與國(guó)際合作：在AI峰會(huì)之后繼續(xù)保持對(duì)話，持續(xù)監(jiān)測(cè)AI系統(tǒng)面臨的不斷演變的威脅,，在國(guó)際層面開展討論與合作,，確定更好地保障AI價(jià)值鏈安全的指導(dǎo)方針，從而增強(qiáng)對(duì)AI的信任,。

四,、附錄內(nèi)容

附錄 1

圍繞人工智能系統(tǒng)安全實(shí)施展開,，提供了全面的建議，涵蓋自我評(píng)估和推薦行動(dòng)清單兩大部分,，旨在幫助人工智能用戶,、運(yùn)營(yíng)商和開發(fā)者建立系統(tǒng)安全意識(shí)，規(guī)范操作流程,，降低安全風(fēng)險(xiǎn),。

1、推薦的自我評(píng)估

系統(tǒng)全生命周期安全考量：著重審視AI系統(tǒng)生命周期各階段是否具備安全基礎(chǔ),，涵蓋指導(dǎo)原則,、最佳實(shí)踐基準(zhǔn)及架構(gòu)規(guī)劃等方面，確保安全貫穿始終,。從設(shè)計(jì)階段開始,，就應(yīng)明確并記錄系統(tǒng)的合法目的，為后續(xù)開發(fā)和使用提供清晰方向,，便于追溯和審查。

數(shù)據(jù)與模型保護(hù)：針對(duì)AI模型,，需評(píng)估其保密性需求和對(duì)組織的價(jià)值,，確定是否需要特殊保護(hù)措施。同時(shí),，將合規(guī)因素融入設(shè)計(jì)思維,，嚴(yán)格核查AI系統(tǒng)的數(shù)據(jù)處理操作是否符合法律法規(guī)，保障系統(tǒng)合法運(yùn)行,。對(duì)于涉及個(gè)人數(shù)據(jù)的情況,，必須采用 “隱私設(shè)計(jì)” 理念，全面保護(hù)數(shù)據(jù)和元數(shù)據(jù),，以及AI系統(tǒng)模型,，防止數(shù)據(jù)泄露和濫用。

訪問(wèn)權(quán)限管理：明確AI系統(tǒng)在不同階段的訪問(wèn)人員,，遵循最小權(quán)限原則分配權(quán)限,，嚴(yán)格限制人員對(duì)系統(tǒng)資源的訪問(wèn)范圍，最大程度保障AI系統(tǒng)的安全性和完整性,，降低因權(quán)限濫用導(dǎo)致的安全風(fēng)險(xiǎn),。

2、推薦行動(dòng)清單

通用建議：梳理AI系統(tǒng)的依賴鏈,，清晰掌握系統(tǒng)運(yùn)行所依賴的各個(gè)環(huán)節(jié),，對(duì)供應(yīng)商進(jìn)行全面評(píng)估，包括聲譽(yù)和財(cái)務(wù)狀況,，確保供應(yīng)鏈穩(wěn)定可靠,。要求數(shù)據(jù)和軟件供應(yīng)商符合網(wǎng)絡(luò)安全標(biāo)準(zhǔn),，對(duì)AI系統(tǒng)進(jìn)行全面風(fēng)險(xiǎn)分析，綜合考慮組織內(nèi)外部環(huán)境因素,，評(píng)估系統(tǒng)故障可能帶來(lái)的多方面影響,。在考慮采用云解決方案時(shí)，進(jìn)行全局風(fēng)險(xiǎn)評(píng)估,，權(quán)衡數(shù)據(jù)保護(hù),、性能等多方面利弊，并在服務(wù)協(xié)議中設(shè)置可逆條款,，保障數(shù)據(jù)安全和操作的可追溯性,。

基礎(chǔ)設(shè)施和架構(gòu)建議：詳細(xì)規(guī)劃AI系統(tǒng)的使用方式和融入決策流程的方法，特別是在自動(dòng)化場(chǎng)景下,，確保系統(tǒng)運(yùn)行符合業(yè)務(wù)需求和安全規(guī)范,。根據(jù)實(shí)際情況，應(yīng)用針對(duì)云環(huán)境,、外包服務(wù)的安全措施,，實(shí)施AI系統(tǒng)的安全管理策略，利用訪問(wèn)控制系統(tǒng)嚴(yán)格限制對(duì)關(guān)鍵組件的訪問(wèn),。精心設(shè)計(jì)部署計(jì)劃和架構(gòu),，確保系統(tǒng)在擴(kuò)展時(shí)安全性能不受影響，全面貫徹DevSecOps原則,，將安全融入開發(fā),、運(yùn)維全過(guò)程。從設(shè)計(jì)源頭遵循隱私設(shè)計(jì)理念,，保護(hù)數(shù)據(jù)機(jī)密性,，必要時(shí)對(duì)數(shù)據(jù)進(jìn)行假名化或匿名化處理，同時(shí)考慮數(shù)據(jù)訪問(wèn)的必要性,，減少數(shù)據(jù)泄露風(fēng)險(xiǎn),。

資源與數(shù)據(jù)管理建議：采用安全格式獲取、存儲(chǔ)和分發(fā)AI模型,，在模型加載前實(shí)施完整性驗(yàn)證機(jī)制,，防止模型被篡改。評(píng)估AI系統(tǒng)中使用的庫(kù)和插件的可信度,，確保外部數(shù)據(jù)的質(zhì)量和可信度,，對(duì)AI系統(tǒng)的操作進(jìn)行全程追溯，保證數(shù)據(jù)收集過(guò)程公平,、符合倫理道德,，避免數(shù)據(jù)偏見和不當(dāng)使用。

學(xué)習(xí)過(guò)程安全建議：制定嚴(yán)格的數(shù)據(jù)訪問(wèn)策略,，限制AI系統(tǒng)對(duì)敏感數(shù)據(jù)的訪問(wèn),。保障訓(xùn)練數(shù)據(jù)的存儲(chǔ)和訪問(wèn)安全,，評(píng)估學(xué)習(xí)和再學(xué)習(xí)方法的安全性，對(duì)提取的數(shù)據(jù),、元數(shù)據(jù)等進(jìn)行清理,、篩選，必要時(shí)進(jìn)行假名化或匿名化防止處理,，數(shù)據(jù)泄露和惡意攻擊影響模型訓(xùn)練結(jié)果,。

應(yīng)用可靠性建議：為AI系統(tǒng)的管理任務(wù)實(shí)施多因素身份驗(yàn)證，強(qiáng)化身份認(rèn)證的安全性,。保障輸入輸出數(shù)據(jù)的保密性和完整性,，設(shè)置安全過(guò)濾器檢測(cè)惡意指令，及時(shí)更新數(shù)據(jù),、元數(shù)據(jù)和注釋,，持續(xù)評(píng)估模型的準(zhǔn)確性和性能，確保AI系統(tǒng)穩(wěn)定可靠運(yùn)行,。

組織策略建議：記錄AI系統(tǒng)的設(shè)計(jì)選擇,，便于后續(xù)審查和維護(hù)。監(jiān)督系統(tǒng)運(yùn)行,，明確關(guān)鍵人員職責(zé),，管理分包商使用。制定風(fēng)險(xiǎn)管理策略,，規(guī)劃無(wú)AI系統(tǒng)時(shí)的降級(jí)運(yùn)行模式,，根據(jù)組織敏感性制定生成式AI使用政策,，監(jiān)測(cè)AI系統(tǒng)特定漏洞,，關(guān)注技術(shù)發(fā)展趨勢(shì)，實(shí)施數(shù)據(jù)管理系統(tǒng),，采用安全的數(shù)據(jù)刪除方法,，記錄產(chǎn)品中使用的數(shù)據(jù)集，便于管理和降低數(shù)據(jù)使用風(fēng)險(xiǎn),。

預(yù)防措施：定期組織員工進(jìn)行AI安全風(fēng)險(xiǎn)培訓(xùn),，提高員工安全意識(shí)和應(yīng)對(duì)能力。定期開展AI系統(tǒng)安全審計(jì),，及時(shí)發(fā)現(xiàn)和修復(fù)潛在安全問(wèn)題,。提前預(yù)測(cè)與訓(xùn)練數(shù)據(jù)或模型相關(guān)的知識(shí)產(chǎn)權(quán)和數(shù)據(jù)保護(hù)等權(quán)利問(wèn)題，避免法律糾紛和安全隱患,。

附錄 2

列舉了與人工智能相關(guān)的各類參考資料,，為深入研究人工智能開發(fā)、應(yīng)用,、安全以及風(fēng)險(xiǎn)管理等方面提供了豐富的信息資源,，涵蓋了從技術(shù)規(guī)范到法規(guī)政策等多個(gè)維度,。

人工智能開發(fā)：包含多個(gè)組織發(fā)布的開發(fā)指南。AIVD強(qiáng)調(diào)安全開發(fā)AI系統(tǒng),；G7制定了針對(duì)開發(fā)先進(jìn)AI系統(tǒng)組織的行為準(zhǔn)則和指導(dǎo)原則,；NCSC-UK與CISA聯(lián)合發(fā)布的安全AI系統(tǒng)開發(fā)指南，為開發(fā)者提供了系統(tǒng)的開發(fā)規(guī)范,，這些資料為AI開發(fā)過(guò)程中的技術(shù)實(shí)現(xiàn),、道德規(guī)范等提供了重要參考。

人工智能用例：有ANSSI提出的生成式 AI 系統(tǒng)安全建議,，以及 BSI,、ANSSI 關(guān)于AI編碼助手的相關(guān)內(nèi)容，還有BSI對(duì)生成式AI模型在工業(yè)和政府領(lǐng)域的機(jī)遇與風(fēng)險(xiǎn)分析,。這些用例從不同應(yīng)用場(chǎng)景出發(fā),，為各行業(yè)應(yīng)用 AI 技術(shù)時(shí)評(píng)估風(fēng)險(xiǎn)、采取安全措施提供了實(shí)際操作層面的指引,。

人工智能漏洞與安全：CSA新加坡發(fā)布了AI系統(tǒng)安全指南及相關(guān)討論文件,，強(qiáng)調(diào)保障AI安全是集體責(zé)任。CERT-In提供了軟件物料清單（SBOM）技術(shù)指南和API安全相關(guān)資料,。此外,，還有多篇學(xué)術(shù)研究，如關(guān)于AI在相關(guān)法案中的網(wǎng)絡(luò)安全,、對(duì)抗機(jī)器學(xué)習(xí)的分類和術(shù)語(yǔ)等內(nèi)容,。這些資料全面涵蓋了AI系統(tǒng)在漏洞發(fā)現(xiàn)、安全防護(hù)以及應(yīng)對(duì)攻擊等方面的知識(shí),。

風(fēng)險(xiǎn)管理：NIST的AI風(fēng)險(xiǎn)管理框架和OECD關(guān)于推進(jìn)AI問(wèn)責(zé)制的資料,，為建立完善的AI風(fēng)險(xiǎn)管理體系提供了理論依據(jù)和實(shí)踐框架，有助于組織在AI應(yīng)用過(guò)程中全面評(píng)估,、管理風(fēng)險(xiǎn),，確保AI系統(tǒng)的可靠運(yùn)行。

術(shù)語(yǔ)：ISO/IEC 22989:2022和OECD分別對(duì)人工智能相關(guān)概念,、術(shù)語(yǔ)以及AI事件相關(guān)術(shù)語(yǔ)進(jìn)行了定義,。統(tǒng)一規(guī)范的術(shù)語(yǔ)有助于不同人員在交流、研究和實(shí)踐中準(zhǔn)確理解和運(yùn)用相關(guān)概念,，避免因術(shù)語(yǔ)歧義產(chǎn)生誤解,。

法規(guī)示例：歐盟的《人工智能法案》和《網(wǎng)絡(luò)彈性法案》為AI技術(shù)的應(yīng)用和網(wǎng)絡(luò)安全保障提供了法律層面的規(guī)范和約束。這些法規(guī)明確了AI開發(fā),、使用過(guò)程中的責(zé)任,、義務(wù)和安全標(biāo)準(zhǔn)，為政策制定者、企業(yè)和開發(fā)者提供了法律遵循的依據(jù),。

轉(zhuǎn)載鏈接：https://www.tbtguide.com/c/mypt/gwxw/592483.jhtml