巴黎AI行動峰會發(fā)布《通過基于網(wǎng)絡安全的方法構建可信AI》

信息來源：江蘇省技術性貿易措施信息平臺    發(fā)布日期：2025-02-27    

2025年2月7日，法國國家網(wǎng)絡安全局（ANSSI）聯(lián)合其他18個國家的安全機構共同簽署《通過基于網(wǎng)絡安全的方法構建可信AI》，圍繞基于網(wǎng)絡風險的方法構建對人工智能的信任展開，分析了人工智能相關的網(wǎng)絡風險、攻擊場景，為不同主體提供了指導方針，并給出了安全實施人工智能系統(tǒng)的建議和參考資料。

一、人工智能發(fā)展現(xiàn)狀與風險分析必要性

人工智能的發(fā)展現(xiàn)狀：人工智能是一項自20世紀50年代就開始發(fā)展的變革性技術，如今其應用幾乎滲透到從國防、能源到健康、金融等各個領域。像大語言模型（LLM）這類人工智能技術的快速普及，使得各利益相關方對人工智能的依賴程度日益加深。這種廣泛且迅速的應用，標志著人工智能已成為現(xiàn)代社會和經濟發(fā)展中不可或缺的一部分。

存在的風險：盡管人工智能發(fā)展迅猛，但用戶往往傾向于低估與人工智能相關的網(wǎng)絡風險。在缺乏足夠應對措施的情況下，惡意行為者有可能利用人工智能系統(tǒng)存在的漏洞來達成不良目的。由于人工智能系統(tǒng)作為軟件系統(tǒng)本身就存在脆弱性，其數(shù)據(jù)在保密性和完整性方面面臨獨特挑戰(zhàn)，且與其他系統(tǒng)的互聯(lián)增加了風險擴散的可能性，這些都為惡意攻擊提供了可乘之機。

風險分析的必要性：對人工智能相關風險進行分析十分關鍵。一方面，只有深入了解這些風險，才能采取有效的措施進行緩解，從而推動人工智能在可信的環(huán)境中發(fā)展。另一方面，全面的風險分析有助于充分挖掘人工智能技術帶來的各種機遇。若忽視風險，可能會出現(xiàn)惡意行為者利用系統(tǒng)漏洞破壞人工智能技術應用的情況，進而阻礙人工智能的進一步發(fā)展和應用，無法實現(xiàn)其潛在價值。

二、人工智能系統(tǒng)面臨的風險

1、面臨的威脅種類

共性與特性威脅：人工智能系統(tǒng)作為軟件系統(tǒng)，存在固有脆弱性，需借助成熟的網(wǎng)絡安全實踐，從開發(fā)到漏洞管理等多環(huán)節(jié)保障其安全性。它不僅面臨與其他信息系統(tǒng)相似的網(wǎng)絡威脅，如來自托管基礎設施的風險，還因數(shù)據(jù)在系統(tǒng)中的核心地位，在保密性和完整性方面面臨特殊挑戰(zhàn)。

惡意人工智能的威脅：惡意使用人工智能的情況呈增長態(tài)勢且手段愈發(fā)復雜。人工智能降低了攻擊門檻，擴大了攻擊規(guī)模和效率，在諸如網(wǎng)絡釣魚、漏洞掃描及惡意代碼開發(fā)等領域表現(xiàn)明顯。先進的生成式人工智能甚至可能引發(fā)貫穿整個網(wǎng)絡殺傷鏈的大規(guī)模低成本攻擊。

2、風險場景

基礎設施受損風險：惡意行為者可利用技術、組織或人為層面的常見漏洞，對人工智能系統(tǒng)的托管和管理基礎設施發(fā)起攻擊，影響系統(tǒng)的保密性、完整性和可用性，這一風險在系統(tǒng)全生命周期都需重點防范。

供應鏈攻擊風險：攻擊者可能利用供應鏈中軟件庫、預訓練模型提供商或服務提供商等環(huán)節(jié)的漏洞發(fā)起攻擊。以開源庫為例，因其在人工智能系統(tǒng)開發(fā)中廣泛應用且常集成到更大框架，一旦遭受攻擊，會危及整個系統(tǒng)安全。

系統(tǒng)互聯(lián)風險：人工智能系統(tǒng)常與其他信息系統(tǒng)互聯(lián)以實現(xiàn)通信和數(shù)據(jù)整合，但這也帶來新風險。如間接提示注入攻擊，攻擊者借此遠程提取敏感信息或執(zhí)行惡意命令，尤其當人工智能系統(tǒng)與工業(yè)系統(tǒng)互聯(lián)時，風險會因工業(yè)系統(tǒng)對物理世界的直接影響而放大。

人為和組織風險：人員培訓不足會導致過度依賴自動化，難以察覺人工智能系統(tǒng)的異常行為。此外，未經組織 IT 部門批準使用的影子人工智能，可能引發(fā)數(shù)據(jù)泄露、違規(guī)及聲譽受損等問題。長期來看，在關鍵活動中過度使用人工智能，可能導致技術依賴，一旦系統(tǒng)故障，人力難以替代其功能。

系統(tǒng)響應故障風險：攻擊者若篡改用于訓練人工智能模型的數(shù)據(jù)庫，會使模型在生產環(huán)境中給出錯誤響應。盡管開發(fā)者不斷增強模型對訓練數(shù)據(jù)中毒攻擊的抵御能力，但在涉及數(shù)據(jù)分類的關鍵場景（如醫(yī)療、安防圖像識別）中，此類攻擊仍極具危險性。

三、應對風險的指導方針

1、用戶、運營商和開發(fā)者指南

用例敏感性分析：在考慮使用AI系統(tǒng)時，第一步是分析用例的敏感性，確保AI系統(tǒng)的復雜性、網(wǎng)絡安全成熟度、可審計性和可解釋性與特定用例的網(wǎng)絡安全和數(shù)據(jù)隱私要求相匹配。這有助于選擇合適的 AI 系統(tǒng)，避免因系統(tǒng)特性與應用場景不匹配而產生風險。

多方面實踐建議：在開發(fā)、部署或使用AI解決方案時，除遵循常規(guī)網(wǎng)絡建議外，還需采取一系列特定的良好實踐。如根據(jù)風險分析、業(yè)務需求和行動的關鍵性調整AI系統(tǒng)的自主水平，并在必要時集成人工驗證，以應對網(wǎng)絡風險和AI模型的可靠性問題；繪制AI供應鏈地圖，涵蓋AI組件、其他軟硬件組件和數(shù)據(jù)集，以減輕數(shù)據(jù)投毒風險并評估數(shù)據(jù)提取風險的影響；跟蹤AI系統(tǒng)與其他信息系統(tǒng)的互連情況，減少攻擊路徑；持續(xù)監(jiān)控和維護AI系統(tǒng)，降低“黑箱”性質帶來的風險；預測重大技術和監(jiān)管變化，識別潛在新威脅，調整策略；對內部人員進行AI挑戰(zhàn)和風險的培訓，提高全員安全意識。

2、政策制定者指南

支持研究與能力建設：政策制定者應支持與AI風險相關的研究，包括對抗機器學習、隱私保護計算和新興的AI攻擊性應用等領域，以加深對AI風險的理解和應對能力。同時，要支持基于共享標準的安全評估和認證能力的發(fā)展，增強對AI模型、應用程序、數(shù)據(jù)和基礎設施的信任。

推廣最佳實踐與促進合作：繼續(xù)推廣最佳網(wǎng)絡安全實踐，明確指導方針，確保AI系統(tǒng)的安全部署和托管。根據(jù)風險水平調整安全要求，并分享反饋，幫助組織避免常見錯誤，優(yōu)化AI在運營中的集成。促進網(wǎng)絡和AI領域參與者之間的對話，特別是網(wǎng)絡安全機構和AI安全機構之間的對話，明確各自的職責范圍，共同應對AI系統(tǒng)的網(wǎng)絡挑戰(zhàn)，重點是共享新興威脅信息和協(xié)同保護關鍵系統(tǒng)。

持續(xù)對話與國際合作：在AI峰會之后繼續(xù)保持對話，持續(xù)監(jiān)測AI系統(tǒng)面臨的不斷演變的威脅，在國際層面開展討論與合作，確定更好地保障AI價值鏈安全的指導方針，從而增強對AI的信任。

四、附錄內容

附錄 1

圍繞人工智能系統(tǒng)安全實施展開，提供了全面的建議，涵蓋自我評估和推薦行動清單兩大部分，旨在幫助人工智能用戶、運營商和開發(fā)者建立系統(tǒng)安全意識，規(guī)范操作流程，降低安全風險。

1、推薦的自我評估

系統(tǒng)全生命周期安全考量：著重審視AI系統(tǒng)生命周期各階段是否具備安全基礎，涵蓋指導原則、最佳實踐基準及架構規(guī)劃等方面，確保安全貫穿始終。從設計階段開始，就應明確并記錄系統(tǒng)的合法目的，為后續(xù)開發(fā)和使用提供清晰方向，便于追溯和審查。

數(shù)據(jù)與模型保護：針對AI模型，需評估其保密性需求和對組織的價值，確定是否需要特殊保護措施。同時，將合規(guī)因素融入設計思維，嚴格核查AI系統(tǒng)的數(shù)據(jù)處理操作是否符合法律法規(guī)，保障系統(tǒng)合法運行。對于涉及個人數(shù)據(jù)的情況，必須采用 “隱私設計” 理念，全面保護數(shù)據(jù)和元數(shù)據(jù)，以及AI系統(tǒng)模型，防止數(shù)據(jù)泄露和濫用。

訪問權限管理：明確AI系統(tǒng)在不同階段的訪問人員，遵循最小權限原則分配權限，嚴格限制人員對系統(tǒng)資源的訪問范圍，最大程度保障AI系統(tǒng)的安全性和完整性，降低因權限濫用導致的安全風險。

2、推薦行動清單

通用建議：梳理AI系統(tǒng)的依賴鏈，清晰掌握系統(tǒng)運行所依賴的各個環(huán)節(jié)，對供應商進行全面評估，包括聲譽和財務狀況，確保供應鏈穩(wěn)定可靠。要求數(shù)據(jù)和軟件供應商符合網(wǎng)絡安全標準，對AI系統(tǒng)進行全面風險分析，綜合考慮組織內外部環(huán)境因素，評估系統(tǒng)故障可能帶來的多方面影響。在考慮采用云解決方案時，進行全局風險評估，權衡數(shù)據(jù)保護、性能等多方面利弊，并在服務協(xié)議中設置可逆條款，保障數(shù)據(jù)安全和操作的可追溯性。

基礎設施和架構建議：詳細規(guī)劃AI系統(tǒng)的使用方式和融入決策流程的方法，特別是在自動化場景下，確保系統(tǒng)運行符合業(yè)務需求和安全規(guī)范。根據(jù)實際情況，應用針對云環(huán)境、外包服務的安全措施，實施AI系統(tǒng)的安全管理策略，利用訪問控制系統(tǒng)嚴格限制對關鍵組件的訪問。精心設計部署計劃和架構，確保系統(tǒng)在擴展時安全性能不受影響，全面貫徹DevSecOps原則，將安全融入開發(fā)、運維全過程。從設計源頭遵循隱私設計理念，保護數(shù)據(jù)機密性，必要時對數(shù)據(jù)進行假名化或匿名化處理，同時考慮數(shù)據(jù)訪問的必要性，減少數(shù)據(jù)泄露風險。

資源與數(shù)據(jù)管理建議：采用安全格式獲取、存儲和分發(fā)AI模型，在模型加載前實施完整性驗證機制，防止模型被篡改。評估AI系統(tǒng)中使用的庫和插件的可信度，確保外部數(shù)據(jù)的質量和可信度，對AI系統(tǒng)的操作進行全程追溯，保證數(shù)據(jù)收集過程公平、符合倫理道德，避免數(shù)據(jù)偏見和不當使用。

學習過程安全建議：制定嚴格的數(shù)據(jù)訪問策略，限制AI系統(tǒng)對敏感數(shù)據(jù)的訪問。保障訓練數(shù)據(jù)的存儲和訪問安全，評估學習和再學習方法的安全性，對提取的數(shù)據(jù)、元數(shù)據(jù)等進行清理、篩選，必要時進行假名化或匿名化防止處理，數(shù)據(jù)泄露和惡意攻擊影響模型訓練結果。

應用可靠性建議：為AI系統(tǒng)的管理任務實施多因素身份驗證，強化身份認證的安全性。保障輸入輸出數(shù)據(jù)的保密性和完整性，設置安全過濾器檢測惡意指令，及時更新數(shù)據(jù)、元數(shù)據(jù)和注釋，持續(xù)評估模型的準確性和性能，確保AI系統(tǒng)穩(wěn)定可靠運行。

組織策略建議：記錄AI系統(tǒng)的設計選擇，便于后續(xù)審查和維護。監(jiān)督系統(tǒng)運行，明確關鍵人員職責，管理分包商使用。制定風險管理策略，規(guī)劃無AI系統(tǒng)時的降級運行模式，根據(jù)組織敏感性制定生成式AI使用政策，監(jiān)測AI系統(tǒng)特定漏洞，關注技術發(fā)展趨勢，實施數(shù)據(jù)管理系統(tǒng)，采用安全的數(shù)據(jù)刪除方法，記錄產品中使用的數(shù)據(jù)集，便于管理和降低數(shù)據(jù)使用風險。

預防措施：定期組織員工進行AI安全風險培訓，提高員工安全意識和應對能力。定期開展AI系統(tǒng)安全審計，及時發(fā)現(xiàn)和修復潛在安全問題。提前預測與訓練數(shù)據(jù)或模型相關的知識產權和數(shù)據(jù)保護等權利問題，避免法律糾紛和安全隱患。

附錄 2

列舉了與人工智能相關的各類參考資料，為深入研究人工智能開發(fā)、應用、安全以及風險管理等方面提供了豐富的信息資源，涵蓋了從技術規(guī)范到法規(guī)政策等多個維度。

人工智能開發(fā)：包含多個組織發(fā)布的開發(fā)指南。AIVD強調安全開發(fā)AI系統(tǒng)；G7制定了針對開發(fā)先進AI系統(tǒng)組織的行為準則和指導原則；NCSC-UK與CISA聯(lián)合發(fā)布的安全AI系統(tǒng)開發(fā)指南，為開發(fā)者提供了系統(tǒng)的開發(fā)規(guī)范，這些資料為AI開發(fā)過程中的技術實現(xiàn)、道德規(guī)范等提供了重要參考。

人工智能用例：有ANSSI提出的生成式 AI 系統(tǒng)安全建議，以及 BSI、ANSSI 關于AI編碼助手的相關內容，還有BSI對生成式AI模型在工業(yè)和政府領域的機遇與風險分析。這些用例從不同應用場景出發(fā)，為各行業(yè)應用 AI 技術時評估風險、采取安全措施提供了實際操作層面的指引。

人工智能漏洞與安全：CSA新加坡發(fā)布了AI系統(tǒng)安全指南及相關討論文件，強調保障AI安全是集體責任。CERT-In提供了軟件物料清單（SBOM）技術指南和API安全相關資料。此外，還有多篇學術研究，如關于AI在相關法案中的網(wǎng)絡安全、對抗機器學習的分類和術語等內容。這些資料全面涵蓋了AI系統(tǒng)在漏洞發(fā)現(xiàn)、安全防護以及應對攻擊等方面的知識。

風險管理：NIST的AI風險管理框架和OECD關于推進AI問責制的資料，為建立完善的AI風險管理體系提供了理論依據(jù)和實踐框架，有助于組織在AI應用過程中全面評估、管理風險，確保AI系統(tǒng)的可靠運行。

術語：ISO/IEC 22989:2022和OECD分別對人工智能相關概念、術語以及AI事件相關術語進行了定義。統(tǒng)一規(guī)范的術語有助于不同人員在交流、研究和實踐中準確理解和運用相關概念，避免因術語歧義產生誤解。

法規(guī)示例：歐盟的《人工智能法案》和《網(wǎng)絡彈性法案》為AI技術的應用和網(wǎng)絡安全保障提供了法律層面的規(guī)范和約束。這些法規(guī)明確了AI開發(fā)、使用過程中的責任、義務和安全標準，為政策制定者、企業(yè)和開發(fā)者提供了法律遵循的依據(jù)。

轉載鏈接：https://www.tbtguide.com/c/mypt/gwxw/592483.jhtml