深化人工智能安全監管研究（學術圓桌）

確保人工智能安全、可靠、可控，有利於人類文明進步，是人工智能發展必須解決的重要課題。黨的二十屆三中全會《決定》作出“建立人工智能安全監管制度”“完善生成式人工智能發展和管理機制”等重要部署。如何加強人工智能治理，有效防范化解人工智能發展帶來的各類安全風險，不斷提升人工智能安全監管的制度化、法治化水平？本期學術版圍繞這些問題進行探討。

——編  者

提升生成式人工智能三大風險治理能力  

劉艷紅

習近平總書記指出：“人工智能是新一輪科技革命和產業變革的重要驅動力量，將對全球經濟社會發展和人類文明進步產生深遠影響。”生成式人工智能是指基於算法、模型、規則生成文本、圖片、聲音、視頻、代碼等內容的技術。在海量數據與強大算力支撐下，聽得懂、說得出、能互動的生成式人工智能快速迭代升級，呈現出良好互動性、高度通用性、智能生成性等特征，並正與各行各業形成更加剛性、高頻、泛在、深度的聯結，也導致其潛在風險更多更真實。黨的二十屆三中全會《決定》科學把握人工智能發展規律和特點，提出“建立人工智能安全監管制度”“完善生成式人工智能發展和管理機制”，體現了更好統籌發展和安全的客觀需要，為推動人工智能領域的技術進步、產業發展與安全保障指明前進方向。

生成式人工智能在技術運行上可分為三個階段，即前置性學習訓練及人工標注輔助算法升級的准備階段，輸入數據進行算法處理得出生成物的運算階段，生成物進入社會加以運用的生成階段。我們要深入分析生成式人工智能的運行機理，把握各階段安全風險形成與發展的特征，運用法治手段加強系統性治理，確保生成式人工智能所蘊含的巨大力量始終在法治軌道上發揮作用。

在生成式人工智能的准備階段，數據安全風險易發多發、較為突出。生成式人工智能通過數據訓練、數據處理分析來提煉信息、預測趨勢。這就必須對數據進行適當分類，確立不同類型數據的利用模式和保護方式，以妥善應對相關數據安全風險，避免數據違規利用或者不當泄露，產生侵權方面的糾紛。比如，在政務處理流程中形成的政務數據是數字政府的核心要素。生成式人工智能為了得出相對准確的結論，不可避免地要收集分析政務數據。應當明確生成式人工智能獲取和利用政務數據的法律規則，既滿足利用政務數據服務社會的需求，有力支持人工智能政務服務大模型開發、訓練和應用，提高公共服務和社會治理智能化水平﹔又規范其加工方式，避免利用政務數據得出的成果侵害個人權益、破壞社會公共秩序。對於個人數據而言，生成式人工智能通過組合分析挖掘其潛在價值，其對個人數據的收集利用及其成果可能對公民權利造成侵害。實踐中，生成式人工智能傾向於過度收集個人數據以提升結論准確性，比如，通過分析醫療健康數據來挖掘個人行蹤、預測個人生活軌跡。為此，必須堅持依法收集，按照技術所需的最小范圍收集個人數據，設置合理的數據處理深度，避免過度挖掘潛在信息。綜上，應將分類分級的數據安全監管要求嵌入生成式人工智能的准備階段，避免數據安全風險演化為具體的法益損害后果。

在生成式人工智能的運算階段，內生於人工智能大模型的算法偏見風險值得警惕。生成式人工智能對於數據的分析和處理主要通過算法模型。不同於傳統算法模型，生成式人工智能在進行機器學習的同時，還會以大量的人工標注來校正機器學習的結論，推動人工智能進化。但“機器學習+人工標注”作為算法技術內核，也會使人類的意志與偏好所產生的影響比單純的機器學習更大。個人偏好的影響疊加在算法模型本身的偏見之上，將導致算法偏見的負面效應倍增，算法偏見的產生更加難以追溯和預防。防范化解算法偏見風險，應根據算法偏見的產生原理與產生場域進行針對性治理。要將法律規范的要求深度嵌入生成式人工智能的算法模型之中，推動技術向善，消除算法偏見，確保合理利用生成式人工智能算法並分配算力資源。基於技管結合理念，加強對算法的全周期安全監管，將法律規范的要求落實到生成式人工智能運行的全流程之中。在設置算法之初就要遵循相關法律規則與技術標准，落實“機器學習+人工標注”的規范要求，審查存在風險的算法模塊，更好發現生成式人工智能算法模型中的技術風險﹔當發現先天性算法偏見時，依據法律要求從生成式人工智能的算法內部進行糾正，確保修改后的算法能正常運行﹔事后出現問題時，對人工智能算法進行溯源治理，實現精准歸責並加以糾正，推動完善生成式人工智能的算法監管標准，填補事前預防審查的不足，以技術手段與法律手段並行做到發展與管理並重。

在生成式人工智能的生成階段，存在著與生成物相關的知識產權風險、生成物濫用風險等多種風險。由於生成式人工智能的智能化程度很高，可以實現內容自動化編纂、智能化潤色加工、多模態轉換以及創造性生成，直接改變了內容的生產方式與供給模式，相較於以往的人工智能系統產生了顛覆性變化，由此引發了生成式人工智能的生成物知識產權歸屬、知識產權保護等問題。有的人認為生成式人工智能生成物是數據算法的結論，其本質上是計算與模仿，而非智力勞動，無法成為知識產權的客體。反對者則認為生成式人工智能模擬人腦神經網絡的構造來獲取與輸出數據，通過卷積神經網絡控制自身的設計與制造，其具有獨創性與創新性的生成物應當受知識產權法保護。同時，生成式人工智能還增加了知識產權糾紛風險和保護難度，一些生成物可能含有侵犯他人知識產權的內容，或者經過加工等手段被包裝成個人擁有完全知識產權的原創作品，引發相關知識產權爭議。為及時化解相關問題，應對生成式人工智能的技術模式、技術原理按照知識產權法的標准開展實質分析，如果技術上需要人類意志介入，使生成物能夠產生獨創性與創新性，應賦予知識產權並明確其歸屬，強化生成式人工智能領域知識產權的系統性保護﹔同時要合理確定對生成物知識產權保護的范圍，避免保護范圍無限擴張，妨礙生成式人工智能的推廣運用和技術發展。還要加強對生成物濫用風險的治理。比如，要求作品清楚標識生成式人工智能在作者創作中發揮作用的情況，加強對可能涉及違法犯罪的深度偽造、AI換臉等生成物的精准化、常態化監管，等等。

生成式人工智能在社會應用中產生的擴散影響還有很多，除了上述風險還有很多其他類型的風險，比如加劇信息不對稱、擴大數字鴻溝、損害數字弱勢群體的利益等。要根據實際情況作出應對，盡量降低新技術給社會發展帶來的不良沖擊。

（作者為中國政法大學刑事司法學院教授）

守護好人工智能時代的隱私安全

顧理平

習近平總書記強調：“堅持以人為本、智能向善”。當前，人工智能技術日新月異，既深刻影響改變著人們的生產生活方式、加速了經濟社會發展進程，也對法律規范、道德倫理、公共治理等造成沖擊。其中，對隱私權、個人信息安全等的威脅是值得關注的重要問題。黨的二十屆三中全會《決定》對“建立人工智能安全監管制度”作出重要部署，保護隱私權和個人信息安全是人工智能安全監管的題中應有之義。必須加強人工智能時代的隱私權保護，確保個人信息安全。

人工智能時代隱私權面臨嚴峻挑戰。隱私是自然人的私人生活安寧和不願為他人知曉的私密空間、私密活動、私密信息。民法典規定：“自然人享有隱私權。任何組織或者個人不得以刺探、侵擾、泄露、公開等方式侵害他人的隱私權。”隱私權作為人格權的核心要素，是構筑人格尊嚴的重要基礎。不被公開、不被知曉是隱私權的核心訴求。當前，人工智能以悄無聲息的方式介入人們生產生活的各領域各方面各環節，產生智能醫療、智能交通、智能推薦等眾多應用場景，技術本身存在的某些缺陷和規則的不完善，不可避免帶來侵害隱私權的問題。比如，非法收集和使用個人信息，利用分析這些個人信息頻繁推送所謂“個性化”的“精准廣告”，泄露個人信息給第三方，導致私人生活頻頻受到垃圾信息侵擾﹔利用個人信息進行“大數據殺熟”，實現“一客一價”的精准價格歧視，令公民遭受財產損失﹔已脫敏個人信息被重新識別，因保護措施不當導致數據泄露，非法買賣個人信息現象屢見不鮮，侵害個人信息安全﹔借助個人信息進行深度偽造，通過聲音仿真、AI換臉等手段，實施詐騙等違法犯罪行為﹔等等。這說明，侵害隱私權不僅侵犯了公民的人格尊嚴，也會造成其他嚴重社會后果。

去私密化技術特征加劇個人信息安全風險。以大數據為基礎的人工智能在應用之初，許多人是抱著觀望、懷疑的心態看待這種新技術的。隨著人工智能以擬人化的外在形式、個性化的服務提供、沉浸式的互動過程不斷改善使用者的產品體驗和心理感受，越來越多的人逐漸成為人工智能的忠實用戶，享受著人工智能給自己帶來的各種便捷。隨著人機互動、萬物互聯的物聯網技術普及，智能家居、智能辦公、智能工廠、智能駕駛等人工智能應用場景也不斷拓展，個人能夠以數字人的存在形式在數字空間提出需求、獲得服務，也在不知不覺中向人工智能源源不斷地輸送著個人信息。個人在數字空間留下的任何痕跡都被數字化，形成個人信息，並作為人們“聯系世界的介質”發揮著重要功能。與此同時，人工智能為了改善服務質量，也傾向於過度收集使用個人信息。這都使得人工智能具有鮮明的去私密化技術特征。也正是在那些人工智能使用者習以為常的個人信息流動中，混合著公共數據和私人數據的大數據被挖掘、整合、分析、利用，人們難以憑自己的感官察覺到隱私權被侵害，個人信息安全面臨著更高的風險。

尊重個體選擇，堅持知情同意。不同的人對個人信息被知悉、被利用的接受程度不同，應尊重個人意願，科學合理地執行“知情同意”原則。知情同意原則包括知情和同意兩方面，同意必須以知情為前提，沒有充分的知情和理解，就不可能有真正意義上的同意。信息、理解和自願，是知情同意原則的三要素。在全面“知情”的基礎上，個人可以自主作出怎樣“同意”的意思表示。這就需要在用戶使用人工智能時，作出通俗易懂而又清晰明了的提示說明，征得用戶對個人信息收集使用的同意。如果個人信息會在不同平台之間流動，需要將流動范圍、目標、使用邊界讓用戶知曉。為了良好和流暢的用戶體驗，也可以給用戶提供一次性或分階段進行授權的選擇。要告知用戶收集個人信息的范圍、方式和用途以及與誰共享個人信息，用戶也應當可以選擇隨時退出。在進行個人信息分析時，應以彈窗或其他形式提示用戶注意並實時授權。設置數據生命周期、按時刪除個人信息也是保護個人信息安全的有效方式。

完善技術手段，確保智能向善。技術導致的問題，要善於從技術層面確立解決問題的思路。人工智能時代隱私權面臨挑戰，其直接的觸發因素是技術的演進。從分析式人工智能到生成式人工智能，人工智能技術每一次迭代升級，都可能對隱私權帶來新的沖擊。因此，技術解決方案必須置於關鍵位置，應通過完善數據庫安全、核心數據加密、個人數據脫敏等技術，建立保護隱私權和個人信息安全的防火牆。個人信息一般會經過收集、存儲和使用三個階段，而這三個階段都可能存在侵害隱私權和個人信息安全的風險。應根據不同階段個人信息所處的不同狀況，從技術上進行有效保護。在個人信息收集階段，加強匿名化技術推廣運用。收集個人信息雖然不可避免，但隻要匿名化，不把個人信息與身份對應，隱私權就不會受到侵害。個人信息存儲階段，要完善加密技術。當前，數據存儲主要有數據庫存儲和雲存儲兩種方式。外部入侵竊取和內部人員未經授權的查看、使用、泄露是存儲階段個人信息安全的主要威脅。要強化數據加密，同時嚴格數據訪問權限控制。個人信息使用階段，要從技術上加強對個人信息違法使用的實時介入、干擾、阻斷，為隱私權和個人信息安全多添一層保護。

隨著我國法律規則日益完善、保護力度持續加強，特別是民法典、個人信息保護法對隱私權和個人信息保護作出詳細規定，明確了個人信息處理活動中權利和義務的邊界，人工智能時代我國對隱私權和個人信息安全的法律保護必將邁上更高水平，為人工智能健康發展、更好造福人民群眾提供堅強法律保障。

（作者為南京師范大學新聞與傳播學院教授）

探索人工智能體的模塊化治理框架

張  欣

科技興則民族興，科技強則國家強。黨的十八大以來，我國高度重視人工智能發展，積極推動互聯網、大數據、人工智能和實體經濟深度融合，培育壯大智能產業，加快發展新質生產力，為高質量發展提供新動能。習近平總書記指出：“要堅持促進發展和依法管理相統一，既大力培育人工智能、物聯網、下一代通信網絡等新技術新應用，又積極利用法律法規和標准規范引導新技術應用。”習近平總書記的重要論述為我國人工智能發展提供了根本遵循和行動指南。大力發展人工智能，提高人工智能安全治理水平，要把黨的二十屆三中全會《決定》提出的“建立人工智能安全監管制度”重要部署不折不扣貫徹落實好，准確把握人工智能發展動向，重點關注人工智能前沿技術及其帶來的風險挑戰，加強前瞻性思考，不斷探索人工智能治理的創新方案。

當前，生成式人工智能開創了人機交互新范式，憑借其強大的交互、理解和生成能力，為發展以大型自然語言模型為核心組件，集記憶、規劃和工具使用於一體，具備感知和行動能力的人工智能體開辟了廣闊前景。人工智能體已成為通用人工智能最重要的前沿研究方向和科技企業競相布局的新賽道。它以大型自然語言模型為“智慧引擎”，具有自主性、適應性和交互性特征，可顯著提高生產效率，增強用戶體驗，提供超越人類能力的決策支持，已能夠應用於軟件開發、科學研究等多種真實場景。盡管大規模商業化落地仍在初步探索和孵化階段，但人工智能體所代表的虛實融合、人機深度互動等趨勢對經濟社會發展具有重要引領意義。然而，由於技術局限，人工智能體也可能引發復雜的、動態的、不可預見的風險與隱憂。

從設計邏輯看，人工智能體需要通過控制端獲得認知能力，通過感知端從周圍環境獲取和利用信息，最終在行動端成為基於物理實體進行感知和行動的智能系統。

在控制端，大型自然語言模型作為人工智能體的“大腦”，通過學習海量數據形成知識，構成人工智能體控制系統中的記憶模塊，但其在生成內容的可靠性和准確性方面存在風險。比如，模型生成的內容可能不遵循信息源或者與現實世界的真實情況不符，產生所謂“機器幻覺”﹔由於訓練數據中的人類偏見，影響人工智能體的公平決策﹔等等。

在感知端，為充分理解具體情境下的顯性信息和隱性信息，准確感知人類意圖，人工智能體將感知范圍從純文本拓展到包括文本、視覺和聽覺模式在內的多模態領域。這雖然提升了決策能力，卻在融合和分析不同渠道和類型的多源數據時可能引發一系列隱私泄露和數據安全風險。比如，不當使用和分享人臉信息、指紋、聲紋等高度個性化、具有永久性的生物特征數據，導致長期甚至永久性的隱私風險。為更好地處理復雜任務，部署多個人工智能體進行規劃、合作甚至競爭，以完成和提高任務績效的多智能體系統將成為主流和常態。多個人工智能體的系統交互就可能引發不可預見的系統性安全風險。即使每個算法在單獨操作時看似安全和合理，但組合和交互之后仍可能產生完全不同且難以預測的風險，並迅速演化升級。比如，在股票市場中，如果人工智能被廣泛應用，多個算法自動識別股票價格微小變化，同時大量執行高頻交易進行套利，就可能引發股票市場閃崩的系統性安全事件。

在行動端，部署於真實物理環境的人工智能體將可能以更為立體、擬人的形象呈現。與虛擬空間不同，現實空間依賴交互式學習方法，人工智能體需要豐富的、全方位的信息感知來觀察、學習和行動，通過基於反饋的學習優化能力，這可能對個人隱私構成全面性、侵入性和隱蔽性的風險。比如，解讀用戶的肢體語言並感知更加復雜的用戶活動，未經用戶授權持續隱秘地收集數據，一旦系統存在安全漏洞，可能引發巨大的數據安全風險。此外，隨著人工智能體自主性不斷提升，不僅可能干預和影響人類的認知和情緒，也挑戰著人類作為獨立決策者和獨立行動者的能力與地位。比如，一些聊天機器人在與用戶的交互過程中就出現了影響用戶情感的輸出，有時是負面並且具有操縱性的。

面對人工智能體帶來的風險和挑戰，要讓人工智能體的行為符合人類的意圖和價值觀，需要探索創新性的治理方案，保証人工智能安全監管制度切實管用。人工智能體的發展正處於“從零到一”的關鍵期。治理方案應具備以不變應萬變的能力，確保該技術的發展與應用始終處於可控的軌道上。人工智能體的開發、訓練、部署、運行和服務等環節經過高度專業化的分工，形成了復雜的分層結構。每一層均有不同的參與者、利益相關方和潛在風險因素，使人工智能體具有“模塊”化的產業鏈特質。因此，可以構建一種能夠覆蓋整個產業鏈和各個端層的模塊化治理框架，從數據模塊、算法模塊、模型架構等關鍵節點出發，設計相應的治理模塊。例如在部署環節，就可根據應用場景和部署模式的特性，靈活選擇、協同組合不同的治理模塊，構建與之相匹配的治理方案。模塊化治理框架提供了一種具有可操作性的分解方法，通過將治理目標拆解為相對獨立但關聯耦合的治理模塊，漸序推動治理體系形成，不僅提高了治理的靈活性和針對性，還能夠適應技術的快速迭代。在構建基於數據、算法、模型和場景等維度的治理模塊時，應以技術賦能監管，打造與人工智能體模塊化治理框架相適配的、智慧化的治理工具，從而彌合風險動態性與監管靜態性之間的張力，實現對特定高風險場景的精准化治理。

要構建面向人工智能體的交互式治理生態。人工智能體具有深度交互性、高度互聯性以及動態適應性。相應地，治理方式應當超越傳統的以個體為中心的治理，推動形成廣泛互聯、多方參與、多層次協作的治理生態。其中，技術開發人員、運營維護人員等技術社群對於人工智能體的治理將起到至關重要的“吹哨人”作用。應更好發揮技術社群的監督優勢，在人工智能企業內部構建有效的約束機制。還應積極提高廣大用戶的數字素養，增強其依法、安全、負責任使用人工智能體的意識，實現與人工智能體的良性交互，推動形成向上向善的運行狀態。

（作者為對外經濟貿易大學法學院教授）

《 人民日報 》（ 2024年11月04日 09 版）