深化人工智能安全監管研究（學術圓桌）

深化人工智能安全監管研究（學術圓桌）

　　确保人工智能安全、可靠、可控，有利于人類文明進步，是人工智能發展必須解決的重要課題。黨的二十屆三中全會《決定》作出“建立人工智能安全監管制度”“完善生成式人工智能發展和管理機制”等重要部署。如何加強人工智能治理，有效防範化解人工智能發展帶來的各類安全風險，不斷提升人工智能安全監管的制度化、法治化水平？本期學術版圍繞這些問題進行探讨。

　　——編 者

　　提升生成式人工智能三大風險治理能力

　　劉豔紅

　　習近平總書記指出：“人工智能是新一輪科技革命和産業變革的重要驅動力量，将對全球經濟社會發展和人類文明進步産生深遠影響。”生成式人工智能是指基于算法、模型、規則生成文本、圖片、聲音、視頻、代碼等内容的技術。在海量數據與強大算力支撐下，聽得懂、說得出、能互動的生成式人工智能快速疊代升級，呈現出良好互動性、高度通用性、智能生成性等特征，并正與各行各業形成更加剛性、高頻、泛在、深度的聯結，也導緻其潛在風險更多更真實。黨的二十屆三中全會《決定》科學把握人工智能發展規律和特點，提出“建立人工智能安全監管制度”“完善生成式人工智能發展和管理機制”，體現了更好統籌發展和安全的客觀需要，為推動人工智能領域的技術進步、産業發展與安全保障指明前進方向。

　　生成式人工智能在技術運行上可分為三個階段，即前置性學習訓練及人工标注輔助算法升級的準備階段，輸入數據進行算法處理得出生成物的運算階段，生成物進入社會加以運用的生成階段。我們要深入分析生成式人工智能的運行機理，把握各階段安全風險形成與發展的特征，運用法治手段加強系統性治理，确保生成式人工智能所蘊含的巨大力量始終在法治軌道上發揮作用。

　　在生成式人工智能的準備階段，數據安全風險易發多發、較為突出。生成式人工智能通過數據訓練、數據處理分析來提煉信息、預測趨勢。這就必須對數據進行适當分類，确立不同類型數據的利用模式和保護方式，以妥善應對相關數據安全風險，避免數據違規利用或者不當洩露，産生侵權方面的糾紛。比如，在政務處理流程中形成的政務數據是數字政府的核心要素。生成式人工智能為了得出相對準确的結論，不可避免地要收集分析政務數據。應當明确生成式人工智能獲取和利用政務數據的法律規則，既滿足利用政務數據服務社會的需求，有力支持人工智能政務服務大模型開發、訓練和應用，提高公共服務和社會治理智能化水平；又規範其加工方式，避免利用政務數據得出的成果侵害個人權益、破壞社會公共秩序。對于個人數據而言，生成式人工智能通過組合分析挖掘其潛在價值，其對個人數據的收集利用及其成果可能對公民權利造成侵害。實踐中，生成式人工智能傾向于過度收集個人數據以提升結論準确性，比如，通過分析醫療健康數據來挖掘個人行蹤、預測個人生活軌迹。為此，必須堅持依法收集，按照技術所需的最小範圍收集個人數據，設置合理的數據處理深度，避免過度挖掘潛在信息。綜上，應将分類分級的數據安全監管要求嵌入生成式人工智能的準備階段，避免數據安全風險演化為具體的法益損害後果。

　　在生成式人工智能的運算階段，内生于人工智能大模型的算法偏見風險值得警惕。生成式人工智能對于數據的分析和處理主要通過算法模型。不同于傳統算法模型，生成式人工智能在進行機器學習的同時，還會以大量的人工标注來校正機器學習的結論，推動人工智能進化。但“機器學習+人工标注”作為算法技術内核，也會使人類的意志與偏好所産生的影響比單純的機器學習更大。個人偏好的影響疊加在算法模型本身的偏見之上，将導緻算法偏見的負面效應倍增，算法偏見的産生更加難以追溯和預防。防範化解算法偏見風險，應根據算法偏見的産生原理與産生場域進行針對性治理。要将法律規範的要求深度嵌入生成式人工智能的算法模型之中，推動技術向善，消除算法偏見，确保合理利用生成式人工智能算法并分配算力資源。基于技管結合理念，加強對算法的全周期安全監管，将法律規範的要求落實到生成式人工智能運行的全流程之中。在設置算法之初就要遵循相關法律規則與技術标準，落實“機器學習+人工标注”的規範要求，審查存在風險的算法模塊，更好發現生成式人工智能算法模型中的技術風險；當發現先天性算法偏見時，依據法律要求從生成式人工智能的算法内部進行糾正，确保修改後的算法能正常運行；事後出現問題時，對人工智能算法進行溯源治理，實現精準歸責并加以糾正，推動完善生成式人工智能的算法監管标準，填補事前預防審查的不足，以技術手段與法律手段并行做到發展與管理并重。

　　在生成式人工智能的生成階段，存在着與生成物相關的知識産權風險、生成物濫用風險等多種風險。由于生成式人工智能的智能化程度很高，可以實現内容自動化編纂、智能化潤色加工、多模态轉換以及創造性生成，直接改變了内容的生産方式與供給模式，相較于以往的人工智能系統産生了颠覆性變化，由此引發了生成式人工智能的生成物知識産權歸屬、知識産權保護等問題。有的人認為生成式人工智能生成物是數據算法的結論，其本質上是計算與模仿，而非智力勞動，無法成為知識産權的客體。反對者則認為生成式人工智能模拟人腦神經網絡的構造來獲取與輸出數據，通過卷積神經網絡控制自身的設計與制造，其具有獨創性與創新性的生成物應當受知識産權法保護。同時，生成式人工智能還增加了知識産權糾紛風險和保護難度，一些生成物可能含有侵犯他人知識産權的内容，或者經過加工等手段被包裝成個人擁有完全知識産權的原創作品，引發相關知識産權争議。為及時化解相關問題，應對生成式人工智能的技術模式、技術原理按照知識産權法的标準開展實質分析，如果技術上需要人類意志介入，使生成物能夠産生獨創性與創新性，應賦予知識産權并明确其歸屬，強化生成式人工智能領域知識産權的系統性保護；同時要合理确定對生成物知識産權保護的範圍，避免保護範圍無限擴張，妨礙生成式人工智能的推廣運用和技術發展。還要加強對生成物濫用風險的治理。比如，要求作品清楚标識生成式人工智能在作者創作中發揮作用的情況，加強對可能涉及違法犯罪的深度僞造、AI換臉等生成物的精準化、常态化監管，等等。

　　生成式人工智能在社會應用中産生的擴散影響還有很多，除了上述風險還有很多其他類型的風險，比如加劇信息不對稱、擴大數字鴻溝、損害數字弱勢群體的利益等。要根據實際情況作出應對，盡量降低新技術給社會發展帶來的不良沖擊。

　　（作者為中國政法大學刑事司法學院教授）

　　守護好人工智能時代的隐私安全

　　顧理平

　　習近平總書記強調：“堅持以人為本、智能向善”。當前，人工智能技術日新月異，既深刻影響改變着人們的生産生活方式、加速了經濟社會發展進程，也對法律規範、道德倫理、公共治理等造成沖擊。其中，對隐私權、個人信息安全等的威脅是值得關注的重要問題。黨的二十屆三中全會《決定》對“建立人工智能安全監管制度”作出重要部署，保護隐私權和個人信息安全是人工智能安全監管的題中應有之義。必須加強人工智能時代的隐私權保護，确保個人信息安全。

　　人工智能時代隐私權面臨嚴峻挑戰。隐私是自然人的私人生活安甯和不願為他人知曉的私密空間、私密活動、私密信息。民法典規定：“自然人享有隐私權。任何組織或者個人不得以刺探、侵擾、洩露、公開等方式侵害他人的隐私權。”隐私權作為人格權的核心要素，是構築人格尊嚴的重要基礎。不被公開、不被知曉是隐私權的核心訴求。當前，人工智能以悄無聲息的方式介入人們生産生活的各領域各方面各環節，産生智能醫療、智能交通、智能推薦等衆多應用場景，技術本身存在的某些缺陷和規則的不完善，不可避免帶來侵害隐私權的問題。比如，非法收集和使用個人信息，利用分析這些個人信息頻繁推送所謂“個性化”的“精準廣告”，洩露個人信息給第三方，導緻私人生活頻頻受到垃圾信息侵擾；利用個人信息進行“大數據殺熟”，實現“一客一價”的精準價格歧視，令公民遭受财産損失；已脫敏個人信息被重新識别，因保護措施不當導緻數據洩露，非法買賣個人信息現象屢見不鮮，侵害個人信息安全；借助個人信息進行深度僞造，通過聲音仿真、AI換臉等手段，實施詐騙等違法犯罪行為；等等。這說明，侵害隐私權不僅侵犯了公民的人格尊嚴，也會造成其他嚴重社會後果。

　　去私密化技術特征加劇個人信息安全風險。以大數據為基礎的人工智能在應用之初，許多人是抱着觀望、懷疑的心态看待這種新技術的。随着人工智能以拟人化的外在形式、個性化的服務提供、沉浸式的互動過程不斷改善使用者的産品體驗和心理感受，越來越多的人逐漸成為人工智能的忠實用戶，享受着人工智能給自己帶來的各種便捷。随着人機互動、萬物互聯的物聯網技術普及，智能家居、智能辦公、智能工廠、智能駕駛等人工智能應用場景也不斷拓展，個人能夠以數字人的存在形式在數字空間提出需求、獲得服務，也在不知不覺中向人工智能源源不斷地輸送着個人信息。個人在數字空間留下的任何痕迹都被數字化，形成個人信息，并作為人們“聯系世界的介質”發揮着重要功能。與此同時，人工智能為了改善服務質量，也傾向于過度收集使用個人信息。這都使得人工智能具有鮮明的去私密化技術特征。也正是在那些人工智能使用者習以為常的個人信息流動中，混合着公共數據和私人數據的大數據被挖掘、整合、分析、利用，人們難以憑自己的感官察覺到隐私權被侵害，個人信息安全面臨着更高的風險。

　　尊重個體選擇，堅持知情同意。不同的人對個人信息被知悉、被利用的接受程度不同，應尊重個人意願，科學合理地執行“知情同意”原則。知情同意原則包括知情和同意兩方面，同意必須以知情為前提，沒有充分的知情和理解，就不可能有真正意義上的同意。信息、理解和自願，是知情同意原則的三要素。在全面“知情”的基礎上，個人可以自主作出怎樣“同意”的意思表示。這就需要在用戶使用人工智能時，作出通俗易懂而又清晰明了的提示說明，征得用戶對個人信息收集使用的同意。如果個人信息會在不同平台之間流動，需要将流動範圍、目标、使用邊界讓用戶知曉。為了良好和流暢的用戶體驗，也可以給用戶提供一次性或分階段進行授權的選擇。要告知用戶收集個人信息的範圍、方式和用途以及與誰共享個人信息，用戶也應當可以選擇随時退出。在進行個人信息分析時，應以彈窗或其他形式提示用戶注意并實時授權。設置數據生命周期、按時删除個人信息也是保護個人信息安全的有效方式。

　　完善技術手段，确保智能向善。技術導緻的問題，要善于從技術層面确立解決問題的思路。人工智能時代隐私權面臨挑戰，其直接的觸發因素是技術的演進。從分析式人工智能到生成式人工智能，人工智能技術每一次疊代升級，都可能對隐私權帶來新的沖擊。因此，技術解決方案必須置于關鍵位置，應通過完善數據庫安全、核心數據加密、個人數據脫敏等技術，建立保護隐私權和個人信息安全的防火牆。個人信息一般會經過收集、存儲和使用三個階段，而這三個階段都可能存在侵害隐私權和個人信息安全的風險。應根據不同階段個人信息所處的不同狀況，從技術上進行有效保護。在個人信息收集階段，加強匿名化技術推廣運用。收集個人信息雖然不可避免，但隻要匿名化，不把個人信息與身份對應，隐私權就不會受到侵害。個人信息存儲階段，要完善加密技術。當前，數據存儲主要有數據庫存儲和雲存儲兩種方式。外部入侵竊取和内部人員未經授權的查看、使用、洩露是存儲階段個人信息安全的主要威脅。要強化數據加密，同時嚴格數據訪問權限控制。個人信息使用階段，要從技術上加強對個人信息違法使用的實時介入、幹擾、阻斷，為隐私權和個人信息安全多添一層保護。

　　随着我國法律規則日益完善、保護力度持續加強，特别是民法典、個人信息保護法對隐私權和個人信息保護作出詳細規定，明确了個人信息處理活動中權利和義務的邊界，人工智能時代我國對隐私權和個人信息安全的法律保護必将邁上更高水平，為人工智能健康發展、更好造福人民群衆提供堅強法律保障。

　　（作者為南京師範大學新聞與傳播學院教授）

　　探索人工智能體的模塊化治理框架

　　張 欣

　　科技興則民族興，科技強則國家強。黨的十八大以來，我國高度重視人工智能發展，積極推動互聯網、大數據、人工智能和實體經濟深度融合，培育壯大智能産業，加快發展新質生産力，為高質量發展提供新動能。習近平總書記指出：“要堅持促進發展和依法管理相統一，既大力培育人工智能、物聯網、下一代通信網絡等新技術新應用，又積極利用法律法規和标準規範引導新技術應用。”習近平總書記的重要論述為我國人工智能發展提供了根本遵循和行動指南。大力發展人工智能，提高人工智能安全治理水平，要把黨的二十屆三中全會《決定》提出的“建立人工智能安全監管制度”重要部署不折不扣貫徹落實好，準确把握人工智能發展動向，重點關注人工智能前沿技術及其帶來的風險挑戰，加強前瞻性思考，不斷探索人工智能治理的創新方案。

　　當前，生成式人工智能開創了人機交互新範式，憑借其強大的交互、理解和生成能力，為發展以大型自然語言模型為核心組件，集記憶、規劃和工具使用于一體，具備感知和行動能力的人工智能體開辟了廣闊前景。人工智能體已成為通用人工智能最重要的前沿研究方向和科技企業競相布局的新賽道。它以大型自然語言模型為“智慧引擎”，具有自主性、适應性和交互性特征，可顯著提高生産效率，增強用戶體驗，提供超越人類能力的決策支持，已能夠應用于軟件開發、科學研究等多種真實場景。盡管大規模商業化落地仍在初步探索和孵化階段，但人工智能體所代表的虛實融合、人機深度互動等趨勢對經濟社會發展具有重要引領意義。然而，由于技術局限，人工智能體也可能引發複雜的、動态的、不可預見的風險與隐憂。

　　從設計邏輯看，人工智能體需要通過控制端獲得認知能力，通過感知端從周圍環境獲取和利用信息，最終在行動端成為基于物理實體進行感知和行動的智能系統。

　　在控制端，大型自然語言模型作為人工智能體的“大腦”，通過學習海量數據形成知識，構成人工智能體控制系統中的記憶模塊，但其在生成内容的可靠性和準确性方面存在風險。比如，模型生成的内容可能不遵循信息源或者與現實世界的真實情況不符，産生所謂“機器幻覺”；由于訓練數據中的人類偏見，影響人工智能體的公平決策；等等。

　　在感知端，為充分理解具體情境下的顯性信息和隐性信息，準确感知人類意圖，人工智能體将感知範圍從純文本拓展到包括文本、視覺和聽覺模式在内的多模态領域。這雖然提升了決策能力，卻在融合和分析不同渠道和類型的多源數據時可能引發一系列隐私洩露和數據安全風險。比如，不當使用和分享人臉信息、指紋、聲紋等高度個性化、具有永久性的生物特征數據，導緻長期甚至永久性的隐私風險。為更好地處理複雜任務，部署多個人工智能體進行規劃、合作甚至競争，以完成和提高任務績效的多智能體系統将成為主流和常态。多個人工智能體的系統交互就可能引發不可預見的系統性安全風險。即使每個算法在單獨操作時看似安全和合理，但組合和交互之後仍可能産生完全不同且難以預測的風險，并迅速演化升級。比如，在股票市場中，如果人工智能被廣泛應用，多個算法自動識别股票價格微小變化，同時大量執行高頻交易進行套利，就可能引發股票市場閃崩的系統性安全事件。

　　在行動端，部署于真實物理環境的人工智能體将可能以更為立體、拟人的形象呈現。與虛拟空間不同，現實空間依賴交互式學習方法，人工智能體需要豐富的、全方位的信息感知來觀察、學習和行動，通過基于反饋的學習優化能力，這可能對個人隐私構成全面性、侵入性和隐蔽性的風險。比如，解讀用戶的肢體語言并感知更加複雜的用戶活動，未經用戶授權持續隐秘地收集數據，一旦系統存在安全漏洞，可能引發巨大的數據安全風險。此外，随着人工智能體自主性不斷提升，不僅可能幹預和影響人類的認知和情緒，也挑戰着人類作為獨立決策者和獨立行動者的能力與地位。比如，一些聊天機器人在與用戶的交互過程中就出現了影響用戶情感的輸出，有時是負面并且具有操縱性的。

　　面對人工智能體帶來的風險和挑戰，要讓人工智能體的行為符合人類的意圖和價值觀，需要探索創新性的治理方案，保證人工智能安全監管制度切實管用。人工智能體的發展正處于“從零到一”的關鍵期。治理方案應具備以不變應萬變的能力，确保該技術的發展與應用始終處于可控的軌道上。人工智能體的開發、訓練、部署、運行和服務等環節經過高度專業化的分工，形成了複雜的分層結構。每一層均有不同的參與者、利益相關方和潛在風險因素，使人工智能體具有“模塊”化的産業鍊特質。因此，可以構建一種能夠覆蓋整個産業鍊和各個端層的模塊化治理框架，從數據模塊、算法模塊、模型架構等關鍵節點出發，設計相應的治理模塊。例如在部署環節，就可根據應用場景和部署模式的特性，靈活選擇、協同組合不同的治理模塊，構建與之相匹配的治理方案。模塊化治理框架提供了一種具有可操作性的分解方法，通過将治理目标拆解為相對獨立但關聯耦合的治理模塊，漸序推動治理體系形成，不僅提高了治理的靈活性和針對性，還能夠适應技術的快速疊代。在構建基于數據、算法、模型和場景等維度的治理模塊時，應以技術賦能監管，打造與人工智能體模塊化治理框架相适配的、智慧化的治理工具，從而彌合風險動态性與監管靜态性之間的張力，實現對特定高風險場景的精準化治理。

　　要構建面向人工智能體的交互式治理生态。人工智能體具有深度交互性、高度互聯性以及動态适應性。相應地，治理方式應當超越傳統的以個體為中心的治理，推動形成廣泛互聯、多方參與、多層次協作的治理生态。其中，技術開發人員、運營維護人員等技術社群對于人工智能體的治理将起到至關重要的“吹哨人”作用。應更好發揮技術社群的監督優勢，在人工智能企業内部構建有效的約束機制。還應積極提高廣大用戶的數字素養，增強其依法、安全、負責任使用人工智能體的意識，實現與人工智能體的良性交互，推動形成向上向善的運行狀态。

（作者為對外經濟貿易大學法學院教授）

來源：《 人民日報 》（ 2024年11月04日 第 09 版）