中國共產黨新聞網>>理論
分享

“人工智能污染”來襲,如何應對

2026年10月15日08:29    來源:光明日報222

訂閱取消訂閱已收藏收藏大字號

點擊播報本文,約

【光明青年論壇】

編者按

近年來,大模型的持續迭代落地及多模態化發展,讓人工智能應用愈發便捷,場景持續普及。從科研人員到普通勞動者,從老年群體到中小學生,通過人工智能應用生產內容、獲取信息的人群范圍迅速擴大,應用程度也逐步加深。與此同時,人工智能造成的數據污染問題隨之而生,其污染形態復雜多樣,危害性快速顯現,值得高度警惕。如何增進對“人工智能污染”問題的認知並進行更好應對,成為社會各界應當關注的話題。

與談人

李少波 南方科技大學商學院長聘副教授、南方科技金融研究院研究員

彭晨明 對外經濟貿易大學國際商學院副教授、北京對外開放研究院研究員

孟陸 武漢大學經濟與管理學院長聘副教授

主持人

本報記者 陳恆 陳之殷

1.“人工智能污染”的形態與特征

光明智庫:與環境污染、數字污染相比,“人工智能污染”是一個新現象,其與傳統網絡污染、數字垃圾的區別是什麼?人們在日常生活中通常能接觸到哪些污染形態?

孟陸:“人工智能污染”包括廣義和狹義兩種理解。廣義的“人工智能污染”應涵蓋所有由人工智能技術工具生產的虛假、低劣數字內容,既包括人為主觀惡意生成的污染內容,也包括因大模型幻覺等技術性因素產生的虛假內容。狹義的“人工智能污染”應該僅指大模型由於訓練內容或人為因素向大模型“投毒”導致模型本身遭到污染,從而其生產的內容也隨之出現問題。需要指出的是,伴隨著大模型技術的應用滲透和持續演化,兩種類型污染已出現重疊交叉甚至互為因果,“人工智能污染”的具體形態目前已覆蓋內容生產、數據訓練、傳播交互全鏈條,不同形態對應不同的網絡場景,呈現出從顯性到隱性的分層特征,其實已經讓人們在生活中“日用而不覺”。

第一類是虛假認知類污染,核心是事實性偏差與認知操縱,依托大模型的語言組織、多模態生成能力,產出邏輯通順、觀感逼真但違背客觀事實的內容,刻意誤導公眾認知、擾亂社會秩序。具體形態包括生成虛構新聞事件、深度偽造音視頻、引用不存在的學術文獻與研究數據、針對性編造不實評論話術等。這類污染集中出現在社交媒體輿論場、資訊分發平台、學術出版領域以及民生財經信息場景等。例如突發社會事件期間,批量合成虛假現場圖片與不實通報,在社交平台快速擴散,引發公眾恐慌與輿論誤判。

第二類是低質擠佔類污染,核心是規模化冗余低質內容對優質有效信息的擠壓,依托人工智能低成本、高效率的優勢,實現工業級內容產出,稀釋網絡信息整體價值密度,擠佔原創優質內容傳播空間。具體形態包括批量生成的水文洗稿、模板化自媒體內容、關鍵詞堆砌的搜索引擎垃圾、無實質信息的問答回復與商品描述等。這類污染廣泛存在於搜索引擎生態、內容創作平台、電商詳情頁、知識問答社區等場景,大幅降低用戶信息獲取效率。例如各類問答平台、自媒體常借助人工智能批量生成同質化、無干貨的湊數內容,導致用戶搜索問題時難以獲取有效答案。

第三類是產權侵蝕類污染,核心是未經授權的數字資源挪用與原創成果衍生侵權,侵犯創作者、企業的知識產權與合法權益。具體形態包括大模型訓練階段未經許可抓取、使用受版權保護的文字、圖像、代碼等作品,以及生成環節對現有原創內容的拼接式復制、風格化模仿、變相復刻等。上游訓練數據侵權集中在數據集構建環節,下游生成侵權多出現在文創設計、文學創作、軟件開發等專業生產場景,例如部分人工智能繪畫工具未經授權學習小眾畫師原創畫風,批量生成同款畫作,直接擠佔畫師的商業創作市場。

第四類是交互欺詐類污染,核心是自動化惡意交互的隱蔽化、智能化升級,結合用戶畫像分析與自然語言生成能力,相比傳統網絡欺詐話術更逼真、精准、個性化,迷惑性極強。具體形態包括人工智能驅動的精准釣魚郵件、智能客服話術欺詐、水軍批量刷量控評、虛擬人設社交詐騙、智能化電信詐騙話術等。這類污染主要出現在社交平台、電商交易、金融服務、網絡社區等場景,極易侵害用戶財產與信息安全,例如不法分子利用人工智能模擬親友語氣、音色生成語音話術,打造精准詐騙場景,誘導普通群眾轉賬受騙。

第五類是意識形態偏差類污染,主要體現為國外大模型針對歷史事件、價值觀、國情認知等問題,輸出歷史虛無主義傾向、認知錯位、價值偏頗的內容。具體形態包括對近現代歷史事件、國家發展、民族文化等核心問題的錯誤、片面、歪曲解讀。部分本土模型受訓練數據偏差影響,也可能輸出不符合主流價值觀、違背歷史事實的言論。這類污染主要出現在知識科普、學術問答、輿論解讀、教育咨詢等場景,極易侵蝕主流意識形態與正確歷史認知,潛移默化誤導大眾尤其是青少年的價值觀。

李少波:由此可見,“人工智能污染”並非傳統網絡污染或數字垃圾的簡單延伸。傳統網絡污染主要指虛假信息、低俗內容及惡意營銷信息對網絡公共空間的侵擾,其核心驅動力是人的主觀意圖,生產規模受人力成本約束。數字垃圾則泛指冗余、失效、低價值的數據與文件,屬於人類數字活動的副產品,主要帶來存儲、算力與注意力資源的浪費。相比之下,“人工智能污染”是基於大模型生成機制產生的、具有高度隱蔽性和自我強化能力的新型信息生態危害,其最關鍵的差異在於生產主體、生成邏輯和破壞機制的系統性特征。

從生產主體來看,傳統數字垃圾主要依賴人工操作或簡單腳本的批量復制,產能具有明顯的物理天花板。而“人工智能污染”則轉向了由大語言模型等工具主導的工業化、規模化、自動化生產。這種機器主導的模式打破了內容生產的物理限制,能夠在極短時間內以極低成本生成虛假、誤導性文本、圖像乃至視頻,以工業級速度指數級產出海量內容。這種產能的爆發式增長,使得低質或帶有操縱意圖的內容能夠以排山倒海般的規模壓制優質信息,形成以往人工生產無法企及的規模。

在生成邏輯層面,傳統網絡污染往往帶有明顯的人工破綻,數字垃圾通常也是結構性的廢棄物,易於被技術手段識別和清理。然而,“人工智能污染”具有高度的隱蔽性。一方面,大模型能夠生成語法完美、邏輯自洽但實則虛構的幻覺內容,一本正經地編造不存在的文獻或數據。另一方面,人為“投毒”可能造成訓練數據污染,模型可能產生錯誤判斷甚至系統性失效。研究顯示,當訓練數據集中僅有0.01%的虛假文本時,模型輸出的有害內容會增加11.2%。這種高度隱蔽的特性導致了信號被噪聲淹沒,大量被污染的內容擠佔了優質內容的可見度,極大地增加了公眾甄別真偽的難度,削弱了社會的整體信任基礎。

就破壞機制而言,傳統污染的危害多停留在傳播表面,數字垃圾主要造成存儲與算力資源的擠佔,兩者通常可以通過清理手段治理。“人工智能污染”則具有明顯的自我強化效應,具備遞歸性和結構性危害。一方面,生成內容若未經過濾便回流至互聯網並成為新的訓練數據,會導致模型逐步丟失原始數據中的低概率信息,引發模型坍塌﹔另一方面,這種污染會形成“內容污染、數據污染、模型退化”的反饋回路,直接侵蝕人類知識生產的基礎設施,對社會認知結構造成漸進式侵蝕。

2.“人工智能污染”的危害及成因

光明智庫:數字內容已經深度融入人們生產生活,“人工智能污染”如此泛濫,通常會造成哪些危害?如何分析“人工智能污染”泛濫的原因及其未來趨勢?

彭晨明:“人工智能污染”的危害,首先表現為內容生產秩序的失衡。例如,突發事件發生后,人工智能可在短時間內批量生成現場報道、評論和配圖,真假混雜地搶佔搜索結果與社交平台熱榜。對媒體、作者和專業機構而言,問題不只是流量被分走,更在於事實核驗、深度採訪等高成本生產無法獲得相稱回報,內容行業容易轉向追逐數量、標題和情緒,形成低成本復制擠壓高價值原創的逆向激勵。

其次是信息生態的信噪比下降。電商頁面的模板化文案、知識問答中的幻覺回復、學術寫作中的虛假引文,看似提高了信息供給,實際卻增加了公眾辨識成本。尤其在醫療、金融、公共安全等場景,錯誤信息一旦被反復轉發或被后續系統引用,單條失實內容就可能誘發決策風險。中國信通院在《人工智能治理藍皮書(2024年)》中,探討了虛假信息、深度偽造內容等人工智能的典型風險。

更深層的危害在於權利與信任的雙重侵蝕。未經許可使用作品訓練模型,或以近似表達、風格模仿替代原創,會削弱創作者的收益預期和署名權保障﹔深度偽造則可能使個人的聲音、肖像和身份成為可被低成本冒用的對象。長期看,當公眾無法確認“所見是否為真、所引是否有據、所言出自何人”時,社會交往將由默認可信轉向默認懷疑,公共討論更易被情緒和操縱性內容牽引。

最后,還應看到數據回流的隱患。若大量未經篩選的受污染內容重新進入訓練語料,模型可能逐漸丟失原始數據中的稀有信息和真實分布特征,出現模型坍塌。這意味著污染不僅損害當下的信息環境,還可能降低未來知識工具的可靠性。因此,所謂“不可逆”並非指任何后果都無法修復,而是指原創激勵、事實檔案和社會信任一旦持續受損,重建成本將遠高於前端防治成本。

李少波:當前“人工智能污染”的整體態勢,我認為正處於“重點領域初步可控、全域范圍持續擴張”的膠著狀態。一方面,針對顯性內容類污染的治理框架正在快速落地,國家網信辦等七部門聯合發布的《生成式人工智能服務管理暫行辦法》確立了對圖片、視頻等生成內容進行標識、內容合規管理等基礎規則﹔國家廣播電視總局2026年初啟動“AI魔改”專項治理工作﹔此外,針對虛假信息、深度偽造、侵權洗稿等公眾反映強烈的領域,監管也已逐步到位,污染蔓延勢頭得到遏制。另一方面,隨著開源大模型的普及和生成工具的輕量化,污染生產的技術門檻持續降低,污染主體從頭部機構向中小團隊甚至個體擴散,傳播場景從公域平台向私域社群、垂直場景下沉,整體污染的廣度和深度仍在增加,尚未進入整體可控的拐點。

從中長期看,“人工智能污染”的演化將呈現三個清晰方向。一是污染層級從內容表層向結構深層升級。當前可見的虛假文本、低質水文、深度偽造都屬於內容層面的顯性污染,未來污染將進一步向訓練數據、模型算法層面滲透。比如在公開數據中植入帶有偏差的樣本干擾模型認知,或是針對模型對齊機制進行“投毒”,這類結構型污染隱蔽性更強,排查和修復成本更高,將成為未來治理的核心難點。

二是污染場景從消費端向產業與公共領域延伸。此前“人工智能污染”主要集中在內容創作、社交傳播、電商零售等消費互聯網領域,未來隨著人工智能與實體經濟、公共服務的融合加深,工業設計、醫療輔助、政務決策、智慧交通等領域都會成為污染滲透的新場景,錯誤生成的專業數據、方案建議可能直接引發生產安全、公共決策風險,現實危害顯著上升。

三是污染手段從規模化量產向精准化操縱迭代。早期“人工智能污染”以批量生成低質內容擠佔信息空間為主,未來將結合用戶畫像分析、多模態生成能力,轉向針對特定群體、特定事件的定向認知操縱,比如個性化的虛假信息推送、場景化的深度偽造詐騙,其迷惑性和破壞力都將明顯增強。

孟陸:“人工智能污染”是多重因素疊加的結果。其中技術層面具有內生性,行業與市場層面具有激勵性,監管層面具有滯后性,三者共同構成污染的生成土壤。

從技術維度看,污染確有內生性成分。大模型基於概率生成機制,本質是對語料的統計擬合,優化目標是生成“看起來合理”的內容,而不等同於對事實作出驗証,幻覺因此被視為該技術范式的固有屬性。同時,模型訓練依賴海量互聯網數據,數據冗余、劣質樣本堆砌、重復訓練等問題確實存在。2024年發表於《自然》雜志的研究証實,若不加篩選地使用生成內容遞歸訓練,模型將逐步丟失原始數據分布中的低概率信息,出現模型坍塌。但需要區分的是,這種缺陷是機制性而非宿命性的,通過數據治理、對齊技術與檢索增強等工程手段,可以將污染水平壓至可控區間。

從行業與市場維度看,污染的直接驅動力是成本與收益的失衡。生成內容的邊際成本趨近於零,而流量變現、刷量控評、洗稿引流等灰產收益可觀,低質內容的生產動機因此長期存在。內容平台的推薦機制又天然偏向高產與情緒化表達,客觀上為批量生成內容提供了分發紅利,形成生成越多、曝光越多的正反饋。

從監管維度看,規則供給通常滯后於技術擴散速度。我國雖已出台《生成式人工智能服務管理暫行辦法》等,相關部門也開展專項行動,但生成內容權屬認定、平台責任邊界、跨平台溯源等細則仍在完善中,處罰力度與違法收益尚不匹配,治理威懾有待增強。

至於現有技術架構能否從源頭規避污染,坦率說存在三重瓶頸。一是事實校驗瓶頸,模型無法內置全量實時知識庫,幻覺只能緩解、難以消除﹔二是數據溯源瓶頸,互聯網語料來源復雜,版權與真實性標簽體系尚未建立,訓練前的數據清洗成本極高﹔三是評估瓶頸,污染內容與正常內容在表層特征上高度相似,檢測工具普遍存在誤判,對抗性生成還會持續規避檢測。這決定了源頭治理必須堅持技術與制度雙輪驅動,單靠任何一方都難以奏效。

3.“人工智能污染”的系統性治理

光明智庫:結合國內行業現狀,“人工智能污染”治理存在哪些不足?從短期整治和長期建設來看,最有效、最可落地的舉措有哪些?

孟陸:“人工智能污染”治理的難點不在於規則是否建立,而在於訓練、生成、傳播、再利用已形成鏈式循環,傳統以“內容發布者”為中心的治理模式難以覆蓋全過程。當前我國已通過《互聯網信息服務深度合成管理規定》《生成式人工智能服務管理暫行辦法》以及《人工智能生成合成內容標識辦法》等多項管理辦法,對服務提供者的安全責任、真實身份認証、內容標識等作出規定。但在實際運行中,仍存在三個核心痛點。

一是規則適配仍需細化。生成內容可由模型開發者、應用接入者、提示詞設計者、賬號運營者、平台分發者共同促成。尤其是開源模型、境外工具應用和私域傳播場景中,責任鏈條容易斷裂。應當按照“誰開發誰盡安全義務、誰提供服務誰負責審核、誰傳播誰承擔發布責任、誰利用生成內容實施侵權或欺詐誰負直接責任”的原則,形成與風險程度相匹配的分級責任體系,而不能借由“技術中立”規避應有責任。

二是取証和溯源困難。生成內容可被反復改寫、截圖、轉碼和跨平台搬運,單純依賴人工識別或事后檢測,既容易誤判,也難以証明其生成來源、傳播路徑和損害后果。標識制度提供了基礎抓手,但顯式標識可能被刪除,隱式標識也需要平台、模型和檢測機構協同驗証。下一步應推動內容標識、生成日志、模型版本、水印驗証和平台傳播記錄銜接,建立可核驗、可調取的証據鏈,並對醫療、金融、公共安全等高風險內容設置更嚴格的真實性校驗和人工復核要求。

三是治理對象正由顯性內容向數據與模型深層延伸。低質內容、虛假信息一旦回流訓練語料,可能污染后續模型輸出。因此,治理不能止於“刪帖封號”,還應把訓練數據來源、版權授權、質量評估和安全測試納入常態監管,建立重點領域數據審計和第三方評估機制。隻有把前端防輸入、中端控生成、末端治傳播和事后可追責貫通起來,才能把“人工智能污染”治理由被動處置轉向系統防治。

李少波:治理“人工智能污染”,短期最有效、最可落地的抓手,是把平台和應用入口作為第一道閘門,對高風險場景實施精准整治。謠言、換臉擬聲、虛假營銷、批量水文等雖由模型生成,卻仍需經由內容平台、應用商店、搜索服務和社交群組擴散。應督促平台將生成內容標識核驗、異常賬號識別、熱點事實核查、侵權投訴處置嵌入日常流程﹔對醫療、金融、未成年人保護、公共安全等領域,提高內容發布和人工復核門檻﹔對無標識傳播、惡意引流、批量操縱流量的行為,實行限流、下架、封禁與追責銜接。

這一路徑已有現實基礎。2025年“清朗·整治AI技術濫用”專項行動第一階段,累計處置違規AI產品3500余款、違法違規信息96萬余條。上海推動重點企業基本完成顯式標識規范上線,浙江平台累計攔截清理違法違規信息及提問2550萬余條﹔騰訊通過提高應用准入門檻和健全巡查機制,駁回、處置違規小程序和應用等共計570余款。這表明,聚焦產品准入、內容分發和賬號運營,能夠較快切斷污染的生產和擴散鏈條。

短期整治不能停留在“見一條刪一條”。《人工智能生成合成內容標識辦法》已明確顯式標識、隱式標識以及平台核驗責任,關鍵在於推動標識成為跨平台流轉的通行規則。用戶看到的是否由人工智能生成,平台能否識別內容是否經過篡改,執法部門能否追溯生成主體和傳播鏈條,皆應形成閉環。對於惡意規避標識、利用合成內容實施詐騙和侵權的,應提高違法成本,不能讓技術便利轉化為規避責任的便利。

從長期看,治理重點應由末端內容清理轉向全生命周期建設,形成“數據進得干淨、模型生成可控、內容傳播可驗、侵權失范可追”的治理體系。首先,建立訓練數據分級分類、來源登記、版權授權和質量評估制度,特別是對新聞、學術、醫療等高價值語料加強真實性與權利狀態審查,防止低質生成內容回流訓練,造成模型能力退化。其次,推動模型開發者、應用提供者、內容平台和使用者按照風險程度承擔相應義務,不能以“技術中立”模糊責任邊界。再次,建立由監管部門、平台企業、專業機構、行業協會共同參與的評測和申訴機制,對檢測誤判、版權爭議、深度偽造等問題提供可核驗、可救濟的處理渠道。

彭晨明:“人工智能污染”治理不能僅指向內容創作者,而應遵循“能力越強、控制越多、受益越大,責任越重”的原則,依照生成、分發、使用三個環節作出差異化安排。企業守住技術源頭,平台把住傳播關口,創作者承擔內容使用責任,三方共同維護真實、優質、有序的信息生態。

企業首先應承擔產品和服務安全的主體責任。模型開發者、應用服務提供者應對訓練數據來源、權利狀態和質量進行必要審查,防止虛假、低質、侵權數據進入訓練鏈條﹔在模型設計、訓練優化和服務提供中,完善安全測試、風險識別、生成日志留存和異常處置機制。對於深度偽造、批量生成、誘導欺詐等高風險能力,應設置合理的調用限制,完善人工審核。特別是面向公眾提供具有輿論屬性或社會動員能力服務的企業,應依法履行安全評估、備案等義務,不能以“通用工具”或“技術中立”回避責任。

內容平台承擔的是傳播治理責任。平台既掌握流量分發規則,也具備賬號管理、內容審核和投訴處置能力,不能隻在違法內容出現后被動刪除內容。應當核驗生成合成內容標識,對無標識、被篡改標識以及批量異常發布及時提示、限流或處置﹔優化推薦機制,避免以流量激勵低質水文、情緒操縱和虛假營銷﹔暢通侵權投訴、辟謠糾錯和申訴渠道。在醫療、金融、新聞、公共安全等高風險場景,平台尤其應提高信息核驗和人工復核標准。

創作者和普通使用者則應承擔真實表達、尊重權利和審慎傳播的責任。在使用人工智能輔助創作過程中,不能用機器生成替代事實核查,不能虛構新聞、偽造引文、冒用他人肖像聲音,或以洗稿、刷量、詐騙等方式牟利。對人工智能深度參與生成且可能影響公眾判斷的內容,應依規作出標識。事實上,專業媒體、學者和優質創作者通過事實核驗、原創生產和公眾科普等手段樹立公信力,更易成為人工智能時代提升信息生態質量的重要力量。

(責編:黃瑾、萬鵬)
微信“掃一掃”添加“學習大國”

微信“掃一掃”添加“學習大國”

分享到:
推薦閱讀