《南方都市報》2023年7月21日A10版見報。

日前，中央網信辦開展為期2個月的“清朗·2023年暑期未成年人網絡環境整治”專項行動，整治重點聚焦包括“AI換臉”“AI繪圖”等在內的新技術新應用風險問題。南都記者調查發現，隨著AI技術的普及，其帶來的隱患在網絡中廣泛存在。其中，AI繪圖不僅輕松生成涉及未成年人的低俗色情圖片視頻，AI換臉生成說話視頻僅需幾十元，這些新技術的產生正在給未成年人帶來看不見的隱患和風險。

賣方：有“AI繪圖”涉未成年軟色情

2019年，國家互聯網信息辦公室發布的《兒童個人網絡信息保護規定》于同年10月1日執行，里面對兒童個人網絡信息保護做了詳細規定。其中，兒童個人信息影響最為惡劣的，是持有、傳播兒童色情信息。

南都記者注意到，近期有網友反映在國內的一些視頻網站上已出現了涉嫌兒童色情的AI繪圖內容，聲稱一些博主訓練AI，將女童的臉放在各種有挑逗意味的動作上，讓幼童向鏡頭掀裙子、穿“下衣失蹤裝”，并附有圖文。微博上，一篇強烈抨擊AI繪圖生成“二次元女童懷孕照”的熱帖，獲得了網友上萬點贊。

南都記者進一步調查發現，一些視頻網站正為此類AI生成的未成年軟色情圖片、視頻提供傳播渠道。在搜索實測中，記者輕松就能搜索出很多衣著暴露、姿勢帶有性暗示的AI生成女性圖片。如果關鍵詞再詳細一點，也不乏未成年女孩的軟色情生成圖片。有發布視頻的人更在評論區留下圖片鏈接，以換取觀眾的點贊和關注；也有人留下QQ號和聯系方式用來“接單”，聲稱如有具體需求，可在繪圖模型中設置詳細描述詞生成。

暗訪中記者還發現，在電商平臺上，可搜索出大量利用打著“AI繪圖”“AI換臉”等旗號生成美女視頻的店家?！吧倒鲜讲僮?，小白輕松上手，海量關鍵詞描述免費使用”，一店家打著上述廣告語，表示只需要輸入一系列關鍵詞就可智能生成自己想要的圖片。

嘗試購買后，客服會發送來云鏈接和提取碼，其售賣內容包含SD模型包、繪畫速成、變現方式及安裝說明。在對方發來的圖片素材和描述詞匯中，不少涉及低俗色情內容，且輕松便能生成未成年少女的軟色情圖。此外，評論處還曬出了不少由AI生成的學生圖片，這些少女看上去臉龐幼稚、姿勢帶有未成年軟色情的擦邊之嫌。

買方：未成年也能購買“AI脫衣”產品

今年3月，一則“女子地鐵照被AI一鍵脫衣”的消息沖上微博熱搜。照片上的女子是一名博主，在社交平臺發布了一組在地鐵上拍攝的穿搭照片，卻被人用AI軟件“一鍵脫衣”，故意在網上散播。對此，該博主表示會采取相應的維權措施，并希望能夠引起人們對于隱私權和個人形象保護的關注。

其實，“AI脫衣”的危害甚至禍及未成年人。記者通過商家了解到，部分AI繪圖軟件同樣支持一鍵脫衣。一名賣家聲稱自己“資源眾多”，不僅售賣繪圖軟件，還有海量圖片素材，在網頁詳細地將圖集分為“二次元”“國風”“動漫”“機甲”等多個種類，在對方介紹的圖片素材中，出現了“女孩”“少女”等多個字眼。還有商家表示專門售賣“AI繪畫校服寫真”的圖片素材，形象為穿著校服的女學生，卻衣著暴露、表情挑逗。

這些提供“AI脫衣”相關技術或服務的商家，有的會通過隱藏的地址逃避監管，輸入驗證碼后方可查看；還有的需要先關注某公眾號，再發送暗號兩字獲取驗證碼；或者是通過客服咨詢，在對話中對方提供網頁鏈接，通過鏈接下載最新版的APP。記者實測發現，對于這些軟件下載，未成年人無需進行身份識別，輸入關鍵詞找到渠道便可輕易操作。

除了生成低俗色情圖片視頻外，這些新技術也容易在其他渠道上帶來風險和隱患。

記者在短視頻平臺進行檢索，會彈出大量相關的短視頻廣告，下附AI換臉軟件的鏈接。在一款叫“AI隨拍”的軟件鏈接后，各式各樣的明星、素人短視頻浮現在主頁上。只需觀看25秒的廣告，就可以用這款APP免費制作一個十多秒的視頻。通常，這些短視頻下方都附有下載鏈接，廣告流量可觀，很多視頻評論過千，轉發量過萬。

除此之外，記者在電商平臺上搜索發現多個商家頁面，支持面容轉換一步到位，月銷量數百乃至上千。有客服向記者表示，其售賣的是一款軟件，無論是圖片或是視頻都支持一鍵換臉，售賣價格僅幾十元。

專家：壓實平臺主體責任 探索集體訴訟制度

對此，中國互聯網協會法工委副秘書長胡鋼認為，人工智能，特別是以ChatGPT為代表的生成式人工智能，已經引發新一輪顛覆性技術革命，并給全人類帶來巨大機遇和強勁挑戰。而近年來，我國先后發布的《生成式人工智能服務管理暫行辦法》《互聯網信息服務算法推薦管理規定》《互聯網信息服務深度合成管理規定》等，就是對人工智能法律體系的細化完善。

中國社會科學院大學互聯網法治研究中心執行主任劉曉春則認為，傳統對于軟色情等不良信息治理更多基于傳播端的控制，比如禁止傳播或者限制傳播，有專門的內容生產者，用戶只需要獲取再進一步的傳播?！岸F在的難題恰恰在于AI技術能使內容生產變得非常簡單，不需要專業的人士和機構，每個人都能成為生成者，那么以前對于傳播環節的控制就有點失靈了。”

劉曉春表示，現在要做的，除了沿用傳統對不良信息傳播端口的控制，還要轉變為對技術工具本身、包括對技術工具開發過程的干預和控制?！氨热缭谝恍└唢L險場景下，要求這些AI工具提供標識，在生成的圖片視頻中標明合成及非真實的，或在AI工具中插入隱性標識，能夠追溯特定的工具和使用用戶?！倍卫淼闹攸c，要針對一些關鍵環節去介入，比如能獲取這些不良信息的電商平臺、APP應用市場、包括直播間等，對其進行嚴格的控制及作出相應的處罰，壓實平臺責任主體。

而此次中央網信辦專項行動聚焦的七大重點之一，即劍指新技術新應用風險問題，包括利用“AI換臉”“AI繪圖”“AI一鍵脫衣”等技術生成涉未成年人低俗色情圖片視頻等?！罢f明問題已經凸顯出來，引起了有關部門的重視，并把它作為重點打擊的對象。”劉曉春說，希望有關部門能有一些更創新的治理舉措，并針對性地采取舉措，“相信總體還是可控的?！?/p>

關于國內人工智能治理與維權，胡鋼表示，要深化消保組織和檢察機關消費公益訴訟機制，探索建立消費者集體訴訟制度，進一步完善行政監管、民事公益訴訟、民事私益訴訟、綜合調處銜接協調機制，構建及時、高效、一體化、網絡化的消費糾紛解決機制。

總第013期

出品：南都記者幫

采寫：南都記者 張思琦 實習生 姚楚翹