中央网信办深入整治AI应用乱象，通报一批典型案例

近期，中央网信办组织开展“清朗·整治AI应用乱象”专项行动第二阶段工作，聚焦利用AI制作发布虚假信息、传播暴力低俗内容、假冒仿冒他人、侵害未成年人权益等突出问题，部署各地网信部门深入推进重点整治任务，督促网站平台集中清理AI生成各类违法不良信息，依法查处违规账号和移动应用程序，有效遏制AI生成合成信息内容乱象，推动AI应用服务健康有序发展。截至目前，累计清理违法违规信息561万余条，查处账号4.9万余个，处置违规网站、应用程序等2400余个。

专项行动开展以来，各地网信部门切实履行属地监管责任，因地制宜推出一系列针对性治理措施。北京网信办指导网站平台全面升级审核策略，持续提升违规内容新型变体识别处置能力。上海网信办督促平台深入开展自查自纠，加大违法违规信息和账号查处力度，推出AI应用“知识普及包”引导公众识别问题风险。浙江网信办对属地重点平台开展“一企一策”问诊进行合规指导，督促完善内控体系，依法查处一批问题突出的AI应用软件。广东网信办召开重点网站平台工作例会，对多款应用违规问题开展点对点督促整改，确保专项行动取得实效。

网站平台积极响应专项行动部署安排，持续健全AI内容常态化治理机制。抖音、快手、微博、腾讯、百度、哔哩哔哩、小红书、知乎、豆瓣、淘宝等平台进一步强化技术赋能，优化多模态识别模型，动态扩充人脸库、声纹库和违规样本库，上线人脸实时治理系统等功能措施，提升违规内容智能检测和拦截效率，加大对违规账号、信息处置力度，畅通线索举报渠道，累计发布各类治理公告46期。豆包、元宝、千问、文心一言等平台严把原始语料内容审核关，严格限制违规内容输出，强化AI生成合成内容标识要求落地，从源头防范违法违规信息生成传播。华为、小米、OPPO、vivo等应用商店制定严格的APP开发者准入规范和上架要求，对在架APP进行抽检复测，有效拦截违规应用入库。

专项行动期间，一批违法违规账号和应用受到处理。为进一步加强警示教育，现将部分典型案例通报如下：

1.利用AI“魔改”经典、生成“数字泔水”。微博账号“天**小”、抖音账号“歪**国”、快手账号“小*菌”、微信账号“咸*i”等，滥用AI技术“魔改”《三国演义》《西游记》等经典名著，颠覆重要人物人设，虚构低质猎奇剧情博取流量。相关账号已被依法依约处置。

2.AI制作发布虚假不实信息。快手账号“云**视”、小红书账号“有*头”、抖音账号“7**员”、微信账号“长**帆”等，利用AI生成合成虚假灾害现场、救援画面，编造不实社会热点信息，发布封建迷信内容，打造AI数字人进行虚假宣传带货，误导老年人，制造恐慌情绪。相关账号已被依法依约处置。

3.AI假冒仿冒他人。抖音账号“特**力”、快手账号“石*”、小红书账号“潮**件”、微信账号“M**勒”等，利用AI“换脸”“换声”等技术，假冒仿冒公众人物形象，生成合成低俗舞蹈、拥抱接吻等图片视频，借机营销牟利。相关账号已被依法依约处置。

4.制作发布暴力低俗等信息。哔哩哔哩账号“带**着”、抖音账号“波**C”、快手账号“虾**诡”、微信账号“星**7”等，批量发布AI生成合成的含有恐怖诡异、暴力低俗等画面内容。相关账号已被依法依约处置。

5.AI侵害未成年人权益。小红书账号“小**娃”、微信账号“豆*a”、抖音账号“半**历”、快手账号“若**雪”等，发布AI生成合成未成年人怀孕、打架等与其年龄特点不符的内容，批量制作传播“毒动画”、儿童“虐向”“邪典”视频，伤害、恶搞未成年人形象，影响未成年人身心健康。相关账号已被依法依约处置。

6.利用AI“托管”从事网络水军活动。微信账号“涛**客”、微博账号“A**师”、抖音账号“风*”等，为AI“托管”软件引流，模拟真人运营账号、评论互动，生成大量低质同质文案。相关账号已被依法依约处置。

7.AI产品服务和应用程序违规。“N**t”“穿**元”“甜*圈”“芋**o”等网站平台多个智能体封面、简介和生成对话中含有淫秽色情及其他危害未成年人身心健康的信息，严重破坏网络生态。对拒不改正的，依法予以查处，按程序采取警告、罚款、下架或关闭等措施。

下一步，网信部门将在总结专项行动治理成效的基础上，进一步把握人工智能发展趋势和规律，密切关注AI生成合成内容新情况新风险，及时采取有效措施防范AI技术滥用恶用，持续为人工智能创新发展营造良好环境。