上海 AI 应用乱象整治首阶段收官：处置违规账号 1.8 万余个，下架智能体 1.4 万余个 - 狗子28平台

上海市委网信办今日公布了“清朗 · 整治 AI 应用乱象”专项行动第一阶段的成果。

该专项行动自 2026 年 4 月下旬启动，旨在解决七类突出问题，包括未履行大模型备案登记义务、安全审核能力不足、大模型训练语料安全、AI 数据投毒、生成合成内容标识不到位、滥用 AI 技术进行违法违规活动以及开源模型安全管理不足。

在 5 月 13 日，上海市委网信办召集了 17 家重点网站平台，涵盖 AI 平台、互联网内容平台、电商平台、应用商店和开源社区，部署了具体的治理要求，并指导平台改进安全和举报机制。随后，稀宇、千问、小红书、哔哩哔哩、拼多多等平台于 5 月 15 日发布了治理公告，上海举报中心官网也开通了专项举报渠道，目前已收到 20 余件与 AI 相关的违法不良信息举报及市民反映线索。

在第一阶段行动中，上海市委网信办指导这 17 家重点平台进行了自查自纠。累计清理和拦截了超过 487 万条涉及 AI 标识缺失的工具和教程、数据投毒、未经授权的“换脸拟声”、AI 制谣传谣以及 AI 低俗内容等违法违规信息。同时，处置了超过 1.8 万个违规账号，下架了超过 1.4 万个违规智能体，并处置了 1300 余个违规商品。对于屡次违规的账号，采取了阶梯式约束和封禁措施。各平台也根据自身特点进行了治理：稀宇下架了“一键脱衣”、赌球博彩等违规智能体，并打击了利用 AI 编写病毒、钓鱼软件等行为；小红书打击了 AI 托管运营账号，禁售了去 AI 标识商品，并推进了隐式标识的互认；哔哩哔哩在内容发布页面强化了“AI 生成”的必选标签提示；魔搭社区清理了涉低俗等违规数据集，并加强了对开源模型的审核管理。此外，上海市委网信办还委托 3 家专业机构对 32 款用户量大、影响力高的 AI 产品进行了巡查测试，并对 4 家企业进行了现场检查，重点督导了 AI 标识落实不到位和平台安全审核能力不足等问题。

在协同治理方面，上海市委网信办加强了上海市大模型合规指导服务中心与各区委网信办的合作，举办了 16 场 AI 安全合规培训活动，并对“应备未备”服务进行了排查和评估。目前，上海已完成 169 款大模型的备案，以及 183 款调用已备案模型 API 的生成式人工智能应用登记。在重点领域，通过举办主题沙龙推动治理协同，并联合市数据局优化政务智能应用测评验证中心，制定安全规范。同时，依托医疗大模型应用检测验证中心保障医疗 AI 应用安全，并联动市市场监管局调研头部 GEO 企业，探索源头治理。

为落实未成年人保护和拟人化 AI 服务规范，上海市委网信办围绕即将于 2026 年 7 月 15 日生效的《人工智能拟人化互动服务管理暂行办法》，向近百家重点平台进行了法规宣贯，指导企业推进合规建设。针对未成年人模式虚设、身份核验失效和不良内容生成等风险，督导企业严格落实身份核验，防范情感依赖和消费诱导，并对存在突出问题的应用进行了监管执法。

据悉，专项行动的第二阶段将重点关注利用 AI 技术生成“数字泔水”、制作发布虚假信息、散播暴力低俗内容、仿冒他人、侵害未成年人权益以及从事网络水军活动等问题，并将持续清理违法不良信息，依法处置违规账号和平台。在此期间，上海市委网信办将继续通过专项举报入口接收公众提供的违规线索。