用户只需上传一张生活照,便可一键 生成个人军装照、警察照……“新华视点” 记者调查发现,一些 AI 工具推出“换装” 功能,引发不少军警迷的追捧。但是,有 不法分子利用“AI 换装”功能,伪造军警 身份招摇撞骗,亟待引起警惕。
AI 生成制服照被滥用
记者以“AI 换军装”为关键词,在 部分短视频平台搜索到多款相关应用。这 些应用以“穿电子军装过把瘾”“AI 圆了 我儿时梦”等为亮点吸引用户。有网民称, 只需上传一张生活照,即可“秒变军人”, 配上战车、阅兵场等背景,感觉圆了自己 的“从军梦”。
当下一些流行的 AI 工具提供的 AI 生图功能,也可以按使用者要求,实现 AI 变装。然而,“AI 换装”被一些人不当 或不法使用,可能引发负面效应。
相关专家在观看部分AI 换装视频后 指出,不少换装的军人形象并不符合《中 国人民解放军内务条令》规定的着装规范, 有的混淆军种制式,有的使用假勋章,有 的拼凑不同国家军服元素。
江苏大学管理学院党委书记、教授 马国建表示,个别网民用 AI 将不同国家、 军种制式的军服混搭,有的甚至把手持烟 酒、勾肩搭背的生活照合成军装或警服照 片、视频,与我军警应有的形象不符,是 对军人和警察形象的不当消费。
个别网民借 AI 生成虚假人民警察 证、部队任命书。今年3月,安徽黄山市屯 溪区网民江某利用 AI 技术合成身穿军装的照片,并在社交平台发布“经军委同意, 任命我为黄山军分区司令员”的虚假信息, 意图博取流量。该行为造成不良社会影响, 江某被当地公安机关处以治安处罚。
有的不法分子借助“AI 换装”技术 伪造身份,招摇撞骗。
今年4月,江苏省江阴市人民法院对 一起冒充军人招摇撞骗案作出判决。网民 路某并非现役军人,却盗用网络上军人训 练的照片发布在短视频平台上 ;收获不少 点赞后,他又用 AI 将自己的头像合成到 军装照上,并花钱伪造军官证,摇身变成 “少校军官”。在骗取6名女性信任后,他以 “车祸”“租车见领导”等借口诈骗3万多元。 法院以冒充军人招摇撞骗罪判处其有期徒 刑2年。
今年7月,江苏常州的唐大妈遭遇一 场精心设计的骗局 :诈骗分子通过 AI 视 频与受害人接触,视频中,对方身着带有 公安标志的制服,以“涉案”为由恐吓老 人缴纳高额“保证金”。好在警方及时预警 并上门劝阻,避免了老人的财产损失。
平台审核缺位,变造制服照“零门槛”
记者在某社交平台上浏览到一些网友 发布 AI 变装视频,通过视频下方小程序 链接进入后,按要求上传三张本人面部清 晰的照片;系统经过十几分钟的 AI 合成, 便生成了军装变装视频。这期间,平台和 小程序并未要求上传身份证明信息,也没 有给出不得将合成视频用于违法违规领域 的提示。
9月1日起施行的《人工智能生成合成内容标识办法》要求 AI 合成内容必须明 确标注,但记者在使用多款 AI 换装应用 后发现,用户合成发布的视频并未标注, 容易让人产生混淆。
AI 变装技术,降低了伪造身份的技 术门槛。在某购物平台上,记者以“AI+ 军装照”为关键词,搜索到有商家公开出 售佩戴军衔的各军种和警察服装模板素 材。店家表示,只需要花不到一元钱的价 格就可拍下所有这些素材。
记者拍下后,店家很快发来一个网盘 链接,内部有数十款供 P 图的军装模板文 件,用户可根据需要的款式和级别,通过 PS 或 AI 等方式将自己的头部肖像替换上 去。记者尝试将 AI 生成的军装照和肖像 照用于多款社交平台账号,发现并无审核 难度,均可正常替换。
北京市炜衡律师事务所律师汪高峰 说,一些内容平台和第三方软件疏于审核, 纵容虚假内容传播,可能会降低公众对军 人、警察职业的信任度和敬畏感。
江苏省政府参事室特约研究员丁宏表 示,AI 降低了伪造身份的技术门槛,网络 上曾出现 AI 合成的警察抓人视频并配上 所谓警情通报,涉嫌传播违法有害信息。 这些内容可能误导公众,引发不必要恐慌, 扰乱正常社会秩序。
国家网信办不久前发布了一起执法典 型案例 :浙江某公司运营的 App 提供视 频换脸、图片换脸、照片舞动配音等图片 处理功能,用户可对上传图片、视频中的 人物进行换脸,但未按规定落实安全评估 要求,相关深度合成内容也未作显著标识,存在较大安全风险,违反《互联网信息服 务深度合成管理规定》《生成式人工智能 服务管理暂行办法》等规定。网信部门责 令平台对该 App 予以下架处置。
加强审查审核,防止滥用“AI 换装”
《人工智能生成合成内容标识办法》 明确,服务提供者提供生成合成内容下载、 复制、导出等功能时,应当确保文件中含 有满足要求的显式标识 ;任何组织和个人 不得恶意删除、篡改、伪造、隐匿办法规 定的生成合成内容标识。
国家网信办等十部门今年印发的《互 联网军事信息传播管理办法》规定,互联 网军事信息服务提供者和用户使用深度合 成、生成式人工智能等新技术新应用,不 得损害人民军队形象。
汪高峰等法律人士建议,AI 开发者 在算法设计中应加强合规性审查,对警察 和军队标识等敏感信息内容的使用,应在 相关部门指导下,严格把关审核。平台方 应该严格落实《人工智能生成合成内容标 识办法》,对“AI 换装”类产品添加明显 标识,并建立审核机制,对违规内容及时 下架封禁。
丁宏建议,加快相关立法进程,强化 刑事司法衔接。相关部门尽快明确 AI 涉 军涉警等图像的使用边界、责任划分及法 律后果,特别是对刻意丑化军人警察形象、 借机实施招摇撞骗等行为,要依法依规严 肃处理,形成法律震慑 ;对可能影响国家 安全、造成社会危害的行为,追究 AI 工 具开发者和内容平台的连带责任。
马国建呼吁,提高公众对军人、警察 等职业形象重要性的认识,普及相关知识, 引导公众自觉抵制、检举错误内容、违规 应用。加强 AI 生成合成内容标识方法的 宣传推广,降低公众被欺骗、误导的风险。
据新华社