王者之魏

2025年08月19日 12:57

941

ai 米老鼠 AI生图审核惹争议：米老鼠抽烟，特朗普接吻，海绵宝宝穿纳粹服

AI生图审核惹争议：米老鼠抽烟，特朗普接吻，海绵宝宝穿纳粹服

编译 | 徐豫编辑 | 漠影

智东西9月3日消息，据《华尔街日报》9月2日报道，近期一些带有戏谑意味、政治误导性的AI图像在社交媒体平台X上流传，例如“特朗普与哈里斯缠绵”、“奥巴马吸食可卡因”、“米奇拿枪”等，画面内容令用户感到迷惑和不适。

这些AI图像由Grok-2、Gemini等AI大模型生成。Grok-2由马斯克创办的美国AI大模型独角兽xAI研发，Gemini来自美国科技巨头谷歌。

近期，谷歌一直在完善其AI图像生成内容的审核机制，以尽可能避免AI输出带有偏见、歧义、错误、种族主义、违背历史事实等方面的内容。

针对类似的问题，此前美国AI大模型独角兽OpenAI，已禁止利用AI生成指向性明确的人物形象，来加强AI图像生成内容审核力度。

一、xAI新一代大模型Grok-2，默许政治人物被恶搞

打开社交媒体平台X（原Twitter），你可能会看到这些“雷人”画面：米老鼠喝啤酒，海绵宝宝穿纳粹制服，美国前总统唐纳德·特朗普（Donald Trump）与美国副总统卡玛拉·哈里斯（Kamala Harris）接吻。

这些令人费解、不适的图像，都是用xAI和谷歌的生成式AI新模型或软件生成的。

▲利用AI技术生成的图像，特朗普“公主抱”哈里斯，人物肖像清晰（图源：《华尔街日报》）

8月14日，xAI推出下一代大语言模型Grok-2。模型发布后的几天内，X平台涌入了大量据说是用Grok-2生成的图像。在这些画面中，“死对头”特朗普与哈里斯动作亲密，童话世界里的米奇却拿枪、抽烟。这些利用生成式AI技术制作的图像，不仅损害了政治人物形象，还令有版权的角色做出一些带有冒犯意味的动作。“迪士尼如果看到，可能也笑不出来。”

Grok-2大语言模型由德国AI图像和视频生成创企Black Forest Labs提供支持，目前仅向X平台的付费订阅用户开放。

根据X平台的政策，用户禁止分享可能混淆或误导事实、人为刻意伪造的，以及最终导致人身或财产伤害的内容。Grok-2发布当天的晚些时候，虽然部分违规的AI图像已无法在X平台上检索出来，但用户仍可以使用Grok-2生成充斥“恶趣味”的新作品。

然而，X平台的实控人马斯克，似乎并不介意这种恶搞政治的行为。今年7月，他转发了一段深度伪造哈里斯的虚假视频，视频中哈里斯自称为“最终的多元化雇员”。

有内容审核方面的专家称，类似的生成式AI工具可能会在美国大选周期中，生成一些虚假信息，甚至扩散到社会面。

8月19日，2024美国民主党全国代表大会开幕的前一天，特朗普发布了一张疑似用AI生成的图像。当时，由于美国现任总统拜登已放弃连任，经过党内投票后，这幅AI图像的主角哈里斯已提前锁定民主党总统候选人提名。

而图像中描绘了“哈里斯在芝加哥发表演讲”的现场情况，其背景中有一面镰刀和锤子图案的红旗，似乎在暗示哈里斯是共产主义者，从而引发政治争议。

二、谷歌Gemini大模型屡屡翻车，涉敏感元素就黑白不分

谷歌的Gemini聊天机器人，由其同名大语言模型Gemini支持。

在今年2月推出新版Gemini聊天机器人之前，谷歌曾调试Gemini模型，使其遇到涉及生成人物的指令时，能反馈更多样化、属性更模糊的人物形象。

例如，之前在生成医生图像时，AI通常更倾向于给出白人男性的形象。谷歌希望能通过“多样化”的方式，来减少AI图像生成模型的“偏见”。

但不到一个月，Gemini模型就捅了大篓子。该模型在生成“具有种族多样性”的图像时，出现错误匹配宗教、种族、性别等情况，以至于得到多张不符合历史事实的人物图像。受到大量网友的抨击后，谷歌决定暂停Gemini模型的图像生成功能，为AI图像生成的潜在风险踩下“急刹车”。

谷歌副总裁兼Gemini聊天机器人负责人Sissie Hsiao，在近期的一次采访中，称确保AI模型听从用户指令，是谷歌坚持的原则。“这是用户的Gemini，我们是为用户服务的。”

尽管如此，使用Gemini聊天机器人生成的部分图像，仍存在违背历史事实的情况。不少X平台的用户截图质疑谷歌模型的内容审核能力。

对于Gemini模型输出带有冒犯意味的、种族偏见的内容，谷歌CEO Sundar Pichai回应称，“这是不可接受的”，该公司将“全面解决这一问题”。

不过，谷歌最近因利用AI技术生成的画面内容不严谨，再次激怒了用户。

8月中旬，谷歌最新一代智能手机Pixel 9系列上市。Pixel 9系列引入了一个名为“Reimagine”的AI照片编辑工具，因此用户可以通过输入文本提示，来调用AI修改照片中的内容。

但有用户发现，Reimagine允许用户添加一些违规元素，比如为海绵宝宝“佩戴”纳粹标志。这一内容安全漏洞引起用户的反感。

一位谷歌发言人称，该公司正在“不断加强和完善AI模型现有的安全防护措施”。

谷歌今年8月底曾透露，其AI聊天机器人Gemini将重新上线人物图像生成功能，该功能初期仅面向付费订阅的英语用户开放。同时，谷歌已在AI图像生成审核方面取得“重大进展”，不过Gemini生成的图像也“不可能每一张都准确无误”。

三、AI生图的伦理、法律边界，待建立行业标杆

当前，AI图像生成软件不断试探社交媒体平台政策的底线。这种现象引发了争论和反思，比如科技公司是否应该控制，又如何审核前沿的AI图像生成软件所输出的内容呢？

在把生成式AI技术开放给网友用于自由创作前，AI图像生成软件配备有效的安全防护措施，以确保AI生成的作品不违规、不触犯道德准则。这是科技公司在AI内容审核上面临的压力。

除了伦理困境之外，AI模型和软件背后的开发者，还需要背负许多潜在的法律责任。这是由于他们在训练AI模型和软件时，所用的训练数据涉及侵犯知识产权等权利。

因涉嫌侵权，2023年艺术家们对AI图像创企Stability AI和Midjourney发起集体诉讼。这次集体诉讼的对象还包括DeviantArt、Runway等一系列拥有AI图像生成模型的公司。

此外，除了来自艺术家们的集体诉讼外，Stability AI还面临美国视觉媒体公司Getty Images的诉讼。后者指控Stability AI侵犯了其训练模型的权利。对此，Getty Images的一位发言人称，该公司现已推出了自己的AI图像生成模型。

OpenAI于2022年推出了AI图像生成模型DALL-E。去年收到艺术家们的集体诉讼后，OpenAI为此在DALL-E模型界面新增了一个选项，允许创作者勾选个人上传图像不用于DALL-E下一代模型的训练。

《华尔街日报》的母公司News Corp已与OpenAI签订了内容许可协议。得益于此，在一定限度内，OpenAI可以自由访问、采集News Corp现有的媒体资源。

“我们终究会搞清楚这一点。”知识产权保护律师Geoffrey Lottenberg称，这类涉AI知识版权的法律纠纷可能会为AI法律边界开创先例。那么，其他AI公司训练其模型和聊天机器人的时候，可以使用哪些图片、视频等数据也就有了参考标准。

结语：谷歌、OpenAI积极纠偏，xAI反其道而行之

AI图像生成软件在生成特定、知名人物图像方面的能力，是这轮AI内容审核争议的主要矛盾点之一。

包括谷歌和OpenAI在内，多家科技公司都禁止用AI图像生成软件，来创作包含特定人物的、角色易辨认的AI作品。

出于xAI创始人马斯克对言论自由的坚持，xAI的Grok-2大模型选择保留特定人物、角色的图像生成功能。然而，此举导致xAI遭到科技行业监督机构的批评。

加州大学洛杉矶分校的Sarah T. Roberts教授致力于内容审核研究。她认为，用户会利用AI前沿技术深度伪造视频、声音、照片等，用于传播虚假信息。

Roberts补充道，传统社交媒体中存在的所有问题，生成式AI也依然需要面对，并且更难以检测。尤其是使用AI技术生成的图像等视觉内容，有时候更容易让人信服。

宾夕法尼亚大学教授Pinar Yildirim称，平台试图设立一些规则，比如通过禁用关键词来阻止AI技术的滥用。但与此同时，用户也能找到安全漏洞，绕开这些规则限制，从而获取他们想要的内容。“用户会变得更聪明，最终还是能通过钻空子来创作违规内容。”Yildirim说道。

来源：《华尔街日报》

李聪廷：通用大模型被少量科技巨头掌握，AI能带来技术和知识平权吗？

2023年迄今为止最热门的话题，莫过于ChatGPT。大语言模型和由此带来的AIGC技术，将带来一场技术平权和知识平权。AI技术将不再是AI公司、行业巨头们的专属。5月9日，宇视科技CEO张鹏国在乌镇的一场演讲中，将这比喻为从繁体字到简体字的变革。在AIoT合作伙伴峰会上，宇视发布了行业大模型“梧桐”。

为什么一家并非互联网大厂，而是物联网行业以摄像头等硬件设备闻名的企业，也把AIGC技术作为业务的试验场？AIGC会改变物联网行业，进而在社会生活中改变我们在社会管理、交通管理等诸多场景中的面貌和格局吗？

带着这些疑问，观察者网和宇视AI首席科学家李聪廷聊了聊AIGC对物联网和社会生活的影响。

《流浪地球2》中的宇视设备

观察者网： 如何理解“小模型+大样本”变成“大模型+小样本”的趋势，是不是有业务场景的用户，因为更低的数据标注和算法训练成本，能以更低价格用得起AI解决方案？比如我们媒体想用一个大模型来开展AIGC业务，如辅助新闻写作、鉴别假新闻等，但我们经费不多，可以提供喂食的行业数据也有限，是不是我们链接一个“大模型”的底座，真正需要针对我们业务特点重新调整的成本就很低了，是这个意思吗？

李聪廷： 对。回顾过去“小模型+大样本”开发模式，一个高精度的模型，训练参数量在百万级，训练样本量在几十万级，最高可能到千万级。几千或几万也可以生成模型，但精度不够高、场景适应性不够好。总的来说，“小模型+大样本”开发模式，研发门槛高、成本高、周期长。

通用大模型本身，是基于海量数据训练起来的，数据量远远多于小模型的训练数据量。通用大模型可以做的工作非常多，特别是在创作领域。但我们AIoT行业，绝大多数应用需要的是精确，而不仅仅是“全能”，通用大模型的精度受限会使得在AIoT行业难以应用。

因此我们创新的提出行业大模型的模式，所谓行业大模型即“通用大模型+行业场景+训练调优”，扬长避短。行业大模型将开启“大模型+小样本”的新模式，经过少量的来自行业场景的小样本学习，即可取得一个比较好的精度；同时由于受限应用场景，模型参数量又会比通用大模型小很多，意味着边缘端部署成为可能。

您提到的辅助新闻写作、鉴别假新闻应用，理论上也是可以通过这样去做。所以未来可能会有很多垂直的行业大模型的公司来解决行业应用问题。

科技巨头生成通用大模型，以通用大模型为底座，垂直行业公司提供行业大模型，这将会是未来比较务实和普遍的方式。大家不用重复造轮子，新的AI模型开发和应用模式将降低AI应用落地的成本。

观察者网： 如果这个趋势成立，用户用很低的代价就可以接入到大模型的底座上面，享受他的服务，那么确实会掀起一场AI平权的革命，涌现出许多新业态。从我们媒体行业看，许多角色身份、生产关系可能变革，比如机构和个人的内容生产力可能被渐渐拉平了。在AIoT行业可能会出现什么特征，会不会更加碎片化，对你们来说这是好事吗？

李聪廷： AIoT行业的特点是碎片化，过去只有不到10%的AI需求被满足，有的因为技术难以实现，有的因为实现代价太高、商业不闭环。

行业大模型的“大模型+小样本”新开发模式，一是因为大模型涌现的超强理解和逻辑能力使得过去有的技术难以实现的需求，能被实现了；二是需求实现的门槛降低、效率提升，使得商业闭环的概率大幅提升。因此，预计未来AIoT行业的50%的需求能被实现，其中只有20%会由宇视这样的解决方案和设备商实现，剩下30%由合作伙伴实现。

AI技术平权，对参与企业都是机会。能做的需求和应用更多，而且能让合作伙伴自己拥有差异化控制点，更好满足客户需求。

相信这样的变革不仅仅会发生在AIoT行业，也会发生在媒体行业，甚至各行各业。

AI绘制特朗普被捕的假照片

观察者网： AI平权和AI生成内容的泛滥肯定会带来一些问题，比如代写论文和作业、编造假新闻……而在物联网行业，则面临伪造的物理或生物信息造成的安全隐患。矛和盾的需求会同步增长，在反AIGC的方向上，目前的技术储备如何，盾能跟得上矛现在迅猛发展的势头吗？

李聪廷： 无论是恶意还是无意，AIGC的确存在“造假”的副作用，而且对我们“打假”的技术手段提出了更高的要求。

对“无意”的“造假”，我们更多的是从行业大模型本身去优化提升。比如，我们在问chatGPT这样的通用大模型推荐一款宝宝看家的摄像机时，它给的答案是有一些误导性的。经过AIoT行业场景训练调优的行业大模型，可以给出更“精确”的回答。

对“恶意”的“造假”，这更多需要我们反AIGC技术去鉴定、识别、阻止造假。举个例子，AIGC技术可能通过一张2D照片生成动态的人脸表情，从而骗过金融场景中的人脸验证环节，带来安全隐患。现阶段，反AIGC技术有一些人在研究，但仍是一个较小众的市场，但随着AIGC技术的普及，反AIGC需求的增长，必将拉动反AIGC的技术迭代，更多的科研机构和厂商投身其中。辩证的看，矛与盾的攻防，促进两类技术的快速迭代，技术水平螺旋上升。

观察者网： 你们这次发布有提到智能vlog，能解释一下这个业务逻辑吗，是否意味着AIGC业务也能用到你们的梧桐大模型？

李聪廷： 很多年轻人，去景区、乐园玩，希望把个人游玩的精彩瞬间记录下来、与景区沉浸式视觉体验融合，形成一段炫酷的小视频，最后与朋友分享、发朋友圈、发抖音等。

宇视的VLOG产品，很好的满足了这方面需求。它本身是基于景区和乐园场景的AI自动剪辑。AIGC大模型技术带来的变化是，将来我们可以将一些更加有趣炫酷的生成特效融入其中。

例如，一家三口出游，我们可以融入米老鼠等动漫明星；又比如，单身出游，把遗憾未能出行的女朋友虚拟地融入进去。梧桐的多模态行业大模型，第一个落地产品就是VLOG，将来用户可以有更多的玩法，更好的体验。当然对于合作伙伴来说，更多的流量、更多的收益分成。

观察者网： 因为我们是媒体，我们可能也有这方面的需求，比如说你们通过学习主持人，过往讲的所有的内容，然后再生成一个他的一个数字孪生。下一次我们只要输入文本，你们就能生成主持人，用他的数字孪生来播讲内容，呈现画面和声音，这个是能做到的吗？

李聪廷： 虚拟人数字孪生，这个概念出现的比较早，前几年“元宇宙”兴起带动了虚拟人数字孪生的发展，市面上有不少类似产品。但坦白的说，现在的技术效果普遍不够好，还有很多地方需要提升，此外，生成数字孪生人的成本需要降低。AIGC大模型，将大幅提升数字孪生人的体验和效果，这个只是时间问题。

观察者网： 对，但是我们媒体可能有大量的需求把文字视觉化，比如说文本其实我已经有了，不需要生成，但是我需要把这些文章变成一段视频，可能需要一个虚拟人来把它讲出来。像这样的业务，你们有没有考虑过和媒体合作。媒体用户有大量这样的需求。

李聪廷： 目前市面上已经有一些类似产品，只不过效果不够好，AIGC大模型技术还没有得到应用。随着AIGC大模型技术的逐渐产业化落地，将来效果一定会越来越好。我们在媒体创作领域不是专家，直接深入并提供最终产品的挑战大。目前先聚焦本身的AIoT赛道是比较务实的做法，将来有机会可以考虑拓展媒体创作领域的机会点。

观察者网： 物联网能采集到的信息，模态是非常丰富的，有物理上的声、光、热、电信息，还有各种化学、生物、地理信息。因为我们生活的场景本身就是多模态的环境。过去AI只能解决一些标准化的问题，比如人和车的识别。而通过大模型，这些沉睡的多模态数据如果盘活，是否意味着，未来更多复杂业务都有可能落地实现了？能设想几个过去还难以想象的案例吗？

李聪廷： 我觉得未来肯定会有一些复杂的业务会被实现。例如，GPT-4举的例子非常典型，它可以理解“VGA端子插入手机充电口的笑话”，这在过去是无法做到的。我们可以通过大量的训练学习，识别VGA端子、识别手机，但我们很难具有“VGA不能插入手机”这样的常识。大模型的理解力非常惊人，意味着过去一些技术难以实现的需求，可能被实现。

多模态，引入更多信息，这些信息的引入，在过去大部分时候是无效的，准确的说，是“无力”。因为过去，AI无法理解视频中的内容，只是对视频中的人和车的检测识别，更不用说多模态的理解应用了。举个例子，跌倒检测，躺在地上的人，和靠墙站的人，在相机画面中，通过人本身是很难区分的。他们都是头朝上，脚朝下。但引入大模型技术后，我们可以通过结合判断周围环境如桌椅的摆放等，区分人是躺在地上还是靠墙站。多模态引入更多信息，意味这将来能实现更复杂的AI需求，精度更高。

观察者网： 因为各种安全和隐私保密限制，物联网数据不像互联网数据那样容易公开获取，要唤醒沉睡的行业数据，让越来越多的公司张开怀抱去拥抱人工智能，目前在顶层设计上还要解决哪些问题？

李聪廷： 首先，合法合规是所有商业和产品落地的前提。顶层设计上，国家、国际上都出台了相应的数据安全保护法律。

第二，数据隐私是有分级的，像人、车牌等信息是高度涉密的，厂商不能轻易获取、留存。但有一些数据，如行为动作类、物体识别类、缺陷检测了，在经过合规评估后，是可以进行使用和训练学习的。

第三，我们前面提到的梧桐行业大模型，他本身是开放能力的。对于设计安全和隐私的场景，我们会交给客户自己去定义算法，数据在客户自己手上，我们只是提供能力。

观察者网： 物联网的另一个特点是边缘的算力有限制，计算放在云端又有时延，这会制约AIoT+多模态大模型吗？最后会撮合出不那么大，但更适合行业的“大模型”吗？

李聪廷： 现阶段，云边端都有大量AI落地，分工上，普通的AI任务在边和端落地为主，这样做更经济；一些复杂的AI任务在数据中心侧落地。

AIoT行业目前大多数AI应用的时延在可接受范围内。随着AI算力的提升，时延会越来越小。

AIGC大模型一开始在数据中心侧落地为主，加上本身计算量比较大，一定程度上会加大这个时延。这个时延大部分场景是可接受的，毕竟不是自动驾驶这类对时延极其敏感的场景。

另一方面，行业大模型的参数量没有通用大模型的参数量那么大，在边缘侧的部署应该很快就会到来。时延会比数据中心侧进一步降低一些。

总的来说，时延在AIoT行业应用，绝大多数场景，不是关键问题。

观察者网： 您预计一下边侧是要全部升级改造吗？

李聪廷： 从长线看，一定会升级，全部换代掉。但周期不是一蹴而就的，因为AIoT行业是比较碎片化的，它的款型都是有几千款甚至上万款，这个周期我觉得会非常像上一个12年到22年这样的10年周期，像深度学习对行业的第一次变革那样。预计10年后，几乎所有的AIoT产品都或多或少用了AIGC行业大模型的能力或技术。

观察者网： 现在各家都在宣传模型的参数量，特别是语言模型，从AIoT行业的应用落地看，模型的参数量是越大越好吗？

李聪廷： 这需要结合场景和应用来看。传统的人、机、非检测识别，周界类行为分析，小模型已经做的非常成熟了，够用了，短期内使用大模型必要性不大。对于其它长尾AI需求，大模型很有意义。但大模型也不是参数量越大越好，AIoT行业用自己的行业大模型就好了，参数量几十亿规模，不需要通用大模型动辄上千亿参数规模。最终，还是效果为王，不是参数量越大越好。另外，产业落地，成本始终是一个重要因素，要结合成本去定义产品和应用。

观察者网： 如果你们去选不同的大模型底座，去接入，那么你们会用什么角度来评判和选择？

李聪廷： 结果说话、实验数据说话。现在的“千模大战”，整个环境比较乱，大家很难看清真相。原创的通用大模型主要还是掌握在少量的科技巨头手里，前面也提到，算力、算法和数据的门槛很高，绝大多数企业无法企及。因此，也有不少企业是做行业大模型，构建在通用大模型之上。宇视是AIoT行业最早提出并发布行业大模型的厂商。当然，也有一些可能是基于插件或开源模型做应用的。不管哪种模式，最终都是以谁能提供最优的产品和服务，谁能最先落地为考量项。

观察者网： 在AI的应用落地中，容错率是一个关键考量。车辆识别假如说我们做到99%的正确率可以接受，技术上也能成立，那么落地就比较容易。AI帮我们听写一篇文章，再生成大纲，可能80%的正确率用户就比较能接受，而在80%这一档的潜在应用可能不少，许多事情能够替代最繁琐机械的一部分，用户可能会接受20%的错误率，因为检查出这些错误额外投入的精力依然是划算的。而80%在技术上会大大增加可行性。互联网的思维一直是找到更多这样的应用场景，让技术先用起来，在使用中迭代改善体验，但物联网的容错率一直是很严苛的，很难用这种思路落地。AIGC+AIoT产生的新生态，能改变这种局面吗？

李聪廷： 很好的问题。精度越高越好，这个没问题。但并不意味着，只有99%甚至更高的精度才能落地、才能商业化。很多场景，AI作为人工的辅助工具、效率的提升工具，也是很有意义，也可以商业变现。特别在我们这个AIoT行业，很多场景对精度的要求没有那么高，不像自动驾驶应用那么的苛刻。当然，精度太低也不行，那就不是效率提升工具，而是一个制造麻烦的工具。

技术提升，一是效率提升，二是创造更多商业机会。回顾车牌识别应用，早期在交通违法上应用，哪怕只有30%的违法捕获率，对交警人工现场执法来说也是巨大的效率提升。后来，园区和商场出入口得到应用，识别率98%，已经很高了，但是仍然离不开人工，因为每100辆车就有2辆车需要人工处理异常。而今天，识别率已经可以做到99.9%，很多出入口场景已经是无人值守了，偶尔几起异常通过远程呼叫可以解决。这是效率提升。从商业机会来说，以前没有出入口产品、解决方案、配套运维、服务等，是因为AI车牌识别这个工具的出现，创造了这个市场。

AIGC大模型技术也不例外，工具的提升，带来效率的提升，进而创造更多的商机。

本文系观察者网独家稿件，文章内容纯属作者个人观点，不代表平台观点，未经授权，不得转载，否则将追究法律责任。关注观察者网微信guanchacn，每日阅读趣味文章。