江旭峰（高级财务人员）。
近日，美国人工智能研究公司OpenAI的大型文本生成模型SORA备受关注。 但在人们相信人工智能技术取得新进展的同时，也出现了担忧：如果犯罪分子利用SORA造假散布谣言，普通人如何识别他们？
现在的索拉并不完美，有些**因为逻辑错误很容易辨认——红酒杯掉在桌子上，杯子没有碎，酒已经洒在桌子上;考古学家挖掘了一把椅子，这把椅子开始......靠自己但从OpenAI发布的多样来看，“混真假”的案例更多，包括最受关注的时尚女郎走在东京街头，无论是背景中的城市，还是女主角脸上的雀斑、墨镜中的倒影等细节，几乎无可挑剔， 而且完全无法用肉眼分辨出它是被人工智能拍摄的还是生成的。
于是，有人提出了一个假设：如果用人工智能技术去看索拉的**，能识别出来吗？
一个例子是 Gemini 1.，这是谷歌发布的一个大型 AI 模型5** 并分析 SORA 生成的**。 在完成以“樱花雪景”为主题的一段后，Gemini判断这一段是错误的，原因如下：樱花一般在春天开花，不下雪的时候;雪落得太均匀了;虽然是下雪天，但**中的人物穿得很单薄。
Gemini 的理由可能并非都站得住脚，但它提供了另一种思维方式：面对 AI 欺诈，技术防伪变得越来越重要。
“有**，有真理”已成为历史
SORA的发布意味着“假新闻”和“假新闻”在不断迭代。 所以，对于那些习惯了从短**平台获取信息的网友来说，他们真的不能随意相信那些**。
目前，很多人都在关注SORA在电影等娱乐内容制作中的应用，但实际上，它也会改变新闻制作的方式和流程。 当下，科技炮制的“假新闻”层出不穷，改变了许多习惯性观念：**时代，人们以为“有图有实”，原来图片可以p;在那个时代，很多人觉得“有”是有道理的，但是在移植等欺诈手段上，现在有了sora，它是由人工智能直接生成的，甚至不需要原始材料。
据此，中央民族大学新闻与传播学院教授郭全忠认为，SORA的出现，导致生产门槛大幅降低，对新闻伦理产生巨大影响。
合合信息图像算法研发总监郭凤军也指出，随着人工智能技术的发展，deepfake带来的治理危机将更加明显。 所谓“深度伪造”，是指基于深度学习等机器学习方法，对视听内容进行创作或合成，如语音模拟、图像、视听内容、文本等。 因此，无论是AI换脸，还是已经出现的SORA，都算是深度伪造的典型应用。
虽然新技术和新应用可以帮助许多行业摆脱简单或重复的工作，或者使创新理念更容易实现，但它们也会产生一定的负面影响。 例如，深度伪造更容易窃取他人身份，伪造相关信息，实施商业诽谤、敲诈勒索、网络攻击、犯罪等违法行为。 再比如，不法分子利用深度伪造技术散布虚假信息，激化社会矛盾，煽动暴力行为，威胁公共安全。
可见，SORA是一把双刃剑。 管理部门和行业要重视相关技术的监管，对于普通人来说，也要警惕：“有图有实”“有实”已成为历史。
“标记”有帮助吗？
如果肉眼无法分辨真假，那么有什么方法可以区分呢？ 就目前对行业的探索而言，“贴标”似乎是最简单、最直接的。
多位社交平台从业者表示，目前国内外尚无禁止在社交平台上传播AI生成内容的法律法规。 事实上，从技术角度来看，平台可能无法确定内容是“人工智能生成”还是“真实拍摄”。 因此，目前各平台的普遍做法是要求发行商对这类生成内容进行标注，不仅涉及大规模的模型生成内容，还涉及那些摆姿势、编剧、剪辑的作品。
作为大型模型的开发者，谷歌和OpenAI也在致力于“标记”——通过后端设置，通过网络，为大型模型生成的所有内容添加水印，以告知用户。
然而，“标签”或“水印”并不能从根本上解决深度伪造的问题。
一方面，按照目前社交平台的治理，“贴标”行为有相当一部分取决于发布者。 从上海辟谣平台澄清的谣言来看，有很多作品被断章取义、转述、摆拍，但摄影师和出版商并没有给它们贴上标签。 可以看出，从治理结果来看，“贴标”并不能消灭所有欺诈行为。 虽然一些**在平台自治或网友举报后被打标删除，但仍有大量假**和假新闻。
另一方面，即使大型模型开发公司利用技术设置，让大型模型生成的文字和**被迫“贴标”，告诉大众它们来自人工智能而非现实，但从现实传播的角度来看，相关标签和水印可能会在分享中被刻意抹去， 而截图、截屏、二次编辑处理等，可以很容易地去除标签和水印，让公众越来越难以识别。
这样一来，“贴标”只是防止深度欺诈的初步或基本手段，效果可能并不理想。 或许是因为这个考虑，OpenAI在公开介绍SORA时也承认，该模型仍然存在一些安全隐患，因此暂时不会向公众开放。
“用魔法打败魔法”。
那么，有没有办法更准确地识别深度伪造呢？
Gemini 对 SORA 生成内容真实性的判断提供了另一种思维方式——使用人工智能来识别人工智能。 许多业内人士将此比作“以魔术打败魔法”，认为通过技术手段，有机会从根本上识别深度伪造并降低相关风险。
OpenAI还表示，正在进行相关研究，包括开发可以检测误导性内容的文本分类器和图像分类器，“在OpenAI产品中，我们的文本分类器会检查并拒绝违反使用政策的文本输入，包括涉及极端暴力、性、仇恨、名人肖像、他人IP等的内容，并做出相关提示。 我们还开发了一个强大的图像分类器，可以检查生成的每个帧，以确保它在向用户显示之前符合我们的使用策略。 ”
但是，这些仍然可以看作是企业的自律行为。 来自第三方的“魔力”对整个行业同样重要——因为内容生成公司的“规范”是基于企业本身的价值。 如果研发企业本身“作恶”，怎么能指望“自律”行为能够防范风险呢？
正因为如此，许多第三方公司和机构都开始了“深度伪造”技术的研发。
郭凤军介绍，国内外有不少企业专注于识别人工智能篡改，其中有大量的中国企业，如中国电信等央企，RealAI、中科瑞健等高校和科研机构孵化的科技公司，以及网易、合和等多年深耕人工智能行业的科技公司。 总体来看，国内科研团队在深度诈骗识别方面取得的成绩一直处于世界先进水平，国内多个科研团队在国际知名的篡改检测竞赛中取得了不错的成绩。
一个更积极的结果是，“以魔法打败魔法”已经在中国实施。 例如，在金融领域，许多金融机构已经利用国内科技公司自主研发的人工智能来识别虚假的人脸图像，以确定相关的人脸图像是真实的还是合成的，或者已经被人工智能取代。 该技术主要应用于银行和金融行业，用于检测客户图像和欺诈的真实性，并保护财产安全。
不过，业内人士也指出，“以魔法打败魔法”还有很长的路要走。 随着深度学习和计算机视觉领域技术的不断进步，篡改检测技术需要不断升级，应用场景需要拓展。 在这个过程中，需要更多的企业和社交平台参与进来，共同为“科技向善”而努力。