接近 GPT 4 开源模型大泄密,AI 社区炸锅! Mistral首席执行官透露,这是一个旧模型

小夏 科技 更新 2024-02-02

编辑:埃涅阿斯已经破案了! 让不少网友抓心痒痒的全新开源模型Miqu,确实是Mistral训练模型的老定量版本,在LLAMA 2上进行了重新训练。 今天,Mistral的首席执行官亲自证实了这一点。

这位首席执行官表示,该模型是从抢先体验客户那里泄露的过于热情的员工。 这几天,这个在AI界引发热议的悬而未决的案件,终于有了答案。 神秘模型泄漏。

事情是这样的。 1 月 28 日,一位名叫 Miqudev 的用户在 Huggingface 上发布了一组文件,这些文件共同构成了一个名为 Miqu-1-70B 的看似新的开源 LLM。

奇怪的是,网友们在HuggingFace条目中发现,这个新模型的提示格式与Mistral完全相同。 随后,MIQU-1-70B的链接再次在4chan上泄露。

该链接是由 4chan 上的一位匿名用户发布的,据推测他最有可能在 miqudev 上。 随后,X上的网友们纷纷争先恐后地互相告袱,因为他们发现MIQU-1-70B的性能太强了! 在 EQ-Bench 基准测试中,它甚至接近之前的模型之王 GPT-4。

网友们不解,为什么这个神秘的新模型能打败Mistral Medium,接近GPT-4。 有人建议,最好用EQ-bench来检查miqu数据集是否被污染。

MIQU模型的真面目,是米斯特拉尔还是骆驼?

为了确定Miqu的真实身份,一些网友向Mistral-Medium和Miqu发送了同样的俄罗斯问题。 事实证明,两种模型的答案在俄语中完全相同。

最后,他得出的结论是,我现在 100% 相信 MIQU 是 Mistral-Medium。

一些网友熬夜测试和比较MIQU和Mistral模型的功能。

事实证明,miqu 和 mixtral 确实非常相似,无论是在德语拼写和双语语法方面,还是在回复中的一些语言惯例中。 总体而言,Miqu 的性能优于 Mistral Small 和 Medium,落后于 Mistral 8x7B Instruct。 因此,MIQU 可能是 mistral 模型的泄露版本,一个较旧的概念验证模型。 当然,也有一些开发者认为MIQU更像是LLAMA 70B,而不是专业的混合动力车型。

根据当时的推测,MIQU可能是Mistral Medium的早期版本,或者是Mistral Medium数据集上LLAMA 70B的微调。 Mistral Quant 版?

随着噪音越来越大,摩根大通(JPMorgan Chase)的机器学习研究员马克西姆·拉邦(Maxime Labonne)注意到了这一点。

他发帖说,目前还不确定MIQU是否是MISTRAL的量化版本,但可以肯定的是,它很快就会成为最好的开源LLM之一。 多亏了@152334h,您现在拥有了 MIQU 的未量化版本。

Labonne 表示,现在调查仍在继续,我们很快就会看到 MIQU 的微调版本将优于 GPT-4! 在机器学习中,量化是指通过用较短的数字替换模型架构中特定的长数字序列,可以在功能较弱的计算机和芯片上运行某些 AI 模型的技术。

很多人都猜测,MIQU很可能是该公司故意想要泄露的一种新的Mistral模型。 毕竟,上一次磁力链接事件表明,米斯特拉尔一直有通过深奥的技术手段大张旗鼓地发布新型号的传统。 或者,它可能被员工或客户泄露。 CEO确认:是的,这是Mistral的定量版本。

今天,事情终于浮出水面。 Mistral 的联合创始人兼首席执行官 Arthur Mensch 在 X 上澄清道:

我们有一个抢先体验的客户,他与他过于热情的员工对接,泄露了我们训练和公开分发的旧模型的量化和水印版本。 为了快速开始与一些选定的客户合作,我们在访问整个集群的那一刻就从 Llama 2 重新训练了模型——预训练是在 Mistral 7b 发布的当天完成的。 从那时起,我们继续取得良好的进展,敬请期待!
有趣的是,CEO并没有要求删除HuggingFace上的帖子,而是表示发帖人可能需要考虑归属。 总之,敬请期待 这四个字表明,Mistral 似乎训练的不仅仅是这个接近 GPT-4 的 MIQU 模型。 开源AI进入关键时刻?

MIQU模型的泄露引起了轩然,因为它可能成为开源生成式人工智能以及整个人工智能和计算机科学领域的分水岭。 GPT-4 于 2022 年 3 月发布,在大多数基准测试中仍然是世界上最强大的 LLM。 即使是谷歌传闻已久的双子座也无法击败它。 (根据一些测试,目前的 Gemini 模型实际上比旧的 OpenAI GPT-3 更好。5 模型更糟)。如果有一款具有 GPT-4 性能的模型可以免费商用,势必会对 OpenAI 及其订阅服务产生巨大影响。 特别是现在越来越多的企业正在寻找开源模型或开源和闭源的混合来支持他们的应用程序。 依托GPT-4 Turbo和GPT-4V,OpenAI竭尽全力保持优势,但开源AI社区的快速追赶也不容忽视。 OpenAI 是否有足够的领先优势,GPT Store 和其他功能是否有护城河让 ChatGPT 保持在 LLM 列表的首位?

相似文章

    LLM 大型模型 GPT 4 的全新演绎

    展示新的 GPT API 引入了新的漏洞。这些漏洞违反了 GPT 中的安全措施,导致 GPT 协助用户发出有害请求。此外,这些漏洞可用于自动生成有针对性的和通用的虚假信息 泄露私人数据 生成恶意 以及与 GPT 集成的攻击服务。实验中使用的数据集可供采集。这些结果强调了仔细测试新 API 的必要性 ...

    与GPT 4相比,星火认知模型好不好?

    月日,科大讯飞举办Spark认知模型V 升级大会上,科大讯飞星火v.基于全国首届算力训练正式上线。随着大机型浪潮的席卷,各大厂商开始在大机型领域拓展布局,科大讯飞也做出了积极回应。年月日,科大讯飞与华为联合宣布正式推出首个万科国产计算平台 飞星一号 支持万亿参数大模型训练。在上线多天的时间里,科大讯...

    第一个开源MoE模型发布!GPT 4 具有相同的架构,来自欧洲的 OpenAI

    来自 Qubit 的 Mengchen qbitai 取消今晚的所有计划!许多人工智能开发人员决定不睡觉。只是因为 Mistral AI 刚刚发布了第一个开源的 MOE 模型。MOE架构的全称是Mixture of Experts,是传闻中GPT 采用的解决方案,可以说是开源模型最接近GPT 的一集...

    电厂Spark大模型,不只追赶GPT 4

    由尚迪安撰写。随着年行业发展方向逐渐明朗,AIGC掀起的变革浪潮开始影响更多行业。相较于年大模型行业的 野蛮增长 虽然年整个市场规模将再次迎来大幅增长,但趋势变化明显 行业需要更多的应用侧集成,能够为用户带来高效的改变。这不仅是时代潮流,也是对大型模型基本能力的严格考验。吸引眼球的方式将从主流中撤出...

    又一个全面对标GPT 4的国产大模型来了,医疗数据超千亿

    月日,百川智能发布了超千亿参数的大型语言模型百川。百川在基础能力上得到了全面提升,在多项权威评测中,英语能力接近GPT ,中文能力超过GPT 。百川在特定领域也表现出色,比如在医疗领域,百川智能在模型预训练阶段就构建了超过亿个代币的医学数据集,包括医学研究文献 真实电子病历数据 医学领域的专业书籍和...