编辑:埃涅阿斯已经破案了! 让不少网友抓心痒痒的全新开源模型Miqu,确实是Mistral训练模型的老定量版本,在LLAMA 2上进行了重新训练。 今天,Mistral的首席执行官亲自证实了这一点。
这位首席执行官表示,该模型是从抢先体验客户那里泄露的过于热情的员工。 这几天,这个在AI界引发热议的悬而未决的案件,终于有了答案。 神秘模型泄漏。
事情是这样的。 1 月 28 日,一位名叫 Miqudev 的用户在 Huggingface 上发布了一组文件,这些文件共同构成了一个名为 Miqu-1-70B 的看似新的开源 LLM。
奇怪的是,网友们在HuggingFace条目中发现,这个新模型的提示格式与Mistral完全相同。 随后,MIQU-1-70B的链接再次在4chan上泄露。
该链接是由 4chan 上的一位匿名用户发布的,据推测他最有可能在 miqudev 上。 随后,X上的网友们纷纷争先恐后地互相告袱,因为他们发现MIQU-1-70B的性能太强了! 在 EQ-Bench 基准测试中,它甚至接近之前的模型之王 GPT-4。
网友们不解,为什么这个神秘的新模型能打败Mistral Medium,接近GPT-4。 有人建议,最好用EQ-bench来检查miqu数据集是否被污染。
MIQU模型的真面目,是米斯特拉尔还是骆驼?
为了确定Miqu的真实身份,一些网友向Mistral-Medium和Miqu发送了同样的俄罗斯问题。 事实证明,两种模型的答案在俄语中完全相同。
最后,他得出的结论是,我现在 100% 相信 MIQU 是 Mistral-Medium。
一些网友熬夜测试和比较MIQU和Mistral模型的功能。
事实证明,miqu 和 mixtral 确实非常相似,无论是在德语拼写和双语语法方面,还是在回复中的一些语言惯例中。 总体而言,Miqu 的性能优于 Mistral Small 和 Medium,落后于 Mistral 8x7B Instruct。 因此,MIQU 可能是 mistral 模型的泄露版本,一个较旧的概念验证模型。 当然,也有一些开发者认为MIQU更像是LLAMA 70B,而不是专业的混合动力车型。
根据当时的推测,MIQU可能是Mistral Medium的早期版本,或者是Mistral Medium数据集上LLAMA 70B的微调。 Mistral Quant 版?
随着噪音越来越大,摩根大通(JPMorgan Chase)的机器学习研究员马克西姆·拉邦(Maxime Labonne)注意到了这一点。
他发帖说,目前还不确定MIQU是否是MISTRAL的量化版本,但可以肯定的是,它很快就会成为最好的开源LLM之一。 多亏了@152334h,您现在拥有了 MIQU 的未量化版本。
Labonne 表示,现在调查仍在继续,我们很快就会看到 MIQU 的微调版本将优于 GPT-4! 在机器学习中,量化是指通过用较短的数字替换模型架构中特定的长数字序列,可以在功能较弱的计算机和芯片上运行某些 AI 模型的技术。
很多人都猜测,MIQU很可能是该公司故意想要泄露的一种新的Mistral模型。 毕竟,上一次磁力链接事件表明,米斯特拉尔一直有通过深奥的技术手段大张旗鼓地发布新型号的传统。 或者,它可能被员工或客户泄露。 CEO确认:是的,这是Mistral的定量版本。
今天,事情终于浮出水面。 Mistral 的联合创始人兼首席执行官 Arthur Mensch 在 X 上澄清道:
我们有一个抢先体验的客户,他与他过于热情的员工对接,泄露了我们训练和公开分发的旧模型的量化和水印版本。 为了快速开始与一些选定的客户合作,我们在访问整个集群的那一刻就从 Llama 2 重新训练了模型——预训练是在 Mistral 7b 发布的当天完成的。 从那时起,我们继续取得良好的进展,敬请期待!有趣的是,CEO并没有要求删除HuggingFace上的帖子,而是表示发帖人可能需要考虑归属。 总之,敬请期待 这四个字表明,Mistral 似乎训练的不仅仅是这个接近 GPT-4 的 MIQU 模型。 开源AI进入关键时刻?
MIQU模型的泄露引起了轩然,因为它可能成为开源生成式人工智能以及整个人工智能和计算机科学领域的分水岭。 GPT-4 于 2022 年 3 月发布,在大多数基准测试中仍然是世界上最强大的 LLM。 即使是谷歌传闻已久的双子座也无法击败它。 (根据一些测试,目前的 Gemini 模型实际上比旧的 OpenAI GPT-3 更好。5 模型更糟)。如果有一款具有 GPT-4 性能的模型可以免费商用,势必会对 OpenAI 及其订阅服务产生巨大影响。 特别是现在越来越多的企业正在寻找开源模型或开源和闭源的混合来支持他们的应用程序。 依托GPT-4 Turbo和GPT-4V,OpenAI竭尽全力保持优势,但开源AI社区的快速追赶也不容忽视。 OpenAI 是否有足够的领先优势,GPT Store 和其他功能是否有护城河让 ChatGPT 保持在 LLM 列表的首位?