一项新的研究**表明，苹果已经为其他公司似乎忽视的技术人工智能问题提出了实用的解决方案，特别是如何在iPhone等低内存设备上使用巨大的大型语言模型。
尽管人们普遍声称苹果在生成式人工智能方面落后于行业，但该公司曾两次透露，它正在继续其长期计划，而不是急于发布ChatGPT的克隆。 第一个迹象是对一种名为hugs的人工智能系统的研究，该系统可以生成这种数字化身。
正如 Venturebeat 所指出的，第二项研究**提出了一种解决方案，用于在内存受限的设备（如 iPhone）上部署大型语言模型 （LLM）。
这篇题为“LLM in a Flash： Efficient Large Language Model Inference with Limited Memory”的新文章称，苹果公司表示，它“通过将模型参数存储在闪存中并按需传输到DRAM中，解决了在可用DRAM容量不足时高效运行超过可用DRAM容量的LLMS的挑战。 ”
因此，整个 LLM 仍然需要存储在设备上，但可以通过使用闪存作为一种虚拟内存来处理 RAM 来实现，类似于 macOS 中处理内存密集型任务的方式。
“在这个基于闪存的框架中，我们引入了两种主要技术，”该研究称。 首先，通过战略性地减少数据传输，重用先前激活的神经元进行“窗口化”。 其次，通过“行列绑定”增加从闪存读取的数据块的大小，这与闪存的顺序数据访问优势兼容。 ”
最终，这意味着几乎任何规模的LLMS都可以部署在内存或存储有限的设备上。 这意味着 Apple 可以在更多设备上利用 AI 功能，使其以更多方式工作。
“我们研究的实际结果值得注意，”该研究说。 我们已经证明了运行LLMS的能力，其大小是可用DRAM的两倍，比传统的CPU加载方法快4-5倍，在GPU上快20-25倍。 ”
这一突破对于在资源受限的环境中部署高级LLMS尤为重要，可以扩展其适用性和可访问性。 它继续。
苹果已经公开了这项研究，就像拥抱**一样。 所以它并没有落后，它实际上是在提高整个行业的人工智能能力。
这与分析师一致，他们认为，鉴于人工智能拥有的用户群，当人工智能变得更加广泛可用时，该公司将受益最大。