苹果可能会使用新的闪存技术使iPhone和其他设备运行LLM

人工智能（AI）是今年业界的热门话题，ChatGPT等各种AI驱动的应用受到了众多用户的欢迎，需要大型语言模型（LLMs）来支持。 虽然苹果尚未带来人工智能的重量级功能，但最近公布的**表明苹果在人工智能研究上投入了大量精力。

据TechPowerUp报道，苹果的研究人员正在使用新的闪存利用技术，该技术使用闪存芯片来存储来自人工智能模型的数据，使内存受限的设备能够运行大型语言模型，如iPhone。 考虑到大型语言模型需要大量的计算，使用硬件资源非常昂贵，加速器和大内存也是必不可少的，而苹果的新方法就是为了解决这些问题。 据苹果研究人员介绍，通过将AI模型数据存储在闪存上，并在必要时将其传输到内存中，涉及两项关键技术：一种是窗口化，即AI模型不会每次都加载新数据，而是复用部分已经处理过的数据，从而减少读取内存的次数，使处理过程变得高效第二种是行列捆绑，它通过更有效地对数据进行分组来加快处理速度，以便可以更快地从闪存中读取数据。

苹果声称，借助新技术，iPhone 可以运行两倍于可用内存容量的 AI 模型，M1 Max 的 CPU 可以运行大型语言模型的 4 到 5 倍，GPU 可以运行 20 到 25 次，大大扩展了适用性和可访问性。