2024年初，去年大幅上涨的科技股大幅下跌，但AI浪潮的领头羊英伟达仍有不减的势头。
没有一家芯片公司不看不起英伟达的地位，随着AI产业的蛋糕越来越大，硬件赛道也是肉眼可见的。 许多初创公司正试图从Nvidia GPU预算中分一杯羹。
*总结了目前处于竞争前沿的 12 家公司。 这些初创企业的平均历史只有5年，最高融资额为7年2亿美元，他们都是英伟达的有力挑战者。 
成立时间：2024年
应用：培训
Cerebras 以制造巨型芯片而闻名。 由 Gary Lauterbach 和 Andrew Feldman 共同创立。 两人还共同创立了Seammicro，这是一家专注于超高密度计算机服务器的公司，该公司于2024年被AMD出售，销量高达357亿美元**收购。
Cerebras的主要产品是可用于AI训练的超级计算机芯片和系统，专为超级计算任务而构建，此类芯片的尺寸约为普通GPU的56倍。
Cerebras的客户集中在国防、学术实验室和其他机构。 旗舰CS-2超级计算系统已部署在美国能源部阿贡国家实验室、匹兹堡超级计算中心、爱丁堡大学超级计算中心等地。
然而，尽管Cerebras已经获得了高达7亿美元的融资，但由于英伟达GPU和CUDA生态系统的主导地位，Cerebras在获得商业客户方面面临着艰巨的挑战。
今年1月，该公司宣布将与美国领先的医疗机构梅奥诊所合作，使用Cerebras的计算芯片和软件，基于数十年的匿名医疗记录和数据开发专有的人工智能模型。
据报道，一些模型将能够读取和写入文本，例如为新患者总结病历中最重要的部分。 其他模型可以分析复杂的药物**或分析基因组数据。
Cerebras首席执行官安德鲁·费尔德曼（Andrew Feldman）表示，这是一笔为期多年的“数百万美元”交易。
成立时间：2024年
应用： Inference
d-matrix 成立于 2019 年，正在开发用于运行机器学习模型的专用芯片和软件，该公司的芯片可以结合处理和内存，这通常是芯片上独立且不同的组件。
D-Matrix 的芯片产生的热量更少，因此需要的冷却更少，使其比主流 GPU 和 CPU 芯片更具成本效益。 据该公司CEO介绍，很多公司都希望使用大模型来设计AI应用，成本非常重要。
D-Matrix 选择专注于推理，即运行 AI 模型，而不是训练。 该公司认为，随着时间的推移，模型会变得更大，运行成本会越来越高。 该公司已经有客户测试其芯片和软件，并计划在24年上半年将其投入商业使用。
成立时间：2023 年
应用： Inference
EHED于去年6月由两名哈佛大学辍学生G**in Uberti和Chris Zhu创立，计划生产一款名为SOHU的AI推理加速芯片，其推理性能将是H100的10倍。 该公司成立后不久的估值为 3400 万美元。
据介绍，在制造工艺上，搜狐采用革命性的方法，将Transformer架构直接雕刻到芯片的核心中。 因此，性能可以达到前所未有的高度，搜狐在模拟中运行大型模型的速度比传统 GPU 快 140 倍。 搜狐还支持通过树搜索进行更好的编码，并行比较数百个响应的能力，以及多播推测解码以实时生成新内容。
根据 Etched 的博客，这种架构将允许万亿参数模型以无与伦比的效率运行。 该系统只有一个内核，可以容纳一个完全开源的软件堆栈，可扩展到 100t 参数模型。
成立时间：2024年
应用：推理和训练
Extropic 是这些初创公司中最神秘的一家。 公司创始人来自谷歌旗下的“登月工厂”部门“X”，专注于前沿技术探索。 据报道，Extropic专注于量子计算，并计划开发一款专门设计用于运行大型模型的芯片，但目前还没有关于具体产品曝光的细节。
去年年底，该公司刚刚完成了1410万美元的种子轮融资。
根据该公司的新闻稿，随着生成式人工智能的兴起以及世界对可扩展、具有成本效益和高效计算的需求急剧增加，Extropic 希望使计算机能够利用熵作为一种资产，通过编程学习，并以前所未有的效率运行，根据该公司的新闻稿
Extropic 的计算范式建立在热力学原理之上，旨在将生成式 AI 与世界的基础物理学无缝集成。 我们的目标是最终将生成式人工智能嵌入到物理过程中在空间、时间和能量方面突破物理定律规定的效率极限成立时间：2024年应用： Inference
Graphcore成立于2024年，总部位于英国布里斯托尔。 公司主要产品为智能处理单元（LPU），专注于大模型推理。
公司产品最大的特点是极快的生成速度，可以保证流畅的终端体验。 在消费类AIGC应用中，用户对速度有较高的要求，开源模型Meta Llama 2 70B的Groq LPU每秒可以生成300个单词，7分钟可以生成与莎士比亚《哈姆雷特》相同数量的单词，比普通人的打字速度快75倍。
GroQ 的联合创始人兼首席执行官 Jonathan Ross 认为，随着使用这些产品的客户数量的增加，运行模型的成本也在增加，推理成本正在成为在其产品中使用 AI 的公司面临的一个问题。 与 NVIDIA GPU 相比，GroQ LPU 集群将为大型模型推理提供更高的吞吐量、更低的延迟和更低的成本。
此外，由于HBM3和CONOS封装的容量，目前NVIDIA GPU的产能无法完全满足客户需求，而Groq LPU的独特之处在于它不依赖三星或海力士的HBM，也不依赖台积电的CODOS封装技术，因此不会像NVIDIA那样面临产能瓶颈。
成立时间：2024年
应用：训练和推理
LightMatter使用激光发出的光在芯片和服务器群之间传输数据，由麻省理工学院的学生使用学校的专利技术创立。
该公司联合创始人兼首席执行官尼古拉斯·哈里斯（Nicholas Harris）表示，与英伟达（Nvidia）、AMD和英特尔（Intel）等通过电缆传输数据的芯片制造商相比LightMatter的产品可以降低数据中心的能源成本约80%。
成立时间：2024年
应用：未公布
MATX由前谷歌员工创立，CEO莱纳·波普（Reiner Pope）是谷歌Pathways模型的开发者之一，首席技术官迈克·冈特（Mike Gunter）是谷歌TPU的开发者之一。
MATX正在为文本应用开发LLM专用芯片。 该公司表示，其自主开发的芯片比英伟达的GPU硬件运行得更快，成本更低，并且可以支持各种人工智能应用，包括图像生成。
Mattx表示，它得到了几家风险投资公司的支持，但没有透露具体的资金，并表示它得到了“知名大型模型开发商的大力支持”，但没有透露具体公司。
成立时间：2024年
应用： Inference今年，我开始涉足培训
Modular 专注于构建用于训练和运行大型模型的开发平台和编码语言，用户可以在其中使用各种 AI 工具，包括 Google 的开源软件 TensorFlow 和 Meta 的开源软件 PyTorch。
公司认为人工智能的发展现在受到过于复杂和分散的技术基础设施的阻碍，而Modulal的使命是消除大规模构建和维护人工智能系统的复杂性。
构建和运行AI应用程序需要大量的计算能力，为了控制成本，公司可能会使用不同类型的AI芯片，但这些芯片的软件往往彼此不兼容。 特别是，英伟达用于编写机器学习应用程序的 CUDA 软件仅在自己的芯片上运行，这基本上将开发人员锁定在他们的 GPU 中。 CUDA对用户非常粘性，有报道称，一家计算机视觉初创公司花了两年时间才转向非英伟达芯片。
Modular希望通过开发CUDA的替代品来改变这种状况，解决不同芯片的软件兼容性问题，使非NVIDIA芯片的使用更加容易。
成立时间：2024年
应用：推理和微调
传统 GPU 的训练和推理过程会产生高昂的成本，部分原因是这些芯片在从内存和处理组件传输数据时会产生热量，因此 GPU 需要持续冷却，从而增加了数据中心的电力成本。
Rain AI 的 NPU 芯片可以模仿人类的生物大脑，结合内存和处理能力，不仅在计算速度和能效方面表现出色，还可以根据周围环境实时定制或微调 AI 模型。 但是，该公司尚未生产成品。
据**了解，2024年签署的一份意向书显示，OpenAI计划斥资5100万美元购买Rain AI NPU芯片，用于GPT模型的训练和部署。
成立时间：2024年
应用： Inference
sima.AI专注于为边缘计算设备开发硬件和软件，用于飞机、无人机、汽车和医疗设备等场景，而不是数据中心。
该公司的创始人克里希纳·兰加萨伊（Krishna Rangasayee）在芯片制造商赛灵思（Xilinx）工作了近二十年。 此前，在接受**采访时，他表示，由于各种原因，许多行业无法使用基于云的AI服务，SIMA表示人工智能将专注于服务于那些去中心化的边缘计算设备。
例如，自动驾驶汽车需要即时做出决策，只有内置的人工智能才能满足其苛刻的延迟要求。 在医疗保健等行业，公司可能不希望将敏感数据发送到云端，而是将其保存在设备上。
2024年6月，SIMAAI表示，它已经开始大规模生产其第一代边缘AI芯片。 该公司表示，它正在与制造业、汽车和航空等领域的50多家客户合作。
成立时间：2024年
应用：训练和推理
Tenstorrent 由三名前 AMD 员工创立，总部位于加拿大多伦多。
TensTorrent 以异构和小芯片设计的形式开发 RISC-V 和 AI 芯片。 目前，已经开发了基于12nm工艺的Grayskull和Wormhole两款芯片，FP8算力高达328Tflops。 该公司的目标是将**推到 1 5 到 1 10 个性能相似的 GPU。
2021 年，Tenstorrent 还推出了 DevCloud，它允许 AI 开发人员无需购买硬件即可运行大型模型。
然而，近年来，或许感受到了英伟达等硬件厂商的压力，Tenstorrent已将重点转移到技术许可和服务上。
成立时间：2024年
应用：训练和推理
Tiny Corp 由自动驾驶初创公司 Comma AI 的创始人兼前首席执行官 George Hotz 创立，其产品将使用名为 Tinygrad 的开源深度学习工具构建，据说该工具可以帮助开发人员更快地训练和运行大型语言模型。
Hotz 认为，Tinygrad 可以成为 PyTorch 的“有力竞争者”，PyTorch 是源自 Meta 的深度学习产品。 但目前，他尚未透露有关该产品的具体细节。