作为一家软件公司，如何拥有自己的AI模型

想象一下这样的场景，公司的程序员将项目上的需求导入到AI编程助手中，AI编程助手会快速生成对应的**，包括前端**、后端**，以及用于操作数据库的SQL语句，前端**是公司的打包组件，后端**也是公司的公共类库， SQL语句中的表是公司的数据库。这样一来，程序员只需要整理这些**就能正常运行，以前需要一个月才能完成的工作负载，现在只需几个小时就可以完成，而且这种生产力会**啊！

因此，软件公司应该率先构建自己的大模型，那么如何构建它们呢？

1、先找一个已有的开源模型，从头开始训练一个，太贵了，市面上一些开源模型现在都可以用。

2、训练一个大模型，将公司的数据准备成一个数据集，用于大模型的训练，训练后进行评估。

3、部署大模型，根据自己大模型的数据规模，需要相应的硬件设施。

重点是 GPU。 以7B大模型为例，推理的视频内存需求为14 GB。 如果要微调，至少需要 140GB 的视频内存。 如果是13B大模型，推理的显存要求为26GB，保守点为32GB。 如果要微调，至少需要 260GB 的视频内存。 如果是70B大机型，只能推断，需要140GB的显存，微调8卡A100 H100是不够的。