中国电信星辰语义模型TeleChat是央企首个开源的7B级对话模型

在人工智能领域，大型模型的发展速度令人瞩目。 近日，中国电信人工智能技术有限公司发布了其开源的明星语义模型——Telechat。 这不仅是中国电信在人工智能领域的重要布局，也标志着央企在高科技领域的深入探索。 TeleChat是中国电信精心打造的7B级对话模型，利用15万亿代币的优质中英文语料库用于训练。 开源的Telechat-7B-Bot模型集成了7B模型的INT8和INT4量化版本，旨在提供更高效的计算性能和更广泛的应用场景。

Telechat模型采用仅解码器的结构，并在以下关键方面进行创新： 位置编码：采用旋转嵌入，提高位置信息的准确性和模型的训练效率。

激活函数：使用 swiglu 代替传统的 gelu 函数，减少计算量。

层标准化：基于RMSNORM的预归一化技术提高了模型的稳定性。

TeleChat 模型不仅支持 DeepSpeed 微调和多回合对话功能，而且在外推能力和长文本生成方面也表现出出色的性能。 其开源版本包括7B-FPB-INT8和7B-INT4，可广泛应用于多种AI场景，如智能对话、长文本生成等。 Telechat 模型在多个评估数据集上表现出出色的性能。 在MMLU、C-Eval、Gaokao等知名评测中，Telechat 表现出领先的表现，尤其是在长文本生成和多轮对话方面。

中国电信的开源电信模式不仅是其AI战略的重要一步，也为国内AI生态的发展注入了新的活力。 展望未来，中国电信有望继续在人工智能领域发挥引领作用，推动行业发展更上一层楼。 TeleChat的发布，不仅是中国电信在AI领域的一次重要尝试，也为中国AI发展提供了新的思路和方向。 作为国企首个开源的7B对话模式，TeleChat预示着中国人工智能领域的新起点，其未来的应用前景值得期待。