智信版本升级，多回合对话，LLM加速！

Oceanmind-智鑫产品功能全新升级：

知识库增加了多轮对话的能力，为用户带来更加“人性化”的问答体验。

自主研发的大模型推理加速机制，加速大模型响应，减少用户等待时间的消耗。

多轮对话升级

基于”。RAG+大型号“框架的知识库Q&A失去了大模型本身的上下文记忆和多轮对话能力，这是求解多轮对话场景时存在的两大难点

Q&A 效果在升级前显示。

用户问题通常隐藏在上下文中，在当前问题中没有完全给出。

有必要平衡知识库中的回忆结果和对话上下文的隐式语义。

针对上述困难，智信提出了一种基于“对话历史，补全当前问题”的多轮问答机制。

划分对话之间的记忆区域并记录对话内容，包括问题、检索回忆结果和 LLM 答案。

根据内存记录信息修改当前对话问题。

根据历史召回结果或最新的知识召回结果生成响应。

志新加入多轮对话机制最后，在多轮对话中，可以充分记录上下文信息，有效理解问题的隐含信息，从而优化问答效果。

例如，对上述两个多轮问题的回答如下所示：

升级后显示 Q&A 效果。

LLM推理加速

大模型的内容基于解码器生成循环输出，每个输出的Token需要消耗相同数量的资源，以减少大模型的资源消耗，同时应对多用户、多步骤带来的并发和性能压力Hirui Zhixin 提出了一种结合机器学习和推测采样的大模型推理加速方法。根据实际评估效果，与原大模型的推理速度基线相比，智信的LLM加速方法可以将大模型的文本生成速度提升6倍左右，同时保证模型在并发请求的情况下性能不受影响。

衡量升级效果

数据资产将添加到表中这是企业数字化转型的最新热点话题。

欢迎大家前来参加考试体验海瑞想了想通过问答，我们可以快速了解科兴的产品体系如何赋能数据资产入表。