文字：李国良，清华大学计算机科学系终身教授，清华大学计算机科学系周宣和。
在信息时代，数据和人工智能已成为社会变革的核心驱动力。 其中，大型语言模型（以下简称大型模型）因其出色的学习和泛化能力，已应用于自然语言理解、文本生成、文本生成等任务中。 数据库作为数据存储、管理和分析的基础软件，在大模型的兴起中发挥着越来越重要的作用。
清华大学计算机科学系.
终身教授李国良.
大型模型和数据库的协作开发
1.在数据库场景中，大型语言模型可以提供优势
1）模型参数多。以 GPT-3 为例，参数数量达到约 1750 亿个，如此庞大的模型规模使得大型模型能够捕捉到更丰富的语义信息和上下文关联，从而为慢查询优化等数据库应用提供了新的可能性。
2）训练语料库大。大型模型的成功部分归功于它们所依赖的大型训练语料库。 例如，OpenAI 的训练数据包括来自 800 多万个网页的信息，涵盖各种主题和领域。 这使得大型模型能够更好地理解和分析人类语言的多样性，为数据库和自然语言处理的融合带来前所未有的机遇。
3）迁移能力强。大型模型在迁移学习中的能力也为数据库领域带来了重大机遇。 特别是在智能问答等典型场景下，大模型可以通过对大尺度数据的预训练，实现高效的理解和答疑。这种迁移能力使得大模型成为数据库查询分析的强大助手，可以将用户的自然语言查询转化为数据库操作，大大提高了数据库系统的易用性和用户满意度。
2.数据库中大型模型面临的挑战
1）如何在大型模型上支持SQL语法？对于提供的任何大型语言模型（许多大型模型没有 SQL 语料库），快速支持和理解数据库查询语言非常重要。 例如，需要采样具有代表性（文本、SQL 等价物）的二进制文件作为训练数据，以帮助大型模型学习 SQL 语法，提高从自然语言到 SQL 查询的翻译能力。
2） 如何为逻辑优化任务生成输入提示？首先，提供给大型模型的指令质量会影响特定任务的性能。 例如，指令的描述方式或复杂程度可能不适合大型模型理解，从而导致性能不佳。 因此，从大量候选指令中自动选择适当的任务顺序至关重要。 其次，在同一任务中，为给定的输入提供一些相关的示例很重要（例如，类似于此输入语句中的历史逻辑重写）。 这些示例可以帮助模型学习如何应用先验知识来处理复杂情况（例如，应用了多个规则的查询重写）。
3）如何为物理优化任务训练大型模型？首先，数据特征（例如，数据分布、索引等）可能会显着影响大型模型的物理优化决策（例如，具有大量不同值的索引序列）。 然而，大型模型很难捕捉到数据分布与目标任务之间的关系，例如以自然语言或模型友好嵌入的形式描述关键数据特征。 其次，由于一些数据库任务只提供有限数量的高质量标记样本（例如，具有最优重写策略的真实查询），因此有必要探索如何更好地利用训练样本来训练大型语言模型。
通过以上分析，我们可以看到，大型模型在数据库领域带来了新的机遇，但也需要克服一系列挑战。 在以下章节中，我们将进一步探讨大型模型在数据库领域的应用，如自然语言查询（text2sql）、查询计划优化（sql2plan）、数据库运维（llm4dbdiagnosis）等。 此外，大模型应用的成功不仅取决于单个模型或技术创新，还取决于数据库为大模型带来的价值，包括数据标注、数据管理、向量数据库等。 最后，展望未来数据库与大模型融合的发展趋势。
大型模型解决数据库问题
1.适用于应用大型模型的数据库任务
1）提高数据库（text2sql）的可用性。大型模型的自然语言理解和生成能力为数据库带来了前所未有的易用性。 通过将用户的自然语言查询转换为SQL查询语句，大模型可以消除用户与数据库之间的语言障碍，使非技术人员能够轻松进行复杂的数据查询和分析。 该特性在企业内部、移动应用、服务等场景尤为重要，有效降低了数据库使用门槛。
2）提高数据库性能（sql2plan）。大型模型在SQL查询优化中的应用，即SQL2Plan，对于提高数据库的性能至关重要。 大型模型可以通过了解查询的语义和数据结构，将复杂的 SQL 查询转换为高效的查询计划。 这种优化能力不仅减少了数据库查询的响应时间，而且减少了系统的负载，提高了数据库的吞吐量。 在大数据时代，这对于保证系统的高效稳定运行具有重要意义。
3）提高数据库的可维护性（llm4dbdiagnosis）。数据库运行状况和性能问题对企业的运营至关重要。 大型模型在这方面可以发挥重要作用，通过分析数据库性能和性能指标来诊断故障的潜在原因。 基于对语义和上下文的理解，大模型可以快速判断是否存在数据不一致、查询性能下降等问题，并给出相应的建议来解决。 这有助于数据库管理员更快地定位和修复问题，从而提高数据库的可维护性和稳定性。
2.大型模型解决方案
1）面向数据库的大模型设计与训练：与自然语言任务不同，数据库任务具有严格的输出约束（如SQL语句的合法性和等价性）和大量的结构化数据特征（如元数据、数据表等）。为了解决这个问题，我们主要从三个方面保证大语言模型具备解决数据库问题的基本能力。
2）采用混合约束法验证大模型输出的有效性。由于其“黑匣子”性质，大型模型无法保证任务结果的 100% 准确性。 但是，某些数据库任务需要严格的约束（例如，查询重写的输出必须是语义等效的查询，并且查询必须在数据库上可执行）。 因此，我们首先需要设计一个具有基本数据库知识的训练集（例如，满足SQL语法的大量查询），以便大型模型能够产生最有效的输出。 其次，对于相对简单的情况，我们使用非学习检查层来验证输出（例如，使用 SMT 求解器来验证简单的 SPJ 查询）。 对于更复杂的情况，我们可以使用学习检查层（例如二元分类器）来验证输出。
3）结合不同模式的数据库样本训练大模型。与自然语言文本语料库相比，数据库中的训练数据具有不同的特征。 首先，数据库训练样本可能具有不同的格式，例如结构良好的 SQL 和查询计划、半结构化日志和非结构化文档。 因此，需要很好地表示和组合不同的数据样本，以有效地训练大型模型。 例如，您可以记录查询执行并获取类似“[表数据] [查询] [逻辑计划] [物理计划] [结果] [执行时间]”的序列。 通过学习这些序列中的相关性，大型模型可以自动学习如何优化查询。
4）基于联邦学习和知识提炼，为数据库样本提供隐私保护。在这种方法中，服务器（如数据库提供程序）与客户一起进行多模型训练。 在每一轮中，客户都会收到一些服务器信息（例如服务器网络参数）并更新其本地网络参数。 然后，他们使用本地数据训练本地模型，并将一些本地信息发送到服务器，例如本地梯度结果。 服务器通过聚合客户的本地信息来更新其网络参数，并通过发送更新的服务器信息开始下一轮。
3.基于输入提示的逻辑优化
对于逻辑优化任务的输入x，我们可以将任务所需的特征以文本形式添加到输入提示x中（例如查询重写所需的转换规则），以帮助大模型更好地理解任务需求。 但是，不同的输入可能对应于不同的最佳提示（例如，具有不同结构的查询可能需要不同的重写示例），这使得用户很难给出良好的提示。 我们需要构建一个提示生成器，它会自动派生输入 x 的提示。
1）自动生成提示。我们可以将指令和演示示例作为附加文本信息组合到提示中，组织为“[Instruction][demo example] input： [x] output：”。 生成指令和演示示例的步骤如下： 首先，任务指令。 任务指令的质量会影响大型模型在不同任务上的性能。 因此，我们首先使用一个大型模型，根据一小组输入输出对（例如，一条指令有 5 个）来建议候选指令。 其次，我们根据自定义评分函数（例如，测试工作负载的平均性能）对这些生成的指令进行排名，并将最佳指令（例如，前 10 名）保留为候选指令 7。 第三，我们利用基于搜索的方法（例如，蒙特卡洛搜索）来改进大型模型的候选模型（例如，具有相似语义的输出指令变体）。 最后，我们选择最佳指令作为任务的输入。 第二种方法是从候选集 （SI） 中选择演示示例。 与指令生成不同，示例选择取决于输入 x。 如果示例与输入更相似，则它为更大的模型提供了更相关的信息。 具体来说，我们学习了一个输入指令编码器 ex（x） 和一个示例编码器 es（si），并使用 l2 距离来计算所有候选示例的 ex（x） 和 es（si） 之间的相似性。
2）利用学习方法提高提示生成效率。在应用大模型的过程中，有三个因素会大大增加与大模型的交互延迟和成本。 一种是从候选样本中检索合适的样本; 其次，对于大型模型，较长的提示通常包含更有用的信息，但可能需要更长的时间来处理。 第三种是多轮调用大模型，交互调整输入提示。 为了有效地生成提示并减少大型模型交互的延迟，一种解决方案是在一组候选示例上训练强化学习 （RL） 模型，例如 Q-Learning。 此 RL 模型可用于确定要选择的最佳示例，无需在整个候选集中进行搜索。
4.基于模型微调的物理场优化
除了文本提示之外，物理优化任务（如查询计划生成）需要大量的非文本信息，如数据分布、并发负载、系统指标等。 这些信息不能轻易地用自然语言表达。 此外，微调可以提高 LLM 的特定任务性能。 然而，微调模型的有效性受到标记数据样本的大小和质量的显着影响。
1）非文本特征编码。在物理优化任务中，一些非文本特征很容易超过大型模型（例如表数据）的输入长度限制。 为了解决这个问题，我们首先提供两种嵌入非文本信息的方法：一种是数据分布（如算子成本和查询结果）对物理优化结果的质量影响很大，我们可以使用模型ED来嵌入表列数据的分布。 简而言之，让我们从一个分位数开始（例如，（min， p01,..p99，最大））近似列数据的分布特征，然后使用转换器等模型来嵌入这些特征。其次，查询关联反映了同一数据库中并行工作负载的执行状态，我们可以使用模型er在并发查询之间嵌入关联。 例如，我们可以创建一个查询图，其中每个查询都是一个节点，查询相关性可以用边缘类型和权重来表示。 基于这个查询图，我们可以使用图神经网络等模型将图结构信息嵌入到向量ER中。
2）基于对比学习的微调样本生成。某些数据库任务可能缺乏足够的高质量数据（例如，数以万计的样本）来微调 LLM。 我们提出了三种解决方案。 首先，我们可以使用对比学习从数据集中生成额外的微调样本。 例如，在一个参数调优任务中，我们可以得到k个参数设置及其对应的性能指标。 通过使用大型模型比较每对参数配置的性能，我们可以生成 （k2） 样本来微调大型模型。 其次，对于低质量的数据样本，我们可以使用大型模型来生成标注（例如数据样本的推理过程），以帮助提高这些数据的质量。 例如，您可以使用大型模型来诊断 SQL 速度慢的根本原因。 我们可以将数据和一组潜在的注释输入到大模型中，并选择生成输出概率最高的注释作为低质量数据样本的最终注释。 第三，我们可以监控大模型的性能，记录大模型表现不佳的场景，记录输入特征及其相应的输出。 我们将这些数据样本添加到微调数据中，不仅可以增加我们拥有的微调数据量，还可以捕捉大型模型的弱点。
数据库为大型模型带来的价值
1.数据注释
数据库作为数据的保管人和管理者，可以为大型模型提供丰富的数据资源进行训练和学习。 通过数据库的数据发现，可以及时掌握数据的全貌，避免遗漏重要信息。 数据库提供的高质量数据标注（数据发现、数据标注、数据清洗）可以有效提高大型模型在各种任务中的准确性和性能。 同时，数据库还可以辅助数据清洗，消除数据中的噪音和冗余，保证模型训练和应用的质量。 通过数据标注、发现和清理，数据库与大模型之间的协同不仅可以加快模型训练过程，还可以提高模型在实际应用中的性能。
2.矢量数据库
向量数据库作为大模型与数据库的重要连接点，（大模型缓存、大模型增强、非结构化数据管理、大模型训练加速）具有广泛的应用前景。 首先，向量数据库可以作为大型模型的缓存，高效存储模型计算结果，实现对实时数据的快速查询和分析。 此外，通过向量数据库，可以进一步增强大型模型的能力，例如使用模型在数据中提取和嵌入特征，为数据库的数据挖掘和分析提供更丰富的信息。 非结构化数据管理是向量数据库的另一个重要应用领域，它可以帮助将文本、图像等非结构化数据整合到数据库中，实现高效的存储和查询。 此外，向量数据库有助于加快大型模型的训练过程。 通过对数据库内部的模型进行训练，可以充分利用数据库的分布式算力，加快模型的收敛速度，提高训练效率。
综上所述，该数据库为大型模型带来了丰富的价值，通过数据标注和清洗，为模型训练提供了基础数据和高质量的标注。 通过向量数据库，实现与大型模型的深度集成，从而加速模型应用和训练的各个环节。
数据库+大模型的发展趋势
下面将展望数据库+大模型的发展趋势，包括LLM4DB和DB4LLM。
1.llm4db
1）模型接口的标准化。随着大型模型在数据库中的广泛应用，模型接口的标准化将成为重点趋势。 开发通用接口标准可以降低 LLM4DB 应用程序的开发成本，并实现不同大型模型的无缝集成到数据库中。 这将促进模型在不同数据库系统之间的可移植性和互操作性，并进一步促进大模型在数据管理领域的应用。
2）模型重量轻。为了在资源受限的环境中部署大型模型，模型轻量化将成为关键的挑战和发展方向。 通过蒸馏等技术，将大型模型压缩精简，然后部署到数据库内核中，可以有效节省计算和存储资源。 这种轻量级模型可以在嵌入式设备、移动设备和边缘计算等场景中发挥重要作用。
3）提高数据库行业模型的泛化能力。为了让数据库行业模型更好地适应不同的应用场景，增强训练数据的代表性将成为一种趋势。 通过引入更多的领域数据和知识，可以提高模型的泛化能力，使其在不同领域的数据处理和分析中表现得更好，并且可以降低使用LLM4DB的门槛。
4）提供大型模型的物理信息。未来，大型模型和数据库之间将有更深层次的集成。 数据库可以为大模型提供物理信息，如数据分布和索引信息等，使大模型能够更好地利用数据库的底层数据结构，提高数据处理和查询的效率。 这种深度集成有助于进一步提高数据库和大型模型的性能和功能。
2.db4llm
1）大型模型数据库。未来，将会出现专门为大型模型设计的数据库系统，即大型模型数据库。 这种类型的数据库系统会自动管理和训练大型模型，以便模型可以实时更新和优化。 这种集成度更高的解决方案将在数据处理、分析和应用程序中发挥关键作用。
2）数据安全和隐私。随着向量数据库与大型模型的集成越来越紧密，数据安全和隐私保护变得越来越重要。 将具有私有数据的向量数据库连接到大型模型会增加大型模型处理敏感数据的风险。 因此，加强数据安全和隐私保护将成为数据库和大模型发展中不可或缺的一环。
3）增强数据管理。该数据库不仅将托管数据，还将为大型模型提供增强的数据管理功能。 这包括版本控制、数据可追溯性、数据备份和恢复等，以更好地管理和维护不同上下文中的模型。 这有助于提高大型模型的可维护性和可持续性。
4）矢量数据库。向量数据库的发展将继续促进数据库与大模型的融合。 高效的索引和分布式处理技术将进一步提高向量数据库的性能，使其能够更好地支持大型模型的应用和查询需求。
结论
数据库与大模型的紧密结合，代表着信息技术领域的一场重要革命，给数据管理和智能应用带来了前所未有的机遇和挑战。 本文初步探讨了大模型给数据库带来的机遇，数据库给大模型带来的价值，并展望了未来数据库和大模型的发展趋势。 大型模型的出现为数据库带来了巨大的改进。 其大量的参数、丰富的训练语料和强大的迁移能力，不仅提高了数据库的易用性、性能和维护能力，而且通过自然语言处理和查询优化，使数据库成为智能化、用户友好的工具。 同时，数据库丰富的数据资源为大模型的训练提供了基础，数据标注、清洗、非结构化数据管理成为大模型数据库的有力支撑。
然而，这种融合也带来了一系列挑战。 标准化的模型接口、数据安全隐私保护、大型模型数据库等，都需要在技术、法律、伦理等层面进行深入研究和推进。 数据库和大模型的发展趋势不仅与技术创新有关，还与数据治理、隐私权等重要问题有关。 因此，数据库和大型模型的融合是一个既有前途又具有挑战性的领域。 未来，通过不断的研究、创新和协作，我们有望实现更智能、更高效、更安全的数据库和大型模型应用，为社会带来更多积极影响。