今天我想告诉你一篇关于2024年1月发表在《生物信息学简报》上的一篇文章注意力机制应用于药物设计回顾。 本文以目前主流的注意力导向方法的原理及其在药物发现中的优势，并进一步讨论它们在药物开发的各个领域的应用（从类药物分子筛选和靶标结合到分子特性**和分子生成任务等）。 尽管数据质量和模型可解释性仍然是未来需要克服的挑战，但在未来基于注意力机制的模型此次深入研究，将迎来医药领域的革命性突破，显著加快药物研发步伐。
传统的药物发现方法通常涉及：广泛的实验和人工筛选这是一个耗时且成本高昂的过程，即从药物发现到上市需要十多年的时间，投资数十亿美元。 在这个过程中，研究人员需要进行大量的实验来评估分子的活性、毒性和药代动力学等特性。 这种反复试验的过程可能导致许多潜在的候选药物被淘汰，从而增加开发成本。
跟现代人工智能技术药物发现领域发生了革命性的变化。 基于注意力机制的语言模型，如GAT、Transformer、BERT和GPT，可以更快、更准确地处理大规模数据。 在药物筛选在这个阶段，这些方法可以快速准确地筛选大量化合物，以加速潜在候选药物的发现。 其次，在药物合成设计它还可以帮助设计新的分子结构，以提高合成的效率和成功率。 在临床试验人工智能模型在药物风险评估和精准医疗方面也表现出色。 通过分析大量数据，它可以帮助医生为患者选择最佳治疗方案（图1）。
由此可见现代人工智能技术提高了效率，降低了成本，并为未来的药物发现方法带来了更具前瞻性的发展
图1 药物设计的相关应用。
2.1 注意力机制的原理
2014年，Bahdanau等人首次注意力机制
它用于机器翻译。 在处理序列数据的过程中，模型自适应地将注意力分配到不同的序列位置，以捕捉每个单词的重要性，使模型能够专注于输入序列的不同部分。 注意力分数是通过计算 q 和 k 之间的相关程度，然后将这些分数用于 v 的加权平均值来获得最终的注意力表示。 公式是。
长时间关注如图 2 所示，引入了多个独立的注意力头，每个注意力头都是独立计算的。 最后，对多个磁头的输出进行拼接或加权，形成最终输出。
图2 多头注意力机制的架构。
2.2 变压器架构
变压器型号整体架构如图 3 所示，其中变压器的自注意力机制在表征分子时捕获原子之间潜在的长距离相互作用。 与递归神经网络 （RNNS） 相比，Transformer 具有并行性，能够高效处理大规模数据集。它还可用于亲水性、脂溶性和生物活性等分子性质。 另外Transformer 可以用作生成模型，通过学习化学的空间分布来生成具有新结构的分子
现在变压器在小分子药物的各个领域都有广泛的应用。在药物相互作用**变压器编码器集成了不同药物组合的特征，以**药物间的相互作用。 在抗癌药物反应**Transformer 可以提取药物分子特征，将转录组数据结合到**癌症药物反应中。 在蛋白质配体是相互互惠的**在任务中，Transformer 编码器可以提取蛋白质-配体相互作用特征（字符和片段水平特征）以确定蛋白质和配体之间的亲和力。 此外，在生成模型Transformer 可以学习化合物 SMILES 语言潜在空间中的分子结构和性质，并使用解码器从潜在空间进行解码，以在给定条件下生成具有所需性质的新分子。
图 3 Transformer 模型架构示意图。
3.1.药物间相互作用**
注意力机制在药物相互作用任务中也起着重要作用。图 4 说明了当前主流的基于注意力的 DDI 模型。 例如，在SA-DDI模型中，提出了一种新的亚结构感知注意力方法，以帮助药物化学专家了解对DDI贡献最大的关键亚结构**。 另外Transformer 模型在捕获每个元素与药物和基因序列中的元素之间的相关性方面也具有一定的优势例如，attentionddi是一个双胞胎自注意力多模态神经网络，它使用对比学习方法来测量化合物的类药物特性。 MDF-SA-DDI 方法采用多源药物融合、多源特征融合和 Transformer 自注意力机制，整合来自不同数据源的信息，从多个特征维度获取信息，增强了模型的表达能力。
图4 ** 药物相互作用中注意力机制的模型。
3.2 分子性质**
变形金刚模型在分子性质的任务上也有一定的突破。图 5 说明了当前主流的基于注意力的分子特性**模型。 例如，ABT-MPNN模型巧妙地将自注意力与消息网络相结合，改进了分子表征的提取方法，并在多个属性任务中取得了竞争优势。 另外DHTNN 模型引入BEAF激活函数，利用双向注意力变换器提取分子表征，使模型能够自适应地更新权重。 Dreng团队提出的pharmhgt在捕捉异质分子图谱特征方面表现出色，即通过提取原子水平、官能团水平和节点水平的三层视图特征，得到分子的最终表示向量。 结果表明，引入的注意力机制还可以使模型更可靠地区分不同分子特征的重要性，并自适应更新模型的权重，对下游任务有帮助。
随着药物设计领域的快速发展，注意力机制可以捕捉到分子结构之间的复杂关系，提高任务的准确性，增强模型的可解释性
图5：与任务相关的分子特性模型。
在本文中，作者描述了注意力机制和相关模型在药物设计中的应用。 从药物分子筛选和特性**到分子生成，注意力机制具有显著的优势。 展望未来，尽管在数据质量、模型可解释性、计算资源和复杂性方面仍存在挑战，但我们可以期待未来一种更有效的、基于理论的、基于注意力机制的方法进一步加速药物设计并带来突破性发展。
引用
cummings, m. d. &sekharan, s. structure-based macrocycle design in small-molecule drug discovery and **metrics to identify opportunities for macrocyclization of small-molecule ligands. j. med. chem.本文是AIDD PRO接受的外部贡献，文章中表达的观点仅代表作者本人观点，并不代表AIDD PRO平台，如发现任何侵犯版权或其他信息对发布内容的误解，请联系AIDD PRO（请添加***sixiali fox59）进行删除和修改。
本文为原创内容，未经授权禁止**，授权后**也需注明出处。 如有任何疑问，请发邮件至sixiali@stonewisecn