自然语言处理中的注意

注意力是一个跨多个学科进行科学研究的概念，包括心理学、神经科学，以及最近的机器习。 虽然所有学科都可能对注意力有自己的定义，但他们都同意的一个核心品质是，注意力是一种使生物和人工神经系统更加灵活的机制。

注意力的研究起源于心理学领域。 从这些研究中得出的观察结果可以帮助研究人员推断这种行为模式背后的心理过程。 机器学习习中的注意力概念大致受到人脑中注意力的心理机制的启发。

这个想法是能够使用人工神经网络，该神经网络可以在输入可能具有可变长度、大小或结构的任务上表现良好，甚至可以处理多个不同的任务。 正是本着这种精神，机器学习习中的注意力机制据说受到心理学的启发，而不是因为它们复制了人脑的生物学。

编码器的任务是生成输入的矢量表示，而解码器的任务是将此矢量表示转换为输出。 注意力机制将两者联系起来。

实现注意力机制的神经网络架构具有不同的命题，这些命题也与它们使用的特定应用程序相关。 自然语言处理 （NLP） 和计算机视觉是最受欢迎的应用之一。

NLP中注意力的早期应用是机器翻译，其目标是将源语言的输入句子翻译成目标语言的输出句子。 在此上下文中，编码器生成一组上下文向量，每个向量对应于源句子中的每个单词。 另一方面，解码器将读取上下文向量以生成目标语言的输出句子，一次一个单词。

对于长序列或结构复杂的序列，使用固定长度的向量表示输入尤其成问题，因为它们被迫表示与较短或较简单序列相同数量的维度。

这就造成了一个瓶颈，解码器对输入提供的信息（固定长度编码向量中可用的信息）的访问受到限制。 另一方面，在编码过程中保留输入序列的长度允许解码器以灵活的方式利用其最相关的部分。

后者是注意力机制的工作原理。