什么是注意力机制？给定一篇很长的文章，然后就此文章进行提问，提出的问题只和段落中的一两个句子相关，其余部分都是无关的，为了减小神经网络的负担，只需要把相关的片段挑选出来让后续的神经网络来处理，而不需要把所有文章都输给神经网络

1.计算感兴趣的输入向量

给定输入向量从$[x_{1},\cdots,x_{N}]$中选出和某个特定任务相关的信息，需要引入一个和任务相关的表示，成为查询向量Query Vector，并通过打分函数计算查询向量和输入向量的相关性。计算在给定q，x情况下，选择第n个输入向量的概率

$$\begin{aligned}\text{an}& =p(z=n|\boldsymbol{X},\boldsymbol{q}) \\&=\mathrm{softmax}\left(s(x_n,\boldsymbol{q})\right) \\ &=\frac{\exp\left(s(x_n,q)\right)}{\sum_{j=1}^N\exp\left(s(x_j,q)\right)},\end{aligned}$$

其中s为打分函数，有加性模型、点积模型、缩放点积模型、双线性模型，这些模型都是对输入向量x和查询向量q做一些运算，这里挑点积模型说一下，因为transformer会用到这个打分函数，其他的这里就不具体阐述了。 $$s(x,q)=x^{\intercal}q$$ ，可以看出，点积就是内积运算，乘积越大，两者相似度越高，和$$q$乘积最大的$x_n$，打分最高，和查询向量最相似，也就是说其权重（注意力分布）最高，和查询向量匹配度最高。$\alpha_n$为注意力分布，可以理解为每个输入向量的权重。

2.软性注意力机制

注意力分布$\alpha_n$可以看成在给定任务相关的查询$$q$时，第n个输入向量受关注的程度，可以采用一种软性的信息选择机制对输入信息进行汇总，即

$$\begin{aligned}\operatorname{att}(X,\boldsymbol{q})&=\sum_{n=1}^N\alpha_n\boldsymbol{x}_n,\\&=\mathbb{E}_{z\sim p(z|X,\boldsymbol{q})}[\boldsymbol{x}_z].\end{aligned}$$

上述式子称为软性注意力机制

3.硬性注意力机制

硬性注意力机制就是只关注某一个输入向量，即选取概率最高的向量作为输出 $$\operatorname{att}(X,\boldsymbol{q})=\boldsymbol{x}_{\hat{n}}$$ 其中$\hat{n}=\underset{n=1}{\operatorname*{\arg\max}}\alpha_{n}$

4.键值对注意力

可以用key-value pair来表示输入信息，其中key用来计算注意力分布$\alpha_n$，value用来计算聚合信息，key-value pair表示为$(K,V)=[(k_{1},\boldsymbol{v}_{1}),\cdots,(\boldsymbol{k}_{N},\boldsymbol{v}_{N})]$，则注意力函数为

$$\begin{aligned} \operatorname{att}{\Big(}(\boldsymbol{K},\boldsymbol{V}),\boldsymbol{q}\big)& =\sum_{n=1}^{N}\alpha_{n}\boldsymbol{v}_{n}, \\ &=\sum_{n=1}^N\frac{\exp\left(s(\boldsymbol{k}_n,\boldsymbol{q})\right)}{\sum_j\exp\left(s(\boldsymbol{k}_j,\boldsymbol{q})\right)}\boldsymbol{v}_n, \end{aligned}$$

普通注意力机制里面的输入向量既充当key又充当value。

5.多头注意力模型

见transformer（attention is all you need）

6.自注意力模型

见transformer（attention is all you need）