【nlp】2.8 注意力机制拓展

1 注意力机制原理

1.1 注意力机制示意图

Attention机制的工作原理并不复杂，我们可以用下面这张图做一个总结

1.2 Attention计算过程

• 阶段一: query 和 key 进行相似度计算，得到一个query 和 key 相关性的分值
• 阶段二: 将这个分值进行归一化(softmax)，得到一个注意力的分布
• 阶段三: 使用注意力分布和 value 进行计算，得到一个融合注意力的更好的 value 值

为了更好的说明上面的服务器托管网情况, 我们通过注意力来做一个机器

服务器托管，北京服务器托管，服务器租用 http://www.fwqtg.ne服务器托管网t

相关推荐: 通过 JQuery 发起 AJAX 请求

$.ajax({ url: ‘请求路径’, type: “get or post”, contentType: ‘application/x-www-form-urlencoded’, data: ‘Query String 形式的请求参数字符串’, succ…