学习了位置编码
位置编码
自注意力并没有记录位置信息，所以要用到位置编码，位置编码将位置信息注入到输入里
假设长度为n的序列是nd的shpe的X，那么使用nd的shape的位置编码矩阵P来输出X+P作为自编码输入
P in R^ {ntimes d} : 服务器托管网 p_ {i,2j} = sin ( frac {i}{10000^ {2j/d}} ), p_ {i,2j+1} = cos ( frac {i}{10000^ {2j/d}} )
如图（比较抽象，以下是第一次理解）
横坐标是输入的不同行，而线不同对应的是不同的列，也就是特征，比如第六跟第七列，是同样的图像发生了唯一，第七列到第八列就是周期发生了变化，第九列与第八列也只是位置不同，以此区分出了每一次输入都有细微的变化，相邻的服务器托管网位置编码就相近
服务器托管，北京服务器托管，服务器租用 http://www.fwqtg.net
机房租用，北京机房租用，IDC机房托管， http://www.fwqtg.net
相关推荐: 前端学习笔记202310学习笔记第一百零玖天-闭包高级&对象&构造函数&实例化之1
服务器托管服务器托管网，北京服务器托管，服务器租用 http://www.fwqtg.net 机房租用，北京机房租用，IDC机房托管， http://ww服务器托管网w.fwqtg.net相关推荐: 【信创】 JED on 鲲鹏(ARM) 调优步骤与成果 | …
