从全连接到卷积
1.在图片中寻找原则：
1.平移不变性：（通俗理解）卷积核Vab是一个找猫服务器托管猫的特征器，识别猫的特征器不会因为图片中猫藏的位置不同而发生变化，即同一张卷积核遍历整张图片。
2.局部性：（通俗理解）卷积核是一个试探模板，不想考虑某个位置的时候，就置0，想重点考虑某个位置的时候就设置值为大，即限制卷积核的宽高ab
2.重新考察全连接层
在全连接层W是权重矩阵，Wij是矩阵第i行第j列的一个值（标量），在第i行第j列引入“宽高”两个维度（k，l）就变成四维，推广后的Wij就是一个二维矩阵，有宽也有高。
i,j对应filter内参数的位置，k,l是输入矩阵输入特征的位置，第一个等号说明Wij要和所有的特征相乘。
3.总结
对全连接层使用平移不变性和局部性得到卷积层
卷积层
1.卷积层将输入和核矩阵进行交叉相关，加上偏移后得到输出
2.核矩阵和偏移都是可学习的参数
3.核矩阵的大小是超参数
代码实现
1.图像卷积
互相关运算
import torch
from torch import nn
from d2l import torch as d2l
def corr2d(X,K):
'''计算二维互相关运算。'''
h,w = K.shape # 行、列
Y = torch.zeros((X.shape[0]-h+1, X.shape[1]-w+1)) # 输出: 输入的高-核的高+1，输入的宽度-核的宽度+1
for i in range(Y.shape[0]):
for j in range(Y.shape[1]):
Y[i,j]=(X[i:i+h,j:j+w]*K).sum()
return Y
验证上述二维互相关运算的输出
X = torch.tensor([ [0.0, 1.0, 2.0],[3.0, 4.0, 5.0],[6.0, 7.0, 8.0] ])
K = torch.tensor([[0.0, 1.0], [2.0, 3.0]])
corr2d(X,K) # 哈马达积
tensor([[19., 25.],
[37., 43.]])
实现二维卷积层
class Conv2D(nn.Module):
def __init__(self,kernel_size):
super().__init__()
self.weight = nn.Parameter(torch.rand(kernel_size))
self.bias = nn.Parameter(torch.zeros(1))
def forward(self,x):
return corr2d(x, self.weight)+self.bias
卷积层的简单应用：检验图像中不同颜色的边缘
X = torch.ones((6,8))
X[:, 2:6] = 0
X
tensor([[1., 1., 0., 0., 0., 0., 1., 1.],
[1., 1., 0., 0., 0., 0., 1., 1.],
[1., 1., 0., 0., 0., 0., 1., 1.],
[1., 1., 0., 0., 0., 0., 1., 1.],
[1., 1., 0., 0., 0., 0., 1., 1.],
[1., 1., 0., 0., 0., 0., 1., 1.]])
K = torch.tensor([[1.0, -1.0]])
输出Y中的1代表从白色到黑色的边缘，-1代表从黑色到白色的边缘
Y = corr2d(X, K)
Y
tensor([[ 0., 1., 0., 0., 0., -1., 0.],
[ 0., 1., 0., 0., 0., -1., 0.],
[ 0., 1., 0., 0., 0., -1.,服务器托管 0.],
[ 0., 1., 0., 0., 0., -1., 0.],
[ 0., 1., 0., 0., 0., -1., 0.],
[ 0., 1., 0., 0., 0., -1., 0.]])
卷积核K只能检测垂直边缘
corr2d(X.t(), K) # X.t()：转置
tensor([[0., 0., 0., 0., 0.],
[0., 0., 0., 0., 0.],
[0., 0., 0., 0., 0.],
[0., 0., 0., 0., 0.],
[0., 0., 0., 0., 0.],
[0., 0., 0., 0., 0.],
[0., 0., 0., 0., 0.],
[0., 0., 0., 0., 0.]])
学习由X生成Y的卷积核
conv2d = nn.Conv2d(1, 1, kernel_size=(1,2), bias=False) # 输入的通道是1，输出的通道是1，kernel_size核：2d的vector（学1*2的核），目前不需要bias
# 核设置了1*2，X是6*8，最后的结果会少1列（矩阵），所以Y是6*7
X = X.reshape((1,1,6,8)) # 批量大小、通道、高度、宽度
Y = Y.reshape((1,1,6,7)) # corr2d(X,K)
for i in range(10):
Y_hat = conv2d(X)
l = (Y_hat-Y)**2
conv2d.zero_grad()
l.sum().backward()
conv2d.weight.data[:] -= 3e-2 * conv2d.weight.grad
if (i+1)%2 == 0:
print(f'batch{i+1}, loss{l.sum():.3f}')
batch2, loss4.515
batch4, loss0.822
batch6, loss0.165
batch8, loss0.039
batch10, loss0.011
所学的卷积核的权重张量
conv2d.weight.data.reshape((1,2))
tensor([[ 0.9983, -0.9803]])
服务器托管，北京服务器托管，服务器租用 http://www.fwqtg.net
一、 这种apiVersion的含义 alpha 该软件可能包含错误，启用一个功能可能会导致bug 随时可能会丢弃对该功能的支持，恕不另行通知 beta 软件经过很好的测试。启用功能被认为是安全的 默认情况下功能是开启的 细节可能会改变，但功能在后续不会被删除…
