上一小节讲的是怎么自定义初始化参数。
这一节是看怎么自定义层。

这样可以想一下之前接触的楼层是什么。比如nn.Linear,nn.ReLU等。他们的作用就是作为某一层的处理。他们两个的区别在于前者有参数，后者是没有参数列表的。那现在我们也来实现一些有参数和没有参数列表的层操作。

import torchimport torch.nn.functional as Ffrom torch import nn

不带参数的层

class CenteredLayer(nn.Module):    def __init__(self):        super().__init__()    def forward(self, X):        return X - X.mean()

我们也只需要定义前向传播就可以了。这个自建一层的作用是让每一个特征量都减去其平均值。

layer = CenteredLayer()X = torch.arange(5)*0.1print(layer(X))
>>tensor([-0.2000, -0.1000,  0.0000,  0.1000,  0.2000])

经过测试我们可以看到这个层是完全有效的。

那如果将其放到复杂的模型之中呢。

net = nn.Sequential(nn.Linear(8, 128), CenteredLayer())Y = torch.rand(10, 8)print(net(Y).mean().data)
>>tensor(7.8231e-09)

好吧，这个模型其实并不复杂，它只有两层。第一个是一个线性层。第二个就是我们的自定义层。

生成一组随机的测试数据Y。然后使用我们构建的网络对外进行计算，然后输出其结果的平均值。

不出意外结果应该是0。虽然这里显示的不是0。这是因为浮点数的存储精度问题，你当然可以把这个极小的数近似看作它是0。

至于结果为什么失灵，这是一个数学问题，会去列几个数字自己算一下就明白了。

带参数的层

class MyLinear(nn.Module):    def __init__(self, in_units, units):        super().__init__()        self.weight = nn.Parameter(torch.ones(in_units, units))        self.bias = nn.Parameter(torch.zeros(units,))    def forward(self, X):        linear = torch.matmul(X, self.weight.data) + self.bias.data        return F.relu(linear)

这个租赁一层是自定义实现了一个全链接层。这个层里的参数需要用到权重和偏置，在计算之后最后返回再使用ReLU激活函数。

linear = MyLinear(5, 3)print(linear.weight.data)
>>tensor([[ 1.0599,  0.3885,  1.2025],        [-1.8313,  0.2097, -1.6529],        [ 1.4119,  0.2675, -0.4148],        [ 0.2596, -0.0319,  1.9548],        [-1.2874,  1.0776,  0.5804]])

输出它的权重看一下，确实是能生成5×3的权重矩阵。

X = torch.rand(2, 5)linear(X)
>>tensor([[2.3819, 2.3819, 2.3819],        [1.8295, 1.8295, 1.8295]])

单层测试结果也没有问题。

net = nn.Sequential(MyLinear(64, 8), MyLinear(8, 1))net(torch.rand(2, 64))
>>tensor([[0.4589],        [0.0000]])

将其放在网络中结果也没有问题。

现在我来放一段对比代码，就是我们自己写的这个层和pytorch人家写的层该怎么实现同样的功能。

net1 = nn.Sequential(MyLinear(64, 8), MyLinear(8, 1))net2 = nn.Sequential(nn.Linear(64,8),                     nn.ReLU(),                     nn.Linear(8,1),                     nn.ReLU())def init(m):    if type(m)==nn.Linear:        nn.init.ones_(m.weight)        nn.init.zeros_(m.bias)net2.apply(init)Y = torch.rand(4, 64)print(net1(Y).data)print(net2(Y).data)
>>tensor([[270.5055],        [253.7892],        [238.7834],        [258.4998]])tensor([[270.5055],        [253.7892],        [238.7834],        [258.4998]])

这样乍一看是不是两个结果完全一样。

相对于pytorch自带的实现来说，这个不需要你写一个加权重的过程，也不需要你再加一个ReLU层。

这样看起来很省事，但是实际中不建议你自己实现pytorch之中已经有的功能。因为使用人家的方法计算效率更高。