昇思MindSpore学习入门-CELL与参数一

Cell作为神经网络构造的基础单元，与神经网络层(Layer)的概念相对应，对Tensor计算操作的抽象封装，能够更准确清晰地对神经网络结构进行表示。除了基础的Tensor计算流程定义外，神经网络层还包含了参数管理、状态管理等功能。而参数(Parameter)是神经网络训练的核心，通常作为神经网络层的内部成员变量。本节我们将系统介绍参数、神经网络层以及其相关使用方法。

Parameter

参数(Parameter)是一类特殊的Tensor，是指在模型训练过程中可以对其值进行更新的变量。MindSpore提供mindspore.Parameter类进行Parameter的构造。为了对不同用途的Parameter进行区分，下面对两种不同类别的Parameter进行定义：

• 可训练参数。在模型训练过程中根据反向传播算法求得梯度后进行更新的Tensor，此时需要将required_grad设置为True。
• 不可训练参数。不参与反向传播，但需要更新值的Tensor（如BatchNorm中的mean和var变量），此时需要将requires_grad设置为False。

在Cell的__init__方法中，我们定义了w和b两个Parameter，并配置name进行命名空间管理。在construct方法中使用self.attr直接调用参与Tensor运算。

获取Parameter

在使用Cell+Parameter构造神经网络层后，我们可以使用多种方法来获取Cell管理的Parameter。

获取单个参数

单独获取某个特定参数，直接调用Python类的成员变量即可。

可使用Cell.trainable_params方法获取可训练参数，通常在配置优化器时需调用此接口。

使用Cell.get_parameters()方法可获取所有参数，此时会返回一个Python迭代器

或者可以调用Cell.parameters_and_names返回参数名称及参数。

修改Parameter

直接修改参数值

Parameter是一种特殊的Tensor，因此可以使用Tensor索引修改的方式对其值进行修改。

可调用Parameter.set_data方法，使用相同Shape的Tensor对Parameter进行覆盖。该方法常用于使用Initializer进行Cell遍历初始化。

运行时修改参数值

参数的主要作用为模型训练时对其值进行更新，在反向传播获得梯度后，或不可训练参数需要进行更新，都涉及到运行时参数修改。由于MindSpore的使用静态图加速编译设计，此时需要使用mindspore.ops.assign接口对参数进行赋值。该方法常用于自定义优化器场景。下面是一个简单的运行时修改参数值样例：

import mindspore as ms

@ms.jit

def modify_parameter():

    b_hat = ms.Tensor([7, 8, 9])

    ops.assign(net.b, b_hat)

    return True

modify_parameter()

print(net.b.asnumpy())

Parameter Tuple

变量元组ParameterTuple，用于保存多个Parameter，继承于元组tuple，提供克隆功能。

如下示例提供ParameterTuple创建方法：