北京交通大学《深度学习》专业课，实验3卷积、空洞卷积、残差神经网络实验

一、实验要求

1. 二维卷积实验（平台课与专业课要求相同）

⚫ 手写二维卷积的实现，并在至少一个数据集上进行实验，从训练时间、预测精 度、Loss变化等角度分析实验结果（最好使用图表展示）

⚫ 使用torch.nn实现二维卷积，并在至少一个数据集上进行实验，从训练时间、 预测精度、Loss变化等角度分析实验结果（最好使用图表展示）

⚫ 不同超参数的对比分析（包括卷积层数、卷积核大小、batchsize、lr等）选其 中至少1-2个进行分析

⚫ 使用PyTorch实现经典模型AlexNet并在至少一个数据集进行试验分析 （平台 课同学选做，专业课同学必做）（无GPU环境则至少实现模型）

⚫ 使用实验2中的前馈神经网络模型来进行实验，并将实验结果与卷积模型结果 进行对比分析（选作）

2. 空洞卷积实验（专业课）

⚫ 使用torch.nn实现空洞卷积，要求dilation满足HDC条件（如1,2,5）且要 堆叠多层并在至少一个数据集上进行实验，从训练时间、预测精度、Loss 变化等角度分析实验结果（最好使用图表展示）

⚫ 将空洞卷积模型的实验结果与卷积模型的结果进行分析比对，训练时间、 预测精度、Loss变化等角度分析

⚫ 不同超参数的对比分析（包括卷积层数、卷积核大小、不同dilation的选择， batchsize、lr等）选其中至少1-2个进行分析（选做） 

3. 残差网络实验（专业课）

⚫ 实现给定结构的残差网络，在 至少一个数据集上进行实验， 从训练时间、预测精度、Loss 变化等角度分析实验结果（最 好使用图表展示）

⚫ 将残差网络与空洞卷积相结合， 在至少一个数据集上进行实验， 从训练时间、预测精度、Loss 变化等角度分析实验结果（最 好使用图表展示） （选做） 

二、源代码

见资源“北京交通大学《深度学习》专业课，实验3卷积神经网络、空洞卷积、残差神经网络实验”

三、实验问题

问题一： 变形函数无法使用

教学视频中对图片进行变形时使用的代码——Image.ANTIALIAS报错

解决办法：更换新代码 ——Image.Resampling.LANCZOS

问题二： 记录测试时间时函数无法使用

解决办法：在python3.8中，time模块下不支持clock，更换新代码——time.perf_counter()

问题三： 显存爆炸

在不断调整参数时，突然出现报错：

RuntimeError: CUDA out of memory. Tried to allocate 20.00 MiB (GPU 0; 4.00 GiB total capacity; 2.44 GiB already allocated; 0 bytes free; 2.45 GiB reserved in total by PyTorch)

解决办法：在执行代码前输入释放显存：

if hasattr(torch.cuda, 'empty_cache'):torch.cuda.empty_cache()

补充： 此方法不一定生效！

大概率是因为实验机器性能问题，也就是显卡不够用了。。。

此时更有效的办法是降低参数量，或者简单粗暴的换更好的显卡。

 问题四： 设置卷积核参数

训练输入的样本和分类对象是已定的。

训练的深度（隐藏层的层数）和卷积核 （神经元）的数量、大小都是训练前根据经验设定的。 

如果训练参数设置不合理会导致过拟合或者欠拟合！！

卷积网络也可以通过误差反向传播算法来进行参数学习，参数为卷积核中权重以及偏置

即在训练过程中，网络会自动调整卷积核的参数，使得输出特征最优化。

同时，卷积神经网络也可以使用预训练模型来初始化卷积核的参数，以加速网络的训练过程。预训练模型可以使用已经在大规模数据上训练好的模型参数，这些参数已经学习到了一些通用的特征，可以在新的任务中进行微调，以提高网络的性能。