sin函数拟合

目录

一、 目的... 1

二、 模型设计... 1

2.1 输入与输出.... 1

2.2 隐藏层设计.... 1

2.3 优化算法与损失函数.... 1

2.4 神经网络结构.... 1

三、 训练... 1

3.1 数据生成.... 2

3.2 训练过程.... 2

3.3 训练参数与设置.... 2

四、 测试与分析... 2

4.1 选取不同激活函数.... 2

4.2 增加偏置.... 3

... 4

4.3 减少训练量.... 4

4.4 损失曲线分析.... 4

4.5 模型预测分析.... 5

五、 代码... 5

• 目的

通过构建一个简单的三层神经网络，模拟正弦函数 y = sin(2πx) 的映射关系，并使用 PyTorch 框架进行训练与优化，即输入x后会产生一个和正弦函数相同结果的y。

• 模型设计

2.1 输入与输出

本研究中的神经网络模型包括输入层、隐藏层和输出层。输入层包含一个神经元，用于接收单一的自变量 x。输出层同样包含一个神经元，输出模型计算得到的结果 y，即预测的正弦值。

2.2 隐藏层设计

网络的隐藏层包含 10 个神经元。此设计旨在增强网络的非线性表达能力，使其能够准确模拟正弦函数的波动特性。激活函数选择了 Tanh（双曲正切函数），该函数的输出范围为 [-1, 1]，更符合正弦波的输出特性，相较于 Sigmoid 函数，Tanh 能更有效地模拟正弦波的起伏。

2.3 优化算法与损失函数

模型使用 Adam 优化器 进行训练。Adam 优化器结合了动量和自适应学习率，能够有效加速收敛并避免梯度消失或爆炸的情况。在损失函数的选择上，本研究使用了 均方误差（MSE）损失函数，该函数能衡量网络输出与目标正弦值之间的差异，并通过最小化损失函数来优化网络参数。

2.4 神经网络结构

模型的具体结构如下：

输入层	1 个神经元，用于接收输入 x
隐藏层	10 个神经元，激活函数为 Tanh
输出层	1 个神经元，输出拟合的正弦值

• 训练

3.1 数据生成

为了进行模型训练，首先生成了 x 和 y 的训练数据，其中 x 在区间 [0, 1) 内均匀分布，步长为 0.01，生成 100 个数据点。对应的 y 值则通过正弦函数 y = sin(2πx) 计算得到。这些数据用于训练神经网络，使其学习到 x 与 y 之间的映射关系。

3.2 训练过程

本研究采用 随机梯度下降法（SGD） 结合 Adam 优化器 对模型进行训练。训练的核心目标是最小化均方误差损失函数，以不断调整神经网络的权重和偏置。在每次迭代中，网络通过前向传播计算输出，通过反向传播计算梯度，并利用 Adam 优化器更新网络参数。训练过程的停止条件为最大迭代次数 10,000 次，损失值逐渐趋于稳定。

3.3 训练参数与设置

训练过程中使用的主要参数如下：

学习率	0.001，优化器的学习率设置为 0.001
迭代次数	最大迭代次数设置为 10,000 次
损失函数	均方误差（MSE）损失函数
优化器	Adam 优化器

• 测试与分析

1. 选取不同激活函数

如图 1和图 2所示，在本模型中，我们选择使用 Tanh 激活函数而非 Sigmoid 函数，主要是因为二者的输出范围与正弦函数的特性不匹配。Sigmoid 函数的输出范围是 (0, 1)，无法有效表示正弦函数的负值部分，而正弦函数的输出范围是 [-1, 1]，且具有周期性的波动。相对而言，Tanh 激活函数的输出范围为 [-1, 1]，更符合正弦函数的特性，能够同时表示正负值，从而使得神经网络能够更有效地拟合正弦波的起伏。因此，选择 Tanh 激活函数有助于模型更准确地模拟正弦函数。

图 1 tanh双正切函数

图 2 sigmoid型函数

1. 增加偏置

如图 3所示，在神经网络中，增加偏置项可以显著提升模型的拟合能力。偏置项允许每个神经元在计算时具有一个额外的自由度，使得网络能够更好地适应数据的分布。在没有偏置项的情况下，神经元的输出完全依赖于输入的加权和，限制了模型的表达能力。加入偏置项后，神经元的输出不再局限于零点，能够对输入数据进行更灵活的平移，从而更准确地捕捉到数据的特征。在拟合正弦函数的任务中，增加偏置项使得网络能够更有效地模拟正弦波的起伏，改善了拟合的效果，减少了偏差，提升了模型的预测精度。

图 3 增加偏置后的效果

1. 减少训练量

减少训练的 epoch 数量可能导致模型出现欠拟合，因为模型没有足够的时间来学习数据的特征，从而无法有效捕捉到数据的复杂模式。。虽然减少 epoch 数量可以节省计算资源，但这往往以牺牲模型的表现为代价。

图 4减少训练的 epoch 数量

1. 损失曲线分析

训练过程中，损失曲线的变化呈现出明显的规律性。初期，损失值较高，说明模型尚未有效学习到正弦函数的特性。随着训练的进行，损失逐渐下降，表明模型在不断优化，逐步逼近最优解。最终，损失曲线趋于平稳，接近最小值，表明模型已经学习到了数据中的规律，达到了收敛状态。

1. 模型预测分析

通过对比模型的预测值与原始数据，可以看出，预测值与实际正弦函数的值非常接近，表明模型已成功模拟了正弦函数的行为。在可视化图中，红色的点表示预测值，蓝色的点表示实际值，两者几乎完全重合，进一步验证了模型在函数拟合任务中的高效性和准确性。

• 代码

核心代码
介绍：这段代码是使用 Python 编写的，主要利用了 PyTorch 和 NumPy 库来训练一个简单的神经网络模型进行数据拟合。训练过程中的损失值会被记录并展示出来，同时还会展示模型预测结果与原始数据的对比图。
	import torch
	import torch.nn as nn
	import numpy as np
	import matplotlib.pyplot as plt
	import os
	os.environ["KMP_DUPLICATE_LIB_OK"] = "TRUE"  # 忽略重复的库文件警告
	class Network(nn.Module):
	def __init__(self, n_in, n_hidden, n_out):
	super().__init__()
	self.layer1 = nn.Linear(n_in, n_hidden, bias=False)
	self.layer2 = nn.Linear(n_hidden, n_out, bias=False)
	def forward(self, x):
	x = self.layer1(x)
	x = torch.tanh(x)  # 使用 Tanh 激活函数
	return self.layer2(x)
	def generate_data(start=0.0, end=1.0, step=0.01):
	"""生成训练数据"""
	x = np.arange(start, end, step)
	y = np.sin(2 * np.pi * x)
	return x.reshape(len(x), 1), y.reshape(len(y), 1)
	def train_model(model, x, y, criterion, optimizer, num_epochs=10000):
	"""训练模型并返回训练过程中的损失值"""
	loss_values = []
	for epoch in range(num_epochs):
	y_pred = model(x)  # 前向传播
	loss = criterion(y_pred, y)  # 计算损失
	loss.backward()  # 反向传播
	optimizer.step()  # 更新参数
	loss_values.append(loss.item())  # 保存损失值
	optimizer.zero_grad()  # 清空梯度
	# 每100次打印一次损失值
	if epoch % 100 == 0:
	print(f'After {epoch} iterations, the loss is {loss.item()}')
	return loss_values
	def plot_results(x, y, h, loss_values, num_epochs):
	"""绘制原始数据、预测数据和训练损失曲线"""
	fig, axs = plt.subplots(1, 2, figsize=(14, 6))  # 一行两列的子图布局
	# 第一个子图：原始数据与预测数据的散点图
	axs[0].scatter(x, y, label='Original Data')
	axs[0].scatter(x, h, label='Predicted Data', color='r')
	axs[0].set_title("Model Prediction vs Original Data")
	axs[0].legend()
	# 第二个子图：训练损失曲线
	axs[1].plot(range(num_epochs), loss_values, label='Loss Curve')
	axs[1].set_xlabel('Epochs')
	axs[1].set_ylabel('Loss')
	axs[1].set_title('Training Loss')
	axs[1].legend()
	plt.tight_layout()  # 自动调整子图间距
	plt.show()
	if __name__ == '__main__':
	# 生成数据
	x, y = generate_data()
	x = torch.Tensor(x)
	y = torch.Tensor(y)
	# 初始化模型、损失函数和优化器
	model = Network(1, 10, 1)
	criterion = nn.MSELoss()  # 均方误差损失函数
	optimizer = torch.optim.Adam(model.parameters(), lr=0.001)  # Adam优化器
	# 训练模型
	loss_values = train_model(model, x, y, criterion, optimizer, num_epochs=10000)
	# 获取预测值
	h = model(x).detach().numpy()  # 获取模型输出并转为numpy数组
	x = x.detach().numpy()  # 获取输入数据
	# 调用绘图函数
	plot_results(x, y, h, loss_values, num_epochs=10000)