当前位置： 首页 > news >正文

数学建模学习（116）：全面解析梯度下降算法及其在机器学习中的应用与优化

news 2026/2/8 22:16:32

文章目录

    • 1.梯度下降简介
      • 1.1 梯度下降的数学原理
      • 1.2 学习率的选择
    • 2 梯度下降变体
    • 3.梯度下降优化器
      • 3.1 动量法（Momentum）
      • 3.2 AdaGrad
      • 3.3 RMSprop
      • 3.4 Adam
      • 3.5 Python 使用不同优化器训练线性回归模型
    • 4.案例：使用梯度下降优化加利福尼亚房价预测模型
      • 4.1. 数据准备
      • 4.2. 模型训练与优化
      • 4.3. 实验结果对比
      • 4.4. 结果分析
      • 4.5. 总结

1.梯度下降简介

一种为机器学习模型奠定基础的优化算法是梯度下降法（Gradient Descent，简称GD）。梯度下降是一种简单而有效的工具，适用于训练此类模型。正如其名称所示，梯度下降涉及“向下移动”。我们在一个景观中选择一个方向，并沿着该方向采取每一步，让我们“向下走”。步长的大小取决于坡度（即梯度）的陡峭程度。在机器学习（ML）模型中，梯度下降估计误差的梯度，帮助最小化成本函数。很少有优化方法能够像梯度下降一样计算效率高。GD 还为深度学习模型的优化奠定了基础。

在参数无法通过线性代数方法解析计算的情况下，必须通过优化来搜索时，梯度下降法找到了它最好的用武之地。该算法通过沿着最陡下降方向迭代地移动来工作。在每次迭代中，模型参数（如线性回归中的系数和神经网络中的权重）都会更新。模型将持续更新其参数，直到成本函数收敛或达到最小值（即图1.1a中坡度的底部）。

在这里插入图片描述

1.1 梯度下降的数学原理

梯度下降法的目标是通过迭代的方法最小化目标函数 J ( θ

相关文章：

数学建模学习（116）：全面解析梯度下降算法及其在机器学习中的应用与优化

文章目录 1.梯度下降简介1.1 梯度下降的数学原理1.2 学习率的选择2 梯度下降变体3.梯度下降优化器3.1 动量法（Momentum）3.2 AdaGrad3.3 RMSprop3.4 Adam3.5 Python 使用不同优化器训练线性回归模型4.案例：使用梯度下降优化加利福尼亚房价预测模型4.1. 数据准备4.2. 模型训练…...

编程日记 2024/8/23 1:46:20

[mysql][sql]mysql查询表大小

select table_schema as 数据库, table_name as 表名, table_rows as 记录数, truncate(data_length/1024/1024, 2) as 数据容量(MB), truncate(index_length/1024/1024, 2) as 索引容量(MB) from information_schema.tables where 11 and table_schemadb001 order by table_ro…...

编程日记 2024/8/23 1:44:15

8.16 mysql主从数据库（5.7版本）与python的交互及mycat

mysql数据库基本操作： [rootm ~]# tar -xf mysql-5.7.44-linux-glibc2.12-x86_64.tar.gz 解压压缩包 [rootm ~]# ls anaconda-ks.cfg mysql-5.7.44-linux-glibc2.12-x86_64 mysql-5.7.44-linux-glibc2.12-x86_64.tar.gz [rootm ~]# cp -r mysql-5.7.44-lin…...

编程日记 2024/8/23 1:43:14

项目问题 | CentOS 7停止维护导致yum失效的解决办法

目录 centos停止维护意味着yum相关源伴随失效。 报错： 解决方案：将图中四个文件替换掉/etc/yum.repos.d/目录下同名文件 资源提交在博客头部，博客结尾也提供文件源码内容 CentOS-Base.repo CentOS-SCLo-scl.repo CentOS-SCLo-scl-rh.rep…...

编程日记 2024/8/23 1:42:13

【Docker】Docker Compose（容器编排）

一、什么是 Docker Compose docker-compose 是 Docker 官方的开源项目，使用 python 编写，实现上调用了 Docker 服务的 API 进行容器管理及编排，其官方定义为定义和运行多个 Docker 容器的应用。 docker-compose 中有两个非常重要的概念&…...

编程日记 2024/8/23 1:39:08

嵌入式初学-C语言-二九

C语言编译步骤 预处理编译汇编链接 什么是预处理 预处理就是在源文件（如.c文件）编译之前，所进行的一部分预备操作，这部分操作是由预处理程序自动完成，当源文件在编译时，编译器会自动调用预处理指令的解析…...

编程日记 2024/8/23 1:38:07

0x03 ShowDoc 文件上传漏洞（CNVD-2020-26585）复现

参考：ShowDoc文件上传漏洞（CNVD-2020-26585）_showdoc漏洞-CSDN博客 一、fofa 搜索使用该工具的网站 网络空间测绘，网络空间安全搜索引擎，网络空间搜索引擎，安全态势感知 - FOFA网络空间测绘系统 "S…...

编程日记 2024/8/23 1:37:05

【大模型从入门到精通34】开源库框架LangChain 利用LangChain构建聊天机器人1

这里写目录标题 利用LangChain构建聊天机器人介绍介绍对话型聊天机器人构建环境环境变量和平台设置 加载文档和创建向量存储高级检索技术对话上下文和记忆纳入聊天历史会话缓冲内存 构建对话检索链环境设置与API密钥配置选择合适的语言模型版本Q&A系统设置 利用LangChain构…...

编程日记 2024/8/23 1:32:58

魔法糖果工厂

LYA 是一家魔法糖果工厂的新任管理员。工厂生产的魔法糖果有七种颜色，分别用字母 a、b、c、d、e、f、g 表示。这些糖果被排列在一条传送带上，准备进行包装。为了提高效率，工厂引进了一台智能包装机器人。这个机器人可以按照预设的指令序列来包…...

编程日记 2024/8/23 1:31:57

NVM安装管理node.js版本（简单易懂）

一、前言 1.1 简介 NVM（Node Version Manager）是 node.js 的版本管理器，用 shell 脚本切换机器中不同版本的 nodejs。 Nodejs为什么需要多个版本？ 有经验的开发者可能遇到过，某个依赖包明确nodejs是某个版本&#…...

编程日记 2024/8/23 1:29:55

第1章-04-Chrome及Chrome Driver安装及测试

🏆作者简介，黑夜开发者，CSDN领军人物，全栈领域优质创作者✌，CSDN博客专家，阿里云社区专家博主，2023年CSDN全站百大博主。 🏆数年电商行业从业经验，历任核心研发工程师&am…...

编程日记 2024/8/23 1:28:54

【Linux】SSH 隧道转发场景搭建

ssh建立隧道转发 A设备：没有公网IP地址的本地设备，如本地内网服务器（需要能通公网） B设备：有公网IP地址的服务器，可以是云服务器 C设备：终端设备，想通过公网服务器B访问到设备A 要…...

编程日记 2024/8/23 1:27:53

前后端部署-服务器linux中安装数据库Mysql8

一、登录Xshell7 && 开放Mysql 3306端口， Redis 6379 端口 二、手动部署MySQL数据库 1.运行以下命令，更新YUM源。 sudo rpm -Uvh https://dev.mysql.com/get/mysql80-community-release-el7-7.noarch.rpm 2.运行以下命令，安装My…...

编程日记 2024/8/23 1:24:50

如何使用jd-gui对springboot源码进行分析

背景： 最近在学习springboot的过滤器和拦截器，想了解一下过滤器和拦截器是怎么匹配URL的，在网上搜了半天都搜不到针对源码的，网上大部分内容都是说怎么配置过滤器和拦截器，怎么使用，并没有对源码进行分析的…...

编程日记 2024/8/23 1:23:49

原来ChatGPT是这么评价《黑神话：悟空》的啊？

《黑神话：悟空》一经上线便迅速吸引了全球的目光，成为了今日微博热搜榜上的焦点话题。作为中国首款现象级的中国3A大作，它的发布无疑引发了广泛的关注与讨论。 《黑神话：悟空》，这款3A国产游戏大作，由国内游…...

编程日记 2024/8/23 1:21:47

C语言第17篇

1.在C语言中,全局变量的存储类别是_________. A) static B) extern C) void D) register 提示：extern adj.外来的 register n.登记表，v.登记 提示与本题无关 2.在一个C源程序文件中,要定义一个只允许本源文件中所有函数使用的全局变…...

编程日记 2024/8/23 1:20:46

Springboot+vue实现webScoket

需求 因为在做的项目中，有多个网站登录同一个用户，故想在某一个页面登录或者退出的时候，对其他页面进行相同的操作 跨域，跨页面，跨项目，跨标签页，https 因为一开始不像麻烦后端，所以…...

编程日记 2024/8/23 1:18:45

CSS知识点详解：display+float

display：浮动 1.block：使元素呈现为块级元素，可设置宽高 display: block; 特点：使元素呈现为块级元素，即该元素会以新行开始，占据整行的宽度，即使其宽度未满。 例子： 2.inline&a…...

编程日记 2024/8/23 1:17:44

ant design pro v6 如何做好角色管理

先上图： 整个角色管理是如何做的吗？ 首先你要处理后端，要先把角色存到用户那。 这是用户管理部分的内容： 可以看到一个用户是有多个角色的。 看到没有，存的是数组 数组的是一个 role 对象 role 对象是这样&#xf…...

编程日记 2024/8/23 1:16:42

C++ 设计模式（3. 抽象工厂模式）

抽象工厂模式也是一种创建型设计模式，提供了一个创建一系列相关或相互依赖对象的接口，而无需指定它们具体的类【引用自大话设计模式第15章】基本结构 抽象工厂模式包含多个抽象产品接口，多个具体产品类，一个抽象工厂接口和多个具体…...

编程日记 2024/8/23 1:15:41

LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器的上位机配置操作说明

LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器专为工业环境精心打造，完美适配AGV和无人叉车。同时，集成以太网与语音合成技术，为各类高级系统（如MES、调度系统、库位管理、立库等）提供高效便捷的语音交互体验。 L…...

编程新知 2026/2/8 4:23:14

eNSP-Cloud(实现本地电脑与eNSP内设备之间通信)

说明： 想象一下，你正在用eNSP搭建一个虚拟的网络世界，里面有虚拟的路由器、交换机、电脑（PC）等等。这些设备都在你的电脑里面“运行”，它们之间可以互相通信，就像一个封闭的小王国。 但是&#…...

编程新知 2026/2/8 4:37:17

【Python】 -- 趣味代码 - 小恐龙游戏

文章目录 文章目录 00 小恐龙游戏程序设计框架代码结构和功能游戏流程总结01 小恐龙游戏程序设计02 百度网盘地址00 小恐龙游戏程序设计框架 这段代码是一个基于 Pygame 的简易跑酷游戏的完整实现，玩家控制一个角色（龙）躲避障碍物（仙人掌和乌鸦）。以下是代码的详细介绍：…...

编程新知 2026/2/8 20:43:07

智慧医疗能源事业线深度画像分析（上）

引言 医疗行业作为现代社会的关键基础设施，其能源消耗与环境影响正日益受到关注。随着全球"双碳"目标的推进和可持续发展理念的深入，智慧医疗能源事业线应运而生，致力于通过创新技术与管理方案，重构医疗领域的能源使用模式。这一事业线融合了能源管理、可持续发…...

编程新知 2026/2/8 20:41:46

CTF show Web 红包题第六弹

提示 1.不是SQL注入 2.需要找关键源码 思路 进入页面发现是一个登录框，很难让人不联想到SQL注入，但提示都说了不是SQL注入，所以就不往这方面想了 ​ 先查看一下网页源码，发现一段JavaScript代码，有一个关键类ctfs…...

编程新知 2026/2/5 4:33:58

django filter 统计数量 按属性去重

在Django中，如果你想要根据某个属性对查询集进行去重并统计数量，你可以使用values()方法配合annotate()方法来实现。这里有两种常见的方法来完成这个需求： 方法1：使用annotate()和Count 假设你有一个模型Item，并且你想…...

编程新知 2026/1/11 2:37:51

电脑插入多块移动硬盘后经常出现卡顿和蓝屏

当电脑在插入多块移动硬盘后频繁出现卡顿和蓝屏问题时，可能涉及硬件资源冲突、驱动兼容性、供电不足或系统设置等多方面原因。以下是逐步排查和解决方案： 1. 检查电源供电问题 问题原因：多块移动硬盘同时运行可能导致USB接口供电不足&#x…...

编程新知 2025/10/28 15:02:57

P3 QT项目----记事本（3.8）

3.8 记事本项目总结 项目源码 1.main.cpp #include "widget.h" #include <QApplication> int main(int argc, char *argv[]) {QApplication a(argc, argv);Widget w;w.show();return a.exec(); } 2.widget.cpp #include "widget.h" #include &q…...

编程新知 2026/2/1 6:56:36

【Java学习笔记】BigInteger 和 BigDecimal 类

BigInteger 和 BigDecimal 类 二者共有的常见方法 方法功能add加subtract减multiply乘divide除 注意点&#xff1a;传参类型必须是类对象 一、BigInteger 1. 作用&#xff1a;适合保存比较大的整型数 2. 使用说明 创建BigInteger对象 传入字符串 3. 代码示例 import j…...

编程新知 2025/11/8 15:39:00

HashMap中的put方法执行流程（流程图）

1 put操作整体流程 HashMap 的 put 操作是其最核心的功能之一。在 JDK 1.8 及以后版本中&#xff0c;其主要逻辑封装在 putVal 这个内部方法中。整个过程大致如下&#xff1a; 初始判断与哈希计算&#xff1a; 首先&#xff0c;putVal 方法会检查当前的 table&#xff08;也就…...

编程新知 2026/2/8 3:32:52