当前位置： 首页 > news >正文

十大机器学习算法深入浅出

news 2026/2/8 1:31:44

本栏目涉及对于回归算法、聚类算法、决策树、随机森林、神经网络、贝叶斯算法、支持向量机等十大机器学习算法的笔记
下面是笔记大纲，具体内容可查看**“十大机器学习算法深入浅出”**专栏，内容持续更新，欢迎订阅专栏和专注我！

1. 线性回归

  • 第一章：线性回归原理推导
    • 1-回归问题概述
    • 2-误差项定义
    • 3-独立同分布的意义
    • 4-似然函数的作用
    • 5-参数求解
    • 6-梯度下降通俗解释
    • 7-参数更新方法
    • 8-优化参数设置
  • 第二章：线性回归代码实现
    • 1-线性回归整体模块概述
    • 2-初始化步骤
    • 3-实现梯度下降优化模块
    • 4-损失与预测模块
    • 5-数据与标签定义
    • 6-训练线性回归模型
    • 7-得到线性回归方程
    • 8-整体流程debug解读
    • 9-多特征回归模型
    • 10-非线性回归
  • 第四章：线性回归实验分析
    • 1-实验目标分析
    • 2-参数直接求解方法
    • 3-预处理对结果的影响
    • 4-梯度下降模块
    • 5-学习率对结果的影响
    • 6-随机梯度下降得到的效果
    • 7-MiniBatch方法
    • 8-不同策略效果对比
    • 9-多项式回归
    • 10-模型复杂度
    • 11-样本数量对结果的影响
    • 12-正则化的作用
    • 13-岭回归与lasso
    • 14-实验总结

2. 模型评估

  • 第三章：模型评估方法
    • 1-Sklearn工具包简介
    • 2-数据集切分
    • 3-交叉验证的作用
    • 4-交叉验证实验分析
    • 5-混淆矩阵
    • 6-评估指标对比分析
    • 7-阈值对结果的影响
    • 8-ROC曲线

3. 逻辑回归

  • 第五章：逻辑回归原理推导
    • 1-逻辑回归算法原理
    • 2-化简与求解
  • 第六章：逻辑回归代码实现
    • 1-多分类逻辑回归整体思路
    • 2-训练模块功能
    • 3-完成预测模块
    • 4-优化目标定义
    • 5-迭代优化参数
    • 6-梯度计算
    • 7-得出最终结果
    • 8-鸢尾花数据集多分类任务
    • 9-训练多分类模型
    • 10-准备测试数据
    • 11-决策边界绘制
    • 12-非线性决策边界
  • 第七章：逻辑回归实验分析

4. 聚类算法

  • 第八章：聚类算法-Kmeans&Dbscan原理
    • 1-KMEANS算法概述
    • 2-KMEANS工作流程
    • 3-KMEANS迭代可视化展示
    • 4-DBSCAN聚类算法
    • 5-DBSCAN工作流程
    • 6-DBSCAN可视化展示
  • 第九章：Kmeans代码实现
    • 1-Kmeans算法模块概述
    • 2-计算得到簇中心点
    • 3-样本点归属划分
    • 4-算法迭代更新
    • 5-鸢尾花数据集聚类任务
    • 6-聚类效果展示
  • 第十章：聚类算法实验分析

5. 决策树

  • 第十一章：决策树原理
    • 1-决策树算法概述
    • 2-熵的作用
    • 3-信息增益原理
    • 4-决策树构造实例
    • 5-信息增益率与gini系数
    • 6-预剪枝方法
    • 7-后剪枝方法
    • 8-回归问题解决
  • 第十二章：决策树代码实现
    • 1-整体模块概述
    • 2-递归生成树节点
    • 3-整体框架逻辑
    • 4-熵值计算
    • 5-数据集切分
    • 6-完成树模型构建
    • 7-测试算法效果
  • 第十三章：决策树实验分析

6. 集成算法

  • 第十四章：集成算法原理
    • 1-随机森林算法原理
    • 2-随机森林优势与特征重要性指标
    • 3-提升算法概述
    • 4-stacking堆叠模型
  • 第十五章：集成算法实验分析

7. 支持向量机

  • 第十六章：支持向量机原理推导
    • 1-支持向量机要解决的问题
    • 2-距离与数据定义
    • 3-目标函数推导
    • 4-拉格朗日乘子法求解
    • 5-化简最终目标函数
    • 6-求解决策方程
    • 7-软间隔优化
    • 8-核函数的作用
    • 9-知识点总结
  • 第十七章：支持向量机实验分析

8. 神经网络

  • 第十八章：神经网络算法原理
    • 1-深度学习要解决的问题
    • 2-深度学习应用领域
    • 3-计算机视觉任务
    • 4-视觉任务中遇到的问题
    • 5-得分函数
    • 6-损失函数的作用
    • 7-前向传播整体流程
    • 8-返向传播计算方法
    • 9-神经网络整体架构
    • 10-神经网络架构细节
    • 11-神经元个数对结果的影响
    • 12-正则化与激活函数
    • 13-神经网络过拟合解决方法
  • 第十九章：神经网络代码实现

9. 贝叶斯算法

  • 第二十章：贝叶斯算法原理
    • 1-贝叶斯要解决的问题
    • 2-贝叶斯公式推导
    • 3-拼写纠错实例
    • 4-垃圾邮件过滤实例
  • 第二十一章：贝叶斯代码实现

10. 关联规则

  • 第二十二章：关联规则实战分析
  • 第二十三章：关联规则代码实现

11. 词向量word2vec

  • 第二十四章：词向量word2vec通俗解读
  • 第二十五章：代码实现word2vec词向量模型

参考资料：

  1. 机器学习导论 Ethem Alpaydin（机械工业出版社）
  2. 这也太全了！回归算法、聚类算法、决策树、随机森林、神经网络、贝叶斯算法、支持向量机等十大机器学习算法一口气学完！

相关文章：

十大机器学习算法深入浅出

本栏目涉及对于回归算法、聚类算法、决策树、随机森林、神经网络、贝叶斯算法、支持向量机等十大机器学习算法的笔记 下面是笔记大纲，具体内容可查看**“十大机器学习算法深入浅出”**专栏，内容持续更新，欢迎订阅专栏和专注我！ 1…...

编程日记 2024/6/21 7:34:30

【论文笔记】Parameter-Effificient Transfer Learning for NLP

题目:Parameter-Effificient Transfer Learning for NLP 阅读 文章目录 0.摘要1.引言2 Adapter tuning for NLP3 实验3.1 参数/性能平衡3.2 讨论 4.相关工作 0.摘要 克服微调训练不高效的问题，增加一些adapter模块，思想就是固定原始的网络中的参数&…...

编程日记 2024/6/21 7:33:29

Qt异常处理

初步警告:异常安全功能不完整!一般情况下应该可以工作，但类仍然可能泄漏甚至崩溃。 Qt本身不会抛出异常。而是使用错误码, 但是C可能会抛出异常。此外，有些类有用户可见的错误消息，例如QIODevice::errorString()或QSqlQuery::lastError()。这…...

编程日记 2024/6/21 7:32:27

【ElasticSearch】ElasticSearch实战

初步检索 检索 ES 信息 1）、GET /_cat/nodes：查看所有节点 127.0.0.1 44 83 1 0.01 0.01 0.00 dilm * 1b06a843b8e3 *代表主节点 2）、GET /_cat/health：查看健康状况 1718265331 07:55:31 elasticsearch yellow 1 1 4 4 0 0…...

编程日记 2024/6/21 7:30:24

48-3 内网渗透 - 令牌操纵

访问令牌操纵 Windows 操作系统的访问控制模型是其安全性的重要组成部分，主要由访问令牌（Access Token）和安全描述符（Security Descriptor）构成。访问令牌是访问者持有的，而安全描述符则由被访问对象持有。通过对比访问令牌和安全描述符的内容，Windows 可以判断访问者是…...

编程日记 2024/6/21 7:29:23

架构师之 Kafka 核心概念入门

Kafka 核心概念 作为架构师，理解 Kafka 的核心概念至关重要。这些概念是构建高效、可靠的 Kafka 系统的基础。 以下是需要掌握的 Kafka 核心概念及其详细说明： 1. Topic 定义：Topic 是 Kafka 中用于存储和分类消息的逻辑命名空间。每个 Topic 代表一类数据流， 例如日志、…...

编程日记 2024/6/21 7:28:21

Redis通用命令详解

文章目录 一、Redis概述1.1 KEYS：查看符合模板的所有 key1.2 DEL：删除一个指定的 key1.3 EXISTS：判断 key 是否存在1.4 EXPIRE：给一个 key 设置有效期，有效期到期时该 key 会被自动删除1.5 TTL：查看一个 ke…...

编程日记 2024/6/21 7:27:19

物联网设备安装相关知识整理

拓扑图 对于ADAM-4150先接设备的整体的供电。 ADAM-4150就涉及到几个电子元器件的连接，一个是485-232的转换器，一个是将RS-232转换为USB的转接口，因为现在的计算机很多都去掉了RS-232接口而使用USB接口。 4150右侧有个拨码，分别两…...

编程日记 2024/6/21 7:26:17

React实现H5手势密码

监测应用进入前后台 在JavaScript中，监听H5页面是否在前台或后台运行，主要依赖于Page Visibility API。这个API在大多数现代浏览器中都是支持的，包括苹果的Safari和谷歌的Chrome（也就基本覆盖了Android和iOS平台）。下…...

编程日记 2024/6/21 7:25:16

[leetcode hot 150]第十五题，三数之和

题目： 给你一个整数数组 nums ，判断是否存在三元组 [nums[i], nums[j], nums[k]] 满足 i ! j、i ! k 且 j ! k ，同时还满足 nums[i] nums[j] nums[k] 0 。请 你返回所有和为 0 且不重复的三元组。 注意：答案中不可以包含重复…...

编程日记 2024/6/21 7:23:13

视频AI分析定时任务思路解析

序言： 最近项目中用到视频ai分析，由于sdk涉及保密，不便透露，仅对定时任务分析的思路作出分享，仅供参考。 1、定时任务 由于ai服务器的性能上限，只能同时对64个rtsp流分析一种算法，或者对8个rts…...

编程日记 2024/6/21 7:22:12

tcp 粘包和拆包 及 解决粘包方案

什么是粘包和拆包 .TCP 是面向连接的，面向流的，提供高可靠性服务。收发两端（客户端和服务器端）都要有一一成对的 socket，因此，发送端为了将多个发给接收端的包，更有效的发给对方，使…...

编程日记 2024/6/21 7:21:10

【2024泰迪杯】B 题：基于多模态特征融合的图像文本检索20页论文及Python代码

【2024泰迪杯】B 题：基于多模态特征融合的图像文本检索20页论文及Python代码 相关链接 【2024泰迪杯】A 题：生产线的故障自动识别与人员配置 Python代码实现 【2024泰迪杯】B 题：基于多模态特征融合的图像文本检索Python代码实现 【2024泰迪…...

编程日记 2024/6/21 7:20:09

华为设备telnet 远程访问配置实验简述

一、实验需求: 1、AR1模拟电脑telnet 访问AR2路由器。 二、实验步骤： 1、AR1和AR2接口配置IP，实现链路通信。 2、AR2配置AAA模式 配置用户及密码 配置用户访问级别 配置用户telnet 访问服务 AR2配置远程服务数量 配置用户远程访问模式为AAA 配置允许登录…...

编程日记 2024/6/21 7:18:06

在HTML中，如何正确使用语义化标签？

在HTML中&#xff0c;使用语义化标签可以使得网页结构更加清晰和易于理解。以下是一些正确使用语义化标签的方法&#xff1a; 使用合适的标题标签&#xff08;h1-h6&#xff09;来标识网页的标题&#xff0c;以及页面中的各个区块的标题。 <h1>网页标题</h1> <…...

编程日记 2024/6/21 7:17:05

WHAT - 高性能和内存安全的 Rust（一）

目录 一、介绍1.1 示例代码1.2 关键特性内存安全零成本抽象&#xff1a;高效性能示例代码&#xff1a;使用迭代器的零成本抽象示例代码&#xff1a;泛型和单态化总结 并发编程&#xff1a;防止数据竞争Rust 并发编程示例Rust 的所有权系统防止数据竞争总结 丰富的类型系统包管理…...

编程日记 2024/6/21 7:16:02

八、C#运算符

C#运算符 晕杜甫是一种告诉编辑器执行特定的数学或逻辑操作的符号。C#有丰富的内置运算符&#xff0c;分类如下&#xff1a; 算术运算符关系运算符逻辑运算符位运算符赋值运算符其他运算符 算术运算符 下表显示了 C# 支持的所有算术运算符。假设变量 A 的值为 10&#xff0c…...

编程日记 2024/6/21 7:15:00

【HiveSQL】join关联on和where的区别及效率对比

测试环境&#xff1a;hive on spark spark版本&#xff1a;3.3.1 一、执行时机二、对结果集的影响三、效率对比1.内连接1&#xff09;on2&#xff09;where 2.外连接1&#xff09;on2&#xff09;where 四、总结PS 一、执行时机 sql连接中&#xff0c;where属于过滤条件&#…...

编程日记 2024/6/21 7:13:59

如何解决windows自动更新，释放C盘更新内存

第一步&#xff1a;首先关闭windows自动更新组件 没有更新windows需求&#xff0c;为了防止windows自动更新&#xff0c;挤占C盘空间&#xff0c;所以我们要采取停止Windows Update服务。按下WinR打开运行对话框&#xff0c;输入services.msc&#xff0c; 然后按Enter。在服务…...

编程日记 2024/6/21 7:12:57

初学51单片机之PWM实例呼吸灯以及遇到的问题（已解答）

PWM全名Pulse Width Modulation中文称呼脉冲宽度调制 如图 这是一个周期10ms、频率是100HZ的波形&#xff0c;但是每个周期内&#xff0c;高低电平宽度各不相同&#xff0c;这就是PWM的本质。 占空比是指高电平占整个周期的比列,上图第一个波形的占空比是40%&#xff0c;第二个…...

编程日记 2024/6/21 7:11:56

JavaScript 中的 ES|QL：利用 Apache Arrow 工具

作者&#xff1a;来自 Elastic Jeffrey Rengifo 学习如何将 ES|QL 与 JavaScript 的 Apache Arrow 客户端工具一起使用。 想获得 Elastic 认证吗&#xff1f;了解下一期 Elasticsearch Engineer 培训的时间吧&#xff01; Elasticsearch 拥有众多新功能&#xff0c;助你为自己…...

编程新知 2026/1/23 7:23:58

【JVM】- 内存结构

引言 JVM&#xff1a;Java Virtual Machine 定义&#xff1a;Java虚拟机&#xff0c;Java二进制字节码的运行环境好处&#xff1a; 一次编写&#xff0c;到处运行自动内存管理&#xff0c;垃圾回收的功能数组下标越界检查&#xff08;会抛异常&#xff0c;不会覆盖到其他代码…...

编程新知 2026/1/30 13:40:43

最新SpringBoot+SpringCloud+Nacos微服务框架分享

文章目录 前言一、服务规划二、架构核心1.cloud的pom2.gateway的异常handler3.gateway的filter4、admin的pom5、admin的登录核心 三、code-helper分享总结 前言 最近有个活蛮赶的&#xff0c;根据Excel列的需求预估的工时直接打骨折&#xff0c;不要问我为什么&#xff0c;主要…...

编程新知 2026/2/1 23:39:12

uniapp微信小程序视频实时流+pc端预览方案

方案类型技术实现是否免费优点缺点适用场景延迟范围开发复杂度​WebSocket图片帧​定时拍照Base64传输✅ 完全免费无需服务器 纯前端实现高延迟高流量 帧率极低个人demo测试 超低频监控500ms-2s⭐⭐​RTMP推流​TRTC/即构SDK推流❌ 付费方案 &#xff08;部分有免费额度&#x…...

编程新知 2026/1/31 6:12:33

AGain DB和倍数增益的关系

我在设置一款索尼CMOS芯片时&#xff0c;Again增益0db变化为6DB&#xff0c;画面的变化只有2倍DN的增益&#xff0c;比如10变为20。 这与dB和线性增益的关系以及传感器处理流程有关。以下是具体原因分析&#xff1a; 1. dB与线性增益的换算关系 6dB对应的理论线性增益应为&…...

编程新知 2025/9/30 16:23:57

Go语言多线程问题

打印零与奇偶数&#xff08;leetcode 1116&#xff09; 方法1&#xff1a;使用互斥锁和条件变量 package mainimport ("fmt""sync" )type ZeroEvenOdd struct {n intzeroMutex sync.MutexevenMutex sync.MutexoddMutex sync.Mutexcurrent int…...

编程新知 2025/9/23 8:19:28

Redis：现代应用开发的高效内存数据存储利器

一、Redis的起源与发展 Redis最初由意大利程序员Salvatore Sanfilippo在2009年开发&#xff0c;其初衷是为了满足他自己的一个项目需求&#xff0c;即需要一个高性能的键值存储系统来解决传统数据库在高并发场景下的性能瓶颈。随着项目的开源&#xff0c;Redis凭借其简单易用、…...

编程新知 2025/11/15 1:41:43

Git常用命令完全指南：从入门到精通

Git常用命令完全指南&#xff1a;从入门到精通 一、基础配置命令 1. 用户信息配置 # 设置全局用户名 git config --global user.name "你的名字"# 设置全局邮箱 git config --global user.email "你的邮箱example.com"# 查看所有配置 git config --list…...

编程新知 2025/10/3 0:40:01

DiscuzX3.5发帖json api

参考文章&#xff1a;PHP实现独立Discuz站外发帖(直连操作数据库)_discuz 发帖api-CSDN博客 简单改造了一下&#xff0c;适配我自己的需求 有一个站点存在多个采集站&#xff0c;我想通过主站拿标题&#xff0c;采集站拿内容 使用到的sql如下 CREATE TABLE pre_forum_post_…...

编程新知 2025/11/25 17:20:50

【FTP】ftp文件传输会丢包吗？批量几百个文件传输，有一些文件没有传输完整，如何解决？

FTP&#xff08;File Transfer Protocol&#xff09;本身是一个基于 TCP 的协议&#xff0c;理论上不会丢包。但 FTP 文件传输过程中仍可能出现文件不完整、丢失或损坏的情况&#xff0c;主要原因包括&#xff1a; ✅ 一、FTP传输可能“丢包”或文件不完整的原因 原因描述网络…...

编程新知 2025/8/17 3:31:21