当前位置：首页 > news >正文

机器学习和深度学习 -- 李宏毅（笔记与个人理解）Day 13

news 文章来源：https://blog.csdn.net/weixin_65403042/article/details/137692436 2024/11/6 23:28:29

Day13 Error surface is rugged……

Tips for training :Adaptive Learning Rate

critical point is not the difficult

Root mean Square --used in Adagrad

这里为啥是前面的g的和而不是直接只除以当前呢?

这种方法的目的是防止学习率在训练过程中快速衰减。如果只用当前的梯度值来更新学习率，那么任何较大的梯度值都可能会导致很大的学习率变化，这可能会使得学习过程不稳定。通过使用所有过去梯度的平方的平均值，我们可以使学习率的变化更加平滑，因为这个值不会因为个别极端的梯度值而发生剧烈波动。

以及这个式子和之前讲的那个正则化是不是一样的呢？

啊！！！woc 我发现这两个是差不多的思想啊，你把上面那个正则化的东西用Gradient做出来
g_i = 2xw+ $\sum$ 2w…… 额……好吧完全不一样，但是我又不知道这个会不会对于我的……

废了，乱了；稳一稳哈

这里为什么不是让这个梯度直接等于0 呢？-- 或许是因为有的loss function 我们无法直接求出来梯度等于0 的w？哦哦那我就知道了md 吓死，差点以为自己的machine Learning route ending了

RMSProp

因为上一个方法只能解决不同的 $\theta$ 时候的学习率，但是由图我们可以知道有时候同一个参数我们也希望起有变化率的不同取值

我怎么没看出来这种思想啊

解决井喷问题

在bert里面需要用到

SUmmary of OPtimization

下节预告：

机器学习和深度学习 -- 李宏毅（笔记与个人理解）Day 13

Day13 Error surface is rugged…… Tips for training :Adaptive Learning Rate critical point is not the difficult Root mean Square --used in Adagrad 这里为啥是前面的g的和而不是直接只除以当前呢? 这种方法的目的是防止学习率在训练过程中快速衰减。如果只用当前的…...

编程日记 2024/4/13 9:46:35

[Python图像识别] 五十二.水书图像识别 (2)基于机器学习的濒危水书古文字识别研究

该系列文章是讲解Python OpenCV图像处理知识，前期主要讲解图像入门、OpenCV基础用法，中期讲解图像处理的各种算法，包括图像锐化算子、图像增强技术、图像分割等，后期结合深度学习研究图像识别、图像分类应用。目前我进入第二阶段Python图像识别，该部分主要以目标检测、图像…...

编程日记 2024/4/13 9:45:33

Jmeter针对多种响应断言的判断

有时候response返回的结果并非一种，有多种，需要对这几种进行判断的时候需要使用Bean Shell。 （1）首先获取响应数据 String response prev.getResponseDataAsString(); ResponseCode 响应状态码 responseHeaders 响应头信息 res…...

编程日记 2024/4/13 9:41:30

Harmony鸿蒙南向驱动开发-Regulator接口使用

功能简介 Regulator模块用于控制系统中某些设备的电压/电流供应。在嵌入式系统（尤其是手机）中，控制耗电量很重要，直接影响到电池的续航时间。所以，如果系统中某一个模块暂时不需要使用，就可以通过Regulato…...

编程日记 2024/4/13 9:38:27

【opencv】示例-grabcut.cpp 使用OpenCV库的GrabCut算法进行图像分割

left mouse button - set rectangle SHIFTleft mouse button - set GC_FGD pixels CTRLleft mouse button - set GC_BGD pixels 这段代码是一个使用OpenCV库的GrabCut算法进行图像分割的C程序。它允许用户通过交互式方式选择图像中的一个区域，并利用GrabCut算法尝试…...

编程日记 2024/4/13 9:36:25

GEE数据集——巴基斯坦国家级土壤侵蚀数据集（2005 年和 2015 年）

简介巴基斯坦国家级土壤侵蚀数据集（2005 年和 2015 年） 该数据集采用修订的通用土壤流失方程 (RUSLE)，并考虑了六个关键影响因素：降雨侵蚀率 (R)、土壤可侵蚀性 (K)、坡长 (L)、坡陡 (S)、覆盖管理 (C) 和保护措施 (P)&#xff…...

编程日记 2024/4/13 9:35:24

服务器代理

服务器代理配置：64G内存1 3090（24g）1P4000（8g） SSH连接工作路径：/home/ubuntu/workspace/python Anaconda路径：/home/Ubuntu 1.在工作路径下创建自己的文件夹作为workspace 2.以用户ubunbtu登…...

编程日记 2024/4/13 9:34:23

【SGDR】《SGDR：Stochastic Gradient Descent with Warm Restarts》

arXiv-2016 code: https://github.com/loshchil/SGDR/blob/master/SGDR_WRNs.py 文章目录 1 Background and Motivation2 Related Work3 Advantages / Contributions4 Method5 Experiments5.1 Datasets and Metric5.2 Single-Model Results5.3 Ensemble Results5.4 Experiment…...

编程日记 2024/4/13 9:33:18

如何将arping以及所有依赖打包安装到另外一台离线ubuntu机器

ubuntu系统下可以使用arping命令检测局域网内一些ip是否冲突，使用方式为： arping xx.xx.xx.xx 在线情况下，可以使用下面命令下载arping，然后使用即可 apt install arping 但是有些情况下机器可能不能上网，这时就需要将…...

编程日记 2024/4/13 9:31:16

mac上如何安装python3

mac上如何安装python3？ 安装homebrew 在终端执行命令 /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" 执行完成后，homebrew和pip等工具就自动安装好了。接下来安装python3.在终端…...

编程日记 2024/4/13 9:27:11

Java 那些诗一般的数据类型 (下篇)

本篇会加入个人的所谓鱼式疯言 ❤️❤️❤️鱼式疯言:❤️❤️❤️此疯言非彼疯言而是理解过并总结出来通俗易懂的大白话, 小编会尽可能的在每个概念后插入鱼式疯言,帮助大家理解的. 🤭🤭🤭可能说的不是那么严谨.但小编初心是能让更多人能接…...

编程日记 2024/4/13 9:23:06

WEB3.0：互联网的下一阶段

随着互联网的发展，WEB3.0时代正在逐步到来。本文将深入探讨WEB3.0的定义、特点、技术应用以及未来展望，为读者带来全新的思考。一、什么是WEB3.0？ WEB3.0可以被理解为互联网发展的下一阶段，是当前WEB2.0的升级版。相较于2.0时代…...

编程日记 2024/4/13 9:21:04

Fastgpt配合chatglm+m3e或ollama+m3e搭建个人知识库

概述： 人工智能大语言模型是近年来人工智能领域的一项重要技术，它的出现标志着自然语言处理领域的重大突破。这些模型利用深度学习和大规模数据训练，能够理解和生成人类语言，为各种应用场景提供了强大的文本处理能力。AI大语言模…...

编程日记 2024/4/13 9:16:58

如何使用选择器精确地控制网页中每一个元素的样式？

1. 基础知识什么是 CSS 元素选择器 CSS 元素选择器是一种在网页中通过元素类型来应用样式的方法。简单来说，它就像是一个指挥棒，告诉浏览器哪些 HTML 元素需要应用我们定义的 CSS 样式规则。为何要使用 CSS 元素选择器使用元素选择器可以让我们…...

编程日记 2024/4/13 9:12:54

各个微前端框架的优劣浅谈

各个微前端框架都有其独特的优势和劣势，下面我将针对几个主流的微前端框架进行简要的优劣分析： single-spa 优势： 轻量级：single-spa是一个非常轻量级的微前端框架，它主要提供了一个加载和管理微应用的机制&#xff0c…...

编程日记 2024/4/13 9:11:53

自动化运维（二十二）Ansible实战之Jenkins模块

Ansible提供了一些模块,可以用来与Jenkins进行交互,执行各种操作,如创建任务、触发构建、获取构建结果等。通过使用这些模块,我们可以将Jenkins的配置和管理集成到Ansible的自动化流程中。以下是一些常用的Ansible Jenkins模块: 1、jenkins_job模块 jenkins_job模块用于创建…...

编程日记 2024/4/13 9:09:51

Python数据分析与应用 |第4章使用pandas进行数据预处理（实训）

表1-1healthcare-dataset-stroke.xlsx 部分中风患者的基础信息和体检数据编号性别高血压是否结婚工作类型居住类型体重指数吸烟史中风9046男否是私人城市36.6以前吸烟是51676女否是私营企业农村N/A从不吸烟是31112男否是私人农村32.5从不吸烟...

编程日记 2024/4/13 9:08:49

基于双向长短期神经网络BILSTM的线损率预测，基于gru的线损率预测

目录背影摘要 LSTM的基本定义 LSTM实现的步骤 BILSTM神经网络基于双向长短期神经网络BILSTM的线损率预测，基于gru的线损率预测完整代码：基于双向长短期神经网络BILSTM的线损率预测，基于gru的线损率预测（代码完整，数据齐全）资源-CSDN文库 https://download.csdn.net/d…...

编程日记 2024/4/13 9:06:48

智能售货机：引领便捷生活

智能售货机：引领便捷生活在这个科技迅速进步的时代，便捷已成为生活的必需。智能售货机作为技术与便利完美结合的产物，正逐渐改变我们的购物方式，为都市生活增添新的活力。智能售货机的主要优势是它的极致便利性。不论是在地铁…...

编程日记 2024/4/13 9:04:46

正向代理和反向代理

正向代理和反向代理是网络中常见的两种代理方式，它们在网络通信中扮演着不同的角色。正向代理： 正向代理是代理服务器位于客户端和目标服务器之间的一种代理方式。客户端向代理服务器发送请求，然后代理服务器将请求转发给目标服务器&…...

编程日记 2024/4/13 9:02:44

kimichat使用技巧：用语音对话聊天

kimichat之前是只能用文字聊天的，不过最近推出了语音新功能，也可以用语音畅快的对话聊天了。这个功能目前支持手机app版本，所以首先要在手机上下载安装kimi智能助手。已经安装的，要点击检查更新，更新到最新的版本。 …...

编程日记 2024/4/13 9:01:43

机器学习-09-图像处理02-PIL+numpy+OpenCV实践

总结本系列是机器学习课程的系列课程，主要介绍机器学习中图像处理技术。参考【人工智能】PythonOpenCV图像处理（一篇全） 一文讲解方向梯度直方图（hog） 【杂谈】计算机视觉在人脸图像领域的十几个大的应用方向&…...

编程日记 2024/4/13 8:58:40

应急响应-战前反制主机HIDSElkeid蜜罐系统HFish

知识点战前-反制-平台部署其他更多项目： https://github.com/birdhan/SecurityProduct HIDS：主机入侵检测系统，通常会有一个服务器承担服务端角色，其他主机就是客户端角色，客户端加入到服务端的检测范围里&#xff…...

编程日记 2024/4/13 8:57:39

C#：24小时制和12小时制之间的转换

任务描述本关任务：编写一个程序，利用求余运算完成24小时制和12小时制之间的转换。注意：要求输入的数字是0到24之间的整数。测试说明平台会对你编写的代码进行测试： 测试输入：4 预期输出： 现在是上午4…...

编程日记 2024/4/13 8:54:36

说说TCP为什么需要三次握手和四次挥手？

文章目录一、三次握手为什么不是两次握手? 二、四次挥手四次挥手原因三、总结参考文献一、三次握手三次握手（Three-way Handshake）其实就是指建立一个TCP连接时，需要客户端和服务器总共发送3个包主要作用就是为了确认双方的接收能力和…...

编程日记 2024/4/13 8:50:32

STM32 串口接收定长，不定长数据

本文为大家介绍如何使用串口接收定长和不定长的数据。文章目录前言一、串口接收定长数据1. 函数介绍2.代码实现二、串口接收不定长数据1.函数介绍2. 代码实现三，两者回调函数的区别比较四，空闲中断的介绍总结前言一、串口接收定长数据 1. 函…...

编程日记 2024/4/13 8:48:31

C++设计模式|0.前言

1.什么是设计模式？ 简答来说，设计模式就是一套好用的代码经验总结，也就是怎么写好代码的方法论。使用设计模式是为了可重用代码、让代码更容易被他人理解、提高代码的可靠性。 2.设计模式的分类设计模式可以分为三类：创建型、…...

编程日记 2024/4/13 8:43:27

[蓝桥杯] 岛屿个数（C语言）

提示： 橙色字体为需要注意部分，红色字体为难点部分，会在文章“重难点解答”部分精讲。题目链接蓝桥杯2023年第十四届省赛真题-岛屿个数 - C语言网题目理解这道题让我们求岛屿个数，那么我们就应该先弄懂，对于一…...

编程日记 2024/4/13 8:42:26

Apache Storm的详细配置

Apache Storm的详细配置主要涉及以下几个方面： Zookeeper配置：Apache Storm使用Zookeeper来进行协调和配置管理。你需要配置Zookeeper集群的连接信息，包括Zookeeper服务器的主机和端口。 Storm Nimbus配置：Nimbus是Storm的主节点，负责分配任务给各个工作节点。你需要配置N…...

编程日记 2024/4/13 8:41:25

kylin v10 php源码安装后配置nginx

银河麒麟V10 源码编译安装php7.4 下载地址 https://www.php.net/distributions/php-7.4.33.tar.xz 安装依赖包，准备编译 dnf install libxml2-devel sqlite-devel bzip2-devel libcurl-devel libjpeg-turbo-devel freetype-devel openldap-devel libtool-devel p…...

编程日记 2024/4/13 8:39:22

天津培训网站建设/项目推广渠道有哪些

visionpro简单易用您可以使用jQuery样式表切换器使网站更具交互性-允许访问者从其他样式表列表中选择首选的配色方案，从而使他们的浏览体验更加个性化。本文包含10个简单的jQuery StyleSheet切换器集合，供您尝试并实现到您的网站中。请享用。相关文章…...

编程日记 2024/11/6 21:25:16

80 wordpress/营销推广渠道有哪些

Lora 数据发送与接收预计到2025年，我们将有250亿台设备连接到互联网。相当于今天的地球人口多三倍。随着物联网和工业4.0的概念，互联车辆和智能城市的迅速普及，这种情况最有可能发生。我们已经有少数无线协议，如BLE、Wi-Fi、蜂窝等，但是这些技术对于IoT传感器节点而言…...

编程日记 2024/11/6 20:31:34

徐州网站建设xlec/外贸网站建站平台

http://blog.csdn.net/housisong/article/details/6318890...

编程日记 2024/11/6 18:27:17

做公司网站写什么信息/我想做网络推广

oracle的架构大概分为3部分， 客户端：用户端 oracle instance：叫做实例，由内存结构（内存池或者叫SGA）和后台进程组成。Oracle Instance是Oracle RDBMS的核心之一，负责RDBMS的管理功能。内存结构有…...

编程日记 2024/11/6 16:46:52

疫情防控政策/苏州seo排名优化课程

一.模块的搜索路径模块的加载路径：内存》内置模块》sys.path(系统内置的环境变量,一系列自定义的模块) import sys print(sys.path) #查询系统的环境变量,以列表的形式进行存储 # 默认第一个元素就是当前被执行的文件目录# 我们可以自定义的去加入系统的配置 sys.p…...

编程日记 2024/11/6 13:43:23

页面菜单 wordpress/百度优化大师

在微服务架构体系中，每个服务都需要配置Hystrix DashBoard监控。如果每次只能查看单个实例的监控数据，就需要不断切换监控地址，这显然很不方便。要想看这个系统的Hystrix Dashboard数据就需要用到Hystrix Turbine。Turbine是一个聚合Hystrix …...

编程日记 2024/11/6 12:03:22