当前位置： 首页 > news >正文

2022最新版-李宏毅机器学习深度学习课程-P13 局部最小值与鞍点

news 文章来源：https://blog.csdn.net/weixin_45626133/article/details/133767568 2025/1/19 14:13:40

 一、优化失败的原因

局部最小值？鞍点？

二、数学推导分析

用泰勒公式展开

一项与梯度（L的一阶导）有关，一项与海赛矩阵（L的二阶导）有关

海瑟矩阵

VTHV通过海瑟矩阵的性质可以转为判断H是否是正定的 来判断

  • H正定=所有特征值为正=局部最小值
  • H负定=所有特征值为负=局部最大值
  • 有些特征值为正，有些为负=鞍点

例子

计算导数和海瑟矩阵的特征值

如果遇到鞍点，可以通过特征值来判断减小LOSS的方向：特征值为负的方向

其实局部最小值很少见，一升维，可能你碰上的就是个鞍点！

实验验证

注意这个方法肯定不是梯度下降法做的，做不出来，自己本身儿还一堆毛病呢。

纵轴：损失大小

横轴：局部最小值的比例=负特征值/全部特征值

解决梯度太小被困住的问题。。。下一小节：动量！ 

相关文章：

2022最新版-李宏毅机器学习深度学习课程-P13 局部最小值与鞍点

一、优化失败的原因 局部最小值？鞍点？ 二、数学推导分析 用泰勒公式展开 一项与梯度（L的一阶导）有关，一项与海赛矩阵（L的二阶导）有关 海瑟矩阵 VTHV通过海瑟矩阵的性质可以转为判断H是否是正…...

编程日记 2023/10/16 6:25:51

ARM架构的基本知识

ARM两种授权 体系结构授权, 一种硬件规范, 用来约定指令集, 芯片内部体系结构(内存管理, 高速缓存管理), 只约定每一条指令的格式, 行为规范, 参数, 客户根据这个规范自行设计与之兼容的处理器处理IP授权, ARM公司根据某个版本的体系结构设计处理器, 再把处理器设计方案授权给…...

编程日记 2023/10/16 6:23:48

网络安全（黑客技术）——如何高效自学

前言 前几天发布了一篇 网络安全（黑客）自学 没想到收到了许多人的私信想要学习网安黑客技术！却不知道从哪里开始学起！怎么学？如何学？ 今天给大家分享一下，很多人上来就说想学习黑客&#xff0c…...

编程日记 2023/10/16 6:22:48

云原生场景下高可用架构的最佳实践

作者：刘佳旭（花名：佳旭），阿里云容器服务技术专家 引言 随着云原生技术的快速发展以及在企业 IT 领域的深入应用，云原生场景下的高可用架构，对于企业服务的可用性、稳定性、安全性越发重要。通…...

编程日记 2023/10/16 6:20:45

图论-最短路径算法-弗洛伊德算法与迪杰斯特拉算法

弗洛伊德算法： 弗洛伊德算法本质是动态规划，通过添加点进如可选择的点组成的集合的同时更新所有点之间的距离，从而得到每两个点之间的最短距离。 初始化： 创建一个二维数组 dist，其中 dist[i][j] 表示从节点 i 到节点…...

编程日记 2023/10/16 6:19:44

[23] IPDreamer: Appearance-Controllable 3D Object Generation with Image Prompts

pdf Text-to-3D任务中，对3D模型外观的控制不强，本文提出IPDreamer来解决该问题。在NeRF Training阶段，IPDreamer根据文本用ControlNet生成参考图，并将参考图作为Zero 1-to-3的控制条件，用基于Zero 1-to-3的SDS损失生成…...

编程日记 2023/10/16 6:18:43

深入理解React中的useEffect钩子函数

引言： React是一种流行的JavaScript库，它通过组件化和声明式编程的方式简化了前端开发。在React中，一个核心概念是组件的生命周期，其中包含了许多钩子函数，用于管理组件的不同阶段。其中之一就是useEffect钩子函数&…...

编程日记 2023/10/16 6:17:42

数字化时代的财务管理：挑战与机遇

导语：随着数字化技术的不断发展，财务管理正面临着前所未有的挑战和机遇。数字化不仅改变了财务数据的收集、处理和分析方式，还为财务决策提供了更多的依据和方向。本文将探讨数字化时代财务管理的新特点，以及如何利用数字化技术提…...

编程日记 2023/10/16 6:16:41

网络通信协议-HTTP、WebSocket、MQTT的比较与应用

在今天的数字化世界中，各种通信协议起着关键的作用，以确保信息的传递和交换。HTTP、WebSocket 和 MQTT 是三种常用的网络通信协议，它们各自适用于不同的应用场景。本文将比较这三种协议，并探讨它们的主要应用领域。 HTTP&#xff…...

编程日记 2023/10/16 6:15:40

【深度学习】深度学习实验四——循环神经网络（RNN）、dataloader、长短期记忆网络（LSTM）、门控循环单元（GRU）、超参数对比

一、实验内容 实验内容包含要进行什么实验，实验的目的是什么，实验用到的算法及其原理的简单介绍。 1.1 循环神经网络 （1）理解序列数据处理方法，补全面向对象编程中的缺失代码，并使用torch自带数据工具将数据封装为dataloader。 （2）分别采用手动方式以及调用接口方式…...

编程日记 2023/10/16 6:14:39

DB2分区表详解

一、分区表基本概念 当表中的数据量不断增大，查询数据的速度就会变慢，应用程序的性能就会下降，这时就应该考虑对表进行分区。分区后的表称为分区表。 表进行分区后，逻辑上表仍然是一张完整的表，只是将表中的数据在物理上存放到多个“表空间”(物理文件上)，这样查询数据时…...

编程日记 2023/10/16 6:13:38

基本地址变换机构

基本地址变换机构：用于实现逻辑地址到物理地址转换的一组硬件机构。 关于页号页表的定义，放个本人的传送门 1.页表寄存器 基本地址变换机构可以借助进程的页表将逻辑地址转换为物理地址。 1.作用 通常会在系统中设置一个页表寄存器（PTR&…...

编程日记 2023/10/16 6:12:37

以单颗CMOS摄像头重构三维场景，维悟光子发布单目红外3D成像模组

维悟光子近期发布全新单目红外3D成像模组，现可提供下游用户进行测试导入。通过结合微纳光学元件编码和人工智能算法解码，维悟光子单目红外3D成像模组采用单颗摄像头，通过单帧拍摄，可同时获取像素级配准的3D点云和红外图像信息，可被应用于机器人、生物识别等广阔领域。 市场…...

编程日记 2023/10/16 6:11:36

Jinja2模板注入 | python模板注入特殊属性 / 对象讲解

在进行模板利用的时候需要使用特殊的属性和对象进行利用，这里对这些特殊属性及方法进行讲解 以下实验输出python3版本为 3.10.4， python2版本为 2.7.13 特殊属性 __class__ 类实例上使用，它用于获取该实例对应的类__base__ 用于获取父类__mr…...

编程日记 2023/10/16 6:09:34

一致性公式证明

首先，假设存在两个不同的聚类假设 f 1 f^1 f1和 f 2 f^2 f2，它们在两个视角上的聚类结果分别为 y 1 ∈ { − 1 , 1 } n y^1\in\{-1,1\}^n y1∈{−1,1}n和 y 2 ∈ { − 1 , 1 } n y^2\in\{-1,1\}^n y2∈{−1,1}n。 证明一致性不等式： ​ …...

编程日记 2023/10/16 6:08:33

allegro中shape的一些基本操作（一）——添加和修改shape

添加shape 简单添加shape的方式有3种，如下图所示 点击选择相应的shape模式后可以在option面板中设置相应的shape参数（这里不做过多介绍，里面可以设置shape的大小、静态或动态shape等参数），然后再用鼠标在相应的层上添…...

编程日记 2023/10/16 6:06:31

HBuilder创建uniapp默认项目导入uview（胎教）

1：更新HBuilder 建议更新 2：更新插件 我本人在没有更新插件的情况下报错了，找到了**这个大佬**解决问题，所以建议更新插件 先卸载uni-app（Vue2）编译 再重新安装 uni-app（Vue2）…...

编程日记 2023/10/16 6:05:29

C语言基础算法复习

003 斐波那契数列问题 #include<stdio.h> int main() {int i,f11,f21,f3,num;printf("%5d %5d",f1,f2);num2;for(i1; i<18; i){f3f1f2;f1f2;f2f3;num;printf("%5d",f3);if(num%40) printf("\n");}return 0; }//#输数斐波那契数列的前20…...

编程日记 2023/10/16 6:04:28

PyQt界面里如何加载本地视频以及调用摄像头实时检测（小白入门必看）

目录 1.PyQt介绍 2.代码实现 2.1实时调用摄像头 2.2 使用YOLOv5推理 2.3 代码中用到的主要函数 1.PyQt介绍 PyQt是一个用于创建桌面应用程序的Python绑定库&#xff0c;它基于Qt框架。Qt是一个跨平台的C应用程序开发框架&#xff0c;提供了丰富的图形界面、网络通信、数据…...

编程日记 2023/10/16 6:03:26

Ubuntu：VS Code IDE安装ESP-IDF【保姆级】

物联网开发学习笔记——目录索引 参考&#xff1a; VS Code官网&#xff1a;Visual Studio Code - Code Editing. Redefined 乐鑫官网&#xff1a;ESP-IDF 编程指南 - ESP32 VSCode ESP-ID Extension Install 一、前提条件 Visual Studio Code IDE安装ESP-IDF扩展&…...

编程日记 2023/10/16 6:02:25

软考高级系统架构设计师系列之：快速掌握软件工程核心知识点

软考高级系统架构设计师系列之：快速掌握软件工程核心知识点 一、软件开发方法二、软件开发模型三、软件开发模型-瀑布模型四、软件开发模型-经典模型汇总五、软件开发模型-增量模型与螺旋模型六、软件开发模型-V模型七、软件开发模型-构件组装模型八、软件开发模型-统一过程九…...

编程日记 2023/10/16 6:01:24

Java基础面试-ArrayList和LinkedList的区别

ArrayList: 基于动态数组&#xff0c;连续内存存储&#xff0c;适合下标访问(随机访问)&#xff0c;扩容机制: 因为数组长度固定&#xff0c;超出长度存数据时需要新建数组&#xff0c;然后将老数组的数据拷贝到新数组&#xff0c;如果不是尾部插入数据还会涉及到元素的移动(往…...

编程日记 2023/10/16 6:00:23

如何从 Pod 内访问 Kubernetes 集群的 API

Kubernetes API 是您检查和管理集群操作的途径。您可以使用Kubectl CLI、工具（例如curl）或流行编程语言的官方集成库来使用 API 。 该 API 也可供集群内的应用程序使用。Kubernetes Pod 会自动获得对 API 的访问权限，并且可以使用提供的服务帐户进行身份验证。您可以通过使…...

编程日记 2023/10/16 5:59:22

计网面试复习自用

五层&#xff1a; 应用层&#xff1a;应用层是最高层&#xff0c;负责为用户提供网络服务和应用程序。在应用层&#xff0c;用户应用程序与网络进行交互&#xff0c;发送和接收数据。典型的应用层协议包括HTTP&#xff08;用于网页浏览&#xff09;、SMTP&#xff08;用于电子邮…...

编程日记 2023/10/16 5:58:21

【Android 性能优化：内存篇】——WebView 内存泄露治理

背景&#xff1a;笔者在公司项目中优化内存泄露时发现WebView 相关的内存泄露问题非常经典&#xff0c;一个 Fragment 页面使用的 WebView 有多条泄露路径&#xff0c;故记录下。 Fragment、Activity 使用WebView不释放 项目中一个Fragment 使用 Webview&#xff0c;在 Fragm…...

编程日记 2023/10/16 5:57:20

C++入门（一）

文章目录 前言一、C的发展史二、c关键字二、c命名空间1、代码演示2、::&#xff08;域作用限定符&#xff09; 和namespace&#xff08;命名空间&#xff09;3、命名空间可以嵌套使用4、同一个工程中的相同名字的命名空间 三、c的输入&&输出1、iostream&#xff08;输入…...

编程日记 2023/10/16 5:56:19

C#控制台程序读取输入按键非阻塞方式

参考内容&#xff1a; http://www.dutton.me.uk/2009-02-24/non-blocking-keyboard-input-in-c/ 相关代码&#xff1a; while (true) {if (Console.KeyAvailable){ConsoleKeyInfo key Console.ReadKey(true);switch (key.Key){case ConsoleKey.F1:Console.WriteLine("Y…...

编程日记 2023/10/16 5:55:18

小程序框架-＞框架，视图层，生命周期(逻辑层)

框架视图层生命周期(逻辑层) 1.框架 小程序开发框架的目标是通过尽可能简单、高效的方式让开发者可以在微信中开发具有原生 APP 体验的服务。 整个小程序框架系统分为两部分&#xff1a;**[逻辑层](https://developers.weixin.qq.com/miniprogram/dev/framework/app-service/)…...

编程日记 2023/10/16 5:54:18

Spring framework Day14:配置类的Lite模式和Full模式

前言 Lite模式和Full模式是指在软件或系统中的不同配置选项。一般来说&#xff0c;Lite模式是指较为简洁、轻量级的配置&#xff0c;而Full模式则是指更加完整、功能更丰富的配置。 Lite模式通常会去除一些不常用或占用资源较多的功能&#xff0c;以提高系统的运行效率和响应…...

编程日记 2023/10/16 5:53:17

公司要做大数据可视化看板，除了EXCEL以外有没有好用的软件可以用

当企业需要进行大数据可视化看板的设计和开发时&#xff0c;除了Excel&#xff0c;还有许多其他强大且适合大数据可视化的软件工具。以下是几种常用的好用软件&#xff0c;以及它们的特点和优势&#xff0c;供您参考。 一、Datainside 特点和优势&#xff1a; - **易于使用**…...

编程日记 2023/10/16 5:52:16

网络任务推广/seo基础理论

转载于:https://www.cnblogs.com/jinlonghu/p/9171828.html...

编程日记 2025/1/19 10:50:08

wordpress 获取分类文章/seo推广的常见目的有

http://www.cnblogs.com/newpanderking/archive/2011/10/03/2198648.html 讲得很详细。。。我没明白。...

编程日记 2025/1/19 8:44:29

下载app官方正版/郑州seo全网营销

在面向程序设计中&#xff0c;类与类之间的关系主要有关联关系、依赖关系、泛化关系、接口与实现关系共四种关系。下面将简要进行概述&#xff1a; 一、关联关系 关联关系是类与类中较为常见的关系&#xff0c;其中又包含了以下六种子关联关系&#xff1a; &#xff08;一&…...

编程日记 2025/1/19 8:41:28

一手房哪个网站做信息效果好/百度推广代理商有哪些

一开始是碰到没有caffe/caffe.hpp文件的问题&#xff0c;不知道怎么弄。通过百度&#xff0c;知道了在makefile文件里加入头文件路径和库文件路径就行。 首先是caffe.pb.h丢失问题&#xff0c;解决方法&#xff1a;https://github.com/muupan/dqn-in-the-caffe/issues/3 protoc…...

编程日记 2025/1/19 5:40:33

深圳网站设计深圳设计公司/免费二级域名建站

底层结构 Java中PriorityQueue通过二叉小顶堆实现&#xff0c;可以用一棵完全二叉树表示。PriorityQueue是非线程安全的&#xff0c;Java提供了PriorityBlockingQueue用于Java多线程环境。 功能介绍 优先队列的作用是能保证每次取出的元素都是队列中权值最小的。元素大小的评…...

编程日记 2025/1/19 4:50:07

怎么做网站的三级目录/哈尔滨seo整站优化

对会读书的人来说&#xff0c;读一本书要做的第一件事&#xff0c;就是仔细阅读这本书的目录。阅读目录可以对整体内容有所了解&#xff0c;并清楚地知道感兴趣的部分在哪里&#xff0c;提高阅读质量。博文也是同样的&#xff0c;好的目录对博主和读者都很有帮助。更进一步的是…...

编程日记 2025/1/19 4:19:38