当前位置： 首页 > news >正文

【机器学习基础】激活函数

news 文章来源：https://blog.csdn.net/weixin_41838721/article/details/143149510 2024/11/27 5:31:17

激活函数

  • 1. Sigmoid函数
  • 2. Tanh（双曲正切）函数
  • 3. ReLU函数
  • 4. Leaky ReLU函数

1. Sigmoid函数

在这里插入图片描述

  • 观察导数图像
  • 在我们深度学习里面，导数是为了求参数W和B，W和B是在我们模型model确定之后，找出一组最优的W和B，使我们那个模型输入的x，得出我们Y最近我们真实结果的一个Y
  • 导数函数图像，往两边走的话，它的导数越来越接近零。如果这样的情况出现的话，出现梯度消失。我们希望它的导数是一个平稳值，不要大也不要小
  • 值落在，无穷大的时候或者无穷小的时候，它的导数就接近于零，此时W和B就不能更新了，无法找到最优的W和B。你就是你不断找不找，每天也走一走个几米几米远，事实上W和B在几千米远之外

2. Tanh（双曲正切）函数

在这里插入图片描述

  • 和Sigmoid类似，优缺点也类似
  • 函数图像，值域在-1到1之间，Sigmoid在0~1之间
  • 导数图像，值域么在0到1之间，Sigmoid在0~0.25之间是吧
  • 比Sigmoid快，原因比Sigmoid0.25大，Sigmoid可能训练100轮，Tanh找50轮就够

3. ReLU函数

在这里插入图片描述

  • 分段函数，函数图像大于0为Z，小于0为0
  • 导数图像，大于0为1，小于0为0
  • 认为解决梯度消失不太严谨，因为小于0直接是0了，上两个是接近于0，直接神经元死亡。但落在大于0确实解决梯度消失，都等于1很平缓

4. Leaky ReLU函数

在这里插入图片描述

  • 对ReLU的改进
  • 函数图像大于0与ReLU相同，小于0为aZ，a≠0也≠1
  • 导数图像不为0了
  • 没有完美的激活函数，只有不合适的激活函数

相关文章：

【机器学习基础】激活函数

激活函数 1. Sigmoid函数2. Tanh（双曲正切）函数3. ReLU函数4. Leaky ReLU函数 1. Sigmoid函数 观察导数图像在我们深度学习里面，导数是为了求参数W和B，W和B是在我们模型model确定之后，找出一组最优的W和B，使…...

编程日记 2024/10/25 14:48:26

nnMamba用于糖尿病视网膜病变检测测试

1.代码修改 源码是针对3D单通道图像的，只需要简单改写为2D就行，修改nnMamba4cls.py代码如下： # -*- coding: utf-8 -*- # 作者: Mr Cun # 文件名: nnMamba4cls.py # 创建时间: 2024-10-25 # 文件描述：修改nnmamba，使…...

编程日记 2024/10/25 14:46:24

【Spring MVC】创建项目和建立请求连接

我的主页：2的n次方_ 1. MVC MVC 是 Model View Controller 的缩写，它是软件⼯程中的⼀种软件架构设计模式，它把软件系统分为模型、视图和控制器三个基本部分。 View (视图)： 指在应⽤程序中专⻔⽤来与浏览器进⾏交互&…...

编程日记 2024/10/25 14:45:21

台达A2伺服

驱动器： L 外接脉冲 U 在L的基础上增加DI E ethercat总线 F 台达 M CANopen总线 电机： ECMA-C A 0604 SS...

编程日记 2024/10/25 14:43:17

ReactOS系统中搜索给定长度的空间地址区间中的二叉树

搜索给定长度的空间地址区间 //搜索给定长度的空间地址区间 MmFindGap MmFindGapTopDown PVOID NTAPI MmFindGap(PMADDRESS_SPACE AddressSpace,ULONG_PTR Length,ULONG_PTR Granularity,BOOLEAN TopDown );PMADDRESS_SPACE AddressSpace,//该进程用户空间 ULONG_PTR Length,…...

编程日记 2024/10/25 14:39:12

Postgresql中和时间相关的字段类型及其适用场景

PostgreSQL 提供了多种数据类型来表示时间和日期，适用于不同的场景和需求。以下是常用的时间类型及其适用场景： 1. TIMESTAMP WITH TIME ZONE (TIMESTAMPTZ) 用途: 表示一个包含时区信息的日期和时间。 使用场景: 适合存储需要考虑时区变化的全球化应用…...

编程日记 2024/10/25 14:38:07

储能蓝海：技术革新与成本骤降引爆市场

在当今全球能源转型的大背景下，储能项目的前景无疑呈现出前所未有的乐观态势。其快速增长的装机规模、持续的技术创新与成本降低、政策的强力支持以及市场的迫切需求，共同绘制了一幅充满机遇与挑战的壮丽画卷。 快速增长的装机规模：储能市场的…...

编程日记 2024/10/25 14:35:02

java抽象类和接口

前言： 在 Java 编程中，抽象类和接口是面向对象编程（OOP）中的重要概念。它们都是用来定义抽象类型的机制，来帮助程序员构建更加灵活、可维护和可扩展的软件系统。 但是随着软件系统规模的不断扩大和复杂度的增加&…...

编程日记 2024/10/25 14:30:57

法治在沃刷积分-刷文章浏览数

最近有一个任务，需要通过浏览文章来获取积分，一个个手点文章太麻烦，专业的事情还得专业的来。 法1：模拟发包 抓包发现，是通过接口来使积分增长，那直接模拟发包即可。 至于info_id的获取，可以通…...

编程日记 2024/10/25 14:28:55

【深度学习实验七】 自动梯度计算

目录 一、利用预定义算子重新实现前馈神经网络 （1）使用pytorch的预定义算子来重新实现二分类任务 （2）完善Runner类 （3） 模型训练 （4）性能评价 二、增加一个3个神经元的隐藏层，再次实现二分类，并与1做对比 三、自定义隐藏层层数和每个隐藏层中的神经元个数，尝…...

编程日记 2024/10/25 14:26:53

JAVA毕业设计192—基于Java+Springboot+vue的个人博客管理系统(源代码+数据库+万字论文+开题+任务书)

毕设所有选题： https://blog.csdn.net/2303_76227485/article/details/131104075 基于JavaSpringbootvue的个人博客管理系统(源代码数据库万字论文开题任务书)192 一、系统介绍 本项目前后端分离，分为用户、管理员两种角色，角色菜单可自行…...

编程日记 2024/10/25 14:25:52

must be ‘pom‘ but is ‘jar‘解决思路

这个错误信息表明在 Maven 的 pom.xml 文件中，定义的父 POM 的 packaging 类型设置不正确。具体来说，它应该是 pom 类型，但当前设置为 jar。这个问题通常会导致构建失败。以下是解决这个问题的步骤。 解决步骤 检查父 POM 的 packaging 类型…...

编程日记 2024/10/25 14:24:51

STM32启动文件浅析

目录 STM32启动文件简介启动文件中的一些指令 启动文件代码详解栈空间的开辟堆空间的开辟中断向量表定义（简称：向量表）复位程序对于weak的理解对于_main函数的分析 中断服务程序用户堆栈初始化 系统启动流程 STM32启动文件简介 STM32启动文件…...

编程日记 2024/10/25 14:22:48

h5页面与小程序页面互相跳转

小程序跳转h5页面 一个home页 /pages/home/home 一个含有点击事件的元素&#xff1a;<button type"primary" bind:tap"toWebView">点击跳转h5页面</button>toWebView(){ wx.navigateTo({ url: /pages/webview/webview }) } 一个webView页 /pa…...

编程日记 2024/10/25 14:21:47

探索 JavaScript 事件机制（四）：React 合成事件系统

前言 在前端开发中&#xff0c;事件处理是不可或缺的一部分。在众多的前端框架中&#xff0c;React 凭借其高效和灵活性受到众多开发者的喜爱。React 的事件处理系统&#xff0c;即“合成事件系统”&#xff0c;是其性能优化的一大亮点。 本文将带你深入浅出地探索 React 的合…...

编程日记 2024/10/25 14:20:46

openlayers 封装加载本地geojson数据 - vue3

Geojson数据是矢量数据&#xff0c;主要是点、线、面数据集合 Geojson数据获取&#xff1a;DataV.GeoAtlas地理小工具系列 实现代码如下&#xff1a; import {ref,toRaw} from vue; import { Vector as VectorLayer } from ol/layer.js; import { Vector as VectorSource } fr…...

编程日记 2024/10/25 14:17:42

手机号码携号转网查询接口-在线手机号码携号转网查询-手机号码携号转网查询API

接口简介&#xff1a;通过手机号精准查询该号码转网前及转网后所归属运营商 可查询号码是否为虚拟手机号 可查询到号码归属地信息 高准确率&#xff0c;实时查询运营商数据库 多用于营销场景&#xff0c;如运营商业务办理、客户信息查询、携号转网、电话营销等 接口地址&#x…...

编程日记 2024/10/25 14:16:41

yolo目标检测和姿态识别和目标追踪

要检测摄像头画面中有多少人&#xff0c;人一排排坐着&#xff0c;像教室那样。由于摄像头高度和角度的原因&#xff0c;有的人会被遮挡。 yolo v5 首先需要下载yolo v5官方代码&#xff0c;可以克隆或下载主分支的代码&#xff0c;或者下载release中发布的。 简单说一下环境…...

编程日记 2024/10/25 14:13:37

Docker搭建开源Web云桌面操作系统Puter和DaedalOS

文章目录 Puter 操作系统说明基于 Docker 启动 Puter 操作系统拉取镜像运行容器基于 Docker-Compose 启动 Puter操作系统创建目录编写docker-compose.yml运行在本地直接运行puter操作系统puter界面截图puter个人使用总结构建自己的Puter镜像daedalos基于web的操作系统说明技术特…...

编程日记 2024/10/25 14:10:33

FAQ-为什么交换机发给服务器的日志显示的时间少8小时

问题描述 配置交换机向日志服务器发送日志&#xff0c;在交换机上面查看日志显示的时间比日志服务器显示的时间快8个小时 解决方案 根据公司全球化整改的要求&#xff0c;syslog默认发送的是UTC时间。 当前设备上配置了时区UTC8&#xff0c;因此&#xff0c;设备上显示的本地…...

编程日记 2024/10/25 14:08:31

[表达式]真假计算

题目描述 有一棵树&#xff0c;不一定是二叉树。 所有叶子节点都是 True 或者 False。 对于从上往下奇数层的非叶子节点是 and&#xff0c;偶数层非叶子节点为 or。 树上每个节点的值是所有孩子节点的值进行该节点的运算操作。 判断一棵树能否砍掉&#xff0c;最快的方法就是从…...

编程日记 2024/10/25 14:07:30

记录一次线上环境svchost.exe antimalware service executable 进程占用CPU过高问题

博主介绍&#xff1a; 大家好&#xff0c;我是想成为Super的Yuperman&#xff0c;互联网宇宙厂经验&#xff0c;17年医疗健康行业的码拉松奔跑者&#xff0c;曾担任技术专家、架构师、研发总监负责和主导多个应用架构。 技术范围&#xff1a; 目前专注java体系&#xff0c;有多…...

编程日记 2024/10/25 14:06:29

Docker 部署 EMQX 一分钟极速部署

部署 EMQX ( Docker ) [Step 1] : 拉取 EMQX 镜像 docker pull emqx/emqx:latest[Step 2] : 创建目录 ➡️ 创建容器 ➡️ 拷贝文件 ➡️ 授权文件 ➡️ 删除容器 # 创建目录 mkdir -p /data/emqx/{etc,data,log}# 创建容器 docker run -d --name emqx -p 1883:1883 -p 1808…...

编程日记 2024/10/25 14:04:26

STL-常用容器-list

1list基本概念 **功能&#xff1a;**将数据进行链式存储 链表&#xff08;list&#xff09;是一种物理存储单元上非连续的存储结构&#xff0c;数据元素的逻辑顺序是通过链表中的指针链接实现的 链表的组成&#xff1a;链表由一系列结点组成 结点的组成&#xff1a;一个是存储…...

编程日记 2024/10/25 14:03:25

Lambda 架构

Lambda架构是一种用于构建可扩展、容错和实时数据处理系统的架构模式。 它由三个主要部分组成&#xff1a;批处理层&#xff08;Batch Layer&#xff09;、实时层&#xff08;Speed Layer&#xff09;和服务层&#xff08;Serving Layer&#xff09;。 Lambda架构旨在结合批处…...

编程日记 2024/10/25 14:02:24

Windows电脑设置网络唤醒(Wake-on-LAN)

1. 启用 Windows 电脑的 Wake-on-LAN 功能 首先&#xff0c;你需要确保你的 Windows 电脑支持并启用了 Wake-on-LAN&#xff1a; BIOS/UEFI 设置(具体看自己电脑主板如何设置): 启动 Windows 电脑&#xff0c;进入 BIOS/UEFI 设置。找到网络适配器相关的设置&#xff0c;启用 …...

编程日记 2024/10/25 14:01:21

前端项目构建流程

1. 需求分析 目标&#xff1a;明确项目目标、核心功能和用户需求。 产品需求讨论&#xff1a; 与产品经理、客户、业务部门讨论项目的需求和目标&#xff0c;理解产品的功能、业务流程以及用户需求。定义用户角色&#xff08;Persona&#xff09;&#xff0c;明确不同用户的功…...

编程日记 2024/10/25 13:56:15

支持国密算法的数字证书-国密SSL证书详解

在互联网中&#xff0c;数字证书作为标志通讯各方身份信息的数字认证而存在&#xff0c;常见的数字证书大都采用国际算法&#xff0c;比如RSA算法、ECC算法、SHA2算法等。随着我国加强网络安全技术自主可控的大趋势&#xff0c;也出现了支持国密算法的数字证书-国密SSL证书。那…...

编程日记 2024/10/25 13:52:10

【EndNote使用教程】创建文献库、导入文献、文献分类

1、创建文献库 打开“EndNote”&#xff0c;点击“文件”&#xff0c;点击“新建”&#xff0c;选择保存文件路径。 2、导入文献 &#xff08;1&#xff09;可以选择导入电脑上的PDF文件&#xff0c;如下图所示。 &#xff08;2&#xff09; 也可以选择直接在浏览器网页上面直…...

编程日记 2024/10/25 13:47:04

双十一电容笔选哪个好？！西圣、益博思、吉玛仕电容笔实测对比！

当数码测评博主几年年&#xff0c;我也实测过不下10款电容笔了&#xff0c;对电容笔这个品类也算是半个内行人了。提到电容笔&#xff0c;在平替品牌的追逐中&#xff0c;西圣、益博思、吉玛仕这三款作为国货黑马一直备受瞩目&#xff0c;综合各大电商平台的销量榜、好评口碑榜…...

编程日记 2024/10/25 13:45:02

三水网站建设/市场调研怎么写

公司数据使用的能力组成&#xff1a;业务理解能力数据分析能力工程能力目录&#xff1a;1、指标建模2、数据工具3、数据处理4、数据分析基础5、数据分析进阶6、数据采集第一章&#xff0c;指标建模&#xff08;上&#xff09;目录&#xff1a;1&#xff09;指标详解&#xff08…...

编程日记 2024/11/27 4:33:57

怎样精通wordpress/快刷网站

在GIS&#xff08;地理信息管理系统&#xff09;中&#xff0c;判断一个坐标是否在多边形内部是个经常要遇到的问题。乍听起来还挺复杂。根据W. Randolph Franklin 提出的PNPoly算法&#xff0c;只需区区几行代码就解决了这个问题。假设多边形的坐标存放在一个数组里&#xff0…...

编程日记 2024/11/26 23:57:48

电子商务网站建设 李洪心/百度优选官网

Toy Posted in AppsAbiWord 是一个与 Microsoft Word 类似的安闲文字处置惩罚顺序。它实用于遍及地文字处置惩罚使命。下载 AbiWord 2.4.5版权声明&#xff1a; 原创作品&#xff0c;答允转载&#xff0c;转载时请务必以超链接方式标明文章 原始出处 、作者信息和本声明。不然将…...

编程日记 2024/11/26 23:19:18

雄安微网站开发/企业推广策略

一. kali安装ssh服务 1.修改源 1 rootDGG:~# vi /etc/apt/sources.list2 deb http://http.kali.org/kali kali-rolling main non-free contrib 2.更新一下源 apt-get update 3.下载ssh服务包 apt-get install ssh 4.打开ssh服务 1 service ssh start 打开ssh服务 2 service …...

编程日记 2024/11/26 23:15:15

wordpress官网无法注册/seo研究中心vip课程

最近要参加一个比赛&#xff0c;需要用到深度学习的框架&#xff0c;老师建议我们用pytorch&#xff0c;但是安装的时候总是发现各种错误。 解决方案是&#xff1a;去pytorch官网生成下载的命令&#xff0c;然后再cmd上执行 这里我们发现有CUDA的选项&#xff0c;这就需要我们…...

编程日记 2024/11/26 23:03:10

青海互动网站建设/百度之家

参考博文&#xff1a; Anaconda报NotWritableError错时解决的方法 linux下Pycharm导入Anaconda环境时出现NotWritableError错误的解决方法...

编程日记 2024/11/26 21:24:20