当前位置： 首页 > news >正文

【机器学习基础】Transformer学习

news 文章来源：https://blog.csdn.net/weixin_41838721/article/details/142653342 2024/11/17 20:38:42

Transformer学习

  • 梯度消失
  • FeedForward层

激活函数的主要作用是在网络中加入非线性变换

梯度消失

梯度爆炸

FeedForward层

Transformer结构：
Transformer结构主要分为两大部分：

  • 一是Encoder层结构：Encoder 的输入由 Input Embedding 和 Positional Embedding 求和输入Multi-Head-Attention，然后又做了一个ADD&Norm，再通过Feed Forward进行输出
  • 另一个则是Decoder层结构

在这里插入图片描述
FeedForward的输入:是Multi-Head Attention的输出做了残差连接和Norm之后得数据，然后FeedForward做了两次线性线性变换，为的是更加深入的提取特征。
在这里插入图片描述
它由两个线性变换组成，中间有一个 ReLU 激活
在Multi-Head Attention中，主要是进行矩阵乘法，即都是线性变换，而线性变换的学习能力不如非线性变换的学习能力强，FeedForward的计算公式如下：max相当于Relu

相关文章：

【机器学习基础】Transformer学习

Transformer学习 梯度消失FeedForward层激活函数的主要作用是在网络中加入非线性变换 梯度消失 梯度爆炸 FeedForward层 Transformer结构： Transformer结构主要分为两大部分： 一是Encoder层结构：Encoder 的输入由 Input Embedding 和 Positional Embedding 求和输入Multi…...

编程日记 2024/10/1 11:35:46

mysql如何不使用窗口函数，去统计出入库情况

mysql如何不使用窗口函数，去统计出入库情况 你把这个表看做 进出库表，每个物料把时间正序后 依次累加数量 ，看这个物料的时间线上 是否会出现负数，1号进货5个 2号出库3个 3号你不能出库3个 最多俩个 不然就是负库存，…...

编程日记 2024/10/1 11:31:41

uni-app canvas文本自动换行

封装 支持单行文本超出换行。多行文本顺位排版 // 填充自动换行的文本function fillFeedText({ctx, text, x, y, maxWidth, lineHeight, color, size}) {// 文本配置ctx.setFontSize(size);ctx.setFillStyle(color);// 计算文本换行宽高，换行逻辑const words text…...

编程日记 2024/10/1 11:30:40

【设计模式-职责链】

定义 职责链模式是一种行为设计模式，**它通过将请求发送给链上的多个处理者来避免请求发送者与处理者之间的紧密耦合。每个处理者可以选择处理请求或将其传递给链中的下一个处理者。**这样，可以将处理请求的责任链式组织，从而实现更灵活的请…...

编程日记 2024/10/1 11:29:39

Prompt：在AI时代，提问比答案更有价值

你好，我是三桥君 随着AI技术的飞速发展，我们进入了一个信息爆炸的时代。在这个时代，只要你会提问，AI就能为你提供满意的答案。这种现象让很多人开始思考：在这个答案触手可及的时代，答案的价值是否还像以前…...

编程日记 2024/10/1 11:26:36

whatis命令：关于命令的简短描述

一、命令简介 ​whatis​ 命令用于查询命令、函数、文件等的基本用途，查询结果只是一句简短的描述。 例如 $ whatis ls ls (1) - list directory contents返回关于 ls 命令的简短描述。这个结果实质是来自于man手册的一个章节，在较新的L…...

编程日记 2024/10/1 11:25:35

ICM20948 DMP代码详解（54）

接前一篇文章：ICM20948 DMP代码详解（53） 上一回解析了inv_icm20948_compass_dmp_cal函数的大部分代码，本回继续讲解inv_icm20948_compass_dmp_cal函数的余下内容。为了便于理解和回顾，再次贴出inv_icm20948_compass_dmp_cal函数代码，在EMD-Core\sources\Invn\Devices\Dri…...

编程日记 2024/10/1 11:23:33

RabbitMQ的应用问题

一、幂等性保障 幂等性是数学和计算机科学中某些运算的性质, 它们可以被多次应⽤, ⽽不会改变初始应⽤的结果 数学上的幂等性： f(x)f(f(x)) |x| 数据库操作幂等性： 数据库的 select 操作. 不同时间两次查询的结果可能不同, 但是这个操作是符合幂等性…...

编程日记 2024/10/1 11:21:31

C++14：通过make_index_sequence实现将tuple转换为array

如何将vector转换为array呢 #include <iostream> #include <tuple> #include <array> using namespace std;template <typename V, typename... Types, size_t... I> constexpr auto do_tuple_to_array(tuple<V, Types...>&& tuple, in…...

编程日记 2024/10/1 11:20:30

Linux中修改MySQL密码

Linux中MySQL的密码操作 1、给用户设置/更新密码 mysqladmin -u用户名 -p原密码 password "新密码"该命令在终端直接执行&#xff0c;不需要进入mysql视图 该命令适用于以下情况&#xff1a; 用户的密码为空&#xff0c;为用户设置密码用户密码需要更新&#xff0c…...

编程日记 2024/10/1 11:19:29

华为OD真题机试-英文输入法（Java）

华为OD机试真题中的“英文输入法”题目主要考察的是字符串处理、单词提取、以及基于前缀的单词联想功能。以下是对该题目的详细解析&#xff1a; 题目描述 主管期望你来实现英文输入法单词联想功能。具体需求如下&#xff1a; 依据用户输入的单词前缀&#xff0c;从已输入的…...

编程日记 2024/10/1 11:18:28

【React 】入门Day01 —— 从基础概念到实战应用

目录 一、React 概述 二、开发环境创建 三、JSX 基础 四、React 的事件绑定 五、React 组件基础使用 六、组件状态管理 - useState 七、组件的基础样式处理 快速入门 – React 中文文档 一、React 概述 React 是什么 由 Meta 公司开发&#xff0c;是用于构建 Web 和原生…...

编程日记 2024/10/1 11:17:27

2024年9月总结及随笔之丢卡

1. 回头看 日更坚持了639天。 读《软件开发安全之道&#xff1a;概率、设计与实施》更新完成读《软件设计的要素》开更并更新完成读《构建可扩展分布式系统&#xff1a;方法与实践》开更并更新完成读《数据湖仓》开更并持续更新 2023年至2024年9月底累计码字1555996字&#…...

编程日记 2024/10/1 11:15:25

sql语法学习 sql各种语法 sql增删改查 数据库各种操作 数据库指令

sql语法学习 sql各种语法 sql增删改查 数据库各种操作 数据库指令 学习SQL语法时&#xff0c;理解其基本结构和用法是关键。下面是SQL语法的详细学习指南&#xff0c;涵盖了SQL的主要部分&#xff0c;包括查询、插入、更新、删除、表操作等。 1. 基本查询语法 SQL 的查询语句…...

编程日记 2024/10/1 11:13:22

鸡兔同笼，但是线性代数

灵感来自&#xff1a;bilibili&#xff0c;巨佬&#xff01; 我们有 14 14 14 个头&#xff0c; 32 32 32 只脚&#xff0c;所有鸡和兔都没有变异&#xff0c;头和脚都完整&#xff0c;没有数错。还有什么 Bug 吗 小学奥数 假设全是鸡&#xff0c;则有 14 2 28 14 \time…...

编程日记 2024/10/1 11:11:21

01---java面试八股文——springboot---10题

01-你是怎么理解Spring Boot 的约定优于配置 约定优于配置是一种软件设计的范式&#xff0c;它的核心思想是减少软件开发人员对于配置项的维护&#xff0c;从而让开发人员更加聚焦在业务逻辑上。Spring Boot 就是约定优于配置这一理念下的产物&#xff0c;它类似于 Spring 框架…...

编程日记 2024/10/1 11:10:20

计算机毕业设计 二手图书交易系统的设计与实现 Java实战项目 附源码+文档+视频讲解

博主介绍&#xff1a;✌从事软件开发10年之余&#xff0c;专注于Java技术领域、Python人工智能及数据挖掘、小程序项目开发和Android项目开发等。CSDN、掘金、华为云、InfoQ、阿里云等平台优质作者✌ &#x1f345;文末获取源码联系&#x1f345; &#x1f447;&#x1f3fb; 精…...

编程日记 2024/10/1 11:09:19

【进阶OpenCV】 （3）--SIFT特征提取

文章目录 sift特征提取一、基本原理二、特点三、代码实现1. 函数方法2. 检测图像中的关键点3. 绘制关键点4. 计算关键点描述符5. 输出特征坐标点 总结 sift特征提取 SIFT&#xff08;Scale-Invariant Feature Transform&#xff0c;尺度不变特征变换&#xff09;特征检测是一种…...

编程日记 2024/10/1 11:08:18

HarmonyOS/OpenHarmony Audio 实现音频录制及播放功能

关键词&#xff1a;audio、音频录制、音频播放、权限申请、文件管理 在app的开发过程中时常会遇见一些需要播放一段音频或进行语音录制的场景&#xff0c;那么本期将介绍如何利用鸿蒙 audio 模块实现音频写入和播放的功能。本次依赖的是 ohos.multimedia.audio 音频管理模块&am…...

编程日记 2024/10/1 11:07:17

css 中 ~ 符号、text-indent、ellipsis、ellipsis-2、text-overflow: ellipsis、::before的使用

1、~的使用直接看代码 <script setup> </script><template><div class"container"><p><a href"javascript:;">纪检委</a><a href"javascript:;">中介为</a><a href"javascript:…...

编程日记 2024/10/1 11:03:14

Activiti 工作流大致了解

一、什么是 Activiti 简而言之&#xff0c;就是系统的流程图&#xff0c;如&#xff1a;请假审批流程、账单审批流程等。 二、mysql与pom配置 mysql要使用jdbc:mysql://localhost:3306/activiti?autoReconnecttrue pom文件要添加关键依赖 <!--activiti核心依赖--> &…...

编程日记 2024/10/1 10:57:05

速盾：高防 CDN，网站安全的有力保障

在当今数字化时代&#xff0c;网站安全已成为企业和个人关注的焦点。随着网络攻击手段的不断升级&#xff0c;传统的安全防护措施已经难以满足需求。而高防 CDN&#xff08;Content Delivery Network&#xff0c;内容分发网络&#xff09;的出现&#xff0c;为网站安全提供了有…...

编程日记 2024/10/1 10:52:01

宝塔搭建nextcould 30docker搭建onlyoffic8.0

宝塔搭建nextcould 宝塔搭建nextcould可以参考这两个博文 我搭建的是30版本的nextcould&#xff0c;服务组件用的是下面这些&#xff0c;步骤是一样的&#xff0c;只是版本不一样而已 nginx 1.24.0 建议选择nginx&#xff0c;apache没成功。 MySQL 8.0以上都可以 php 8.2.…...

编程日记 2024/10/1 10:51:00

【源码+文档+调试讲解】交通信息管理系统

摘 要 智能交通信息管理系统是一种基于计算机技术的软件系统&#xff0c;旨在提高交通管理的效率和服务质量。通过该系统可以实现智能交通管理的全面管理和优化。智能交通信息管理系统具备集成管理功能。它能够整合智能交通管理的各个业务环节&#xff0c;包括个人中心、用户管…...

编程日记 2024/10/1 10:45:55

小阿轩yx-案例：Ansible剧本文件实践

小阿轩yx-案例&#xff1a;Ansible剧本文件实践 Playbook 介绍 什么是 playbook playbook 顾名思义&#xff0c;即剧本&#xff0c;现实生活中演员按照剧本表演在 ansible 中&#xff0c;由被控计算机表演&#xff0c;进行安装&#xff0c;部署应用&#xff0c;提供对外的服…...

编程日记 2024/10/1 10:37:48

【ShuQiHere】深入理解微架构（Microarchitecture）：LC-3 的底层实现 ️

【ShuQiHere】&#x1f5a5;️ 微架构&#xff08;Microarchitecture&#xff09; 是计算机体系结构中的重要概念&#xff0c;它定义了如何将 指令集架构&#xff08;Instruction Set Architecture, ISA&#xff09; 转化为实际硬件。通过微架构&#xff0c;我们可以理解计算机…...

编程日记 2024/10/1 10:35:47

Ubuntu24.04.1系统下VideoMamba环境配置

文章目录 前言第一步&#xff1a;基本的环境创建第二步&#xff1a;causal-conv1d和mamba_ssm库的安装第三步&#xff1a;安装requirements.txt 前言 VideoMamba环境的配置折磨了我三天&#xff0c;由于Mamba对Cuda的版本有要求&#xff0c;因此配置环境的时候Cuda版本以及各种…...

编程日记 2024/10/1 10:33:45

c++第十二章续（队列结构类模拟）

队列类 设计类&#xff0c;需要开发公有接口和私有实现 Queue类接口 公有接口&#xff1a; 默认初始化&#xff0c;和可以用显式初始化覆盖默认值 Queue类的实现 如何表示队列数据&#xff1a; 一种方法是使用new动态分配一个数组&#xff0c;它包含所需的元素数。不过&…...

编程日记 2024/10/1 10:30:42

数据集-目标检测系列-豹子 猎豹 检测数据集 leopard＞＞ DataBall

数据集-目标检测系列-豹子 猎豹 检测数据集 leopard>> DataBall 数据集-目标检测系列-豹子 猎豹 检测数据集 leopard 数据量&#xff1a;5k 想要进一步了解&#xff0c;请联系。 DataBall 助力快速掌握数据集的信息和使用方式&#xff0c;会员享有 百种数据集&#x…...

编程日记 2024/10/1 10:29:38

基于ESP8266—AT指令连接阿里云+MQTT透传数据（3）

MQTT_RX设备为接收(订阅)数据的Topic，使用ESP8266通过AT指令实现。 首先需要串口通信软件，如 SSCOM、PuTTY、SecureCRT 等串口调试工具，功能丰富，支持常见的串口调试功能，用于发送AT指令。 以下是ESP8266通过AT指令连接阿里云MQTT服务的步骤： 1、初始化WiFi 发送下面…...

编程日记 2024/10/1 10:25:30

wordpress加载特效/网络营销与电子商务的区别

mpi win 安装mpi Win10下Microsoft MPI&#xff08;MSMPI&#xff09;的下载安装 - 知乎 (zhihu.com) (34条消息) Dev配置MPI运行环境&#xff08;msmpi&#xff09;和OpenMP环境&#xff08;运行通过&#xff09;_devc mpi配置_一点年羊的博客-CSDN博客 #命令行运行启动多进程…...

编程日记 2024/11/17 20:20:51

棋牌网站怎么做优化/云搜索app官网

安装&#xff1a; apt-get install lrzsz rz 上传 sz 下载转载于:https://www.cnblogs.com/hellowego/p/6650031.html...

编程日记 2024/11/17 18:49:36

做网站泰安/青岛网站建设培训学校

C/C预处理指令常见的预处理指令如下&#xff1a; #空指令&#xff0c;无任何效果#include包含一个源代码文件#define定义宏#undef取消已定义的宏#if如果给定条件为真&#xff0c;则编译下面代码#ifdef如果宏已经定义&#xff0c;则编译下面代码#ifndef如果宏没有定义&#xff0…...

编程日记 2024/11/17 12:26:28

dw中旅游网站怎么做/网站制作大概多少钱

看到oracle官方文档说oracle 11g dataguard在物理standby机器上出于open状态也可以应用redo,所以就在本地试验了下,确实如此,这样既可以应用redo也可以进行数据查询和数据库的备份.既解决了数据的容灾也解决了主数据库的压力.Oracle dataguard 简介 Dataguard分为2类:物理stan…...

编程日记 2024/11/17 12:14:19

h5响应式网站建设方案/h5页面制作平台

现象&#xff1a;在模拟机中&#xff0c;二级菜单调用不出来 在真机中&#xff0c;二级菜单可以正常显示与使用 测试环境&#xff1a;android模拟机 android sdk 4.4 真机 samsung s4 android 4.2...

编程日记 2024/11/17 10:16:02

成都网站建设科技公司/央视新闻今天的内容

jpsjava -XX:PrintFlagsFinal -version | grep -iE HeapSize|PermSize|ThreadStackSizeexport JAVA_TOOL_OPTIONS-Xms1g -Xmx10g...

编程日记 2024/11/17 4:47:13