当前位置： 首页 > news >正文

self-attention、transformer、bert理解

news 文章来源：https://blog.csdn.net/ruyingcai666666/article/details/133282031 2025/1/13 15:42:00

参考李宏毅老师的视频 https://www.bilibili.com/video/BV1LP411b7zS?p=2&spm_id_from=pageDriver&vd_source=c67a2725ac3ca01c38eb3916d221e708
在这里插入图片描述
一个输入，一个输出，未考虑输入之间的关系！！！
在这里插入图片描述
在这里插入图片描述

self-attention考虑输入之间的关系，关于a1的输出b1的计算方法如上图所示，如此类推计算b2，b3，b4，合并考虑整体计算公式如下图所示，就是找出Wq，Wk和Wv。
在这里插入图片描述
multi-head attention：
在这里插入图片描述
transformer：
在这里插入图片描述
在这里插入图片描述
cross attention：
在这里插入图片描述

相关文章：

self-attention、transformer、bert理解

参考李宏毅老师的视频 https://www.bilibili.com/video/BV1LP411b7zS?p2&spm_id_frompageDriver&vd_sourcec67a2725ac3ca01c38eb3916d221e708 一个输入，一个输出，未考虑输入之间的关系！！！ self-attention…...

编程日记 2023/10/4 6:16:20

junit @ExcludePackages排除多个包

在JUnit中，可以使用ExcludePackages注解来排除多个包。该注解可以用在测试类或测试方法上。 如果要排除多个包，可以在ExcludePackages注解的value属性中使用数组来指定要排除的包名。例如，要排除包com.example.package1和com.example.packag…...

编程日记 2023/10/4 6:15:19

Explain执行计划字段解释说明---select_type、table、patitions字段说明

1、select_type的类型有哪些 2、select_type的查询类型说明 1、SIMPLE 简单的 select 查询,查询中不包含子查询或者UNION 2、PRIMARY 查询中若包含任何复杂的子部分，最外层查询则被标记为Primary 3、DERIVED 在FROM列表中包含的子查询被标记为DERIVED(衍生)&…...

编程日记 2023/10/4 6:14:18

云原生微服务 第六章 Spring Cloud Netflix Eureka集成远程调用、负载均衡组件OpenFeign

系列文章目录 第一章 Java线程池技术应用 第二章 CountDownLatch和Semaphone的应用 第三章 Spring Cloud 简介 第四章 Spring Cloud Netflix 之 Eureka 第五章 Spring Cloud Netflix 之 Ribbon 第六章 Spring Cloud 之 OpenFeign 文章目录 系列文章目录前言1、OpenFeign的实现…...

编程日记 2023/10/4 6:13:17

四、2023.9.30.C++面向对象end.4

文章目录 49、 简述一下什么是常函数，有什么作用？50、 说说什么是虚继承，解决什么问题，如何实现？51、简述一下虚函数和纯虚函数，以及实现原理？52、说说纯虚函数能实例化吗，为什么&am…...

编程日记 2023/10/4 6:12:16

【Java】包

package 包（package）:其实就是文件夹。 作用：对类进行分类管理。 包的定义格式 格式：package 包名（多级包用 . 分开） 范例：package com.mayikt.demo01 带包的Java类编译和执行 1. 手动建包 安装…...

编程日记 2023/10/4 6:11:15

Hive【Hive（二）DML】

启动 hive 命令行： hive DML 数据操作 1、数据导入 1.1、向表中装载数据（load） 语法： hive> load data [local] inpath 数据的path [overwrite] into table student [partition (partcol1val1,…)];（1&#x…...

编程日记 2023/10/4 6:08:12

HTTP的请求方法，空行，body,介绍请求报头的内部以及粘包问题

目录 一、GET与POST简介 二、空行和body 三、初识请求报头以及粘包问题 四、认识请求报头剩余部分 一、GET与POST简介 GET https://www.sogou.com/HTTP/1.1 请求报文中的方法，是最常规的方法（获取资源） POST：传输实体主体的方法…...

编程日记 2023/10/4 6:05:08

win10 ip设置

百度安全验证...

编程日记 2023/10/4 6:03:07

alibaba dragonwell jdk

阿里巴巴Dragonwell8快速指南 dragonwell-project/dragonwell8 Wiki GitHub 阿里巴巴Dragonwell8用户指南 dragonwell-project/dragonwell8 Wiki GitHub 阿里巴巴Dragonwell8常见问题 dragonwell-project/dragonwell8 Wiki GitHub...

编程日记 2023/10/4 6:00:03

jvm内存分配与回收策略

自动内存管理 解决两个问题 自动给对象分配内存 对象一般堆上分配（而实际上也有可能经过即时编译后被拆散为标量类型并间接地在栈上分配） 新生对象通常会分配在新生代，少数情况下（例如对象大小超过一定阈值）也可能…...

编程日记 2023/10/4 5:59:02

【Vue2和Vue3的双向绑定区别】

Vue2和Vue3的双向绑定区别 vue2 双向绑定原理vue3 双向绑定原理Vue2和Vue3的双向绑定存在以下区别： vue2 双向绑定原理 Vue2 双向绑定的实现主要依赖于 Object.defineProperty() 方法和观察者模式，其中 Object.defineProperty() 方法用于定义属性的 get…...

编程日记 2023/10/4 5:58:02

【再识C进阶3(下)】详细地认识字符分类函数，字符转换函数和内存函数

前言 💓作者简介： 加油，旭杏，目前大二，正在学习C，数据结构等👀 💓作者主页：加油，旭杏的主页👀 ⏩本文收录在：再识C进阶的专栏&#x1…...

编程日记 2023/10/4 5:56:00

windows WSL配置cuda，pytorch和jupyter notebook

机器配置 GPU: NVIDIA Quadro K2000 与 NVIDIA 驱动程序捆绑的CUDA版本 但按照维基百科的描述，我的GPU对应的compute capability3.0，允许安装的CUDA最高只支持10.2，如下所示。 为什么本地会显示11.4呢？对此，GPT是这…...

编程日记 2023/10/4 5:53:58

回调地狱的产生=＞Promise链式调用解决

常见的异步任务包括网络请求、文件读写、定时器等。当多个异步任务之间存在依赖关系，需要按照一定的顺序执行时，就容易出现回调地狱的情况。例如，当一个网络请求的结果返回后，需要根据返回的数据进行下一步的操作，这时…...

编程日记 2023/10/4 5:51:56

【设计模式】六、建造者模式

文章目录 需求介绍角色应用实例建造者模式在 JDK 的应用和源码分析java.lang.StringBuilder 中的建造者模式 建造者模式的注意事项和细节 需求 需要建房子：这一过程为打桩、砌墙、封顶房子有各种各样的，比如普通房，高楼，别墅&…...

编程日记 2023/10/4 5:50:55

SpringBoot 可以同时处理多少请求

一、前言 首先，在Spring Boot应用中，我们可以使用 Tomcat、Jetty、Undertow 等嵌入式 Web 服务器作为应用程序的运行容器。这些服务器都支持并发请求处理的能力。另外，Spring Boot 还提供了一些配置参数，可以对 Web 服务器进行调…...

编程日记 2023/10/4 5:49:55

嵌入式Linux应用开发-驱动大全-第一章同步与互斥②

嵌入式Linux应用开发-驱动大全-第一章同步与互斥② 第一章 同步与互斥②1.3 原子操作的实现原理与使用1.3.1 原子变量的内核操作函数1.3.2 原子变量的内核实现1.3.2.1 ATOMIC_OP在 UP系统中的实现1.3.2.2 ATOMIC_OP在 SMP系统中的实现 1.3.3 原子变量使用案例1.3.4 原子位介绍1…...

编程日记 2023/10/4 5:48:54

EasyExcel的源码流程（导入Excel）

1. 入口 2. EasyExcel类继承了EasyExcelFactory类，EasyExcel自动拥有EasyExcelFactory父类的所有方法，如read()，readSheet()，write()，writerSheet()等等。 3. 进入.read()方法，需要传入三个参数(文件路径…...

编程日记 2023/10/4 5:47:52

基于 jasypt 实现spring boot 配置文件脱敏

前言 在项目构建过程中，保护敏感信息的安全性至关重要，为了提高系统的安全性能，我们采用了Jasypt来对配置文件中的敏感信息进行加密处理，以确保系统的机密信息不被轻易泄露。 步骤 添加Maven依赖 首先，我们需要添加…...

编程日记 2023/10/4 5:44:49

Python——ASCII编码与Unicode（UTF-8，UTF-16 和 UTF-32）编码

Python3 Python——ASCII编码与Unicode（UTF-8，UTF-16 和 UTF-32）编码 文章目录 Python3一、编码与编码格式二、ASCII编码与UTF-8编码（UTF-16 和 UTF-32编码）三、ASCII 字符串和 Unicode 字符串 最近看Python程序的文件…...

编程日记 2023/10/4 5:43:48

【多媒体技术与实践】音频信息获取和处理——编程题汇总

1：音频信息数据量计算 已知采样频率（单位KHz）、量化位数、声道数及持续时间（单位分钟），求未压缩时的数据量（单位MB）. 例如： 输入： 22.05 16 2 3 &#xff…...

编程日记 2023/10/4 5:41:47

堆优化迪氏最短单源路径原理及C++实现

时间复杂度 O(ElogE)，E是边数。适用与稀疏图。 使用前提 边的权为正。可以非连通，非连通的距离为-1。 原理 优选队列（小根堆）记录两个数据：当前点到源点距离，当前点。先处理距离小的点；如果…...

编程日记 2023/10/4 5:40:46

Leetcode202. 快乐数

力扣（LeetCode）官网 - 全球极客挚爱的技术成长平台 编写一个算法来判断一个数 n 是不是快乐数。 「快乐数」 定义为： 对于一个正整数，每一次将该数替换为它每个位置上的数字的平方和。然后重复这个过程直到这个数变为 1&#xff0…...

编程日记 2023/10/4 5:38:44

【MySQL】MySql常见面试题总结

目录 一、什么是sql注入 二、sql语句的执行流程 三、内连接和外连接的区别 四、Union和Union All 有什么区别 五、MySql如何取差集 六、DELETE和TRUNCATE有什么区别 七、count（*）和count（1）的区别 八、MyISAM和InnoDB的区…...

编程日记 2023/10/4 5:36:42

【Java 进阶篇】JDBC PreparedStatement 详解

在Java中，与关系型数据库进行交互是非常常见的任务之一。JDBC（Java Database Connectivity）是Java平台的一个标准API，用于连接和操作各种关系型数据库。其中，PreparedStatement 是 JDBC 中一个重要的接口，用…...

编程日记 2023/10/4 5:35:40

嵌入式Linux应用开发-驱动大全-第一章同步与互斥①

嵌入式Linux应用开发-驱动大全-第一章同步与互斥① 第一章 同步与互斥①1.1 内联汇编1.1.1 C语言实现加法1.1.2 使用汇编函数实现加法1.1.3 内联汇编语法1.1.4 编写内联汇编实现加法1.1.5 earlyclobber的例子 1.2 同步与互斥的失败例子1.2.1 失败例子11.2.2 失败例子21.2.3 失败…...

编程日记 2023/10/4 5:33:39

【计算机网络】 基于UDP的简单通讯（客户端）

文章目录 客户端流程代码实现添加头文件以及库依赖加载库创建套接字发送接收数据关闭套接字、卸载库 测试 客户端 流程 客户端跟服务端差不多，也要先加载库，在加载库之后也要创建套接字，但是客户端一定是没有绑定ip地址的，之后是…...

编程日记 2023/10/4 5:32:37

【云备份项目】：环境搭建（g++、json库、bundle库、httplib库）

文章目录 1. g 升级到 7.3 版本2. 安装 jsoncpp 库3. 下载 bundle 数据压缩库4. 下载 httplib 库从 Win 传输文件到 Linux解压缩 1. g 升级到 7.3 版本 🔗链接跳转 2. 安装 jsoncpp 库 🔗链接跳转 3. 下载 bundle 数据压缩库 安装 git 工具 sudo yum…...

编程日记 2023/10/4 5:30:35

电脑右键新建记事本不见了--设置恢复篇（无需操作注册表）

电脑右键新建记事本不见了–设置恢复篇（无需修改注册表） 电脑不知怎么想右键新建记事本结果竟然不见了，搜寻网上的都是什么修改注册表，粘贴代码修复（感觉太复杂了），这里介绍通过设置内重新对记…...

编程日记 2023/10/4 5:26:32

品牌网站建设方/北京seo诊断

文章目录Kafka消费方式消费者总体工作流程消费者组原理消费者组初始化流程消费者组详细消费流程消费者重要参数Kafka消费方式 1）pull（拉）模 式： consumer采用从broker中主动拉取数据。Kafka采用这种方式。 2） push&a…...

编程日记 2025/1/13 15:20:56

网站做很多关键词/总裁班课程培训

现在都有手机了，办公人员有时需要在手机上识别文字，手机如何识别文字并翻译？其实传图识别很简单，只需要上传图片就可以。这里分享技巧。 1、在手机上点击搜索该迅捷PDF阅读器，然后开始翻译文本。 2、下载打开之后就是这…...

编程日记 2025/1/13 14:49:39

金融互助网站开发/最近发生的热点新闻

Nebo，业界首款支持键盘、手写笔混合输入的笔记类应用。在参加项目会议、和领导汇报工作、向甲方展示方案等日常办公场景当中，手写打字的记录模式极大地提升了我们的生产力与创造力。NeboAPP是全球知名手写笔应用公司My Script的杰作。在11月25日华为新款…...

编程日记 2025/1/13 12:52:56

做百度手机网站关键词/太原百度推广排名优化

2020年11月08日 21:29作者：张帆编辑：张帆文章出处：泡泡网原创本年度最为火爆的游戏手机之一ROG游戏手机3于眼下双十一期间直降100元，其中精英版到手价仅3899元，并且享受24期免息福利，评论晒单还可赢取京东E…...

编程日记 2025/1/13 12:07:26

宁夏建网站报价/网络广告营销有哪些

360安全浏览器依托360安全大脑，融合人工智能、大数据、物联网智能、等新技术，为用户提供安全上网的基础良好的环境，坚固好个人网络数据安全防线，获得安全舒适的上网冲浪体验。360浏览器软件特点1. 有强大的内核，不卡顿…...

编程日记 2025/1/13 10:53:25

wordpress.com 屏蔽/优化内容

**注意：**本文章不能作为新手入门教程使用，仅做为查阅 参考文章来源： https://blog.csdn.net/u012031958/article/details/106922480/https://www.cnblogs.com/lemonyam/p/11215603.html《TypeScript中文指南》https://ts.xcatliu.com/intr…...

编程日记 2025/1/13 9:08:05