self-attention、transformer、bert理解
参考李宏毅老师的视频 https://www.bilibili.com/video/BV1LP411b7zS?p=2&spm_id_from=pageDriver&vd_source=c67a2725ac3ca01c38eb3916d221e708
一个输入，一个输出，未考虑输入之间的关系！！！
self-attention考虑输入之间的关系，关于a1的输出b1的计算方法如上图所示，如此类推计算b2，b3，b4，合并考虑整体计算公式如下图所示，就是找出Wq，Wk和Wv。
multi-head attention：
transformer：
cross attention：
相关文章：
self-attention、transformer、bert理解
参考李宏毅老师的视频 https://www.bilibili.com/video/BV1LP411b7zS?p2&spm_id_frompageDriver&vd_sourcec67a2725ac3ca01c38eb3916d221e708 一个输入，一个输出，未考虑输入之间的关系！！！ self-attention…...
junit @ExcludePackages排除多个包
在JUnit中，可以使用ExcludePackages注解来排除多个包。该注解可以用在测试类或测试方法上。 如果要排除多个包，可以在ExcludePackages注解的value属性中使用数组来指定要排除的包名。例如，要排除包com.example.package1和com.example.packag…...
Explain执行计划字段解释说明---select_type、table、patitions字段说明
1、select_type的类型有哪些 2、select_type的查询类型说明 1、SIMPLE 简单的 select 查询,查询中不包含子查询或者UNION 2、PRIMARY 查询中若包含任何复杂的子部分，最外层查询则被标记为Primary 3、DERIVED 在FROM列表中包含的子查询被标记为DERIVED(衍生)&…...
云原生微服务 第六章 Spring Cloud Netflix Eureka集成远程调用、负载均衡组件OpenFeign
系列文章目录 第一章 Java线程池技术应用 第二章 CountDownLatch和Semaphone的应用 第三章 Spring Cloud 简介 第四章 Spring Cloud Netflix 之 Eureka 第五章 Spring Cloud Netflix 之 Ribbon 第六章 Spring Cloud 之 OpenFeign 文章目录 系列文章目录前言1、OpenFeign的实现…...
四、2023.9.30.C++面向对象end.4
文章目录 49、 简述一下什么是常函数，有什么作用？50、 说说什么是虚继承，解决什么问题，如何实现？51、简述一下虚函数和纯虚函数，以及实现原理？52、说说纯虚函数能实例化吗，为什么&am…...
【Java】包
package 包（package）:其实就是文件夹。 作用：对类进行分类管理。 包的定义格式 格式：package 包名（多级包用 . 分开） 范例：package com.mayikt.demo01 带包的Java类编译和执行 1. 手动建包 安装…...
Hive【Hive（二）DML】
启动 hive 命令行： hive DML 数据操作 1、数据导入 1.1、向表中装载数据（load） 语法： hive> load data [local] inpath 数据的path [overwrite] into table student [partition (partcol1val1,…)];（1&#x…...
HTTP的请求方法，空行，body,介绍请求报头的内部以及粘包问题
目录 一、GET与POST简介 二、空行和body 三、初识请求报头以及粘包问题 四、认识请求报头剩余部分 一、GET与POST简介 GET https://www.sogou.com/HTTP/1.1 请求报文中的方法，是最常规的方法（获取资源） POST：传输实体主体的方法…...
win10 ip设置
百度安全验证...
alibaba dragonwell jdk
阿里巴巴Dragonwell8快速指南 dragonwell-project/dragonwell8 Wiki GitHub 阿里巴巴Dragonwell8用户指南 dragonwell-project/dragonwell8 Wiki GitHub 阿里巴巴Dragonwell8常见问题 dragonwell-project/dragonwell8 Wiki GitHub...
jvm内存分配与回收策略
自动内存管理 解决两个问题 自动给对象分配内存 对象一般堆上分配（而实际上也有可能经过即时编译后被拆散为标量类型并间接地在栈上分配） 新生对象通常会分配在新生代，少数情况下（例如对象大小超过一定阈值）也可能…...
【Vue2和Vue3的双向绑定区别】
Vue2和Vue3的双向绑定区别 vue2 双向绑定原理vue3 双向绑定原理Vue2和Vue3的双向绑定存在以下区别： vue2 双向绑定原理 Vue2 双向绑定的实现主要依赖于 Object.defineProperty() 方法和观察者模式，其中 Object.defineProperty() 方法用于定义属性的 get…...
【再识C进阶3(下)】详细地认识字符分类函数，字符转换函数和内存函数
前言 💓作者简介： 加油，旭杏，目前大二，正在学习C，数据结构等👀 💓作者主页：加油，旭杏的主页👀 ⏩本文收录在：再识C进阶的专栏…...
windows WSL配置cuda，pytorch和jupyter notebook
机器配置 GPU: NVIDIA Quadro K2000 与 NVIDIA 驱动程序捆绑的CUDA版本 但按照维基百科的描述，我的GPU对应的compute capability3.0，允许安装的CUDA最高只支持10.2，如下所示。 为什么本地会显示11.4呢？对此，GPT是这…...
回调地狱的产生=＞Promise链式调用解决
常见的异步任务包括网络请求、文件读写、定时器等。当多个异步任务之间存在依赖关系，需要按照一定的顺序执行时，就容易出现回调地狱的情况。例如，当一个网络请求的结果返回后，需要根据返回的数据进行下一步的操作，这时…...
【设计模式】六、建造者模式
文章目录 需求介绍角色应用实例建造者模式在 JDK 的应用和源码分析java.lang.StringBuilder 中的建造者模式 建造者模式的注意事项和细节 需求 需要建房子：这一过程为打桩、砌墙、封顶房子有各种各样的，比如普通房，高楼，别墅&…...
SpringBoot 可以同时处理多少请求
一、前言 首先，在Spring Boot应用中，我们可以使用 Tomcat、Jetty、Undertow 等嵌入式 Web 服务器作为应用程序的运行容器。这些服务器都支持并发请求处理的能力。另外，Spring Boot 还提供了一些配置参数，可以对 Web 服务器进行调…...
嵌入式Linux应用开发-驱动大全-第一章同步与互斥②
嵌入式Linux应用开发-驱动大全-第一章同步与互斥② 第一章 同步与互斥②1.3 原子操作的实现原理与使用1.3.1 原子变量的内核操作函数1.3.2 原子变量的内核实现1.3.2.1 ATOMIC_OP在 UP系统中的实现1.3.2.2 ATOMIC_OP在 SMP系统中的实现 1.3.3 原子变量使用案例1.3.4 原子位介绍1…...
EasyExcel的源码流程（导入Excel）
1. 入口 2. EasyExcel类继承了EasyExcelFactory类，EasyExcel自动拥有EasyExcelFactory父类的所有方法，如read()，readSheet()，write()，writerSheet()等等。 3. 进入.read()方法，需要传入三个参数(文件路径…...
基于 jasypt 实现spring boot 配置文件脱敏
前言 在项目构建过程中，保护敏感信息的安全性至关重要，为了提高系统的安全性能，我们采用了Jasypt来对配置文件中的敏感信息进行加密处理，以确保系统的机密信息不被轻易泄露。 步骤 添加Maven依赖 首先，我们需要添加…...
【AI学习】三、AI算法中的向量
在人工智能（AI）算法中，向量（Vector）是一种将现实世界中的数据（如图像、文本、音频等）转化为计算机可处理的数值型特征表示的工具。它是连接人类认知（如语义、视觉特征）与…...
C++.OpenGL （10/64）基础光照（Basic Lighting）
基础光照（Basic Lighting） 冯氏光照模型（Phong Lighting Model） #mermaid-svg-GLdskXwWINxNGHso {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-GLdskXwWINxNGHso .error-icon{fill:#552222;}#mermaid-svg-GLd…...
C#中的CLR属性、依赖属性与附加属性
CLR属性的主要特征 封装性： 隐藏字段的实现细节 提供对字段的受控访问 访问控制： 可单独设置get/set访问器的可见性 可创建只读或只写属性 计算属性： 可以在getter中执行计算逻辑 不需要直接对应一个字段 验证逻辑： 可以…...
Razor编程中@Html的方法使用大全
文章目录 1. 基础HTML辅助方法1.1 Html.ActionLink()1.2 Html.RouteLink()1.3 Html.Display() / Html.DisplayFor()1.4 Html.Editor() / Html.EditorFor()1.5 Html.Label() / Html.LabelFor()1.6 Html.TextBox() / Html.TextBoxFor() 2. 表单相关辅助方法2.1 Html.BeginForm() …...
适应性Java用于现代 API：REST、GraphQL 和事件驱动
在快速发展的软件开发领域，REST、GraphQL 和事件驱动架构等新的 API 标准对于构建可扩展、高效的系统至关重要。Java 在现代 API 方面以其在企业应用中的稳定性而闻名，不断适应这些现代范式的需求。随着不断发展的生态系统，Java 在现代 API 方…...
9-Oracle 23 ai Vector Search 特性 知识准备
很多小伙伴是不是参加了 免费认证课程（限时至2025/5/15） Oracle AI Vector Search 1Z0-184-25考试，都顺利拿到certified了没。 各行各业的AI 大模型的到来，传统的数据库中的SQL还能不能打，结构化和非结构的话数据如何和…...
若依登录用户名和密码加密
/*** 获取公钥：前端用来密码加密* return*/GetMapping("/getPublicKey")public RSAUtil.RSAKeyPair getPublicKey() {return RSAUtil.rsaKeyPair();}新建RSAUti.Java package com.ruoyi.common.utils;import org.apache.commons.codec.binary.Base64; im…...
CppCon 2015 学习:Time Programming Fundamentals
Civil Time 公历时间 特点： 共 6 个字段： Year（年）Month（月）Day（日）Hour（小时）Minute（分钟）Second（秒） 表示…...
rm视觉学习1-自瞄部分
首先先感谢中南大学的开源，提供了很全面的思路，减少了很多基础性的开发研究 我看的阅读的是中南大学FYT战队开源视觉代码 链接：https://github.com/CSU-FYT-Vision/FYT2024_vision.git 1.框架： 代码框架结构：readme有…...
生信服务器 | 做生信为什么推荐使用Linux服务器？
原文链接：生信服务器 | 做生信为什么推荐使用Linux服务器？ 一、 做生信为什么推荐使用服务器？ 大家好，我是小杜。在做生信分析的同学，或是将接触学习生信分析的同学，<font style"color:rgb(53, 1…...