当前位置：首页 > news >正文

Transformer学习笔记1

news 2026/2/7 22:07:21

Transformer学习笔记1

翻译中，每个词翻译时更看重哪个原词？
在这里插入图片描述
## 注意力机制的一般性原理

在这里插入图片描述

典型的注意力机制

hard

one-hot形式，但是太过专一

soft

都分布，但是太过泛滥
在这里插入图片描述

local attention

在这里插入图片描述

自注意力机制：self-attention

在这里插入图片描述

**加粗样式**

多头注意力

在这里插入图片描述

Transformer论文

全并行，因此需要位置编码注入
Layernorm
在这里插入图片描述

Transformer学习笔记1

Transformer学习笔记1 翻译中，每个词翻译时更看重哪个原词？ ## 注意力机制的一般性原理典型的注意力机制 hard one-hot形式，但是太过专一 soft 都分布，但是太过泛滥 local attention 自注意力机制：self-atte…...

编程日记 2023/3/17 22:41:35

软件测试简历个人技能和项目经验怎么写？（附项目资料）

目录前言个人技能项目实战经验项目名称：苏州银行项目（webapp） 项目描述： 项目名称：中国平安项目（webapp） 项目描述： 项目名称：苏宁易购项目（webapp&a…...

编程日记 2023/3/17 12:59:08

C语言运算符优先级和结合性一览表

所谓优先级就是当一个表达式中有多个运算符时，先计算谁，后计算谁。运算符的优先级从高到低大致是：单目运算符、算术运算符、关系运算符、逻辑运算符、条件运算符、赋值运算符()和逗号运算符简单记就是：！ > 算术运…...

编程日记 2023/3/17 12:59:55

Java8介绍

Java 8 Java 8 把函数式编程里的一些思想融入到 Java 的语法中，让我们可以用更少的时间写出高效的代码。 Java 8的优势： 代码行更少Lambda表达式Stream API便于并行减少空指针JVM优化兼容老版本 Lambda Lambda表达式是一段可以传递的代码&#xff0…...

编程日记 2023/3/17 13:01:47

Java 基准测试maven依赖简单使用执行多个函数BenchmarkMode(Mode.AverageTime) 运行模式OutputTimeUnit(TimeUnit.NANOSECONDS) 报告结果时间单位Warmup(iterations 5,time 1,timeUnit TimeUnit.SECONDS) 预热参数Measurement(iterations 5,time 1,timeUnit TimeUnit.SEC…...

编程日记 2023/3/17 13:04:06

普通护照出国免签及落地签国家和地区

1.互免签协议的国家（双向免签） 序号协议国限制条件生效日期 1 阿联酋停留不超过30天 2018.01.16 2 巴巴多斯停留不超过30天 2017.06.01 3 巴哈马停留不超过30天 2014.02.12 4 白俄罗斯停留不超过30天 2018.8.10 5 波黑停留不超…...

编程日记 2023/2/20 8:04:14

20230219 质心和重心的区别和性质

质心：（无需重力场的前提）所有质点的位置关于它们的质量的加权平均数。重心：（需要重力场的前提）重力对系统中每个质点关于重心的力矩之和为零。质心： xˉ∑i1nmixi∑i1nmi,yˉ∑i1nmiyi∑i1nmi…...

编程日记 2023/3/17 13:05:27

maven多环境配置

maven多环境配置参考网址: https://mp.weixin.qq.com/s/-e74bd2wW_RLx7i4YF5M2w https://mp.weixin.qq.com/s/3p53kBHqys58QdMme6lR4A 项目地址 https://gitee.com/shao_ming314/maven-profile-dir 项目说明该项目基于目录进行多环境配置 , 具体的配置文件在 src/resource…...

编程日记 2023/3/19 19:56:00

设计模式之中介模式与解释器模式详解和应用

目录1 中介模式详解1.1 中介模式的定义1.1.1 中介者模式在生活场景中应用1.1.2 中介者模式的使用场景1.2 中介模式的通用实现1.2.1 类图设计1.2.2 代码实现1.3 中介模式应用案例之聊天室1.3.1 类图设计1.3.2 代码实现1.4 中介者模式在源码中应用1.4.1 jdk中Timer类1.5 中介者模…...

编程日记 2023/3/21 23:54:01

2023年全国最新交安安全员精选真题及答案1

百分百题库提供交安安全员考试试题、交安安全员考试预测题、交安安全员考试真题、交安安全员证考试题库等，提供在线做题刷题，在线模拟考试，助你考试轻松过关。一、单选题： 1.对施工组织设计中的安全技术措施或者专项施工方案是否…...

编程日记 2023/2/20 7:59:29

chrome插件开发备忘录

文章目录前言要点通信方式注意事项参考前言第一次接触到插件开发，起因是我用了十多年的一键上传需要升级了。之前的版本来自于有道云，是通过在书签栏加一个书签，然后将上传功能注入到当前页面的方式来实现的。一直也用得挺好，挺…...

编程日记 2023/3/19 13:07:47

实例1：控制树莓派板载LED灯闪烁

实例1：控制树莓派板载LED灯闪烁实验目的通过背景知识学习，了解四足机器人mini pupper搭载的微型控制计算机：树莓派。通过对树莓派板载LED灯的状态读写控制，熟悉树莓派本身的操作及Linux中文件的读写。掌握常见函数time.sleep(…...

编程日记 2023/4/1 8:43:21

华为OD机试题 - 最大排列（JavaScript）

最近更新的博客华为OD机试题 - 字符串加密（JavaScript）华为OD机试题 - 字母消消乐（JavaScript）华为OD机试题 - 字母计数（JavaScript）华为OD机试题 - 整数分解（JavaScript）华为OD机试题 - 单词反转（JavaScript）使用说明参加华为od机试，一定要注意不要完全背…...

编程日记 2023/3/17 13:14:41

手动创建 vue2 ssr 开发环境

本文和个人博客同步发表更多优质文章查看个人博客前言手动搭建 vue ssr 一直是一些前端开发者的噩梦，因为其中牵扯到很多依赖包之间的配置以及webpack在node中的使用。就拿webpack配置来说，很多前端开发者还是喜欢用webpack-cli脚手架搭建项目。导致…...

编程日记 2023/4/1 8:43:34

RHCE-操作系统刻录工具

Windows 1.准备材料。一个可用的windows操作系统(下载的时候用迅雷比较快) MSDN, 我告诉你 - 做一个安静的工具站大于等于8G的U盘想要安装的系统光盘镜像 U盘烧录工具（软碟通） UltraISO软碟通中文官方网站 - 光盘映像文件制作/编辑/转换工具 …...

编程日记 2023/4/1 8:46:29

PHP面向对象01：面向对象基础

PHP面向对象01：面向对象基础一、关键字说明二、技术实现1. 定义类2. 类成员三、访问修饰限定符1. public2. protected3. private4. 空修饰限定符四、类内部对象五、构造和析构1. 构造方法2. 析构方法六、范围解析操作符1. 访问类常量2. 静态成员3. self关键字七、类…...

编程日记 2023/4/1 8:46:38

《爆肝整理》保姆级系列教程python接口自动化（十八）--重定向（Location）（详解）

简介　　在实际工作中，有些接口请求完以后会重定向到别的url，而你却需要重定向前的url。URL主要是针对虚拟空间而言，因为不是自己独立管理的服务器，所以无法正常进行常规的操作。但是自己又不希望通过主域名的二级目录进行访问&…...

编程日记 2023/3/17 13:20:43

MySQL的索引、视图

什么是索引模式(schema)中的一个数据库对象在数据库中用来加速对表的查询通过使用快速路径访问方法快速定位数据,减少了磁盘的I/O 与表独立存放，但不能独立存在，必须属于某个表由数据库自动维护，表被删除时，该表上的索引自动被…...

编程日记 2023/4/1 8:48:18

【JavaWeb】网络层协议——IP协议

目录 IP协议结构 IP地址管理特殊IP 解决IP地址不够用动态分配IP地址 NAT网络地址转换 IPV6 IP协议结构版本：就是IP协议的版本号。目前只有 4 和 6。这里介绍的是IPV4 首部长度：单位是4字节。于TCP首部长度完全一致，也是可变的&…...

编程日记 2023/3/17 13:22:39

【Python学习笔记】41.Python3 多线程

前言本章介绍Python的多线程。 Python3 多线程多线程类似于同时执行多个不同程序，多线程运行有如下优点： 使用线程可以把占据长时间的程序中的任务放到后台去处理。用户界面可以更加吸引人，比如用户点击了一个按钮去触发某些事件的处理…...

编程日记 2023/3/20 2:28:08

Spark 之入门讲解详细版（1）

1、简介 1.1 Spark简介 Spark是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发通用内存并行计算框架。Spark在2013年6月进入Apache成为孵化项目，8个月后成为Apache顶级项目，速度之快足见过人之处&…...

编程新知 2026/2/5 4:17:31

关于iview组件中使用 table , 绑定序号分页后序号从1开始的解决方案

问题描述：iview使用table 中type: "index",分页之后 ，索引还是从1开始，试过绑定后台返回数据的id, 这种方法可行，就是后台返回数据的每个页面id都不完全是按照从1开始的升序，因此百度了下，找到了…...

编程新知 2026/1/29 20:58:41

Ascend NPU上适配Step-Audio模型

1 概述 1.1 简述 Step-Audio 是业界首个集语音理解与生成控制一体化的产品级开源实时语音对话系统，支持多语言对话（如中文，英文，日语），语音情感（如开心，悲伤）&#x…...

编程新知 2026/1/31 4:37:39

MySQL 8.0 OCP 英文题库解析（十三）

Oracle 为庆祝 MySQL 30 周年，截止到 2025.07.31 之前。所有人均可以免费考取原价245美元的MySQL OCP 认证。从今天开始，将英文题库免费公布出来，并进行解析，帮助大家在一个月之内轻松通过OCP认证。本期公布试题111~120 试题1…...

编程新知 2026/1/31 7:25:57

#Uniapp篇：chrome调试unapp适配

chrome调试设备----使用Android模拟机开发调试移动端页面 Chrome://inspect/#devices MuMu模拟器Edge浏览器：Android原生APP嵌入的H5页面元素定位 chrome://inspect/#devices uniapp单位适配根路径下 postcss.config.js 需要装这些插件 “postcss”: “^8.5.…...

编程新知 2026/1/4 21:36:42

安全突围：重塑内生安全体系：齐向东在2025年BCS大会的演讲

文章目录前言第一部分：体系力量是突围之钥第一重困境是体系思想落地不畅。第二重困境是大小体系融合瓶颈。第三重困境是“小体系”运营梗阻。第二部分：体系矛盾是突围之障一是数据孤岛的障碍。二是投入不足的障碍。三是新旧兼容难的障碍。第三部分&am…...

编程新知 2026/1/25 2:04:42

深入理解Optional：处理空指针异常

1. 使用Optional处理可能为空的集合在Java开发中，集合判空是一个常见但容易出错的场景。传统方式虽然可行，但存在一些潜在问题： // 传统判空方式 if (!CollectionUtils.isEmpty(userInfoList)) {for (UserInfo userInfo : userInfoList) {…...

编程新知 2025/12/19 19:15:39