当前位置： 首页 > news >正文

66 使用注意力机制的seq2seq【动手学深度学习v2】

news 文章来源：https://blog.csdn.net/Cypresszky/article/details/128994859 2024/11/6 23:28:59

66 使用注意力机制的seq2seq【动手学深度学习v2】

深度学习学习笔记
学习视频：https://www.bilibili.com/video/BV1v44y1C7Tg/?spm_id_from=…top_right_bar_window_history.content.click&vd_source=75dce036dc8244310435eaf03de4e330

在机器翻译时，每个生成的词可能源自句子中的不同词，将所有东西压在一起，翻译时可能不清楚来自哪一块的内容，seq2seq只用了最后一层隐藏层的输出，看不到前面的内容，还原不出对应词的位置。想要翻译对应词时找到原句子中的对应位置，于是加入注意力机制。
在这里插入图片描述

加入注意力
在解码器RNN输入时，（先前讲的使用最后一个时刻的隐藏层输出作为上下文+输入的embedding concat作为解码器的输出）应该根据现在要预测值的不一样选择不是最后一个时刻的词而可能是前面几个时刻的对应的隐藏状态作为输入。

attention将编码器对应每个词的输出作为key-value，key-value 是 第 i 个词的RNN的输出。
key-value放入attention中。query是解码器的RNN在对上一个词的预测输出作为query，去attention中match下一个词需要的key-value。
于是将上下文的向量合并embedding一起进去解码器的RNN。

Seq2Seq的改进就是之前进入解码器的RNN只拿到的是最后一个时刻的隐藏层输出，现在的是允许拿出所有的词做一个加权平均，一开始用前面的那些输出，越到后面用后面那些输出。
在这里插入图片描述

在这里插入图片描述

QA：

  1. attention搜索是在当前句子搜索。
  2. BERT是在encoder中加入注意力机制，bert没有decoder
  3. enc_valid_lens 为原句子的长度，在RNN时会把每个词都padding为一样长度，enc_valid_lens就是给出原始长度，不要padding的长度
  4. 图像attention：抠很多子图，一个子图就是一个key-value

相关文章：

66 使用注意力机制的seq2seq【动手学深度学习v2】

66 使用注意力机制的seq2seq【动手学深度学习v2】 深度学习学习笔记 学习视频：https://www.bilibili.com/video/BV1v44y1C7Tg/?spm_id_from…top_right_bar_window_history.content.click&vd_source75dce036dc8244310435eaf03de4e330 在机器翻译时，…...

编程日记 2023/2/13 0:17:29

NextJS(ReactSSR)

pre-render： 预渲染 1. 静态化 发生的时间：next build 1). 纯静态化 2). SSG: server static generator getStaticProps: 当渲染组件之前会运行 生成html json //该函数只可能在服务端运行 //该函数运行在组件渲染之前 //该函数只能在build期间运…...

编程日记 2023/2/13 0:16:21

JointBERT代码复现详解【上】

BERT for Joint Intent Classification and Slot Filling代码复现【上】 源码链接：JointBERT源码复现（含注释） 一、准备工作 源码架构 data：存放两个基准数据集；model：JointBert模型的实现&#xff1b…...

编程日记 2023/2/13 0:15:14

进程间通信（上）

进程间通信（上）背景进程间通信目的进程间通信发展进程间通信分类管道什么是管道匿名管道实例代码简单的匿名管道实现一个父进程控制单个子进程完成指定任务父进程控制一批子进程完成任务（进程池）用fork来共享管道站在文件描述符角…...

编程日记 2023/2/13 0:14:06

【Unity3D】Unity 3D 连接 MySQL 数据库

1.Navicat准备 test 数据库，并在test数据库下创建 user 数据表，预先插入测试数据。 2.启动 Unity Hub 新建一个项目，然后在Unity编辑器的 Project视图 中，右击新建一个 Plugins 文件夹将连接 MySQL的驱动包 导入（附加驱…...

编程日记 2023/2/13 0:13:01

vue通用后台管理系统

用到的js库 遇到的问题 vuex和 localStorage区别 vuex在内存中，localStorage存在本地localStorage只能存储字符串类型数据，存储对象需要JSON.stringify() 和 parse()…读取内存比读取硬盘速度要快刷新页面vuex数据丢失，localStorage不会vuex…...

编程日记 2023/2/13 0:11:55

IDEA设置只格式化本次迭代变更的代码

趁着上海梅雨季节，周末狠狠更新一下。平常工作在CR的时候，经常发现会有新同事出现大量代码变更行..一看原因竟是在格式化代码时把历史代码也格式化掉了这样不仅坑了自己（覆盖率问题等），也可能会影响原始代码责任到人&a…...

编程日记 2023/2/13 0:10:50

算法训练——剑指offer(Hash集合问题)

摘要 数据结构中有一个用于存储重要的数据结构，它们就是HashMap,HasSet，它典型特征就是存储key:value键值对。在查询制定的key的时候查询效率最高O(1)。Hashmap，HasSet的底层结构是如图所示。它们的区别就是是否存在重复的元素。 二、HashMa…...

编程日记 2023/2/13 0:09:45

Element UI框架学习篇(七)

Element UI框架学习篇(七) 1 新增员工 1.1 前台部分 1.1.1 在vue实例的data里面准备好需要的对象以及属性 addStatus:false,//判断是否弹出新增用户弹窗dailog,为true就显示depts:[],//部门信息mgrs:[],//上级领导信息jobs:[],//工作岗位信息//新增用户所需要的对象newEmp:…...

编程日记 2023/2/13 0:08:37

【项目实战】32G的电脑启动IDEA一个后端服务要2min！谁忍的了？

一、背景 本人电脑性能一般，但是拥有着一台高性能的VDI（虚拟桌面基础架构），以下是具体的配置 二、问题描述 但是，即便是拥有这么高的性能，每次运行基于Dubbo微服务架构下的微服务都贼久，以下…...

编程日记 2023/2/13 0:07:32

2022年山东省中职组“网络安全”赛项比赛任务书正式赛题

2022年山东省中职组“网络安全”赛项 比赛任务书 一、竞赛时间 总计：360分钟 竞赛阶段竞赛阶段 任务阶段 竞赛任务 竞赛时间 分值 A模块 A-1 登录安全加固 180分钟 200分 A-2 Nginx安全策略 A-3 日志监控 A-4 中间件服务加固 A-5 本地安全策略…...

编程日记 2023/2/13 0:06:28

RibbitMQ 入门到应用 ( 二 ) 安装

3.安装基本操作 3.1.下载安装 3.1.1.官网 下载地址 https://rabbitmq.com/download.html 与Erlang语言对应版本 https://rabbitmq.com/which-erlang.html 3.1.2.安装 Erlang 在确定了RabbitMQ版本号后，先下载安装Erlang环境 Erlang下载链接 https://packa…...

编程日记 2023/2/13 0:05:23

提取DataFrame中每一行的DataFrame.itertuples()方法

【小白从小学Python、C、Java】【计算机等级考试500强双证书】【Python-数据分析】提取DataFrame中的每一行DataFrame.itertuples()选择题关于以下python代码说法错误的一项是?import pandas as pddf pd.DataFrame({A:[a1,a2],B:[b1,b2]},index[i1,i2])print("【显示】d…...

编程日记 2023/2/13 0:04:17

基于卷积神经网络的立体视频编码质量增强方法_余伟杰

基于卷积神经网络的立体视频编码质量增强方法_余伟杰提出的基于TSAN的合成视点质量增强方法全局信息提取流像素重组局部信息提取流多尺度空间注意力机制提出的基于RDEN的轻量级合成视点质量增强方法特征蒸馏注意力块轻量级多尺度空间注意力机制概念扭曲失真孔洞问题失真和伪影提…...

编程日记 2023/2/13 0:03:09

【2023unity游戏制作-mango的冒险】-3.基础动作和动画API实现

👨‍💻个人主页：元宇宙-秩沅 hallo 欢迎 点赞👍 收藏⭐ 留言📝 加关注✅! 本文由 秩沅 原创 收录于专栏：unity游戏制作 ⭐mango的基础动作动画的添加⭐ 文章目录⭐mango的基础动作动画的添加⭐&#x1f…...

编程日记 2023/2/13 0:02:04

跨域的几种解决方案？

1-jsonp 【前端后端实现】jsonp: 利用 <script> 标签没有跨域限制的漏洞&#xff0c;网页可以得到从其他来源动态产生的 JSON 数据。JSONP请求一定需要对方的服务器做支持才可以。JSONP优点是简单兼容性好&#xff0c;可用于解决主流浏览器的跨域数据访问的问题。缺点是仅…...

编程日记 2023/2/13 0:01:00

2022年山东省职业院校技能大赛网络搭建与应用赛项正式赛题

2022年山东省职业院校技能大赛 网络搭建与应用赛项 第二部分 网络搭建与安全部署&服务器配置及应用 竞赛说明&#xff1a; 一、竞赛内容分布 竞赛共分二个模块&#xff0c;其中&#xff1a; 第一模块&#xff1a;网络搭建及安全部署项目 第二模块&#xff1a;服务…...

编程日记 2023/2/12 23:59:53

【JUC并发编程】ArrayBlockingQueue和LinkedBlockingQueue源码2分钟看完

文章目录1、BlockingQueue1&#xff09;接口方法2&#xff09;阻塞队列分类2、ArrayBlockingQueue1&#xff09;构造函数2&#xff09;put()入队3&#xff09;take()出队3、LinkedBlockingQueue1&#xff09;构造函数2&#xff09;put()入队3&#xff09;take()出队1、Blocking…...

编程日记 2023/2/12 23:58:48

GitHub个人资料自述与管理主题设置

目录 关于您的个人资料自述文件 先决条件 添加个人资料自述文件 删除个人资料自述文件 管理主题设置 补充&#xff1a;建立一个空白文件夹 关于您的个人资料自述文件 可以通过创建个人资料 README&#xff0c;在 GitHub.com 上与社区分享有关你自己的信息。 GitHub 在个…...

编程日记 2023/2/12 23:57:44

Express篇-连接mysql

创建数据库配置文件config/sqlconfig.jsconst sqlconfig {host: localhost, // 连接地址user: root, //用户名password: ****, //密码port: 3306 , //端口号database: mysql01_dbbooks //数据库名 } module.exports sqlconfig封装数据库管理工具 utils/mysqlUtils.…...

编程日记 2023/2/12 23:56:38

win10 安装rabbitMQ详细步骤

win10 安装rabbitMQ详细步骤 win10 安装rabbitMQ详细步骤win10 安装rabbitMQ详细步骤一、下载安装程序二、安装配置erlang三、安装rabbitMQ四、验证初始可以通过用户名&#xff1a;guest 密码guest来登录。报错&#xff1a;安装RabbitMQ出现Plugin configuration unchanged.问题…...

编程日记 2023/2/12 23:55:34

【成为架构师课程系列】一线架构师:6个经典困惑及其解法

目录 一线架构师:6个经典困惑及其解法 多阶段还是多视图&#xff1f; 内置最佳实践 架构方法论:3个阶段&#xff0c;一个贯穿 Pre-architecture阶段&#xff1a;ADMEMS矩阵方法 Conceptual Architecture阶段&#xff1a;重大需求塑造做概念架构 Refined Architecture…...

编程日记 2023/2/12 23:54:28

光耦合器的定义与概述

光耦合器或光电耦合器是一种电子元件&#xff0c;基本上充当具有不同电压电平的两个独立电路之间的接口。光耦合器是可在输入和输出源之间提供电气隔离的常用元件。它是一个 6 引脚器件&#xff0c;可以有任意数量的光电探测器。 在这里&#xff0c;光源发出的光束作为输入和输…...

编程日记 2023/2/12 23:53:23

谷粒商城--品牌管理详情

目录 1.简单上传测试 2.Aliyun Spring Boot OSS 3.模块mall-third-service 4.前端 5.数据校验 6.JSR303数据校验 7.分组校验功能 8.自定义校验功能 9.完善代码 1.简单上传测试 OSS是对象存储服务&#xff0c;有什么用呢&#xff1f;把图片存储到云服务器上能让所有人…...

编程日记 2023/2/12 23:52:17

stack、queue和priority_queue

目录 一、栈&#xff08;stack&#xff09; 1.stack的使用 2.容器适配器 3.stack的模拟实现 二、队列&#xff08;queue&#xff09; 1.queue的使用 2.queue的模拟实现 三、双端队列&#xff08;deque&#xff09; 1.vector&#xff0c;list的优缺点 2.认识deque 四…...

编程日记 2023/2/12 23:51:13

面试题(二十二)消息队列与搜索引擎

2. 消息队列 2.1 MQ有什么用&#xff1f; 参考答案 消息队列有很多使用场景&#xff0c;比较常见的有3个&#xff1a;解耦、异步、削峰。 解耦&#xff1a;传统的软件开发模式&#xff0c;各个模块之间相互调用&#xff0c;数据共享&#xff0c;每个模块都要时刻关注其他模…...

编程日记 2023/2/12 23:50:06

Spring Security in Action 第三章 SpringSecurity管理用户

本专栏将从基础开始&#xff0c;循序渐进&#xff0c;以实战为线索&#xff0c;逐步深入SpringSecurity相关知识相关知识&#xff0c;打造完整的SpringSecurity学习步骤&#xff0c;提升工程化编码能力和思维能力&#xff0c;写出高质量代码。希望大家都能够从中有所收获&#…...

编程日记 2023/2/12 23:49:01

Java面试——maven篇

✅作者简介&#xff1a;2022年博客新星 第八。热爱国学的Java后端开发者&#xff0c;修心和技术同步精进。 &#x1f34e;个人主页&#xff1a;Java Fans的博客 &#x1f34a;个人信条&#xff1a;不迁怒&#xff0c;不贰过。小知识&#xff0c;大智慧。 &#x1f49e;当前专栏…...

编程日记 2023/2/12 23:47:57

基于微信小程序的游戏账号交易小程序

文末联系获取源码 开发语言&#xff1a;Java 框架&#xff1a;ssm JDK版本&#xff1a;JDK1.8 服务器&#xff1a;tomcat7 数据库&#xff1a;mysql 5.7/8.0 数据库工具&#xff1a;Navicat11 开发软件&#xff1a;eclipse/myeclipse/idea Maven包&#xff1a;Maven3.3.9 浏览器…...

编程日记 2023/2/12 23:46:50

Matlab绘制隐函数总结-二维和三维

1.二维隐函数 二维隐函数满足f(x,y)0f(x,y)0f(x,y)0&#xff0c;这里无法得到yf(x)yf(x)yf(x)的形式。不能通过普通函数绘制。 我们要关注的是使用fplot函数和fimplicit函数。 第1种情况&#xff1a;基本隐函数 基本的隐函数形式形如&#xff1a; x2y22x2(x2y2)12x^{2}y^{…...

编程日记 2023/2/12 23:45:46

不用源码做网站/人教版优化设计电子书

【题目来源】https://www.acwing.com/problem/content/879/【问题描述】 给定 n 对正整数 ai,bi&#xff0c;对于每对数&#xff0c;求出一组 xi,yi&#xff0c;使其满足 aixibiyigcd(ai,bi)。【输入格式】 第一行包含整数 n。 接下来 n 行&#xff0c;每行包含两个整数 ai,bi。…...

编程日记 2024/11/6 21:29:22

学会wordpress 怎么赚钱/网站推广seo

文章目录进程间通信介绍进程间通信的目的进程间通信的技术背景进程间通信的本质进程间通信的一些标准进程间通信意义进程间通信分类管道管道的概念管道的原理匿名管道站在文件描述符角度-深度理解管道站在内核角度-管道本质命名管道system V 共享内存共享内存的理解system V消息…...

编程日记 2024/11/6 21:14:07

国内专门做酒的网站/百度app下载

题目&#xff1a;Remove Nth Node From End of List 删除链表从尾部到头部第N的节点。 思路&#xff1a; 两个指针&#xff0c;一个从头开始前移N个节点后&#xff0c;第二个指针开始移动&#xff0c;当第一指针移动到末尾时&#xff0c;第二个指针指向的是从尾部到头部的第N个…...

编程日记 2024/11/6 17:24:11

长沙产品网站建设/单个药品营销策划方案

一、昨天完成的 因为昨天课程较满&#xff0c;所以没有写太多的代码&#xff0c;在功能实现的方面并没有实质性的进展。 二、今天做的 继续Text文本框添加文字&#xff0c;解决不能显示的问题&#xff0c;添加文本框可以出现在截图区域任意位置的功能。 三、出现的问题 添加的文…...

编程日记 2024/11/6 16:56:57

台州路桥网站建设/常用的seo工具

之前遇到过"/",在esclipse中报错&#xff0c;只认识“//”&#xff0c;“\”符号&#xff0c;需要将string字符串“/”&#xff0c;转换成“//”或者“\”怎么转呢&#xff1f; 获取字符串是 String path "/root/data/image"; StringBuilder sb new Stri…...

编程日记 2024/11/6 13:07:16

网站做导航设计的作用是什么意思/自己做一个网站需要什么

Overall summary:Final result: SQL Server 安装失败。若要继续操作&#xff0c;请调查失败原因&#xff0c;更正问题&#xff0c;卸载 SQL Server&#xff0c;然后重新运行 SQL Server 安装程序。Exit code (Decimal): -2068643839Exit facility c…...

编程日记 2024/11/6 12:46:41