当前位置： 首页 > news >正文

【Pytorch】学习记录分享8——PyTorch自然语言处理基础-词向量模型Word2Vec

news 文章来源：https://blog.csdn.net/Darlingqiang/article/details/135236919 2024/9/21 12:23:30

【Pytorch】学习记录分享7——PyTorch自然语言处理基础-词向量模型Word2Vec

      • 1. 词向量模型Word2Vec)
        • 1. 如何度量这个单词的？
        • 2.词向量是什么样子？
        • 3.词向量对应的热力图：
        • 4.词向量模型的输入与输出![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/5ab5dc810a724ae883574a8bc58aeff8.png)
      • 2.如何构建训练数据
        • 2.1 构建训练数据
        • 2.2 不同模型对比(传入中间词预测上下文，传入上下文，预测中间词汇)
      • 3.如何训练
        • 3.1 如何设计驯联网络
        • 3.2 改进方案：加入一些负样本（负采样模型）
        • 3.3 词向量训练过程

1. 词向量模型Word2Vec)

1. 如何度量这个单词的？

在这里插入图片描述

2.词向量是什么样子？

在这里插入图片描述

3.词向量对应的热力图：

在这里插入图片描述
在这里插入图片描述

4.词向量模型的输入与输出在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

2.如何构建训练数据

2.1 构建训练数据

类似wiki与合乎说话逻辑的文本均可以作为训练数据
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.2 不同模型对比(传入中间词预测上下文，传入上下文，预测中间词汇)

CBOW:

在这里插入图片描述
在这里插入图片描述
Skip-gram模型所需训练数据集 :
在这里插入图片描述
在这里插入图片描述

3.如何训练

3.1 如何设计驯联网络

如果一个语料库稍微大一些，可能的结果简直太多了，最后一层相当于softmax，计算起来十分耗时，有什么办法来解决嘛？
在这里插入图片描述
初始方案：输入两个单词，看他们是不是前后对应的输入和输出，也就相当于一个二分类任务，但是这样做之后

在这里插入图片描述
在这里插入图片描述
出发点非常好，但是此时训练集构建出来的标签全为1，无法进行较好的训练

3.2 改进方案：加入一些负样本（负采样模型）

在这里插入图片描述

3.3 词向量训练过程

1.初始化词向量矩阵
在这里插入图片描述
在这里插入图片描述
2.通过神经网络返向传播来计算更新，此时不光更新权重参数矩阵W，也会更新输入数据
在这里插入图片描述

相关文章：

【Pytorch】学习记录分享8——PyTorch自然语言处理基础-词向量模型Word2Vec

【Pytorch】学习记录分享7——PyTorch自然语言处理基础-词向量模型Word2Vec 1. 词向量模型Word2Vec)1. 如何度量这个单词的？2.词向量是什么样子？3.词向量对应的热力图：4.词向量模型的输入与输出![在这里插入图片描述](https://img-blog.csdni…...

编程日记 2024/1/1 11:01:49

【Kotlin 】协程

Kotlin协程 背景定义实践GlobalScope.launchrunBlocking业务实践 背景 在项目实践过程中，笔者发现很多异步或者耗时的操作，都使用了Kotlin中的协程，所以特地研究了一番。 定义 关于协程（Coroutine），其实…...

编程日记 2024/1/1 11:00:48

用Xshell连接虚拟机的Ubuntu20.04系统记录。虚拟机Ubuntu无法上网。本机能ping通虚拟机，反之不能。互ping不通

先别急着操作，看完再试。 如果是：本机能ping通虚拟机，反之不能。慢慢看到第8条。 如果是：虚拟机不能上网（互ping不通），往下一直看。 系统是刚装的，安装步骤：VMware虚拟机…...

编程日记 2024/1/1 10:57:45

人机对话--关于意识机器

人机对话–关于意识机器 这段内容是我和《通义千问》的对话。这本身展示的是人工智能的效果，同时这里面的内容也有人工智能相关，与各位分享。 我：阿尼尔赛斯 《意识机器》这本书写的是什么？ 通义千问： 阿尼尔赛斯教…...

编程日记 2024/1/1 10:53:42

八股文打卡day16——计算机网络（16）

面试题：TCP连接是如何确保可靠性的？ 我的回答： 1.数据分块控制。应用数据被分成被认为最适合传输的数据块大小，再发送到传输层，数据块被称为数据报文段或数据段。 2.序列号和确认应答。TCP为每一个数据包分配了一个序…...

编程日记 2024/1/1 10:51:40

Java Object浅克隆深克隆

对象克隆 把A对象的属性值完全拷贝给B对象，也叫对象拷贝，对象复制。 实现Cloneable接口，表示当前类的对象就可以被克隆，反之，表示当前类的对象就不能克隆。 如果一个接口里面没有抽象方法，表示当前的接口…...

编程日记 2024/1/1 10:50:39

概率的 50 个具有挑战性的问题 [8/50]：完美的桥牌

一、说明 我最近对与概率有关的问题产生了兴趣。我偶然读到了弗雷德里克莫斯特勒（Frederick Mosteller）的《概率论中的五十个具有挑战性的问题与解决方案》）一书。我认为创建一个系列来讨论这些可能作为面试问题出现的迷人问题会很有趣。每篇…...

编程日记 2024/1/1 10:49:38

自动驾驶学习笔记（二十四）——车辆控制开发

#Apollo开发者# 学习课程的传送门如下，当您也准备学习自动驾驶时，可以和我一同前往： 《自动驾驶新人之旅》免费课程—> 传送门 《Apollo开放平台9.0专项技术公开课》免费报名—>传送门 文章目录 前言 控制算法 控制标定 控制协议…...

编程日记 2024/1/1 10:46:35

【起草】【第十二章】定制ChatGPT数字亲人

身为普普通通的我们，不知道亲人们在哪一天就要离开这个世界 ？ 作为普普通通的程序员，我们可以为我们的亲人做点什么 ？ 让他们以数字资产形式留在人世间 ? 对话｜6岁女孩病逝捐器官，妈妈：她去…...

编程日记 2024/1/1 10:45:34

MySQL数据库索引

索引的定义 索引是一个排序的列表，包含索引字段的值和其对应的行记录的数据所在的物理地址 索引的作用 加快表的查询速度，还可以对字段排序 索引的副作用 会额外占用磁盘空间；更新包含索引的表会花费更多的时间，效率会更慢 …...

编程日记 2024/1/1 10:41:30

【LLM 】7个基本的NLP模型，为ML应用程序赋能

在上一篇文章中，我们已经解释了什么是NLP及其在现实世界中的应用。在这篇文章中，我们将继续介绍NLP应用程序中使用的一些主要深度学习模型。 BERT 来自变压器的双向编码器表示（BERT）由Jacob Devlin在2018年的论文《BERT:用于语言…...

编程日记 2024/1/1 10:39:29

数字人私人定制

数字人是什么？ 在回答这个问题之前，我们先回答另一个问题，人如何与人工智能交流？目前可以通过文字、语音、电脑屏幕、手机屏幕、平板、虚拟现实设备等和人工智能交流，为了得到更好的交流体验，人工智能必然…...

编程日记 2024/1/1 10:38:28

CollectionUtils

使用 CollectionUtils 类的常用方法 在Java开发中，我们经常需要对集合进行各种操作，而Apache Commons Collections库提供了一个方便的工具类 CollectionUtils，其中包含了许多实用的方法。在这篇博客中，我们将深入了解一些常用的方…...

编程日记 2024/1/1 10:34:24

很想写一个框架，比如，spring

很想写一个框架，比如，spring。 原理很清楚，源码也很熟悉。 可惜力不从心，是不是可以找几个小弟一起做。...

编程日记 2024/1/1 10:33:23

Java集合/泛型篇----第五篇

系列文章目录 文章目录 系列文章目录前言一、说说LinkHashSet（ HashSet+LinkedHashMap）二、HashMap（数组+链表+红黑树）三、说说ConcurrentHashMap前言 前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站，这篇文章男女通…...

编程日记 2024/1/1 10:31:22

ACES 增强版不丹水稻作物地图（2016-2022 年）

ACES 增强版不丹水稻作物地图（2016-2022 年） 用于改善粮食安全决策的 2016-2022 年年度作物类型稻米地图仍然是不丹的一项挑战。这些地图是与不丹农业部和 SERVIR 合作开发的。通过专注于发展不丹的科学、技术、工程和数学 (STEM)，我们共同开…...

编程日记 2024/1/1 10:30:20

【Spark精讲】一文讲透Spark宽窄依赖的区别

宽依赖窄依赖的区别 窄依赖：RDD 之间分区是一一对应的宽依赖：发生shuffle，多对多的关系 宽依赖是子RDD的一个分区依赖了父RDD的多个分区父RDD的一个分区的数据，分别流入到子RDD的不同分区特例：cartesian算子对应的Car…...

编程日记 2024/1/1 10:28:18

nacos2.3.0配置中心问题处理

问题&#xff1a;Error to process server push response: {"headers":{},"abilityTable":{"supportPersistentInstanceByGrpc":true},"module":"internal"} 处理办法&#xff1a; 将pom.xml中 <!-- nacos服务注册/发…...

编程日记 2024/1/1 10:26:16

Apollo自动驾驶系统：实现城市可持续交通的迈向

前言 「作者主页」&#xff1a;雪碧有白泡泡 「个人网站」&#xff1a;雪碧的个人网站 ChatGPT体验地址 文章目录 前言引言&#xff1a;1. 什么是微服务架构&#xff1f;2. 微服务架构的组成要素3. 微服务架构的挑战和解决方案4. 微服务架构的可扩展性和弹性 第二部分&#x…...

编程日记 2024/1/1 10:24:15

【WPF.NET开发】附加事件

本文内容 先决条件附加事件语法WPF 如何实现附加事件附加事件方案处理附加事件定义自定义附加事件引发 WPF 附加事件 Extensible Application Markup Language (XAML) 定义了一种语言组件和称为附加事件的事件类型。 附加事件可用于在非元素类中定义新的 路由事件&#xff0c…...

编程日记 2024/1/1 10:23:14

java浅拷贝BeanUtils.copyProperties引发的RPC异常 | 京东物流技术团队

背景 近期参与了一个攻坚项目&#xff0c;前期因为其他流程原因&#xff0c;测试时间已经耽搁了好几天了&#xff0c;本以为已经解决了卡点&#xff0c;后续流程应该顺顺利利的&#xff0c;没想到 人在地铁上&#xff0c;bug从咚咚来~ 没有任何修改的服务接口&#xff0c;抛出…...

编程日记 2024/1/1 10:22:13

【pynput】鼠标行为追踪并模拟

文章目录 前言基本思路安装依赖包实时鼠标捕获捕获鼠标位置捕获鼠标事件记录点击内容效果图 实时按键捕获控制按键操作捕获按键事件组合键记录区间设置 用户操作记录与回溯基本思路完整代码效果图 利用本文内容从事的任何犯法行为和开发与本人无关&#xff0c;请理性利用技术服…...

编程日记 2024/1/1 10:18:09

docker小白第十天

redis集群主从容错切换案例 3主3从的redis集群&#xff0c;某个主机宕机了&#xff0c;需要对应的从机补位。 docker exec -it redis-node-1 /bin/bash # 进入容器1的命令行 redis-cli -p 6381 # 进入节点1的命令行 cluster nodes # 查看集群信息可以看到1号和6号对应是主从关…...

编程日记 2024/1/1 10:17:09

Apache SSI 远程命令执行漏洞

一、环境搭建 二、访问upload.php 三、写shell <!--#exec cmd"id" --> 四、访问 如图所示&#xff0c;即getshell成功&#xff01;​...

编程日记 2024/1/1 10:16:08

阿里云30个公共云地域、89个可用区、5个金融云和政务云地域

阿里云基础设施目前已面向全球四大洲&#xff0c;公共云地域开服运营30个公共云地域、89个可用区&#xff0c;此外还拥有5个金融云、政务云地域&#xff0c;并且致力于持续的新地域规划和建设&#xff0c;从而更好的满足用户多样化的业务和场景需求。伴随着基础设施的加速投入和…...

编程日记 2024/1/1 10:14:06

Linux驱动开发之杂项设备注册和Linux2.6设备注册

目录 一、杂项设备注册 杂项设备注册简介 杂项设备注册特点: 杂项设备注册相关API misc_register() misc_deregister() 杂项设备注册相关例程 例程简介 源码分享 二、Linux 2.6设备注册 Linux2.6设备注册简介 Linux 2.6设备注册特点 Linux2.6设备注册流程 ​Linu…...

编程日记 2024/1/1 10:05:59

javafx写一个文档编辑器

文本编辑器是一种用于编辑纯文本文件的工具。它具有基本的文本编辑功能，如插入、删除、复制、粘贴等。文本编辑器通常不具备格式化文本、排版和图形编辑等高级功能，专注于纯文本的编辑。常见的文本编辑器包括记事本(Notepad)、Sublime Text、Visual Studio Code、Atom、Emacs…...

编程日记 2024/1/1 10:04:58

PHP与Angular详细对比 帮助你选择合适的项目技术

开发可有效扩展并提供诺克斯堡级安全性的Web应用程序和网站是每个开发人员的梦想。而使用这样的产品是每个用户的愿望。因此&#xff0c;为您的项目选择最合适和可靠的技术非常关键。 虽然PHP和Angular是完全不同的技术——PHP与JavaScript是一个更恰当的比较——但它们都广泛…...

编程日记 2024/1/1 10:02:56

基于立锜RTQ7882，支持全协议及DP显示功能的PD快充方案

在上一篇文章【基于RTQ7882的车载PD快充方案 - 大大通 &#xff08;wpgdadatong.com&#xff09;】中&#xff0c;已经对立锜科技&#xff08;Richtek&#xff09;及主打产品RTQ7882的基本功能作了介绍。 本文将分享RTQ7882近期新增的功能&#xff0c;以及其Cost Down版本。 旨…...

编程日记 2024/1/1 10:01:55

2023-12-25 LeetCode每日一题（不浪费原料的汉堡制作方案）

2023-12-25每日一题 一、题目编号 1276. 不浪费原料的汉堡制作方案二、题目链接 点击跳转到题目位置 三、题目描述 圣诞活动预热开始啦&#xff0c;汉堡店推出了全新的汉堡套餐。为了避免浪费原料&#xff0c;请你帮他们制定合适的制作计划。 给你两个整数 tomatoSlices …...

编程日记 2024/1/1 9:56:51

JavaScript 基础通关

快速熟悉 JavaScript 的基础语法&#xff0c;比较高级的比如事件放在后面的笔记中。 JavaScript 1. JavaScript 介绍 1.1 JavaScript 基本介绍 JavaScript 是一门运行在客户端&#xff08;浏览器&#xff09;的编程语言&#xff0c;实现人机交互的效果。实现网页特效、表单验…...

编程日记 2024/1/1 9:53:49

目标检测损失函数：IoU、GIoU、DIoU、CIoU、EIoU、alpha IoU、SIoU、WIoU原理及Pytorch实现

前言 损失函数是用来评价模型的预测值和真实值一致程度&#xff0c;损失函数越小&#xff0c;通常模型的性能越好。不同的模型用的损失函数一般也不一样。损失函数主要是用在模型的训练阶段&#xff0c;如果我们想让预测值无限接近于真实值&#xff0c;就需要将损失值降到最低…...

编程日记 2024/1/1 9:51:47

今年努力输出的嵌入式Linux视频

今年努力了一波&#xff0c;几个月周六日无休&#xff0c;自己在嵌入式linux工作有些年头&#xff0c;结合自己也是一直和SLAM工程师对接&#xff0c;所以输出了一波面向SLAM算法工程师Linux课程&#xff0c;当然嵌入式入门的同学也可以学习。下面是合作的官方前面发的宣传文章…...

编程日记 2024/1/1 9:50:45

python非常好用的文件系统监控库

如果你不想使用Watchdog库&#xff0c;而是自己编写代码来监视文件系统的变化&#xff0c;可以使用Python的内置模块os和time来实现。 下面是一个简单的示例代码&#xff0c;演示如何使用os和time模块来监视文件系统中文件的变化&#xff1a; pythonimport osimport timedef m…...

编程日记 2024/1/1 9:42:39

基于SpringBoot的电影购票系统

文章目录 项目介绍主要功能截图：部分代码展示设计总结项目获取方式🍅 作者主页：超级无敌暴龙战士塔塔开 🍅 简介：Java领域优质创作者🏆、 简历模板、学习资料、面试题库【关注我，都给你】 🍅文末获取源码联系🍅 项目介绍 基于SpringBoot的电影购票系统,java项目…...

编程日记 2024/1/1 9:33:30

Spring系列：Spring如何解决循环依赖

❤ 作者主页&#xff1a;欢迎来到我的技术博客&#x1f60e; ❀ 个人介绍&#xff1a;大家好&#xff0c;本人热衷于Java后端开发&#xff0c;欢迎来交流学习哦&#xff01;(&#xffe3;▽&#xffe3;)~* &#x1f34a; 如果文章对您有帮助&#xff0c;记得关注、点赞、收藏、…...

编程日记 2024/1/1 9:32:29

netty源码：（40）ReplayingDecoder

ReplayingDecoder是ByteToMessageDecoder的子类&#xff0c;我们继承这个类时&#xff0c;也要实现decode方法&#xff0c;示例如下&#xff1a; package cn.edu.tju;import io.netty.buffer.ByteBuf; import io.netty.channel.ChannelHandlerContext; import io.netty.handle…...

编程日记 2024/1/1 9:31:28

Apache Doris (五十五）： Doris Join类型 - Colocation Join

🏡 个人主页：IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客 🚩 私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。 🔔 博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频 目录 1. Colocation Join原理...

编程日记 2024/1/1 9:30:27

计算机组成原理复习7

内存管理 文章目录 内存管理存储器概述存储器的分类按在计算机中的作用&#xff08;层次&#xff09;分类按存储介质分类按存取方式分类按信息的可保存性分类 存储器的性能指标存储容量单位成本存储速度&#xff1a;数据传输率数据的宽度/存储周期 存储器的层次化结构多级存储系…...

编程日记 2024/1/1 9:29:26

python使用openpyxl操作excel

文章目录 前提读取已有excel创建一个excel工作簿对象创建excel工作簿中的工作表获取工作表第一种&#xff1a;.active 方法第二种&#xff1a;通过工作表名获取指定工作表​​​​​​第三种&#xff1a;.get_sheet_name() 修改工作表的名称数据操作写入数据按单元格写入通过指…...

编程日记 2024/1/1 9:27:24

使用keepalived时虚拟IP漂移注意事项

什么是Keepalived服务 keepalived是一个开源的软件项目&#xff0c;用于实现高可用性&#xff08;HA&#xff09;的网络服务器负载均衡和故障转移。它允许将多台服务器组合在一起&#xff0c;形成一个虚拟服务器集群&#xff0c;实现负载均衡和故障转移。 keepalived的核心功…...

编程日记 2024/1/1 9:24:22

32阵元 MVDR和DREC DOA估计波束方向图对比

32阵元 MVDR和DREC DOA估计波束方向图对比 一、原理 MVDR原理&#xff1a;https://zhuanlan.zhihu.com/p/457528114 DREC原理&#xff08;无失真响应特征干扰相消器&#xff09;&#xff1a;http://radarst.ijournal.cn/html/2019/3/201903018.html 主要参数&#xff1a; 阵…...

编程日记 2024/1/1 9:22:20

OpenCV-11颜色通道的分离与合并

本次我们使用两个比较重要的API split&#xff08;mat&#xff09;将图像的通道进行分割。 merge&#xff08;(ch1&#xff0c;ch2&#xff0c;ch3)&#xff09;将多个通道进行融合。 示例代码如下&#xff1a; import cv2 import numpy as npimg np.zeros((480, 640, 3),…...

编程日记 2024/1/1 9:17:16

从0到1入门C++编程——01 C++基础知识

文章目录 一、工具安装二、新建项目三、设置字体、注释、行号四、C基础知识1.数据类型2.输入输出3.运算符4.选择、循环结构5.跳转语句6.数组7.函数8.指针9.结构体 一、工具安装 学习C使用到的工具是Visual Studio&#xff0c;Visual Studio 2010旗舰版下载链接&#xff1a;点此…...

编程日记 2024/1/1 9:16:14

C#编程-编写和执行C#程序2

C#编程-编写和执行C#程序 问题陈述 Dvid所在的团队正在为网球比赛开发自动排名软件。他负责创建一个程序来接受网球选手的以下详细信息并将其显示在屏幕上： 1.姓名 2.排名 您需要帮助David创建该程序。 要创建所需的程序，David需要执行以下步骤： 1.打开“记事本”。 2.在“…...

编程日记 2024/1/1 9:15:13

Day02-ES6

一.proxy代理 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>Document</title> </head>…...

编程日记 2024/1/1 9:14:12

2023年12月记录内容管理

文章目录 前言1.[vue构建项目](https://mp.csdn.net/mp_blog/creation/editor/134829688)2. [Nodejs后端express框架](https://mp.csdn.net/mp_blog/creation/editor/134841711)3. [前端知识点](https://mp.csdn.net/mp_blog/creation/editor/132810879)4.[前端知识点-vue篇&am…...

编程日记 2024/1/1 9:13:11

【测试基础】构造测试数据之 MySQL 篇

构造测试数据之 MySQL 篇 作为一名测试工程师&#xff0c;我们经常会构造测试数据进行一些功能验证。为了暴露更多的问题&#xff0c;在测试数据的构造上&#xff0c;我们应该尽可能的构造不同类型字段的数据&#xff0c;且一张表的字段最好不低于 10 10 10 个。 对于 MySQL …...

编程日记 2024/1/1 9:11:09

基于单片机的语音识别自动避障小车（论文+源码）

1.系统设计 此次基于单片机的语音识别自动避障小车&#xff0c;以STC89C52单片机作为系统的主控制器&#xff0c;利用超声波模块来实现小车与障碍物距离的测量并通过LCD液晶显示&#xff0c;当距离低于阈值时会通过WT588语音模块进行报警提示&#xff0c;并且小车会后退来躲避…...

编程日记 2024/1/1 9:09:07

2023年“中银杯”四川省职业院校技能大赛“云计算应用”赛项样题卷①

2023年“中银杯”四川省职业院校技能大赛“云计算应用”赛项&#xff08;高职组&#xff09; 样题&#xff08;第1套&#xff09; 目录 2023年“中银杯”四川省职业院校技能大赛“云计算应用”赛项&#xff08;高职组&#xff09; 样题&#xff08;第1套&#xff09; 模块一…...

编程日记 2024/1/1 9:06:04