当前位置： 首页 > news >正文

[论文笔记]MacBERT

news 文章来源：https://blog.csdn.net/yjw123456/article/details/133416973 2024/10/30 15:34:18

引言

今天带来MacBERT的阅读笔记。论文题目是 重新审视中文自然语言处理的预训练模型。

本篇主要是探讨中文预训练语言模型在非英文语言中的有效性，然后提出了一种简单而有效的模型，称为MacBERT，它在多个方面改进了RoBERTa，特别是采用纠错型掩码语言模型(MLM as correction,Mac)的掩码策略。

通过实验表明MacBERT在很多NLP任务中能取得SOTA结果。

总体介绍

BERT已经变成NLP领域的新的基础组件。从BERT开始，人们在优化预训练语言模型方面取得了巨大而迅速的进展。比如ERINE1、XLNet2、RoBERTa3、SpanBERT4、ALBERT5、ELECTRA6等。

然而相比我们过去训练词嵌入或其他传统的神经网络，训练基于Transformer的模型没那么容易。比如，训练一个BERT-large，它有330M参数包含24层Transformer，训练起来非常昂贵。虽然很多预训练语言模的变种被提

相关文章：

[论文笔记]MacBERT

引言 今天带来MacBERT的阅读笔记。论文题目是 重新审视中文自然语言处理的预训练模型。 本篇主要是探讨中文预训练语言模型在非英文语言中的有效性，然后提出了一种简单而有效的模型，称为MacBERT，它在多个方面改进了RoBERTa，特别是采用纠错型掩码语言模型(MLM as correcti…...

编程日记 2023/10/1 6:02:13

AI发展目前最大挑战是什么？

影响AI成本的因素包括多个方面： 首先，AI技术的复杂性是其成本高昂的一个重要原因。AI技术需要进行大量数据处理、模型训练和优化，这需要耗费大量的计算资源和时间。同时，AI技术需要高水平的专业人才进行设计、开发和维护&#xf…...

编程日记 2023/10/1 6:01:12

自然语言处理NLP：LTP、SnowNLP、HanLP 常用NLP工具和库对比

文章目录 常见NLP任务常见NLP工具英文NLP工具中文NLP工具 常见NLP任务 Word Segmentation 分词 – Tokenization Stem extraction 词干提取 - Stemming Lexical reduction 词形还原 – Lemmatization Part of Speech Tagging 词性标注 – Parts of Speech Named entity rec…...

编程日记 2023/10/1 5:59:10

百度交易中台之内容分润结算系统架构浅析

作者 | 交易中台团队 导读 随着公司内容生态的蓬勃发展，内容产出方和流量提供方最关注的“收益结算”的工作，也就成为重中之重。本文基于内容分润结算业务为入口，介绍了实现过程中的重难点，比如千万级和百万级数据量下的技术选型和…...

编程日记 2023/10/1 5:58:09

【索引】常见的索引、B+树结构、什么时候需要使用索引、优化索引方法、索引主要的数据结构、聚簇索引、二级索引、创建合适的索引等重点知识汇总

目录 索引的分类 什么时候需要 / 不需要创建索引？ 有什么优化索引的方法 MySQL索引主要使用的两种数据结构是什么 为什么 MySQL 采用 B 树作为索引 聚簇索引和二级索引 根据给定的表，如何创建索引比较好 索引的分类 普通索引：最基本的…...

编程日记 2023/10/1 5:57:08

Egg 封装接口返回信息

中间件封装 代码 const msgArr {"200":成功,"401":token失效 } module.exports (option, app) > {return async function(ctx, next) {try{//成功是返回的信息ctx.emit(code,data,msg)>{console.log(1111,code,data,msg)ctx.body {code,data:dat…...

编程日记 2023/10/1 5:56:07

Android AMS——创建APP进程（五）

接上一篇，在 ActivityTaskSupervisor 中会判断进程是否存在，如果进程不存在，则会创建进程，执行 startProcessAsync() 方法。如果进程存在，则执行 realStartActivityLocked() 方法。在APP 的启动时，进程是不存在的。所以我们先来分析一下进程不存在的情况。 一、创建进程…...

编程日记 2023/10/1 5:55:07

凉鞋的 Unity 笔记 102. 场景层次 与 GameObject 的增删改查

102. 场景层次 与 GameObject 的增删改查 在上一篇，我们完成了 Unity 引擎的 Hello world 输出，并且完成了第一个基本循环： 通过这次基本循环的完成，我们获得了一点点的 Unity 使用经验，这非常重要。 有实践经验后再…...

编程日记 2023/10/1 5:52:03

信息安全：网络安全审计技术原理与应用.

信息安全：网络安全审计技术原理与应用. 网络安全审计是指对网络信息系统的安全相关活动信息进行获取、记录、存储、分析和利用的工作。网络安全审计的作用在于建立“事后“安全保障措施，保存网络安全事件及行为信息，为网络安全事件分析提供线…...

编程日记 2023/10/1 5:49:01

嵌入式Linux应用开发-第十三章APP怎么读取按键值

嵌入式Linux应用开发-第十三章读取按键及按键驱动程序 第十三章 APP怎么读取按键值13.1 妈妈怎么知道孩子醒了13.2 APP读取按键的4种方法13.2.1 查询方式13.2.2 休眠-唤醒方式13.2.3 poll方式13.2.4 异步通知方式13.2.4.1 异步通知的原理：发信号13.2.4.2 应用程序之…...

编程日记 2023/10/1 5:46:59

Web 中间件怎么玩？

本次主要是聊聊关于 web 中间件， 分为如下四个方面 什么是 web 框架中间件 为什么要使用 web 中间件 如何使用及其原理 哪些场景需要使用中间件 开门见山 web 中间件是啥 Web 框架中的中间件主要指的是在 web 请求到具体路由之前或者之后，会经过一个或…...

编程日记 2023/10/1 5:45:58

HMTL知识点系列（4）

目录 1. 在你过去的项目中，你如何解决HTML的布局和样式问题？2. 你能否解释一下HTML的“文档对象模型”（DOM）是什么，以及它的重要性？3. 你有没有经验处理网页的兼容性问题，特别是在不同浏览器之间…...

编程日记 2023/10/1 5:44:57

CFS内网穿透靶场实战

一、简介 不久前做过的靶场。 通过复现CFS三层穿透靶场，让我对漏洞的利用，各种工具的使用以及横向穿透技术有了更深的理解。 一开始nmap探测ip端口,直接用thinkphpv5版本漏洞工具反弹shell，接着利用蚁剑对服务器直接进行控制，留下…...

编程日记 2023/10/1 5:41:56

【RabbitMQ实战】07 3分钟部署一个RabbitMQ集群

一、集群的安装部署 我们还是利用docker来安装RabbitMQ集群。3分钟安装一个集群，开始。 前提条件，docker安装了docker-compose。如果没安装的话，参考这里 docker-compose文件参考bitnami官网：https://github.com/bitnami/contai…...

编程日记 2023/10/1 5:38:53

PS 切片工具 选择切片 切片存储

上文 PS 透视裁剪工具 中 我们简单讲述了透视裁剪工具 今天 我们来讲他后面的切片工具 首先 他的用途还是很多的 例如 你有一个很大的图片 其中包括 轮播 导航 主题内容 但他们都在一个图片上 你就可以用切片工具 将完整的图片切成多个部分 这里 我们选择了切片工具 光标也会…...

编程日记 2023/10/1 5:36:51

Git版本控制系统

概念： 一个免费的 开源 分布式源码仓库，帮助团队维护代码 个人使用 多人联机使用 git安装: 这里直接看大佬的安装 文章 很不错的 git 安装配置https://blog.csdn.net/mukes/article/details/115693833 安装完毕之后： 使用命名git -v查看…...

编程日记 2023/10/1 5:35:50

Element UI搭建首页导航和左侧菜单以及Mock.js和（组件通信）总线的运用

目录 前言 一、Mock.js简介及使用 1.Mock.js简介 1.1.什么是Mock.js 1.2.Mock.js的两大特性 1.3.Mock.js使用的优势 1.4.Mock.js的基本用法 1.5.Mock.js与前端框架的集成 2.Mock.js的使用 2.1安装Mock.js 2.2.引入mockjs 2.3.mockjs使用 2.3.1.定义测试数据文件 2…...

编程日记 2023/10/1 5:32:47

What is an HTTP Flood DDoS attack?

HTTP 洪水攻击是一种针对 Web 和应用程序服务器的第 7 层分布式拒绝服务 （DDoS） 攻击。HTTP 洪水攻击通过使用 HTTP GET 或 HTTP POST 请求执行 DDoS 攻击。这些请求是有效的，并且针对可用资源，因此很难防范 HTTP 洪水攻击。 匿名…...

编程日记 2023/10/1 5:31:46

第 114 场 LeetCode 双周赛题解

A 收集元素的最少操作次数 模拟: 反序遍历数组&#xff0c;用一个集合存当前遍历过的不超过 k k k 的正数 class Solution { public:int minOperations(vector<int> &nums, int k) {unordered_set<int> vis;int n nums.size();int i n - 1;for (;; i--) {if…...

编程日记 2023/10/1 5:30:45

[Java框架] Java常用爬虫框架推荐

Selenium GitHub 截止 2023年9月份 Star数量27.7K Selenium是一款基于浏览器自动化的工具&#xff0c;它可以模拟用户在浏览器上的操作行为&#xff0c;并获取网页上的内容。Selenium支持多种浏览器&#xff0c;可以很好地处理JavaScript生成内容。但是Selenium相较于其他框架而…...

编程日记 2023/10/1 5:29:44

Kafka：安装与简单使用

文章目录 下载安装windows安装目录结构启动服务器创建主题发送一些消息启动消费者设置多代理集群常见问题 工具kafka tool 常用指令topic查看topic删除topic 常见问题参考文献 下载安装 下载地址&#xff1a;kafka-download windows安装 下载完后&#xff0c;找一个目录解压…...

编程日记 2023/10/1 5:28:43

029-从零搭建微服务-消息队列（一）

写在最前 如果这个项目让你有所收获&#xff0c;记得 Star 关注哦&#xff0c;这对我是非常不错的鼓励与支持。 源码地址&#xff08;后端&#xff09;&#xff1a;mingyue: &#x1f389; 基于 Spring Boot、Spring Cloud & Alibaba 的分布式微服务架构基础服务中心 源…...

编程日记 2023/10/1 5:27:43

Python2020年06月Python二级 -- 编程题解析

题目一 数字转汉字 用户输入一个1~9&#xff08;包含1和9&#xff09;之间的任一数字&#xff0c;程序输出对应的汉字。 如输入2&#xff0c;程序输出“二”。可重复查询。 答案: 方法一 list1[一,二,三,四,五,六,七,八,九] while True:n int(input(请输入1~9之间任意一个数字…...

编程日记 2023/10/1 5:26:41

差分放大器的精髓：放大差模信号 抑制共模信号

参考如图基本的差分放大电路&#xff0c;在R1R2 R3R4的条件下&#xff0c;其输出与输入的关系为 &#xff1a; 具体推导过程参考&#xff1a;差分运算放大器的放大倍数的计算及结论_正在黑化的KS的博客-CSDN博客 由这个式子我们可以发现&#xff0c;差分放大器放大的是同相端与…...

编程日记 2023/10/1 5:25:41

蓝桥等考Python组别九级006

第一部分&#xff1a;选择题 1、Python L9 &#xff08;15分&#xff09; 运行下面程序&#xff0c;可以输出几行“*”&#xff1f;&#xff08; &#xff09; for i in range(6): for j in range(7): print(*, end ) print() 5678 正确答案&#xff1a;B 2、Python …...

编程日记 2023/10/1 5:23:38

初级篇—第五章子查询

文章目录 什么是子查询需求分析与问题解决子查询的基本语法结构子查询的分类 单行子查询单行比较操作符代码示例HAVING 中的子查询CASE中的子查询子查询中的空值问题非法使用子查询 多行子查询多行比较操作符代码示例空值问题 相关子查询代码示例在ORDER BY 中使用子查询EXISTS…...

编程日记 2023/10/1 5:20:35

【AntDesign】封装全局异常处理-全局拦截器

[toc] 场景 本文前端用的是阿里的Ant-Design框架&#xff0c;其他框架也有全局拦截器&#xff0c;思路是相同&#xff0c;具体实现自行百度下吧 因为每次都需要调接口&#xff0c;都需要单独处理异常情况&#xff08;code !0&#xff09;&#xff0c;因此前端需要对后端返回的…...

编程日记 2023/10/1 5:19:34

Visual Studio 代码显示空格等空白符

1.VS2010: 快捷键&#xff1a;CtrlR,W 2.VS2017、VS2019、VS2022&#xff1a; 工具 -> 选项 -> 文本编辑器 -> 显示 -> 勾选查看空白...

编程日记 2023/10/1 5:17:33

紫光同创FPGA图像视频采集系统，基于OV7725实现，提供工程源码和技术支持

目录 1、前言免责声明 2、设计思路框架视频源选择OV7725摄像头配置及采集动态彩条HDMA图像缓存输入输出视频HDMA缓冲FIFOHDMA控制模块HDMI输出 3、PDS工程详解4、上板调试验证并演示准备工作静态演示动态演示 5、福利&#xff1a;工程源码获取 紫光同创FPGA图像视频采集系统&am…...

编程日记 2023/10/1 5:10:27

京东大型API网关实践之路

概述 1、背景 京东作为电商平台&#xff0c;近几年用户、业务持续增长&#xff0c;访问量持续上升&#xff0c;随着这些业务的发展&#xff0c;API网关应运而生。 API网关&#xff0c;就是为了解放客户端与服务端而存在的。对于客户端&#xff0c;使开放给客户端的接口标准统…...

编程日记 2023/10/1 5:06:23

英文网站建设电话咨询/哪里有seo排名优化

问题描述&#xff1a;eclipse在debug模式下&#xff0c;当鼠标移动到某个变量上面时不自动显示该变量对应的值。解决方法&#xff1a;在eclipse中点击 window->preferences->java->editor->hovers&#xff0c; 勾选variable values&#xff0c;(如果combined hover…...

编程日记 2024/10/30 13:53:23

成都手机网站建/免费下载百度

Matlab 中经常需要对矩阵进行维度上的操作&#xff0c;下面做一个简单的总结&#xff1a; 在Matlab中&#xff0c;不管矩阵的维度是多少&#xff0c;数据在内存中的存储都是按照 “行-列-页” 的顺序进行存储的。比如&#xff1a; >> a [11,12,13; 21,22,23]a <spa…...

编程日记 2024/10/30 13:39:15

制作网站一般要多少钱/赛雷猴是什么意思

先看代码&#xff1a;$a8;$b~$a; //按位取反echo "\$a".$a."";echo "\$b".$b;输出结果&#xff1a;$a8$b-9结果跟我所想的不一样啊&#xff0c;因为在PHP中文手册中说&#xff1a; ~ $a Not(按位非) 将 $a 中为 0 的位设为 1&#xff0c;反之亦然…...

编程日记 2024/10/30 11:20:46

天津网站制作重点/东莞网站设计公司排名

题目描述&#xff1a;输入一个N阶方阵(0<N<10),输出此方阵顺时针旋转M(0<M<10000)次后的方阵 题目示例&#xff1a;三阶方阵&#xff0c;围绕方阵中心顺时针旋转 输入描述&#xff1a; (1) 第一行输入一个正整数N (0<N<10) (2) 接下来输入方阵的数据&#…...

编程日记 2024/10/30 9:21:33

莆田做网站建设/虞城seo代理地址

趁着公司不忙&#xff0c;抓紧充充电&#xff0c;开始可能会写的不好&#xff0c;但是每写一个都是一点进步&#xff0c;哈哈&#xff0c;加油 用js实现选项卡切换 1.获取元素 2.初始状态 3.通过循环清空元素状态 4.点击操作以及对应的内容切换 5.自定义索引&#xff08;通过HT…...

编程日记 2024/10/30 9:00:09

外贸电子商务网站建设/推广是什么意思

1.与或有事项相关的“可能”是指&#xff08;&#xff09;。 A.发生的可能性大于95&#xff05;但小于100&#xff05; B.发生的可能性大于30&#xff05;但小于或等于50&#xff05; C.发生的可能性大于50&#xff05;但小于或等于95&#xff05; D.发生的可能性大于5&#x…...

编程日记 2024/10/29 23:46:38