当前位置： 首页 > news >正文

百度ERNIE系列预训练语言模型浅析(4)-总结篇

news 文章来源：https://blog.csdn.net/weixin_40566713/article/details/139301132 2025/1/31 22:48:49

总结：ERNIE 3.0与ERNIE 2.0比较

（1）相同点：
采用连续学习
采用了多个语义层级的预训练任务
（2）不同点：
ERNIE 3.0 Transformer-XL Encoder(自回归+自编码), ERNIE 2.0 Transformer Encoder（自编码）
预训练任务的细微差别，ERNIE3.0里增加的知识图谱
ERNIE 3.0考虑到不同的预训练任务具有不同的高层语义，而共享着底层的语义（比如语法，词法等），为了充分地利用数据并且实现高效预训练，ERNIE 3.0中对采用了多任务训练中的常见做法，将不同的特征层分为了通用语义层（Universal Representation）和任务相关层（Task-specific Representation）。

在这里插入图片描述

参考

  • Sun Y, Wang S, Li Y, et al. Ernie: Enhanced representation through knowledge integration[J]. arXiv preprint arXiv:1904.09223, 2019.
  • Sun Y, Wang S, Li Y, et al. Ernie 2.0: A continual pre-training framework for language understanding[C]//Proceedings of the AAAI * Conference on Artificial Intelligence. 2020, 34(05): 8968-8975.
  • Sun Y, Wang S, Feng S, et al. ERNIE 3.0: Large-scale Knowledge Enhanced Pre-training for Language Understanding and * Generation[J]. arXiv preprint arXiv:2107.02137, 2021.
  • 冯仕堃《百度知识增强技术ERNIE最新进展及其应用实践》 DataFun
  • 常见的 BERT Mask 策略
  • 自回归语言模型 VS 自编码语言模型
  • 【论文极速看】ERNIE 3.0 通过用知识图谱加强的语言模型
  • ERNIE3.0 Demo试玩，被卷到了
  • 刷新50多个NLP任务基准，百度ERNIE 3.0知识增强大模型显威力
  • 什么是 One/zero-shot learning？

相关文章：

百度ERNIE系列预训练语言模型浅析(4)-总结篇

总结：ERNIE 3.0与ERNIE 2.0比较 （1）相同点： 采用连续学习 采用了多个语义层级的预训练任务 （2）不同点： ERNIE 3.0 Transformer-XL Encoder(自回归自编码), ERNIE 2.0 Transformer Encode…...

编程日记 2024/6/6 4:47:28

Ubuntu 20.04 LTS配置JDK、Git

一、配置JDK 1.1 更新系统 执行以下命令 sudo apt update 出现以下界面即为安装成功 1.2 安装openjdk-11-jdk Ubuntu20.04中没有默认JDK，执行以下指令安装，默认会自动配置一些必要环境变量 sudo apt install openjdk-11-jdk 1.3 配置环境变量&…...

编程日记 2024/6/6 4:43:25

外汇天眼：Marqeta加速欧洲业务发展，华沙办公室正式开幕

Marqeta，全球现代卡发行平台，今天宣布在波兰华沙设立新办公室，以支持其长期的业务和增长战略。通过在波兰设立业务，Marqeta直接获得了进入欧盟的通道，为其在跨境增长和提供增强服务奠定了良好基础。波兰作为欧洲中心位…...

编程日记 2024/6/6 4:42:24

使用【AliceCarousel】实现轮播功能

无论是在react还是vue项目中，我们都可能会遇到需要轮播的场景，在实习中，遇到了实现组件轮播的需求，下面进行简要记录。 1. 安装AliceCarousel npm install react-alice-carousel --save 2. 引入AliceCarousel组件 import Reac…...

编程日记 2024/6/6 4:41:22

全屋智能的本质是低成本的重构

全屋智能（这里指的不是每个电器都可以在APP上控制，而是基于场景化的全屋智能），我第一次去圣都总部听讲的时候是不准备做的（我的理解是这玩意儿带来的是至少十万的成本）。但随着对于装修各项事物的接触&…...

编程日记 2024/6/6 4:40:20

开发一个comfyui的自定义节点-支持输入中文prompt

文章目录 目标功能开发环境实现过程翻译中文CLIP编码拓展仓库地址完整代码目标功能 目前comfyui的prompt提示词输入节点 CLIP Text Encode 只支持输入英文的prompt，而有时候我们需要自己制定一些prompt，所以就得将我们想要的提示词翻译为英文后再复制粘贴到该节点的输入框中…...

编程日记 2024/6/6 4:39:18

代码随想录第二十九天打卡| 491.递增子序列，46.全排列，47.全排列 II

491.递增子序列 本题和大家刚做过的 90.子集II 非常像，但又很不一样，很容易掉坑里。 代码随想录 视频讲解：回溯算法精讲，树层去重与树枝去重 | LeetCode：491.递增子序列_哔哩哔哩_bilibili class Solution { public:…...

编程日记 2024/6/6 4:36:15

音频数据上的会话情感分析

情感分析，也被称为观点挖掘，是自然语言处理(NLP)中一个流行的任务,因为它有着广泛的工业应用。在专门将自然语言处理技术应用于文本数据的背景下,主要目标是训练出一个能够将给定文本分类到不同情感类别的模型。下图给出了情感分类器的高级概述。 例如,三…...

编程日记 2024/6/6 4:34:13

算法金 | 一文读懂K均值（K-Means）聚类算法

​大侠幸会，在下全网同名[算法金] 0 基础转 AI 上岸，多个算法赛 Top [日更万日，让更多人享受智能乐趣] 1. 引言 数据分析中聚类算法的作用 在数据分析中，聚类算法用于发现数据集中的固有分组，通过将相似对象聚集在一…...

编程日记 2024/6/6 4:30:08

江协科技STM32学习-1 购买24Mhz采样逻辑分析仪

前言： 本文是根据哔哩哔哩网站上“江协科技STM32”视频的学习笔记，在这里会记录下江协科技STM32开发板的配套视频教程所作的实验和学习笔记内容。本文大量引用了江协科技STM32教学视频和链接中的内容。 引用： STM32入门教程-2023版 细致讲…...

编程日记 2024/6/6 4:28:06

支付系统-业务账单

target：离开柬埔寨倒计时-210day 前言 最近不知道该写什么了，很多东西要写起来非常耗时间，写作是真的不容易呀 我们的支付系统账单有两大类，一个是业务账单还有一个就是资金记录，都是引发资金流后的资金变动表现&…...

编程日记 2024/6/6 4:27:05

AI引领天文新篇章：中科院发现107例中性碳吸收线，揭示宇宙深邃奥秘

在浩渺无垠的宇宙中，探索未知的天文现象一直是科学家们不懈的追求。近日，中科院上海天文台的研究团队在《天文物理杂志》（MNRAS）上发布了重要研究成果：利用人工智能技术，成功探测到了107例中性碳吸收线&…...

编程日记 2024/6/6 4:18:57

python 删除pdf 空白页

环境 python 3.10 PyPDF2 3.0.1 安装 pip install PyPDF2流程 将空白页和内容页读取出来，看看内部结构有什么不同以此为依据，遍历整个PDF 文件，标记处有内容的页面，写入到另外一个PDF文件。 python 代码 # 每一个页都是一个…...

编程日记 2024/6/6 4:17:56

flutter as连接网易模拟器

网易模拟器下载 Mac 使用MuMu模拟器调试 Flutter开发 Android Studio 安装第三方模拟器—网易MuMu Mac 安卓Studio使用外部模拟器 Mac电脑：Android Studio 连接 MUMU 网易模拟器 Mac 上 Android Studio 链接网易 MuMu 模拟器调试 在 .zshrc 中设置 adb 二进制文…...

编程日记 2024/6/6 4:16:55

fpga控制dsp6657上电启动配置

1 Verilog代码 dspboot_config.v timescale 1ns / 1ps //dsp上电启动配置 module dspboot_config (///时钟和复位input SYS_CLK_50MHz,input SYS_RST_n,//DSP启动配置output DSP_POR,output DSP_RESETFULL,output DSP_RESET,inout [12:…...

编程日记 2024/6/6 4:11:48

Tomcat启动闪退问题解决方法

Tomcat是一个广泛使用的开源Web服务器和Servlet容器。它的稳定性和灵活性使其在Java Web开发领域受到广泛关注。然而，在实际使用过程中，我们有时会遇到Tomcat启动后立即关闭的问题，这种现象通常被称为"闪退"。下面我将针对这个问题…...

编程日记 2024/6/6 4:09:46

【多模态】34、LLaVA-v1.5 | 微软开源，用极简框架来实现高效的多模态 LMM 模型

文章目录 一、背景二、方法2.1 提升点2.2 训练样本 三、效果3.1 整体效果对比3.2 模型对于 zero-shot 形式的指令的结果生成能力3.3 模型对于 zero-shot 多语言的能力3.4 限制 四、训练4.1 数据4.2 超参 五、评测六、代码 论文：Improved Baselines with Visual Inst…...

编程日记 2024/6/6 4:07:42

文件编码概念

文件的读取 open()函数： 打开一个已存在的文件，或者创建一个新文件 open(name,mode,encoding) name:是要打开的目标文件名的字符串（可以包含文件所在的具体路径） mode:设置打开文件的模式（访问模式）&am…...

编程日记 2024/6/6 4:01:38

uni-app（优医咨询）项目实战 - 第7天

学习目标： 能够基于 WebSocket 完成问诊全流程 能够使用 uniCloud 云存储上传文件 能够完成查看电子处方的功能 能够完成医生评价的功能 一、问诊室 以对话聊天的方式向医生介绍病情并获取诊断方案，聊天的内容支持文字和图片两种形式。 首先新建一…...

编程日记 2024/6/6 3:54:31

推荐系统学习 二

双塔模型的结构 用户的特征，我们知道用户ID还能从用户填写的资料和用户行为中获取很多特征，包括离散特征和连续特征。所有这些特征不能直接输入神经网络，而是要先做一些处理，比如用embedding层把用户ID映射到一个向量 跟之前我们…...

编程日记 2024/6/6 3:51:28

Vue——组件数据传递与props校验

文章目录 前言组件数据传递的几种类型简单字符串类型数据专递其他类型数据(数字、数组、对象)传递注意事项 数据传递值校验限定数据类型 type给定默认值 default指定必选项 required 前言 组件与组件之间并不是完全独立的，他们之间可以进行一些数据的传递操作。传递…...

编程日记 2024/6/6 3:48:24

Java 基础面试300题 （261-290）

Java 基础面试300题 （261-290） 261.CompletableFuture.runAsync和CompletableFuture.supplyAsync方法有什么区别？ 这两个方法都可用于异步运行代码。但两者之间有一些区别如下 ： runAsync不返回结果，返回的是一个Com…...

编程日记 2024/6/6 3:46:20

音频信号分析与实践

音频信号分析与实践课程,方便理解音频信号原理和过程 1.音频信号采集与播放 两种采样模式和标准的采样流程 人说话的声音一般在2kHz一下： 采样频率的影响：采样率要大于等于信号特征频率的2倍；一般保证信号完整，需要使用10倍以上的…...

编程日记 2024/6/6 3:45:18

程序媛：拽姐

更多精彩内容在公众号。 最近都在玩梗图，我也来玩下拽姐的梗图。来说说拽姐做为程序媛的痛。 程序媛的痛不在于996，而在于无休止的攻关。拽姐刚入职听领导说攻关不多，一年也就一次，拽姐心中暗喜，觉得来对了地方。结果…...

编程日记 2024/6/6 3:44:17

前端面试题日常练-day54 【面试题】

题目 希望这些选择题能够帮助您进行前端面试的准备，答案在文末 1. 在PHP中，以下哪个函数用于将一个字符串转换为日期时间对象？ a) date() b) strtotime() c) datetime() d) time() 2. PHP中的超全局变量$_COOKIE用于存储什么类型的数据&a…...

编程日记 2024/6/6 3:39:12

054、Python 函数的概念以及定义

编程大师Martin Fowler曾说过：“代码有很多种坏味道，重复是最坏的一种。” 那么遇到重复的代码，如何做？答案就是：函数。 函数就是把重复的代码封装在一起，然后通过调用该函数从而实现在不同地方运行同样的…...

编程日记 2024/6/6 3:38:11

今时今日蜘蛛池还有用吗？

最近不知道哪里又开始刮起“蜘蛛池”这个风气了，售卖、购买蜘蛛池的行为又开始在新手站长圈里开始蔓延和流行了起来，乍一看到“蜘蛛池”这个词给明月的感受就是陌生，要经过回忆才能想起来一些残存的记忆，所谓的蜘蛛池说白了就是利…...

编程日记 2024/6/6 3:37:09

【一步一步了解Java系列】：重磅多态

看到这句话的时候证明：此刻你我都在努力 加油陌生人 个人主页：Gu Gu Study专栏：一步一步了解Java 喜欢的一句话： 常常会回顾努力的自己，所以要为自己的努力留下足迹 喜欢的话可以点个赞谢谢了。 作者：小闭…...

编程日记 2024/6/6 3:36:07

运维工具 - SFTP 和 FTP 的区别？

SFTP 和 FTP 的区别有三点 连接方式 SFTP 是在客户端和服务器之间通过 SSH 协议建立的安全连接来传输文件，而 FTP 则是 TCP 端口 21 上的控制连接建立连接。 安全性 SFTP 使用加密传输认证信息来传输数据，因此 SFTP 相对于 FTP 更安全的。 效率 SF…...

编程日记 2024/6/6 3:34:04

创新入门｜营销中的视频内容：不可或缺的策略

视频在营销中日益重要。你是否也发现,视频内容最近似乎无处不在?它占据着社交媒体的推文、网站首页,甚至电子邮件中的位置。事实上,并不是你一个人有这样的感受。在过去十年中,视频作为一种营销手段日益成熟和强大。这是因为,人类天生就是视觉动物。我们大脑处理视觉信息的速度…...

编程日记 2024/6/6 3:29:59

wordpress 自动提交/品牌网络营销策划

查询数据库信息的基本命令1、显示当前数据库服务上的数据库show dbs;2、切换到指定的数据库进行操作use mydb3、显示当前数据库的所有集合(collections)show collections;4、查看数据库服务的状态db.serverStatus();5、查询指定数据库的统计信息use admindb.stat()6、查询指定数…...

编程日记 2025/1/31 19:48:22

网站如何做会员通用/百度小说风云排行榜

最近要用WPF写一个树，同事给了我一个Demo（不知道是从哪里找来的），我基本上就是参照了这个Demo。 先放一下效果图（3棵树）： 这个树索要满足的条件是： 父节点.Checkedtrue时&#xff0c…...

编程日记 2025/1/31 17:16:52

wordpress内容页文字红色/公司企业网站制作

键盘小钢琴[C语言][自制]大一上最喜欢的一个作品。刚开始只是一个能自动发出小星星音乐的小程序XD效果图：代码如下：/*This is a small piano.这是一个小钢琴哦~*/#include#include //非缓冲输入#include#include#pragma warning(disable:4996) //to use …...

编程日记 2025/1/31 13:19:06

旅行社电商网站怎么做/手机百度app

目录原理图DS1302原理图 新人求赞 😃 谢谢大家 主控芯片原理图 DS1302 DS1302 修订：模块化代码里面，InitLcd1602()这一个函数在最开始版本里面，因为原理图的VCC里面是接了电池的，但是我的实物里面是没有接电池的…...

编程日记 2025/1/31 13:02:25

做国外直播网站/创意营销

StringBuffer和StringBuilder,都是继承了AbstractStringBuilder，它们的底层char数组value默认的初始化容量是16，扩容只需要修改底层的char数组，两者的扩容最终都会调用到AbstractStringBuilder类相同的方法：直入正题，扩…...

编程日记 2025/1/31 9:22:59

平台网站模板素材/a5站长网

编写函数max(int a, int b, int c)&#xff0c;求3个整数的最大值&#xff0c;并通过main函数进行调用。 #include <iostream> using namespace std; int main() {int a,b,c;cin>>a>>b>>c;cout<<max(a,b,c);return 0; } int max(int a, int b, …...

编程日记 2025/1/31 5:30:55