当前位置： 首页 > news >正文

【机器学习300问】125、什么是双向循环神经网络（BRNN）？什么是深度循环神经网络（DRNN）？

news 2026/2/8 23:59:29

一、双向循环神经网络

（1）诞生背景

        双向循环神经网络（Bidirectional Recurrenct Neural Network, BRNN）是在深度学习领域发展起来的一种特殊类型的循环神经网络（RNN），它诞生的背景是为了解决传统RNN只能单向处理序列信息的缺点。

命令实体识别为例

        上图例子中，“teddy”之前信息（上文）无法帮助模型判断“teddy”是不是人名，只有在得知后续的信息（下文）才能做出准确的判断。

        传统RNN在处理序列数据时，存在这信息流动限制，只能从前向后或者从后向前传播信息。这意味着在给定时间点，模型的决策仅基于到目前为止的过去信息。这对于那些需要同时理解序列前后上下文的任务来说是个限制。

（2）BRNN的网络结构

        双向循环神经网络（BRNN）的基本结构包含两个并行的循环神经网络层，一个负责正向传播信息（从过去到未来），另一个负责逆向传播信息（从未来到过去）。这两个方向的RNN共享同一个隐藏层的维度，但它们的权重通常不共享。

对上面图中BRNN典型架构进行说明，建议看的时候对照数学符号解释：

① 输入层（Input Layer）：接收序列数据，每个时间步有一个输入向量。

② 正向循环层（Forward RNN Layer）：这个层中的单元从序列的第一个元素开始，逐个时间步向前传播信息。每个时间步，它会根据当前输入和前一时间步的隐藏状态计算新的隐藏状态。

\overrightarrow{h_t} = \overrightarrow{f}(W_{x\overrightarrow{h}} x_t + W_{\overrightarrow{h}\overrightarrow{h}} \overrightarrow{h}_{t-1} + b_{\overrightarrow{h}})

x_t表示时间步t 的输入。

③ 逆向循环层（Backward RNN Layer）：与正向层平行运行，但方向相反，从序列的最后一个元素开始，向序列的起始处传播信息。同样，每个时间步，它根据当前输入（实际上是序列中的倒数第几个元素）和前一时间步（未来时间步的逆向看）的隐藏状态更新隐藏状态。

\overleftarrow{h_t} = \overleftarrow{f}(W_{x\overleftarrow{h}} x_t + W_{\overleftarrow{h}\overleftarrow{h}} \overleftarrow{h}_{t+1} + b_{\overleftarrow{h}})

④ 合并层（Merge Layer）：在每个时间步，正向和逆向隐藏状态会被合并，常见的合并方式有拼接、求和或乘积等，以形成一个综合的上下文向量。这个向量包含了当前位置基于整个序列上下文的信息。

⑤ 输出层（Output Layer）：基于合并后的上下文向量，输出层负责生成最终的预测或分类结果。这可以通过全连接层加上适当的激活函数（如softmax用于多分类问题）来实现。

y_t = g(W_{\overrightarrow{h}y} \overrightarrow{h_t} + W_{\overleftarrow{h}y} \overleftarrow{h_t} + b_y)

        其中g是输出层的激活函数，它常常是 softmax 函数用于分类任务。W_{\overrightarrow{h}y}和 W_{\overleftarrow{h}y}是隐藏状态到输出的权重矩阵，b_y是输出层的偏置项。

数学符号解释
符号解释
x_t时间步t的输入
\overrightarrow{h_t}时间步t的正向 RNN 隐藏状态
\overleftarrow{h_t}时间步t的反向 RNN 隐藏状态
\overrightarrow{f}正向 RNN 的激活函数
\overleftarrow{f}反向 RNN 的激活函数
W_{x\overrightarrow{h}}​输入到正向隐藏层权重
W_{\overrightarrow{h}\overrightarrow{h}}正向隐藏层自身循环权重
W_{x\overleftarrow{h}}输入到反向隐藏层权重
W_{\overleftarrow{h}\overleftarrow{h}}反向隐藏层自身循环权重
b_{\overrightarrow{h}}正向隐藏层偏置项
b_{\overleftarrow{h}}反向隐藏层偏置项
y_t时间步t的输出
W_{\overrightarrow{h}y}从正向隐藏状态到输出的权重矩阵
W_{\overleftarrow{h}y}从反向隐藏状态到输出的权重矩阵
b_y输出层偏置项
g输出层激活函数，通常为 softmax

（3）使用领域

        双向循环神经网络的提出，是为了更有效地捕获和利用序列数据中的上下文信息，BRNN多使用在诸如一下场景中：

  1. 自然语言处理：在理解一句话的语义时，往往需要同时考虑前面的词（前向上下文）和后面的词（后向上下文）。比如情感分析任务中，“昨天晚上我吃了一顿美味的火锅，今天早上就拉肚子了。”在“火锅”的上文中我们得知，火锅是“美味的”，情感是正向的。在下文中我们得知“拉肚子”，情感是负向的。如果我们仅仅考上文，就无法准确的判断。

  2. 语音识别：在语音信号处理中，一个音素的准确识别可能依赖于其前后相邻的音素特征，双向结构有助于提高识别精度。

  3. 机器翻译：翻译任务要求模型理解源语言句子的整体含义，这通常需要综合考虑句子开头和结尾的信息。BRNN能够提供更为全面的上下文理解能力。

二、深度循环神经网络

（1）DRNN的定义

        深度循环神经网络（Deep Recurrent Neural Network，简称DRNN）是一种扩展了传统循环神经网络（RNN）结构的深度学习模型，特别适合处理长序列数据和复杂的时序依赖问题。在DRNN中，通过堆叠多个循环层，使得模型能够捕捉到更高层次的抽象特征和更长距离的时间依赖关系。

（2）DRNN的网络结构

        在深度RNN中，每个时间步的输入会首先通过第一层循环网络，其输出会成为第二层循环网络的输入，这一过程会持续到达最顶层的循环网络。每一层都可以学习到不同程度的序列抽象，更底层的网络可能会学习到一些局部模式或特征，而更高层的网络则可能会捕捉到更加全局或抽象的信息。

深度循环神经网络结构

（3）DRNN的优缺点

        优点：这种架构允许模型捕获数据在不同时间尺度上的复杂性，因为每一层都可以捕捉到序列数据在不同时间尺度上的特征，这使得深度RNN在处理复杂的序列任务（如机器翻译、语音识别或长文本生成）时，比单层RNN具有更强的表示能力。

        缺点：然而，深度RNN也引入了更多的复杂性和训练难度，例如更容易出现梯度消失或梯度爆炸的问题，因此通常需要采用一些高级技术（如梯度裁剪、层归一化、残差连接或使用LSTM、GRU等门控循环单元）来稳定训练过程。

相关文章：

【机器学习300问】125、什么是双向循环神经网络（BRNN）？什么是深度循环神经网络（DRNN）？

一、双向循环神经网络 （1）诞生背景 双向循环神经网络（Bidirectional Recurrenct Neural Network, BRNN）是在深度学习领域发展起来的一种特殊类型的循环神经网络（RNN），它诞生的背景是为了解决传…...

编程日记 2024/6/27 2:02:32

办公软件汇总

1、OCR 1.1 pearOCR pearOCR 是一个免费的免费在线文字提取OCR工具网站。PearOCR界面简洁，所有过程均在网页端完成,无需下载任何软件，点开即用。官方地址：https://pearocr.com/ 参考：9款文字识别（OCR）工具…...

编程日记 2024/6/27 2:01:30

Docker 搭建 MinIO 对象存储

Docker 搭建 MinIO 对象存储 一、MinIO MinIO 是一个高性能的对象存储服务器，用于构建云存储解决方案。MinIO 允许你存储非结构化数据（如图片、视频、日志文件等）以对象的形式。MinIO 提供简单的部署选项和易于使用的界面，允许你…...

编程日记 2024/6/27 2:00:29

主干网络篇 | YOLOv5/v7 更换骨干网络之 PP-LCNet | 轻量级CPU卷积神经网络

主干网络篇 | YOLOv5/v7 更换骨干网络之 PP-LCNet | 轻量级CPU卷积神经网络：中文详解 1. 简介 YOLOv5 和 YOLOv7 是目前主流的目标检测算法之一，具有速度快、精度高的特点。但 YOLOv5 和 YOLOv7 的原始模型结构中使用的是 MobileNetV3 作为骨干网络&am…...

编程日记 2024/6/27 1:58:26

CubeFS - 新一代云原生存储系统

CubeFS 是一种新一代云原生存储系统，支持 S3、HDFS 和 POSIX 等访问协议，支持多副本与纠删码两种存储引擎，为用户提供多租户、 多 AZ 部署以及跨区域复制等多种特性。 官方文档 CubeFS 作为一个云原生的分布式存储平台，提供了多种访问协议，因此其应用场景也非常广泛，下面…...

编程日记 2024/6/27 1:57:25

推动多模态智能模型发展：大型视觉语言模型综合多模态评测基准

随着人工智能技术的飞速发展，大型视觉语言模型（LVLMs）在多模态应用领域取得了显著进展。然而，现有的多模态评估基准测试在跟踪LVLMs发展方面存在不足。为了填补这一空白，本文介绍了MMT-Bench，这是一个全面的…...

编程日记 2024/6/27 1:56:24

深度学习31-33

1.负采样方案 （1）为0是负样本，负样本是认为构造出来的。正样本是有上下文关系 负采样的target是1，说明output word 在input word之后。 2.简介与安装 （1）caffe:比较经常用于图像识别，有卷积网…...

编程日记 2024/6/27 1:53:20

Docker多种场景下设置代理

20240623 - 公司内网环境下需要对Docker进行代理设置；此时需要对拉取镜像的时候的命令设置代理；例如平时经常使用的wget设置代理一样。但对docker进行设置，并不能简单的直接export。 文章[1]指出，拉取镜像的时候实际执行的是doc…...

编程日记 2024/6/27 1:51:17

node 实现导出, 在导出excel中包含图片（附件）

如果想查看 node mySql 实现数据的导入导出，以及导入批量插入的sql语句，连接如下 node mySql 实现数据的导入导出，以及导入批量插入的sql语句-CSDN博客https://blog.csdn.net/snows_l/article/details/139998373 一、效果如图： 二…...

编程日记 2024/6/27 1:50:16

【ai】trition：tritonclient yolov4：ubuntu18.04部署python client成功

X:\05_trition_yolov4_clients\01-python server代码在115上，client本想在windows上， 【ai】trition：tritonclient.utils.shared_memory 仅支持linux 看起来要分离。 【ai】tx2 nx：ubuntu18.04 yolov4-triton-tensorrt 成功部署server 运行 client代码远程部署在ubuntu18.0…...

编程日记 2024/6/27 1:49:14

oracle 主从库中，从库APPLIED为YES ，但是主库任然为NO

主库 从库 从库已经APPLIED但是主库为APPLIED， 主数据库和备用数据库之间的ARCH-RFS心跳Ping负责更新主数据库上v$archived_log的APPLICED列。 在主数据库上有一个指定的心跳ARCn进程来执行此Ping。如果此进程开始挂起，它将不再与远程RFS进程通信&#…...

编程日记 2024/6/27 1:47:11

VS 在多线程中仅调试某个线程

调试多线程程序时，只想观察某个线程的运行情况； 但是，由于线程切换执行，会导致调试时焦点在几个代码块之间跳来跳去，故需要解决这个问题。 参考文章： C#使用线程窗口调试多线程程序。 1 打开线程窗口&…...

编程日记 2024/6/27 1:46:10

全球无界，语言无阻——魔众帮助中心(多语言)系统全新升级！

🎉亲爱的用户们，你们好！今天，我要向大家隆重介绍一个颠覆传统，助力全球用户的利器——魔众帮助中心(多语言)系统的全新升级版本！🌟 🌐在这个日益全球化的时代，魔众帮助中…...

编程日记 2024/6/27 1:45:09

SpringCloud集成OpenFeign

一、简介 OpenFeign客户端是一个web声明式http远程调用工具，直接可以根据服务名称去注册中心拿到指定的服务IP集合，提供了接口和注解方式进行调用，内嵌集成了Ribbon本地负载均衡器。 二、SpringCloud集成OpenFeign 版本说明： S…...

编程日记 2024/6/27 1:44:07

Vue - 第3天

文章目录 一、Vue生命周期二、Vue生命周期钩子三、工程化开发和脚手架1. 开发Vue的两种方式2. 脚手架Vue CLI基本介绍：好处：使用步骤： 四、项目目录介绍和运行流程1. 项目目录介绍2. 运行流程 五、组件化开发六、根组件 App.vue1. 根组件介绍…...

编程日记 2024/6/27 1:43:06

21.智能指针（上）

目录 一、概念二、Box\<T\>2.1 概念与应用场景2.2 简单应用2.3 递归类型的创建 三、通过Deref trait将智能指针当作常规引用处理3.1 常规引用3.2 像引用一样使用Box\<T\>3.3 自定义智能指针3.4 函数和方法的隐式解引用强制转换3.5 解引用强制转换与可变性交互 四、…...

编程日记 2024/6/27 1:42:05

Jenkins+gitee流水线部署springboot项目

目录 前言 一、软件版本/仓库 二、准备工作 2.1 安装jdk 11 2.2 安装maven3.9.7 2.3 安装docker 2.4 docker部署jenkins容器 三、jenkins入门使用 3.1 新手入门 3.2 jenkins设置环境变量JDK、MAVEN、全局变量 3.2.1 jenkins页面 3.2.2 jenkins容器内部终端 3.2.3 全…...

编程日记 2024/6/27 1:41:03

python--os.walk()函数使用（超详细）

在Python 3.7中&#xff0c;os.walk()函数的用法与早期版本&#xff08;包括Python 3.4及之后&#xff09;保持一致。os.walk()是一个用于遍历目录树的生成器函数&#xff0c;它生成给定目录中的文件名。这个函数没有直接的参数&#xff08;除了你要遍历的目录路径&#xff0c;…...

编程日记 2024/6/27 1:39:01

基础名词概念

了解以下基础名词概念/定义&#xff1a; IP地址、子网掩码、网关、DNS、DHCP、MAC地址、网络拓扑、路由器、交换机、VPN、端口、TCP、UDP、HTTP、HTTPS、OSI模型、ARP、NAT、VLAN、FTP、SMTP、IMAP、SSL、ICMP、链路聚合、TRUNK、直连路由、静态路由、动态路由、IPV6 端口&am…...

编程日记 2024/6/27 1:38:00

ArkTS开发系列之Web组件的学习（2.9）

上篇回顾&#xff1a;ArkTS开发系列之事件&#xff08;2.8.2手势事件&#xff09; 本篇内容&#xff1a; ArkTS开发系列之Web组件的学习&#xff08;2.9&#xff09; 一、知识储备 Web组件就是用来展示网页的一个组件。具有页面加载、页面交互以及页面调试功能 1. 加载网络…...

编程日记 2024/6/27 1:36:59

前端倒计时误差!

提示：记录工作中遇到的需求及解决办法 文章目录 前言一、误差从何而来？二、五大解决方案1. 动态校准法（基础版）2. Web Worker 计时3. 服务器时间同步4. Performance API 高精度计时5. 页面可见性API优化三、生产环境最佳实践四、终极解决方案架构前言 前几天听说公司某个项…...

编程新知 2025/9/8 23:14:43

大语言模型如何处理长文本？常用文本分割技术详解

为什么需要文本分割？ 引言：为什么需要文本分割？一、基础文本分割方法1. 按段落分割（Paragraph Splitting）2. 按句子分割（Sentence Splitting）二、高级文本分割策略3. 重叠分割（Sliding Window）4. 递归分割（Recursive Splitting）三、生产级工具推荐5. 使用LangChain的…...

编程新知 2025/11/18 0:32:13

将对透视变换后的图像使用Otsu进行阈值化，来分离黑色和白色像素。这句话中的Otsu是什么意思？

Otsu 是一种自动阈值化方法&#xff0c;用于将图像分割为前景和背景。它通过最小化图像的类内方差或等价地最大化类间方差来选择最佳阈值。这种方法特别适用于图像的二值化处理&#xff0c;能够自动确定一个阈值&#xff0c;将图像中的像素分为黑色和白色两类。 Otsu 方法的原…...

编程新知 2026/1/9 19:36:58

高危文件识别的常用算法：原理、应用与企业场景

高危文件识别的常用算法&#xff1a;原理、应用与企业场景 高危文件识别旨在检测可能导致安全威胁的文件&#xff0c;如包含恶意代码、敏感数据或欺诈内容的文档&#xff0c;在企业协同办公环境中&#xff08;如Teams、Google Workspace&#xff09;尤为重要。结合大模型技术&…...

编程新知 2026/2/8 10:51:42

dify打造数据可视化图表

一、概述 在日常工作和学习中&#xff0c;我们经常需要和数据打交道。无论是分析报告、项目展示&#xff0c;还是简单的数据洞察&#xff0c;一个清晰直观的图表&#xff0c;往往能胜过千言万语。 一款能让数据可视化变得超级简单的 MCP Server&#xff0c;由蚂蚁集团 AntV 团队…...

编程新知 2026/1/20 20:10:03

关键领域软件测试的突围之路：如何破解安全与效率的平衡难题

在数字化浪潮席卷全球的今天&#xff0c;软件系统已成为国家关键领域的核心战斗力。不同于普通商业软件&#xff0c;这些承载着国家安全使命的软件系统面临着前所未有的质量挑战——如何在确保绝对安全的前提下&#xff0c;实现高效测试与快速迭代&#xff1f;这一命题正考验着…...

编程新知 2026/1/27 13:20:11

USB Over IP专用硬件的5个特点

USB over IP技术通过将USB协议数据封装在标准TCP/IP网络数据包中&#xff0c;从根本上改变了USB连接。这允许客户端通过局域网或广域网远程访问和控制物理连接到服务器的USB设备&#xff08;如专用硬件设备&#xff09;&#xff0c;从而消除了直接物理连接的需要。USB over IP的…...

编程新知 2026/2/6 13:42:22

九天毕昇深度学习平台 | 如何安装库？

pip install 库名 -i https://pypi.tuna.tsinghua.edu.cn/simple --user 举个例子&#xff1a; 报错 ModuleNotFoundError: No module named torch 那么我需要安装 torch pip install torch -i https://pypi.tuna.tsinghua.edu.cn/simple --user pip install 库名&#x…...

编程新知 2026/1/31 2:13:57

代码随想录刷题day30

1、零钱兑换II 给你一个整数数组 coins 表示不同面额的硬币&#xff0c;另给一个整数 amount 表示总金额。 请你计算并返回可以凑成总金额的硬币组合数。如果任何硬币组合都无法凑出总金额&#xff0c;返回 0 。 假设每一种面额的硬币有无限个。 题目数据保证结果符合 32 位带…...

编程新知 2025/10/4 6:30:56

深入浅出深度学习基础：从感知机到全连接神经网络的核心原理与应用

文章目录 前言一、感知机 (Perceptron)1.1 基础介绍1.1.1 感知机是什么&#xff1f;1.1.2 感知机的工作原理 1.2 感知机的简单应用&#xff1a;基本逻辑门1.2.1 逻辑与 (Logic AND)1.2.2 逻辑或 (Logic OR)1.2.3 逻辑与非 (Logic NAND) 1.3 感知机的实现1.3.1 简单实现 (基于阈…...

编程新知 2026/1/26 13:29:00