当前位置： 首页 > news >正文

MambaVision

news 文章来源：https://blog.csdn.net/qq_45800507/article/details/143227710 2025/1/19 17:13:29

核心速览
研究背景

  1. 研究问题
    ：这篇文章提出了一种新的混合Mamba-Transformer骨干网络，称为MambaVision，专为视
    觉应用量身定制。研究的核心问题是如何有效地结合Mamba的状态空间模型（SSM）和Transf
    ormer的自注意力机制，以提高视觉特征建模的能力。

  2. 研究难点
    ：该问题的研究难点包括：Mamba的自回归公式在计算机视觉任务中存在局限性，难以捕捉
    全局上下文和长距离空间依赖性；Transformer的二次复杂度使其训练和部署计算开销巨大。

  3. 相关工作
    ：近年来，Transformer在不同领域（如计算机视觉、自然语言处理、语音处理和机器人学）
    已成为事实上的架构。Mamba通过引入新的选择机制实现了线性时间复杂度，并在不同语言
    建模任务中表现优异。现有的Mamba-based视觉任务骨干网络在ImageNet-1K数据集上的表
    现仍不如基于ViT和CNN的模型。
    研究方法
    这篇论文提出了MambaVision，一种混合Mamba和Transformer的架构，用于解决视觉任务中的全局
    上下文和长距离空间依赖性问题。具体来说，

  4. Mamba块的重设计
    ：首先，重新设计了Mamba块，使其更适合视觉任务。Mamba块的核心公式如下：KaTeX parse error: No such environment: align* at position 8: \begin{̲a̲l̲i̲g̲n̲*̲}̲h^{\prime}(t)&a…
    其中， h ( t ) h(t) h(t)是隐藏状态， x ( t ) x (t) x(t)是输入， A A A、 B B B和 C C C是参数。通过离散化处理，进一步提高了计算效率。
    在这里插入图片描述

  5. 混合架构
    ：提出了包含MambaVision混合器和Transformer块的混合架构。具体来说，将图像输入转换
    为重叠的补丁，并通过多层卷积和池化操作逐步降低分辨率。在每个阶段的最后，使用自注意
    力块来捕捉全局上下文和长距离空间依赖性。
    在这里插入图片描述

  6. MambaVision混合器
    ：重新设计了原始的Mamba混合器，使其更适合视觉任务。混合器的输出公式如下：KaTeX parse error: No such environment: align* at position 8: \begin{̲a̲l̲i̲g̲n̲*̲}̲& X_ 1=\ope…
    其中， Scan ⁡ \operatorname{Scan} Scan是选择性扫描操作， σ \sigma σ是SiLU激活函数，KaTeX parse error: Undefined control sequence: \operatorna at position 1: \̲o̲p̲e̲r̲a̲t̲o̲r̲n̲a̲ ̲me{Conv}和 Concat ⁡ \operatorname{Concat} Concat分别表示1D卷积和拼接操作.
    实验设计

  7. 数据集
    ：在ImageNet-1K数据集上进行图像分类实验，使用标准的训练配方，训练300个epoch，初始
    学习率为0.005，使用LAMB优化器，全局批量大小为4096。

  8. 下游任务：在MS
    COCO和ADE20K数据集上进行目标检测、实例分割和语义分割任务。对于目标检测和实例分
    割，使用Mask-RCNN头，初始学习率为0.0001，批量大小为16。对于语义分割，使用uperNet
    头，初始学习率为 6 e − 5 6e-5 6e−5，批量大小为16。

  9. 硬件：使用32个A100 GPU进行图像分类任务，8个A100 GPU进行所有下游任务。
    结果与分析

  10. 图像分类
    ：在ImageNet-1K数据集上，MambaVision模型在Top-1准确率和图像吞吐量方面达到了新的S
    OTA性能。与流行的卷积神经网络和Transformer模型相比，MambaVision在某些情况下表现
    出显著的改进。例如，MambaVision-B在Top-1准确率上比ConvNeXt-B高出0.4%，同时具有
    更高的图像吞吐
    在这里插入图片描述

  11. 目标检测和实例分割：在MS
    COCO数据集上，使用预训练的MambaVision-T骨干网络进行目标检测和实例分割，结果表明
    MambaVision模型在box AP和mask AP方面优于其他竞争模型。例如，MambaVision-T在box
    AP上比Swin-T高出0.6%。

  12. 语义分割
    ：在ADE20K数据集上，使用uperNet进行语义分割实验，结果表明MambaVision模型在mIoU
    方面优于相似大小的竞争模型。例如，MambaVision-B在mIoU上比Swin-B高出1.0%。
    总体结论
    这篇论文提出了MambaVision，第一种专门为视觉应用设计的Mamba-Transformer混合骨干网络。通
    过重新设计Mamba块和引入自注意力块，显著提高了模型捕捉全局上下文和长距离空间依赖性的能力
    。MambaVision在ImageNet-1K数据集上达到了新的SOTA性能，并在下游任务中表现出色。这些发现
    为进一步研究和开发混合视觉模型奠定了基础。
    论文评价
    优点与创新1. 重新设计Mamba公式
    ：论文提出了一种新的Mamba公式，增强了其在视觉特征高效建模方面的能力。

  13. 混合架构
    ：引入了包含MambaVision混合块和Transformer块的混合架构，显著提高了捕捉全局上下文
    和长距离空间依赖性的能力。

  14. ImageNet-1K数据集上的新SOTA性能
    ：在ImageNet-1K数据集上，MambaVision模型变体在Top-1准确率和图像吞吐量方面达到了
    新的SOTA性能。

  15. 下游任务中的优越表现：在MS
    COCO和ADE20K数据集上的目标检测、实例分割和语义分割任务中，MambaVision模型优于
    同等大小的骨干网络，表现出更优的性能。

  16. 全面的消融研究
    ：对Mamba和Transformer块的集成模式进行了系统的研究，证明了在最后阶段使用自注意力
    块可以显著提高模型捕捉全局上下文和长距离空间依赖性的能力。

  17. 高效的图像吞吐量：混合架构还使得图像吞吐量比纯Mamba或ViT模型更高。
    不足与反思

  18. 局限性
    ：尽管MambaVision在某些任务中表现出色，但论文指出其设计目标是平衡准确率和吞吐量，
    因此在某些情况下可能不如其他模型高效。

  19. 下一步工作
    ：论文建议未来的研究可以进一步优化下游任务的超参数调优，以进一步提高MambaVision在
    各种视觉任务中的表现。
    关键问题及回答
    问题1：MambaVision模型在图像分类任务中是如何结合Mamba块和Transformer块的？
    MambaVision模型通过在网络的后期阶段（第3和第4阶段）引入多个自注意力块来结合Mamba块和Tr
    ansformer块。具体来说，MambaVision模型的设计包括以下几个关键步骤：

  20. 多分辨率架构
    ：MambaVision模型采用多分辨率架构，前两个阶段使用CNN层进行快速特征提取，后两个
    阶段结合MambaVision和Transformer块。

  21. MambaVision混合器
    ：在后期阶段，MambaVision混合器被用来进行快速特征提取。混合器包含一个对称分支和一个SSM（状态空间模型）分支，分别进行选择性扫描和序列处理。最终输出通过一个线性层投
    影到嵌入空间。

  22. 自注意力机制
    ：在混合器的对称分支中，增加了自注意力机制，以增强对全局上下文和长距离空间依赖性的
    捕捉能力。
    通过这种设计，MambaVision模型能够在保持较高图像吞吐量的同时，显著提高对全局上下文的理解
    和长距离空间依赖性的捕捉能力。
    问题2：MambaVision模型在目标检测和实例分割任务中的表现如何？
    在MS COCO数据集上，MambaVision模型在目标检测和实例分割任务中表现出色。具体结果如下：

  23. 目标检测：使用Mask
    R-CNN检测头，MambaVision-T、MambaVision-S和MambaVision-B模型在box
    AP（平均精度）方面分别达到了46.4%、48.1%和49.5%。与ConvNeXt-T和Swin-T模型相比，
    MambaVision模型在各项指标上均有显著提升。

  24. 实例分割：使用Mask R-CNN和Cascade Mask R-CNN检测头，MambaVision模型在mask
    AP（平均精度）方面也表现出色，显著优于ConvNeXt-T和Swin-T模型。例如，MambaVision
    -B模型在mask AP方面达到了49.5%，比Swin-B模型高出0.9%。
    这些结果表明，MambaVision模型在目标检测和实例分割任务中具有较高的检测精度和分割质量。
    问题3：MambaVision模型在语义分割任务中的表现如何？
    在ADE20K数据集上，MambaVision模型在语义分割任务中也表现出色。具体结果如下：

  25. mIoU（平均交并比）
    ：MambaVision模型在mIoU方面达到了49.1%，显著优于同样大小的Swin-T、Swin-S和SwinB模型。例如，MambaVision-B模型的mIoU比Swin-B模型高出1.0%。

  26. 高分辨率设置
    ：尽管没有进行广泛的超参数调优，MambaVision模型在高分辨率设置下仍然表现出色，验证
    了其作为有前途的骨干网络的可能性。
    这些结果表明，MambaVision模型在语义分割任务中具有较高的分割精度和鲁棒性。

相关文章：

MambaVision

核心速览 研究背景 研究问题 ：这篇文章提出了一种新的混合Mamba-Transformer骨干网络，称为MambaVision，专为视 觉应用量身定制。研究的核心问题是如何有效地结合Mamba的状态空间模型（SSM）和Transf ormer的自注意力机制…...

编程日记 2024/10/29 1:30:13

MySQLDBA修炼之道-开发篇（二）

四、开发进阶 1. 范式和反范式 范式是数据库规范化的一个手段，是数据库设计中的一系列原理和技术，用于减少数据库中的数据冗余，并增进数据的一致性。 范式 1.1 第一范式 第一范式是指数据库表的每一列（属性）都是不可…...

编程日记 2024/10/29 1:25:07

前端必备的环境搭建

一、nvm安装详细教程（安装nvm、node、npm、cnpm、yarn及环境变量配置） 参考地址：nvm安装详细教程（安装nvm、node、npm、cnpm、yarn及环境变量配置）-CSDN博客 说明： 1）关于nodejs目录不显示&a…...

编程日记 2024/10/29 1:24:03

SpringCloud笔记

什么是降级熔断？为什么要进行熔断？ 熔断降级是一种分布式系统的保护机制，用于应对服务不稳定或不可用的情况。 熔断是指当某个服务的调用失败次数或异常比例达到一定阈值时，自动切断对该服务的调用，让请求快速失败&…...

编程日记 2024/10/29 1:23:02

优秀的程序员思考数据结构

原文地址：https://read.engineerscodex.com/p/good-programmers-worry-about-data 我最近在这篇很棒的 Stack Overflow 文章中看到了 Linus Torvalds（Linux 和 Git 的创建者）的一句话。（这篇文章回顾了那篇文章中的许多引述。 它…...

编程日记 2024/10/29 1:22:01

「C/C++」C/C++标准库之#include＜cstdlib＞通用工具库

✨博客主页何曾参静谧的博客📌文章专栏「C/C」C/C程序设计📚全部专栏「VS」Visual Studio「C/C」C/C程序设计「UG/NX」BlockUI集合「Win」Windows程序设计「DSA」数据结构与算法「UG/NX」NX二次开发「QT」QT5程序设计「File」数据文件格式「PK」Parasoli…...

编程日记 2024/10/29 1:19:58

Oracle视频基础1.1.3练习

1.1.3 需求： 完整格式查看所有用户进程里的oracle后台进程 查看物理网卡，虚拟网卡的ip地址 ps -ef | grep oracle /sbin/ifconfig要以完整格式查看所有用户进程中的 Oracle 后台进程，并查看物理和虚拟网卡的 IP 地址，可以使用以下…...

编程日记 2024/10/29 1:15:55

python项目实战——多协程下载美女图片

协程 文章目录 协程协程的优劣势什么是IO密集型任务特点示例与 CPU 密集型任务的对比处理 I/O 密集型任务的方式总结 创建并使用协程asyncio模块 创建协程函数运行协程函数asyncio.run(main())aiohttp模块调用aiohttp模块步骤 aiofiles————协程异步函数遇到的问题一 await …...

编程日记 2024/10/29 1:14:52

基于.NET 8.0，C#中Microsoft.Office.Interop.Excel来操作office365的excel

开发环境： Visual Studio 2022 office365 项目模板：WPF应用程序 框架：.NET 8.0 依赖：Microsoft.Office.Interop.Excel 注意： 1.使用Microsoft.Office.Interop.Excel库时，服务器或电脑里面必须安装得…...

编程日记 2024/10/29 1:11:50

使用无线方式连接Android设备进行调试的两种方法

1.使用配对码配对设备方式 手机（或者平板等安卓设备）和电脑需连接在同一WiFi 下；保证 SDK 为最新版本（adb --version ≥ 30.0.0）； step1.手机启用开发者选项和无线调试模式（会提示确认&#xff…...

编程日记 2024/10/29 1:09:47

Valgrind的使用

Valgrind 是一个强大的开源工具，用于检测程序中的内存错误、内存泄漏以及线程问题。它广泛应用于 C/C++ 等需要手动管理内存的编程语言中。以下内容将详细介绍 Valgrind 的安装、基本使用方法、常用命令及其输出结果的解析。 1. 什么是 Valgrind？ Valgrind 是一个用于内存调…...

编程日记 2024/10/29 1:07:45

微信小程序瀑布流实现，瀑布流长度不均等解决方法

这是一开始实现的瀑布流&#xff0c;将数据分为奇数列和偶数列 <view class"content-left"><block wx:for"{{list}}" wx:key"list"><template isitem-data data{{...item}} wx:if"{{index % 2 0}}"></template&…...

编程日记 2024/10/29 1:04:42

Notepad++通过自定义语言实现日志按照不同级别高亮

借助Notepad的自定义语言可以实现日志的按照不同级别的高亮&#xff1b; 参考&#xff1a; https://blog.csdn.net/commshare/article/details/131208656 在此基础上做了一点修改效果如下&#xff1a; xml文件&#xff1a; <NotepadPlus><UserLang name"Ansibl…...

编程日记 2024/10/29 1:03:40

2024年四川省大学生程序设计竞赛 补题记录

文章目录 Problem A. 逆序对染色&#xff08;思维树状数组&#xff09;Problem B. 连接召唤&#xff08;贪心&#xff09;Problem E. L 型覆盖检查器&#xff08;模拟&#xff09;Problem F. 小球进洞&#xff1a;平面版&#xff08;几何&#xff09;Problem G. 函数查询Proble…...

编程日记 2024/10/29 1:02:39

17_事件的处理

目录 绑定事件与解绑事件优化事件的绑定和解绑方式处理不同事件类型的绑定处理同一事件类型多个事件处理函数事件冒泡与更新时机问题 绑定事件与解绑事件 既然要处理事件&#xff0c;那么首先面临的问题是如何在 vnode 中描述这个事件&#xff0c;在 vnode.props 中&#xff0…...

编程日记 2024/10/29 1:01:38

1FreeRTOS学习（队列、二值信号量、计数型信号量之间的相同点和不同点）

相同点&#xff1a; &#xff08;1&#xff09;传递区间 队列、二值信号量、计数型信号量均可用在任务与任务&#xff0c;任务与中断之间进行消息传递 &#xff08;2&#xff09; 传递方式 创建队列--发送队列--接受队列 创建二值信号量--发送二值信号量--接受二值信号量 创建计…...

编程日记 2024/10/29 1:00:01

数据库设计与范式及其应用

数据库设计是数据库管理系统&#xff08;DBMS&#xff09;中的核心环节&#xff0c;良好的数据库设计不仅可以提高数据存取的效率&#xff0c;还能增强数据的可维护性和一致性。范式&#xff08;Normalization&#xff09;是一种设计原则&#xff0c;用于减少数据冗余和提高数据…...

编程日记 2024/10/29 0:59:00

笔记-配置PyTorch（CUDA 12.2）

文章目录 前言一、安装 PyTorch&#xff08;CUDA 12.2&#xff09;1. 创建并激活 Conda 环境2. 安装 PyTorch&#xff08;CUDA 12.2&#xff09;3. 安装 torch_geometric 及依赖项4. 验证安装 总结 前言 一、安装 PyTorch&#xff08;CUDA 12.2&#xff09; 1. 创建并激活 Con…...

编程日记 2024/10/29 0:57:59

[C++]——红黑树（附源码）

目录 一、前言 二、正文 2.1 红黑树的概念 2.2 红黑树的性质 2.3红黑树节点的定义 2.4 红黑树的插入 2.4.1 情况一 2.4.2 情况二 ​编辑 2.4.3 情况三 2.5 红黑树的验证 三、全部代码 四、结语 一、前言 在上一篇博客中&#xff0c;为小伙伴们进行了AVL树的讲解&#…...

编程日记 2024/10/29 0:53:55

网络文件系统搭建

在CentOS7上搭建网络文件系统&#xff08;NFS&#xff09;&#xff0c;并让客户端进行挂载&#xff0c;具体步骤如下&#xff1a; 1. 服务器端操作 安装NFS服务器软件包&#xff1a; 执行以下命令安装NFS服务&#xff1a; sudo yum install nfs-utils -y 启动并启用NFS服务&…...

编程日记 2024/10/29 0:51:53

基于vue、VantUI、django的程序设计

首先构建vue项目&#xff0c;构建项目点这里 安装 npm install axios axios简介 Axios 是一个基于 promise 的 HTTP 库&#xff0c;用于发起请求和接收响应&#xff0c;实现异步操作 基本使用 axios对象 请求响应拦截 在utils文件夹里新建ajax.js 创建一个axios对象并…...

编程日记 2024/10/29 0:50:52

京准电钟解读：NTP网络对时服务器助力厂区改造方案

京准电钟解读&#xff1a;NTP网络对时服务器助力厂区改造方案 京准电钟解读&#xff1a;NTP网络对时服务器助力厂区改造方案 1&#xff09;系统概述 时钟系统可通过网络进行管理及时间校对&#xff0c;为厂区提供高精度、全天时、全天候 的授时服务&#xff0c;统一全厂各种系统…...

编程日记 2024/10/29 0:49:50

本地docker-compose仓库搭建以及推送docker镜像到仓库

前言 以下部分知识只适用于linux&#xff0c;不适合小白&#xff0c;请自行甄别执行 1.搭建 #参考 https://blog.csdn.net/u011535199/article/details/107457275 version: 3 services:registry:restart: alwaysimage: registry:2ports:- 5000:5000environment:#REGISTRY_HT…...

编程日记 2024/10/29 0:45:47

WPF+MVVM案例实战（八）- 自定义开关控件封装实现

文章目录 1、案例运行效果2、项目准备2、功能实现1、控件模板实现2、控件封装1、目录与文件创建2、各文件功能实现 3、开关界面与主窗体菜单实现1、开关界面实现2、主窗体菜单实现 4、源代码获取 1、案例运行效果 2、项目准备 打开项目 Wpf_Examples&#xff0c;新建ToggleBut…...

编程日记 2024/10/29 0:42:44

单机kafka性能需要高性能的硬件做支撑

一般来说&#xff0c;单机kafka在硬件支持的情况下&#xff0c;能支持每秒100万写入&#xff0c;如果硬件没有那么好的话(机械硬盘&#xff0c;容器内给内存8G&#xff0c; CPU也不是很好)&#xff0c;就只能减少每秒的写入量&#xff0c;每秒写入5万都比较不错了。 如果强行每…...

编程日记 2024/10/29 0:37:40

Spark 的 Http Broadcast 和 Torrent Broadcast 广播实现类的对比

在 Apache Spark 中&#xff0c;广播机制用于高效地将小型只读数据分发到集群中的各个执行器&#xff08;Executor&#xff09;。Spark 中主要有两种不同的广播实现方式&#xff1a;Http Broadcast 和 Torrent Broadcast。这两种方式的核心目标都是将数据高效地分发给所有工作节…...

编程日记 2024/10/29 0:36:34

030_Subplot_In_Matlab中多图绘制之subplot函数

基于子图的多图方法 专业的论文中通常涉及到多个有逻辑关系的图拼接在一起&#xff0c;构成相互支持或者对照。所以很早之前&#xff0c;Matlab就有这个子图的函数subplot。 这个函数的基本语义有三类&#xff1a; 在图窗上划分出一个矩形区域建立一个坐标系&#xff0c;并指…...

编程日记 2024/10/29 0:30:25

免费云服务器有什么使用限制和注意事项?

在数字化时代&#xff0c;云计算已经成为许多企业和个人用户的重要工具。对于初创企业、开发者和学生来说&#xff0c;免费的云服务器提供了一个低成本的解决方案&#xff0c;使他们能够进行项目开发、学习和实验。但在使用过程中也存在一些限制和注意事项。以下是主要的使用限…...

编程日记 2024/10/29 0:29:24

3-ZYNQ 折腾记录 -PS_PL AXI Interfaces

Zynq UltraScale MPSoC集成了功能丰富的四核或双核Arm Cortex-A53 MPCore基于处理系统(Processing System, PS)和可编程逻辑(Programmable Logic, PL)的单一设备。 PS和PL可以使用多个接口和其他信号进行紧密或松散的耦合。这使设计人员能够有效地将用户创建的硬件加速器和其他…...

编程日记 2024/10/29 0:28:22

总结test

1.IO流 |-- 字节流操作任何类型文件|-- 字符流操作纯字符类文件|-- BIO 传统IO流&#xff0c;阻塞型的&#xff0c;也就是BIO&#xff0c;当执行IO流时&#xff0c;CPU只能等待执行完当前任务&#xff0c;才能去执行其他线程任务|-- NIO非阻塞型IO流&#xff0c;CPU可以同时执行…...

编程日记 2024/10/29 0:26:19

状元村建设官方网站/google关键词seo

Android 4.4版Flyme初体验&#xff1a;变化不小出处&#xff1a;爱搞机 2014-04-28 19:13:14 编辑&#xff1a;鲲鹏[爆料] 收藏文章继基于Andorid 4.4的MIUI V5内测后&#xff0c;魅族也推出其基于Android 4.4的Flyme。魅族还表示其将从5月开始进行固件周更新&#xff0c;…...

编程日记 2025/1/19 16:58:37

网站怎么做移动图片/宁德市安全教育平台

python的数据血缘工具 sqllineage 根据文件查看数据血缘图 注意 这里-H 必须接 hostname ,接ip会报错 OSError: [Errno 99] Cannot assign requested address sqllineage -g -H sbider-dev-01 -p 60000 -f ./ppn2/update-data/asset_sn_day_partition/asset_sn_day_partitio…...

编程日记 2025/1/19 16:56:34

做企业品牌网站的公司/网络营销案例分析ppt

硬盘最基本的组成部分是由坚硬金属材料制成的涂以磁性介质的盘片&#xff0c;不同容量硬盘的盘片数不等。每个盘片有两面&#xff0c;都可记录信息。盘片被分成许多扇形的区 域&#xff0c;每个区域叫一个扇区&#xff0c;每个扇区可存储1282的N次方&#xff08;N&#xff1d;0…...

编程日记 2025/1/19 15:10:06

品牌vi是什么意思/谷歌seo需要做什么的

小弟不才&#xff0c;各位大牛嘴下留情。。。 一、对于继承类里头有相同方法时候&#xff0c;用接口方式去调用&#xff0c;会优先查走显式接口方法 例如 public interface IA{void Test();}public class Class1 : IA {public void Test(){Console.WriteLine("Class1&quo…...

编程日记 2025/1/19 13:59:29

网站用户互动/网络营销企业案例分析

参考文档&#xff1a;https://cn.vuejs.org/v2/guide/ 本文主要介绍keep-alive标签的用法。 keep-alive标签用于切换组件时保留隐藏组件的状态。例如当组件a显示时&#xff0c;变更了组件a的data&#xff0c;然后把组件a切换为组件b&#xff0c;再切回组件a&#xff1a;如果组…...

编程日记 2025/1/19 13:52:23

响应式 网站 开发/怎样设计一个网页

Blob对象实现文件下载说明一、Blob对象二、前端三、后端说明 更新时间&#xff1a;2021/1/7 16:37&#xff0c;更新完基本内容 最近遇到一个需求&#xff0c;文件下载&#xff0c;但需要鉴权&#xff0c;这就意味着不能用后台返回下载链接的方式进行下载&#xff0c;因为一旦…...

编程日记 2025/1/19 12:38:12