当前位置： 首页 > news >正文

Yolov5轻量化：CVPR2023｜RIFormer：无需TokenMixer也能达成SOTA性能的极简ViT架构

news 文章来源：https://blog.csdn.net/m0_63774211/article/details/131105525 2025/1/12 0:53:00

 1.RIFormer介绍

 论文：https://arxiv.org/pdf/2304.05659.pdf

        本文基于重参数机制提出了RepIdentityFormer方案以研究无Token Mixer的架构体系。紧接着，作者改进了学习架构以打破无Token Mixer架构的局限性并总结了优化策略。搭配上所提优化策略后，本文构建了一种极致简单且具有优异性能的视觉骨干，此外它还具有高推理效率优势。 

 为什么这么做？

        Token Mixer是ViT骨干非常重要的组成成分，它用于对不同空域位置信息进行自适应聚合，但常规的自注意力往往存在高计算复杂度与高延迟问题。而直接移除Token Mixer又会导致不完备的结构先验，进而导致严重的性能下降。

        Token Mixer是ViT架构中用于空域信息聚合的关键模块，但由于采用了自注意力机制导致其计算量与内存消耗与图像尺寸强相关

         重参数方法在各个领域得到了广泛的应用。RIFormer推理时的TokenMixer模块可以视作LN+Identity组合

相关文章：

Yolov5轻量化：CVPR2023｜RIFormer：无需TokenMixer也能达成SOTA性能的极简ViT架构

1.RIFormer介绍 论文：https://arxiv.org/pdf/2304.05659.pdf 本文基于重参数机制提出了RepIdentityFormer方案以研究无Token Mixer的架构体系。紧接着，作者改进了学习架构以打破无Token Mixer架构的局限性并总结了优化策略。搭配上所提优化策略后，本文构建了一种极致简单且…...

编程日记 2023/6/14 13:19:20

Spring-Retry实现及原理

前言 重试，其实我们其实很多时候都需要的，为了保证容错性，可用性，一致性等。一般用来应对外部系统的一些不可预料的返回、异常等，特别是网络延迟，中断等情况。还有在现在流行的微服务治理框架中&#xff0…...

编程日记 2023/6/14 12:45:59

Java中的锁

为什么会有这些锁呢？ 因为一种类型的锁很难应对线程操作同步资源的情况。 乐观锁和悲观锁 自旋锁和适应性自旋锁 无锁、偏向锁、轻量级锁和重量级锁 公平锁和非公平锁 可重入锁和非可重入锁 乐观锁和悲观锁 悲观锁认为当它操作数据的时候，必然用一…...

编程日记 2023/6/14 12:12:38

学习系列：5种常见的单例模式变体及其实现方式

单例模式是一种创建型设计模式，它保证一个类只有一个实例，并提供了一个全局访问点。在实际应用中，我们可能会遇到一些特殊情况，需要对单例模式进行一些变体，以满足不同的需求。下面介绍几种常见的单例模式变体。 1. 懒…...

编程日记 2023/6/14 11:39:16

三菱FX5U系列PLC之间进行简易PLC间链接功能的具体方法

三菱FX5U系列PLC之间进行简易PLC间链接功能的具体方法 功能介绍： 在最多8台FX5U或者FX3U PLC之间通过RS-485通信方式连接，进行软元件相互链接的功能。 接线注意事项： 根据链接模式和所使用的从站数量的不同，链接软元件的占用点数也有所变化。根据链接软元件的起始编号，对占…...

编程日记 2023/6/14 11:05:55

基于DBACAN的道路轨迹点聚类

目录 前言道路栅格化轨迹聚类参考资料 前言 很多针对道路轨迹的挖掘项目前期都需要对道路进行一段一段的分割成路段，然后对每一个路段来单独进行考察，如设定路段限速标识，超速概率等，如何对道路进行划分，其实是一个很…...

编程日记 2023/6/14 10:32:34

【项目】接入飞书平台

前言 项目有和飞书打通的需求，因为是第一次打通，摸索过程还是花了些时间的，现在相关笔记分享给大家。 步骤 1、熟悉开发文档 熟悉飞书的开发文档：开发文档 ，找到你需要的接口，拿我为例，我需…...

编程日记 2023/6/14 9:59:13

c++11 标准模板（STL）（std::ios_base）（三）

定义于头文件 <ios> class ios_base; 类 ios_base 是作为所有 I/O 流类的基类工作的多用途类。它维护数种数据&#xff1a; 1) 状态信息&#xff1a;流状态标志&#xff1b; 2) 控制信息&#xff1a;控制输入和输出序列格式化和感染的本地环境的标志&#xff1b; 3)…...

编程日记 2023/6/14 9:25:51

在线协同办公小程序开发搭建开发环境

目录 介绍 开发环境说明 虚拟机 原因 VirtualBox虚拟机 VMware虚拟机v15 安装MySQL数据库 安装步骤 导入EMOS系统数据库 安装MongoDB数据库 启动Navicat&#xff0c;选择创建MongoDB连接 创建用户 搭建Redis数据库 配置Maven 安装IDEA插件 Lombok插件 …...

编程日记 2023/6/14 8:52:30

【编译、链接、装载六】汇编——目标文件

【编译和链接六】汇编——目标文件 一、目标文件_存储格式1、生成目标文件2、目标文件存储格式3、file查看文件格式 二、查看目标文件的内部结构——objdump三、代码段四、 数据段和只读数据段五、 ELF文件结构描述1、头文件2、段表2.1、重定位表2.2、字符串表2.3、查看重定位表…...

编程日记 2023/6/14 8:19:09

王道计算机考研408计算机组成原理汇总（下）

提示：真正的英雄是明白世界的残酷，也遭受了社会带给他的苦难，他依然能用心的说“我热爱这个世界，我愿竭尽所能去为我的世界而好好战斗 文章目录 前言4.1.1 指令格式4.1.2 扩展操作码指令格式4.2.1 指令寻址4.2.2 数据寻址4.2.3 偏移寻址4.2.4 堆栈寻址汇总前言4.3.1 高级语…...

编程日记 2023/6/14 7:45:48

偏向锁、轻量级锁、重量级锁、自旋锁、自适应自旋锁

1. 偏向锁 偏向锁就是在运行过程中&#xff0c;对象的锁偏向某个线程。即在开启偏向锁机制的情况下&#xff0c;某个线程获得锁&#xff0c;当该线程下次再想要获得锁时&#xff0c;不需要重新申请获得锁&#xff08;即忽略synchronized关键词&#xff09;&#xff0c;直接就可…...

编程日记 2023/6/14 7:12:26

Delta 一个新的 git diff 对比显示工具

目录 介绍git diff 介绍delta介绍 一、安装1.下载 Git2.下载 delta3.解压4.修改配置文件5. 修改主题6.其他配置和说明 二、对比命令1.在项目中 git diff 常用命令2.对比电脑上两个文件3.对比电脑上的两个文件夹 三、在Git 命令行中使用效果四、在idea 的Terminal命令行中使用效…...

编程日记 2023/6/14 6:39:05

C# 二进制序列化和反序列化示例

.NET框架提供了两种种串行化的方式&#xff1a; 1、是使用BinaryFormatter进行串行化&#xff1b; 2、使用XmlSerializer进行串行化。 第一种方式提供了一个简单的二进制数据流以及某些附加的类型信息&#xff0c;而第二种将数据流格式化为XML存储。可以使用[Serializable]属…...

编程日记 2023/6/14 6:05:44

【CSS】文字扫光 | 渐变光

码来 可调整角度与颜色值来改变效果 <p class"gf-gx-color">我是帅哥</p> <style>.gf-gx-color {background: -webkit-linear-gradient(135deg,red,red 25%,red 50%,#fff 55%,red 60%,red 80%,red 95%,red);-webkit-text-fill-color: transparen…...

编程日记 2023/6/14 5:32:23

Overhaul Distillation（ICCV 2019）原理与代码解析

paper&#xff1a;A Comprehensive Overhaul of Feature Distillation official implementation&#xff1a;GitHub - clovaai/overhaul-distillation: Official PyTorch implementation of "A Comprehensive Overhaul of Feature Distillation" (ICCV 2019) 本文的…...

编程日记 2023/6/14 4:59:02

＜Linux开发＞驱动开发 -之-内核定时器与中断

&#xff1c;Linux开发&#xff1e;驱动开发 -之-内核定时器与中断 交叉编译环境搭建&#xff1a; &#xff1c;Linux开发&#xff1e; linux开发工具-之-交叉编译环境搭建 uboot移植可参考以下&#xff1a; &#xff1c;Linux开发&#xff1e; -之-系统移植 uboot移植过程详…...

编程日记 2023/6/14 4:25:41

希尔贝壳邀您参加2023深圳国际人工智能展览会

2023深圳国际人工智能展览会“AIE”将于2023年5月16-18日在深圳国际会展中心 (宝安)举办&#xff0c;希尔贝壳受邀参加&#xff0c;展位号&#xff1a;A331。 伴随着智能行业的快速发展&#xff0c;展会已被越来越多的企业列入每年必选展会&#xff0c;也成为各采购商选购的理…...

编程日记 2023/6/14 3:52:19

设计优质微信小程序的实用指南！

微信小程序是一种快速发展的应用形式&#xff0c;设计良好的小程序能够提升用户体验并吸引更多的用户。在设计微信小程序时&#xff0c;有一些关键的指南可以帮助我们做出出色的设计。以下是即时设计总结的一些设计指南&#xff0c;希望能对准备设计微信小程序的人有所帮助。 …...

编程日记 2023/6/14 3:18:58

大数据期末总结

文章目录 一、这学期分别学习了Scala、spark、spring、SpringMvc、SpringBoot1、scala2、spark3、spring4、SpringMvc5、SpringBoot 二、总结 一、这学期分别学习了Scala、spark、spring、SpringMvc、SpringBoot 1、scala Scala是一门基于JVM的编程语言&#xff0c;具有强大的…...

编程日记 2023/6/14 2:45:36

selenium面试题总结

今天有同学问到seleinum面试的时候会问到的问题&#xff0c;随便想了想&#xff0c;暂时纪录一下。欢迎大家在评论中提供更多问题。 1.selenium中如何判断元素是否存在&#xff1f; selenium中没有提供原生的方法判断元素是否存在&#xff0c;一般我们可以通过定位元素异常捕获…...

编程日记 2023/6/14 2:12:15

⑧电子产品拆解分析-1拖4USB拓展坞

⑧电子产品拆解分析-1拖4USB拓展坞 一、功能介绍二、电路分析以及器件作用1、内部电路拆解三、参考资料学习一、功能介绍 ①USB2.0一拖四通讯；②具备OTG功能，可适配大部分USB接口设备；二、电路分析以及器件作用 1、内部电路拆解 分析：❤️ ❤️ ❤️ 主控是MA8601 USB 2.0…...

编程日记 2023/6/14 1:38:54

月度精华汇总 | 最新XR行业资讯、场景案例、活动都在这一篇里啦！

​ 在过去的一个月中&#xff0c;平行云为您带来了关于XR领域的一系列精彩文章&#xff0c;涵盖了行业资讯、应用案例&#xff0c;市场互动&#xff0c;帮助您掌握XR领域最新动态&#xff0c;了解实时云渲染、Cloud XR技术的价值&#xff0c;以及平行云实时云渲染解决方案LarkX…...

编程日记 2023/6/14 1:05:33

Redis实战案例1-短信登录

Redis的共享session应用 1. 项目的相关工作 导入sql文件 找到对应的sql文件即可 基本表的信息 基本架构 导入对应的项目文件&#xff0c;启动相关的service服务; 在nginx-1.18.0目录下启动命令行start nginx.exe&#xff1b; 2. 基于session实现登录的流程 这里利用到Javaweb中…...

编程日记 2023/6/14 0:32:12

华为OD机试真题 JavaScript 实现【找终点】【2023 B卷 100分】，附详细解题思路

一、题目描述 给定一个正整数数组&#xff0c;设为nums&#xff0c;最大为100个成员&#xff0c;求从第一个成员开始&#xff0c;正好走到数组最后一个成员&#xff0c;所使用的最少步骤数。 要求&#xff1a; 第一步必须从第一元素开始&#xff0c;且1 < 第一步的步长 &…...

编程日记 2023/6/13 23:58:51

详解数据仓库数据湖及湖仓一体

比别人更快接收好文章 随着近几年数据湖概念的兴起&#xff0c;业界对于数据仓库和数据湖的对比甚至争论就一直不断。有人说数据湖是下一代大数据平台&#xff0c;各大云厂商也在纷纷的提出自己的数据湖解决方案&#xff0c;一些云数仓产品也增加了和数据湖联动的特性。 但是…...

编程日记 2023/6/13 23:25:30

基于注解切换、Hikari实现的SpringBoot动态数据源（支持JNDI）

实现效果 先说效果&#xff0c;要实现方法级别注解切换当前数据源&#xff0c;不设置注解时走默认数据源&#xff0c;同时支持JNDI源。 总体思路 Spring框架中存在一个抽象类AbstractRoutingDataSource&#xff0c;他是一个可以动态选择当前DataSource的路由类&#xff0c;我…...

编程日记 2023/6/13 22:52:09

Java中的动态链接VS操作系统动态链接

在操作系统OS中为了优化内存的使用会采用一种动态链接方式&#xff0c;一个文件想要在操作系统中运行必须经过编译、汇编译、链接、装载等步骤。可以参考Java程序是怎么跑起来的。本篇主要讲解Java栈帧中动态链接部分与操作系统的的动态链接的区别与联系 操纵系统为什么需要动态…...

编程日记 2023/6/13 22:18:48

深入理解Linux虚拟内存管理（七）

系列文章目录 Linux 内核设计与实现 深入理解 Linux 内核 Linux 设备驱动程序 Linux设备驱动开发详解 深入理解Linux虚拟内存管理&#xff08;一&#xff09; 深入理解Linux虚拟内存管理&#xff08;二&#xff09; 深入理解Linux虚拟内存管理&#xff08;三&#xff09; 深入理…...

编程日记 2023/6/13 21:45:26

GSR II 智能速度辅助系统的型式认证和系统作为独立技术单元的型式认证测试流程和技术要求

智能速度辅助系统ISA的型式认证和系统作为独立技术单元的型式认证测试流程和技术要求 补充欧洲议会和欧洲理事会第2019/2144号条例，为机动车智能速度辅助系统的型式认证和这些系统作为独立技术单元的型式认证规定了详细的测试程序和技术要求，并修订该条例的附件二 (1）（EU…...

编程日记 2023/6/13 21:12:05

做网站主要是做什么/搜索引擎优化的基础是什么

在API网关开放API服务后&#xff0c;如何保障服务的稳定性&#xff0c;怎么能够实时监控API的情况&#xff1f;及时处理API服务异常&#xff0c;是API开放者关注的重点。本文将主要介绍API网关提供的API监控报警功能&#xff0c;通过简单的配置&#xff0c;即可帮助您实现API的…...

编程日记 2025/1/11 19:42:36

怎么下载随申办app/seo关键词优化排名软件

第一期&#xff1a;学生表(学生id&#xff0c;姓名&#xff0c;性别&#xff0c;分数) )student(s&#xff3f;id&#xff0c; name&#xff0c; sex&#xff0c; score)班级表(班级id&#xff0c;班级名称) class(c_id&#xff0c; c_name)学生班级表(班级id&#xff0c;学生i…...

编程日记 2025/1/11 18:22:40

开设网站需要什么/seo关键词快速提升软件官网

异步日志 log4j2最大的特点就是异步日志&#xff0c;其性能的提升主要也是从异步日志中受益&#xff0c;我们来看看如何使用log4j2的异步日志。 同步日志 异步日志 Log4j2提供了两种实现日志的方式&#xff0c;一个是通过AsyncAppender&#xff0c;一个是通过AsyncLogger&am…...

编程日记 2025/1/11 16:42:28

专业网站建设专家/互联网营销模式

一、MyBatis 接口绑定方案及多参数传递 1、作用&#xff1a;实现创建一个接口后把mapper.xml由mybatis生成接口的实现类&#xff0c;通过调用接口对象就可以获取mapper.xml中编写的sql 2、后面&#xff1a;mybatis和spring整合时使用的是这个方案 3、实现步骤&#xff1a; 3.1 …...

编程日记 2025/1/11 11:06:43

网站建设新趋势/自动点击器软件

各种按钮之间的继承关系&#xff1a; 一、 Basic Button 的基本用法&#xff1a; 1. 在布局文件 (main.xml) 增加对按钮的相关属性进行如下描述&#xff1a; < Button android:id "id/basic_button" android:layout_width "wrap_content" android…...

编程日记 2025/1/11 9:44:58

苏州公司建站/网络推广需要多少钱

Http1.0 、Http1.1 、Http2.0区别 长连接和短链接 在解释区别之前&#xff0c;我们要先理解TCP的长连接和短链接&#xff1a; **短链接&#xff1a;**你朋友给你发信息拉你打游戏&#xff08;发送连接请求&#xff09;&#xff0c;你说行&#xff08;应答&#xff09;&#xf…...

编程日记 2025/1/11 7:02:51