当前位置： 首页 > news >正文

论文笔记：Treat Visual Tokens as Text? But Your MLLM Only Needs Fewer Efforts to See

news 文章来源：https://blog.csdn.net/qq_40206371/article/details/144438741 2025/1/12 1:37:54

2024 10月的arxiv

1 主要idea

  • 针对多模态大模型（如LLaVA），提出了一系列高效的剪枝策略
    • 在显著降低计算开销（多达 88%）的同时，保持了模型在多模态任务中的性能表现

2 目前的问题

  • 与文本 token 相比，视觉 token 的数量往往更为庞大
    • 在 LLaVA 模型中，处理一张图像涉及超过 500 个视觉 token，而对应的文本 token 只有数十个
      • ——>计算效率低下
      • ——>视觉数据固有的空间稀疏性导致许多计算是冗余的
        • 大部分视觉 token 之间的交互权重很低，仅有邻近 token 之间的交互是关键
        •  在深层模型中，视觉 token 对文本生成的影响逐渐减弱
  • 目前的优化策略通常以牺牲模型性能为代价
    • ——>如何在保持性能的同时显著降低计算复杂度，仍是一个急需解决的

3 论文方法

4 实验

效果没怎么降，FLOP降多了

相关文章：

论文笔记：Treat Visual Tokens as Text? But Your MLLM Only Needs Fewer Efforts to See

2024 10月的arxiv 1 主要idea 针对多模态大模型（如LLaVA），提出了一系列高效的剪枝策略 在显著降低计算开销（多达 88%）的同时，保持了模型在多模态任务中的性能表现 2 目前的问题 与文本 token 相比&…...

编程日记 2024/12/13 10:40:22

软考高级架构 —— 10.6 大型网站系统架构演化实例 + 软件架构维护

10.6 大型网站系统架构演化实例 大型网站的技术挑战主要来自于庞大的用户，高并发的访问和海量的数据，主要解决这类问题。 1. 单体架构 特点: 所有资源（应用程序、数据库、文件）集中在一台服务器上。适用场景: 小型网站&am…...

编程日记 2024/12/13 10:37:13

2024美赛数学建模C题：网球比赛中的动量，用马尔可夫链求解！详细分析

文末获取历年美赛数学建模论文，交流思路模型 接下来讲解马尔可夫链在2024年C题中的运用 1. 马尔科夫链的基本原理 马尔科夫链是描述随机过程的一种数学模型，其核心特征是无记忆性。 简单来说，系统在某一时刻的状态只取决于当前状态&#x…...

编程日记 2024/12/13 10:36:11

23种设计模式之状态模式

目录 1. 简介2. 代码2.1 State （定义抽象状态接口）2.2 StartState （实现具体状态类）2.3 EndState （实现具体状态类）2.4 Context （定义上下文类）2.5 Test （测试类&#xf…...

编程日记 2024/12/13 10:35:10

Elasticsearch Serverless 中的数据流自动分片

作者：来自 Elastic Andrei Dan 在 Elastic Cloud Serverless 中，我们根据索引负载自动为数据流配置最佳分片数量，从而使用户无需摆弄分片。 传统上，用户会更改数据流的分片配置，以处理各种工作负载并充分利用可用资源。…...

编程日记 2024/12/13 10:34:09

YOLOv10改进，YOLOv10添加U-Netv2分割网络中SDI信息融合模块+GSConv卷积，助力小目标

理论介绍 完成本篇需要参考以下两篇文章，并已添加到YOLOv10代码中 YOLOv10改进，YOLOv10添加U-Netv2分割网络中SDI信息融合模块，助力小目标检测YOLOv10改进，YOLOv10添加GSConv卷积+Slim-neck，助力小目标检测，二次创新C2f结构下文都是手把手教程，跟着操作即可添加成功 目…...

编程日记 2024/12/13 10:32:07

xshell连接虚拟机，更换网络模式：NAT-＞桥接模式

NAT模式：虚拟机通过宿主机的网络访问外网。优点在于不需要手动配置IP地址和子网掩码，只要宿主机能够访问网络，虚拟机也能够访问。对外部网络而言，它看到的是宿主机的IP地址，而不是虚拟机的IP。但是，宿主机可…...

编程日记 2024/12/13 10:29:04

sql的where条件中使用case when

场景： 1、使用oracle数据库，数据类型为number，需要正无穷值。 2、数据表中有两个金额值，最大值和最小值， 如10~20， 30 ~40，40以上，数据库中这样设计 id name min max 1 j 10 20 2 …...

编程日记 2024/12/13 10:25:59

MacOS 上以源码形式安装 MySQL 5.7

以下是在 macOS 上从源码安装 MySQL 5.7 的步骤： 前置条件 安装 Homebrew：如果你还没有安装 Homebrew，可以在终端中运行以下命令进行安装： /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install…...

编程日记 2024/12/13 10:22:55

MySQL 事务隔离级别详解

一、事务的基本概念 （一）什么是事务 事务是一个逻辑工作单元，由一组数据库操作组成。这些操作要么全部成功执行，要么全部回滚，以确保数据库的一致性。事务具有以下四个特性，通常被称为 ACID 特性&#xff…...

编程日记 2024/12/13 10:20:46

C语言——高精度问题

1、高精度计算的本质&#xff1a;竖式计算&#xff1b; 2、适用解决超出long long int 范围的大整数计算 #include<stdio.h> #include<string.h> #define N 100 char str1[N4]{0},str2[N4]{0}; int arr1[N4]{0},arr2[N4]{0}; int ans[N5]{0};//将字符串转化成整型…...

编程日记 2024/12/13 10:18:43

aippt：AI 智能生成 PPT 的开源项目

aippt&#xff1a;AI 智能生成 PPT 的开源项目 在现代办公和学习中&#xff0c;PPT&#xff08;PowerPoint Presentation&#xff09;是一种非常重要的展示工具。然而&#xff0c;制作一份高质量的PPT往往需要花费大量的时间和精力。为了解决这一问题&#xff0c;aippt项目应运…...

编程日记 2024/12/13 10:14:39

【Qt之·类QSettings·参数保存】

系列文章目录 文章目录 前言一、概述1.1 QSetting是什么1.2 为什么学习QSetting是重要的 二、不同存储位置的优缺点三、 QSetting的高级用法四、实例演示总结 前言 在当今的应用程序开发中&#xff0c;设置管理是一个至关重要的方面。应用程序的设置包括用户偏好、配置选项和其…...

编程日记 2024/12/13 10:12:36

location重定向和nginx代理

文章目录 1 location重定向1.1 概述1.2 rewrite跳转1.3 用例1.4 实验1.4.1 基于域名的跳转1.4.2 基于ip的跳转1.4.3 基于后缀名的跳转 2 nginx的代理2.1 nginx内置变量2.2 正向代理2.2.1 固定正向代理2.2.2 自动代理 2.3 反向代理2.3.1 负载均衡的算法2.3.2 负载均衡的特点2.3.…...

编程日记 2024/12/13 10:11:32

iptables详解

华子目录 什么是防火墙分类netfilter&#xff08;数据包过滤&#xff09;定义netfilter分析内容 防火墙无法完成的任务netfilter策略管理工具netfilter的5类hook函数防火墙规则策略匹配原则iptablesiptables流量处理动作iptables表5种规则表 安装iptablesiptables策略文件 ipta…...

编程日记 2024/12/13 10:10:30

Edge SCDN深度解析，边缘安全加速的创新实践

边缘安全加速&#xff08;Edge Secure Content Delivery Network&#xff0c;SCDN&#xff09;是酷盾安全推出的边缘集分布式 DDoS 防护、CC 防护、WAF 防护、BOT 行为分析为一体的安全加速解决方案。通过边缘缓存技术&#xff0c;智能调度使用户就近获取所需内容&#xff0c;为…...

编程日记 2024/12/13 10:09:27

solidworks常见问题已解决

solidworks常见问题已解决 问题1&#xff1a;step总是提示默认模板无效。问题2&#xff1a;异型孔向导”时出现了“找不到标准数据库。问题3&#xff1a;找不到CalloutForm.txt文件&#xff0c;标注将由几何体定义。问题5&#xff1a;工程图显示文件损坏不能保存。问题6&#x…...

编程日记 2024/12/13 10:05:22

vCenter开启HA报错

昨天给客户开启vCenter开启HA功能报错,报错的内容比较多 博通官方给出解决办法 https://knowledge.broadcom.com/external/article/318929/error-vsphere-ha-agent-cannot-be-correct.html 常规的解决办法 1.关闭集群HA,再次开启HA 2.主机进入维护模式&#xff0c;再次加入…...

编程日记 2024/12/13 10:02:14

在 Ubuntu 中 make 是否是系统自带的？怎么样查看Linux系统中是否有make？

make 命令 并不是所有 Ubuntu 系统都默认安装的&#xff0c;但它通常是开发工具链的一部分&#xff0c;许多开发者会在安装系统后配置它。make 是一个非常重要的构建工具&#xff0c;用于自动化编译和构建过程&#xff0c;特别是在编译软件或内核时。 make 的来源 make 是一个…...

编程日记 2024/12/13 9:59:09

js：我要在template中v-for循环遍历这个centrerTopdata，我希望自循环前面三个就可以了怎么写

问&#xff1a; 我按在要在template中v-for循环遍历这个centrerTopdata&#xff0c;我希望自循环前面三个就可以了怎么写&#xff1f; 回答&#xff1a; 问&#xff1a; <div v-for"(item, index) in centrerTopdata.slice(0, 3)" :key"index"> d…...

编程日记 2024/12/13 9:56:04

前端使用 Cursor 的最佳助手 - PromptCoder

前端使用 Cursor 的最佳助手 - PromptCoder 你是否正在使用 Cursor 进行前端开发&#xff0c;却苦于繁琐的代码生成和原型图的还原&#xff1f;你是否渴望一个更高效、更智能的工具来提升你的开发效率&#xff1f;那么&#xff0c;你一定不能错过 PromptCoder&#xff01; Pr…...

编程日记 2024/12/13 9:52:54

深入了解 Spring IOC，AOP 两大核心思想

文章目录 一、Spring 基础 - 控制反转&#xff08;IOC&#xff09;1.1. 引入1.2. 如何理解 IOCSpring Bean 是什么&#xff1f;IoC 是什么&#xff1f;IoC 能做什么&#xff1f;IoC 和 DI 是什么关系&#xff1f; 1.3. IoC 配置的三种方式xml 配置Java 配置注解配置 1.4. 依赖注…...

编程日记 2024/12/13 9:51:49

QT从入门到精通——Qlabel介绍与使用

1. QT介绍——代码测试 Qt 是一个跨平台的应用程序开发框架&#xff0c;广泛用于开发图形用户界面&#xff08;GUI&#xff09;应用程序&#xff0c;也支持非图形应用程序的开发。Qt 提供了一套工具和库&#xff0c;使得开发者能够高效地构建高性能、可移植的应用程序。以下是…...

编程日记 2024/12/13 9:49:41

华为HarmonyOS NEXT 原生应用开发：鸿蒙中组件的组件状态管理、组件通信 组件状态管理小案例（好友录）！

文章目录 组件状态管理一、State装饰器1. State装饰器的特点2. State装饰器的使用 二、Prop装饰器&#xff08;父子单向通信&#xff09;1. Prop装饰器的特点2. Prop装饰器的使用示例 三、Link装饰器&#xff08;父子双向通信&#xff09;1. Link装饰器的特点3. Link使用示例 四…...

编程日记 2024/12/13 9:48:39

node.js 环境配置

node_global下创建node_modules 系统变量 新建NODE_Path -> node_modules的路径 用户变量 编辑Path 编辑…\npm为 node_modules的路径 系统变量 Path 新建 %NODE_PATH% CMD测试 npm install express -g 报错 npm error code ETIMEDOUT源的连接超时&#xff0c;没用了要换源 …...

编程日记 2024/12/13 9:47:36

高并发数据采集场景下Nginx代理Netty服务的优化配置

高并发数据采集场景下&#xff0c;要优化Nginx反向代理来支持多个Netty数采服务并保证稳定的性能&#xff0c;可以从以下几个方面对Nginx进行优化配置。 直连模式&#xff08;直接通过 Nginx 处理与后端 Netty 服务的连接&#xff0c;而不作为反向代理&#xff09;&#xff0c;…...

编程日记 2024/12/13 9:44:32

【C++算法】40.模拟_N 字形变换

文章目录 题目链接&#xff1a;题目描述&#xff1a;解法C 算法代码&#xff1a; 题目链接&#xff1a; 6. N 字形变换 题目描述&#xff1a; 解法 解法一&#xff1a;模拟 a,b,c,d,e,f,g...... n4 弄个矩阵放进去&#xff0c;最后从左往右读取。 解法二&#xff1a;模拟优化-…...

编程日记 2024/12/13 9:41:29

【云计算】虚拟化技术

目录 1. 虚拟化技术在云计算中的那些地方发挥了关键作用&#xff1f; 2. 比较VMare&#xff0c;Xen等虚拟化产品的关键技术&#xff0c;以及对云计算技术提供的支持&#xff1f; 3. 服务器虚拟化&#xff0c;存储虚拟化和网络虚拟化都有哪些实现方式&#xff1f; 4. 讨论桌面…...

编程日记 2024/12/13 9:40:28

手机租赁系统开发指南一站式服务流程解析

内容概要 手机租赁系统的开发是一个复杂但有趣的过程&#xff0c;像搭建乐高一样&#xff0c;只要找到合适的模块&#xff0c;就能打造出一个宾至如归的租赁平台。在这部分&#xff0c;我们将对开发流程的整体结构进行简要概述&#xff0c;并指出每个环节的重要性。 首先&…...

编程日记 2024/12/13 9:37:25

【机器学习】—时序数据分析：机器学习与深度学习在预测、金融、气象等领域的应用

云边有个稻草人-CSDN博客 目录 引言 1. 时序数据分析基础 1.1 时序数据的特点 1.2 时序数据分析的常见方法 2. 深度学习与时序数据分析 2.1 深度学习在时序数据分析中的应用 2.1.1 LSTM&#xff08;长短期记忆网络&#xff09; 2.2 深度学习在金融市场预测中的应用 2…...

编程日记 2024/12/13 9:36:24

南京做电商网站的公司/软文素材

原文: Comparing Virtual Machines vs Docker Containers 译者: Fundebug 为了保证可读性&#xff0c;本文采用意译而非直译。另外&#xff0c;本文版权归原作者所有&#xff0c;翻译仅用于学习。 首先&#xff0c;大家需要明确一点&#xff0c;Docker容器不是虚拟机。 2014年&…...

编程日记 2025/1/12 0:44:50

寿光市建设局网站/合肥网站维护公司

各位志同道合的朋友们大家好&#xff0c;我是一个一直在一线互联网踩坑十余年的编码爱好者&#xff0c;现在将我们的各种经验以及架构实战分享出来&#xff0c;如果大家喜欢&#xff0c;就关注我&#xff0c;一起将技术学深学透&#xff0c;我会每一篇分享结束都会预告下一专题…...

编程日记 2025/1/11 21:58:54

怎么下载随申办app/seo关键词优化排名软件

第一期&#xff1a;学生表(学生id&#xff0c;姓名&#xff0c;性别&#xff0c;分数) )student(s&#xff3f;id&#xff0c; name&#xff0c; sex&#xff0c; score)班级表(班级id&#xff0c;班级名称) class(c_id&#xff0c; c_name)学生班级表(班级id&#xff0c;学生i…...

编程日记 2025/1/11 18:22:40

濮阳网站建设哪里便宜/百度点击器找名风

Fedora安装Nvidia G105M&#xff08;使用RPMFusion驱动&#xff09;2010-9-15日更新 计算机配置&#xff1a; 显卡&#xff1a;Nvidia G105M 网卡&#xff1a; Alheros AR8121/AR8113/AR8114 无线&#xff1a;Intel5100 安装好Fedora12-13&#xff08;使用PAE内核&#xff09;以…...

编程日记 2025/1/11 14:01:34

网站里自已的微信联系如何做/seo教程seo优化

举例&#xff1a;将i a b * c作为源代码输入到解析器里&#xff0c;则广义上的解析器的工作流程如下图&#xff1a; 发表时间&#xff1a;2009-10-17 最后修改&#xff1a;2011-03-04 < > 猎头职位: 上海: Senior Software Engine…...

编程日记 2025/1/11 13:13:56

58网站怎么样做效果会更好/千锋教育出来好找工作吗

电脑加网络硬盘步骤有哪些电脑加网络硬盘步骤有哪些?今天应届毕业生小编要给大家介绍的是电脑加网络硬盘的方法!下面是具体步骤请大家仔细观看!一、申请开通请在“用户注册”页面按要求注册。二、使用方式(网络硬盘新IP地址是&#xff1a;10.100.48.29)网络硬盘有以下几种访问…...

编程日记 2025/1/11 10:46:29