当前位置： 首页 > news >正文

CVPR讲座总结(二)-探索图像生成基础模型的最新进展探索多模态代理的最新进展：从视频理解到可操作代理

news 2026/2/8 4:59:31

引言

在CVPR24上的教程中，微软高级研究员Linjie Li为我们带来了多模态代理的深入探索。这些代理通过整合多模态专家和大语言模型（LLM）来增强感知、理解和生成能力。本文总结了Linjie Li的讲座内容，重点介绍了多模态记忆、可操作代理、反馈代理的设计及其应用。
在这里插入图片描述

多模态记忆的代理

视频理解中的挑战

为了全面理解视频中的视觉信号，需要密集采样帧，这会导致长序列输入和高推理成本。因此，我们需要多模态记忆来处理这些复杂的任务，特别是在需要长时间上下文理解的情况下。例如，音频描述任务需要记忆之前提到的内容，并且需要在不与视频中的语音信号重叠的情况下进行描述。

多模态记忆的实际应用

在MM Narrator中，我们设计了一种用于长视频叙述的代理，该代理具有短期和长期记忆。短期记忆包含最近的预测，长期记忆包含所有先前的帧和预测。通过计算当前帧与之前帧的相似性，可以检索相关的预测，并作为多模态上下文示例来生成当前的描述。

可操作代理

图形用户界面（GUI）导航中的应用

在GUI导航任务中，代理需要与交互环境进行动态交互，这比静态输入操作更为复杂。例如，在MM Navigator中，我们利用分割模型标记屏幕上的重要对象，并将这些标记与GPT-4的输出连接起来，使代理能够精确地点击屏幕上的指定位置。

案例演示

MM Navigator的一个演示展示了如何在手机上执行一系列操作，从打开Amazon应用到购买一个指定价格范围内的牛奶起泡器。代理能够正确识别并执行多个步骤，展示了在复杂环境中的操作能力。

反馈代理

为什么需要反馈代理

在探索未知环境时，代理需要不断自我优化和调整。这种迭代自我优化的过程可以帮助代理在视觉设计和创建任务中生成更高质量的结果。例如，Idea2Img代理通过接收环境反馈，逐步改进生成的图像，最终生成符合用户需求的高质量视觉设计。

实例对比

通过对比单轮人类提示与Idea2Img的迭代优化，我们可以看到，Idea2Img能够生成更高视觉质量和语义对齐的图像。例如，针对一个会议标志的生成任务，Idea2Img在多轮优化后能够生成更加准确和详细的标志设计。

总结

多模态代理在过去一年中取得了显著进展，从视频理解到GUI导航，再到视觉设计和创建，这些代理展示了其在复杂任务中的潜力。尽管目前的单一大语言模型或大多模态模型仍然无法完全解决这些任务，多模态代理通过引入记忆、反馈和动态交互，为解决这些复杂任务提供了新的思路。

未来，多模态代理的研究将继续推动大模型的进步，同时在系统优化、隐私保护和实际应用中发挥重要作用。随着这些代理技术的不断发展，我们可以期待它们在更多实际应用中的广泛应用和进一步提升。

讲座视频：https://www.bilibili.com/video/BV1gM4m1U7i6/

相关文章：

CVPR讲座总结(二)-探索图像生成基础模型的最新进展探索多模态代理的最新进展：从视频理解到可操作代理

引言 在CVPR24上的教程中，微软高级研究员Linjie Li为我们带来了多模态代理的深入探索。这些代理通过整合多模态专家和大语言模型（LLM）来增强感知、理解和生成能力。本文总结了Linjie Li的讲座内容，重点介绍了多模态记忆、可操作代…...

编程日记 2024/6/30 9:33:55

为什么要禁用透明大页面

在安装CDH（Clouderas Distribution Including Apache Hadoop）环境时，禁用透明大页面（Transparent HugePages，THP）是一个推荐的系统优化步骤。以下是禁用透明大页面的一些原因： 1. **性能影响**…...

编程日记 2024/6/30 9:28:50

Element 页面滚动表头置顶

在开发后台管理系统时，表格是最常用的一个组件，为了看数据方便，时常需要固定表头。 如果页面基本只有一个表格区域，我们可以根据屏幕的高度动态的计算出一个值，给表格设定一个固定高度，这样表头就可以固定…...

编程日记 2024/6/30 9:27:49

对于CDA一级考试该咋准备？？！

一、了解考试内容和结构 CDA一级考试主要涉及的内容包括：数据分析概述与职业操守、数据结构、数据库基础与数据模型、数据可视化分析与报表制作、Power BI应用、业务数据分析与报告编写等。 CDA Level Ⅰ 认证考试大纲:https://edu.cda.cn/group/4/thread/174335 …...

编程日记 2024/6/30 9:26:47

如何使用PHP和Selenium快速构建自己的网络爬虫系统

近年来，随着互联网的普及，网络爬虫逐渐成为了信息采集的主要手段之一，然而，常规的爬虫技术不稳定、难以维护，市面上的纯web网页爬虫也只能在静态页面上进行操作。而php结合selenium可达到动态爬虫的效果，具…...

编程日记 2024/6/30 9:25:46

intellij idea安装R包ggplot2报错问题求解

1、intellij idea安装R包ggplot2问题 在我上次解决图形显示问题后，发现安装ggplot2包时出现了问题，这在之前高版本中并没有出现问题， install.packages(ggplot2) ERROR: lazy loading failed for package lifecycle * removing C:/Users/V…...

编程日记 2024/6/30 9:24:45

【C++】初识C++（一）

一.什么是C C语言是结构化和模块化的语言，适合处理较小规模的程序。对于复杂的问题，规模较大的程序，需要高度 的抽象和建模时，C语言则不合适。为了解决软件危机， 20世纪80年代， 计算机界提出了OOP(object o…...

编程日记 2024/6/30 9:14:34

【智能算法】目标检测算法

目录 一、目标检测算法分类 二、 常见目标检测算法及matlab代码实现 2.1 R-CNN 2.1.1 定义 2.1.2 matlab代码实现 2.2 Fast R-CNN 2.2.1 定义 2.2.2 matlab代码实现 2.3 Faster R-CNN 2.3.1 定义 2.3.2 matlab代码实现 2.4 YOLO 2.4.1 定义 2.4.2 matlab代码实现…...

编程日记 2024/6/30 9:13:32

python 中 json.load json.loadd json.dump json.dumps 详解

在Python中，json 模块提供了用于处理JSON数据的函数。json.load(), json.loads(), json.dump(), 和 json.dumps() 是这个模块中用于序列化和反序列化JSON数据的主要函数。下面是它们之间的区别详解： json.load() 作用：从一个文件对象&#x…...

编程日记 2024/6/30 9:12:31

【UE 网络】专用服务器和多个客户端加入游戏会话的过程，以及GameMode、PlayerController、Pawn的创建流程

目录 0 引言1 多人游戏会话1.1 Why？为什么要有这个1.2 How？怎么使用？ 2 加入游戏会话的流程总结 🙋‍♂️ 作者：海码007📜 专栏：UE虚幻引擎专栏💥 标题：【UE 网络】在网络…...

编程日记 2024/6/30 9:10:29

磁盘分区工具（fdisk 和 parted）区别及操作笔记

fdisk 和 parted 都是 Linux 系统中用于磁盘分区的工具。 两者主要区别： 支持的分区表类型： fdisk 主要支持 MBR分区表，MBR分区表支持的硬盘单个分区最大容量为2TB，最多可以有4个主分区。parted 支持 MBR分区表 和 GPT分区表&…...

编程日记 2024/6/30 9:09:28

VisualStudio2019受支持的.NET Core

1.VS Studio2019受支持的.NET Core？ 适用于 Visual Studio 的 .NET SDK 下载 (microsoft.com) Visual Studio 2019 默认并不直接支持 .NET 6 及以上版本。要使用 .NET 6 或更高版本，你需要在 Visual Studio 2019 中采取额外步骤，比如安装相应…...

编程日记 2024/6/30 9:08:26

Java——IO流（二）-（1/7）：字符流-FileReader、FileWriter、字符输出流的注意事项（构造器及常用方法、小结）

目录 文件字符输入流-读字符数据进来 介绍 构造器及常用方法 实例演示 文件字符输出流-写字符数据出去 介绍、构造器及常用方法 实例演示 字符输出流使用时的注意事项 小结 文件字符输入流-读字符数据进来 介绍 FileReader（文件字符输入流） 作…...

编程日记 2024/6/30 9:07:24

Spring循环依赖问题——从源码画流程图

文章目录 关键代码相关知识为什么要使用二级缓存为什么要使用三级缓存只使用两个缓存的问题不能解决构造器循环依赖为什么多例bean不能解决循环依赖问题初始化后代理对象赋值给原始对象解决循环依赖SpringBoot开启循环依赖 循环依赖 在线流程图 关键代码 从缓存中查询getSingl…...

编程日记 2024/6/30 9:05:22

Android SurfaceFlinger——动画播放准备（十五）

BootAnimation 本质上是一个线程，执行 run 之后，会先执行 readyToRun，接着执行 treadLoop 方法。 一、线程启动 1、BootAnimation 源码位置：/frameworks/base/cmds/bootanimation/BootAnimation.cpp readyToRun status_t BootAnimation::readyToRun() {// 添加默认资源…...

编程日记 2024/6/30 9:04:20

Zynq7000系列FPGA中的DMA控制器简介（二）

AXI互连上的DMA传输 所有DMA事务都使用AXI接口在PL中的片上存储器、DDR存储器和从外设之间传递数据。PL中的从设备通过DMAC的外部请求接口与DMAC通信，以控制数据流。这意味着从设备可以请求DMA交易，以便将数据从源地址传输到目标地址。 虽然DMAC在技术…...

编程日记 2024/6/30 9:02:18

获取 url 地址栏 ? 后面的查询字符串，并以键值对形式放到对象里面

写在前面 在前端面试当中，关于 url 相关的问题很常见，而对于 url 请求参数的问题也很常见，大部分以笔试题常见，今天就根据这道面试题一起来看一下。 问题 获取 url 地址栏?后面的查询字符串，并以键值对形式放到对象…...

编程日记 2024/6/30 9:01:17

List接口， ArrayList Vector LinkedList

Collection接口的子接口 子类Vector，ArrayList，LinkedList 1.元素的添加顺序和取出顺序一致，且可重复 2.每个元素都有其对应的顺序索引 方法 在index 1 的位置插入一个对象，list.add(1,list2)获取指定index位置的元素&#…...

编程日记 2024/6/30 9:00:16

探讨数字化背景下VSM（价值流程图）的挑战和机遇

在信息化、数字化飞速发展的今天，各行各业都面临着前所未有的挑战与机遇。作为源自丰田生产模式的VSM（价值流程图），这一曾经引领制造业革命的工具，在数字化背景下又将如何乘风破浪，应对新的市场格局和技术变…...

编程日记 2024/6/30 8:59:15

Conda跨平台环境迁移

问题描述： 在一台Ubuntu电脑上完全复刻在Windows中通过conda创建的环境。 导出环境 在Windows机器上，需要导出当前conda环境的配置。这将生成一个environment.yml文件，其中包含所有已安装的包和版本信息。 打开Anaconda Prompt（…...

编程日记 2024/6/30 8:57:13

C++实现分布式网络通信框架RPC(3)--rpc调用端

目录 一、前言 二、UserServiceRpc_Stub 三、 CallMethod方法的重写 头文件 实现 四、rpc调用端的调用 实现 五、 google::protobuf::RpcController *controller 头文件 实现 六、总结 一、前言 在前边的文章中，我们已经大致实现了rpc服务端的各项功能代…...

编程新知 2026/2/4 22:38:49

stm32G473的flash模式是单bank还是双bank？

今天突然有人stm32G473的flash模式是单bank还是双bank？由于时间太久，我真忘记了。搜搜发现，还真有人和我一样。见下面的链接：https://shequ.stmicroelectronics.cn/forum.php?modviewthread&tid644563 根据STM32G4系列参考手…...

编程新知 2026/2/5 0:36:44

React第五十七节 Router中RouterProvider使用详解及注意事项

前言 在 React Router v6.4 中&#xff0c;RouterProvider 是一个核心组件&#xff0c;用于提供基于数据路由&#xff08;data routers&#xff09;的新型路由方案。 它替代了传统的 <BrowserRouter>&#xff0c;支持更强大的数据加载和操作功能&#xff08;如 loader 和…...

编程新知 2026/1/21 9:06:43

Docker 运行 Kafka 带 SASL 认证教程

Docker 运行 Kafka 带 SASL 认证教程 Docker 运行 Kafka 带 SASL 认证教程一、说明二、环境准备三、编写 Docker Compose 和 jaas文件docker-compose.yml代码说明&#xff1a;server_jaas.conf 四、启动服务五、验证服务六、连接kafka服务七、总结 Docker 运行 Kafka 带 SASL 认…...

编程新知 2026/1/23 4:15:03

大数据零基础学习day1之环境准备和大数据初步理解

学习大数据会使用到多台Linux服务器。 一、环境准备 1、VMware 基于VMware构建Linux虚拟机 是大数据从业者或者IT从业者的必备技能之一也是成本低廉的方案 所以VMware虚拟机方案是必须要学习的。 &#xff08;1&#xff09;设置网关 打开VMware虚拟机&#xff0c;点击编辑…...

编程新知 2026/1/25 14:43:07

ESP32读取DHT11温湿度数据

芯片&#xff1a;ESP32 环境&#xff1a;Arduino 一、安装DHT11传感器库 红框的库&#xff0c;别安装错了 二、代码 注意&#xff0c;DATA口要连接在D15上 #include "DHT.h" // 包含DHT库#define DHTPIN 15 // 定义DHT11数据引脚连接到ESP32的GPIO15 #define D…...

编程新知 2026/1/30 8:46:45

React Native在HarmonyOS 5.0阅读类应用开发中的实践

一、技术选型背景 随着HarmonyOS 5.0对Web兼容层的增强&#xff0c;React Native作为跨平台框架可通过重新编译ArkTS组件实现85%以上的代码复用率。阅读类应用具有UI复杂度低、数据流清晰的特点。 二、核心实现方案 1. 环境配置 &#xff08;1&#xff09;使用React Native…...

编程新知 2025/8/19 2:57:37

Python实现prophet 理论及参数优化

文章目录 Prophet理论及模型参数介绍Python代码完整实现prophet 添加外部数据进行模型优化 之前初步学习prophet的时候&#xff0c;写过一篇简单实现&#xff0c;后期随着对该模型的深入研究&#xff0c;本次记录涉及到prophet 的公式以及参数调优&#xff0c;从公式可以更直观…...

编程新知 2026/1/27 5:01:54

Python如何给视频添加音频和字幕

在Python中&#xff0c;给视频添加音频和字幕可以使用电影文件处理库MoviePy和字幕处理库Subtitles。下面将详细介绍如何使用这些库来实现视频的音频和字幕添加&#xff0c;包括必要的代码示例和详细解释。 环境准备 在开始之前&#xff0c;需要安装以下Python库&#xff1a;…...

编程新知 2025/9/3 4:12:17

涂鸦T5AI手搓语音、emoji、otto机器人从入门到实战

“&#x1f916;手搓TuyaAI语音指令 &#x1f60d;秒变表情包大师&#xff0c;让萌系Otto机器人&#x1f525;玩出智能新花样&#xff01;开整&#xff01;” &#x1f916; Otto机器人 → 直接点明主体 手搓TuyaAI语音 → 强调 自主编程/自定义 语音控制&#xff08;TuyaAI…...

编程新知 2026/1/30 16:09:53