当前位置： 首页 > news >正文

CV前沿方向：Visual Prompting 视觉提示工程下的范式

news 文章来源：https://blog.csdn.net/lgzlgz3102/article/details/131990209 2025/2/7 17:08:12

prompt在视觉领域，也越来越重要，在图像生成，作为一种可控条件，增进交互和可控性，在多模态理解方面，指令prompt也使得任务灵活通用。视觉提示工程，已然成为CV一个前沿方向！

下面来看看最新的两篇论文，了解一下视觉提示的应用！

Visual Instruction Inversion: Image Editing via Visual Prompting

文本条件的图像编辑已经成为一种强大的图像编辑工具。

然而，在许多情况下，语言描述图像编辑具有歧义性和低效性。面对这些挑战时，视觉提示可以更直观和准确地传达所需的编辑内容。

本文提出了一种通过视觉提示进行图像编辑的方法。通过给定代表编辑的“之前”和“之后”图像的示例对，方法学习一个基于文本的编辑方向，用于在新图像上执行相同的编辑。利用文本到图像扩散模型的丰富预训练编辑能力，将视觉提示转化为编辑指令。

结果表明，即使只有一个示例对，也可以获得与最先进的文本条件图像编辑框架相竞争的结果。https://thaoshibe.github.io/visii/

065a03f5718e215b6c2c6af8dcd21e6f.png

A Systematic Survey of Prompt Engineering on Vision-Language Foundation Models

Prompt engineering是一种技术，它通过增加大型预训练模型与针对特定任务的提示（即prompt）来适应新任务。提示可以手动创建为自然语言指令，也可以自动生成为自然语言指令或向量表示。

Prompt engineering使得仅依靠提示就可以进行预测，而无需更新模型参数，并且更容易将大型预训练模型应用于任务。

在过去的几年里，Prompt engineering在自然语言处理领域得到了广泛研究。然而，目前缺乏关于预训练视觉语言模型上Prompt engineering的系统综述。本文旨在对三种类型的视觉语言模型（包括多模态生成模型、图像-文本匹配模型和文本-图像生成模型）上的Prompt engineering的前沿研究进行全面的调查。对于每种模型，概述了模型简介、提示方法、基于提示的应用以及相关的责任和完整性问题。

此外，还讨论了视觉语言模型、语言模型和视觉模型上的Prompt engineering的共性和差异。总结了挑战、未来方向和研究机会，以促进未来关于这个方向研究。

1087ab1163aea59e2e4d130911c362cd.png

关注公众号【机器学习与AI生成创作】，更多精彩等你来读

卧剿，6万字！30个方向130篇！CVPR 2023 最全 AIGC 论文！一口气读完

深入浅出stable diffusion：AI作画技术背后的潜在扩散模型论文解读

深入浅出ControlNet，一种可控生成的AIGC绘画生成算法！ 

经典GAN不得不读：StyleGAN

4e3e7c15d4a9b1576d005058ff4e1d73.png 戳我，查看GAN的系列专辑~！

一杯奶茶，成为AIGC+CV视觉的前沿弄潮儿！

最新最全100篇汇总！生成扩散模型Diffusion Models

ECCV2022 | 生成对抗网络GAN部分论文汇总

CVPR 2022 | 25+方向、最新50篇GAN论文

 ICCV 2021 | 35个主题GAN论文汇总

超110篇！CVPR 2021最全GAN论文梳理

超100篇！CVPR 2020最全GAN论文梳理

拆解组新的GAN：解耦表征MixNMatch

StarGAN第2版：多域多样性图像生成

附下载 | 《可解释的机器学习》中文版

附下载 |《TensorFlow 2.0 深度学习算法实战》

附下载 |《计算机视觉中的数学方法》分享

《基于深度学习的表面缺陷检测方法综述》

《零样本图像分类综述: 十年进展》

《基于深度神经网络的少样本学习综述》

《礼记·学记》有云：独学而无友，则孤陋而寡闻

点击一杯奶茶，成为AIGC+CV视觉的前沿弄潮儿！，加入 AI生成创作与计算机视觉 知识星球！

相关文章：

CV前沿方向：Visual Prompting 视觉提示工程下的范式

prompt在视觉领域，也越来越重要，在图像生成，作为一种可控条件，增进交互和可控性，在多模态理解方面，指令prompt也使得任务灵活通用。视觉提示工程，已然成为CV一个前沿方向！ 下面来看看…...

编程日记 2023/7/31 3:01:22

Redis五大基础类型解析

1.String类型 特征：即存储字符串的类型，单个字符串存储量最大不超过512MB 常用业务场景：⽤来存储JSON序列化之后对象 底层编码： int编码 数据结构特点：ptr指针直接指向字符串常量池中对应字符串地址，而…...

编程日记 2023/7/31 3:00:18

在CSDN学Golang云原生（服务网格istio）

一&#xff0c;在Kubernetes上部署istio 在Kubernetes上部署istio&#xff0c;可以按照以下步骤进行&#xff1a; 安装Istio 使用以下命令从Istio官网下载最新版本的Istio&#xff1a; curl -L https://istio.io/downloadIstio | ISTIO_VERSION<VERSION> sh - 其中&…...

编程日记 2023/7/31 2:59:17

Golang 获取本地 IP 地址方法

在 Golang 中&#xff0c;使用 net 包可以很方便地获取到本机IP地址。 借助 net.InterfaceAddrs 方法 简单示例代码如下&#xff1a; package mainimport ("fmt""net" )func main() {addrList, err : net.InterfaceAddrs()if err ! nil {panic(err)}for…...

编程日记 2023/7/31 2:58:15

抖音seo短视频账号矩阵系统技术开发简述

说明&#xff1a;本开发文档适用于抖音seo源码开发&#xff0c;抖音矩阵系统开发&#xff0c;短视频seo源码开发&#xff0c;短视频矩阵系统源码开发 一、 抖音seo短视频矩阵系统开发包括 抖音seo短视频账号矩阵系统的技术开发主要包括以下几个方面&#xff1a; 1.前端界面设…...

编程日记 2023/7/31 2:57:14

运维高级--shell脚本完成分库分表

为什么要进行分库分表 随着系统的运行&#xff0c;存储的数据量会越来越大&#xff0c;系统的访问的压力也会随之增大&#xff0c;如果一个库中的表数据超过了一定的数量&#xff0c;比如说MySQL中的表数据达到千万级别&#xff0c;就需要考虑进行分库分表&#xff1b; 其…...

编程日记 2023/7/31 2:56:13

Mysql 忘记密码怎么重置密码（详细步骤）

每种方法都有其适用的情况&#xff0c;根据具体情况选择合适的方法。无论选择哪种方法&#xff0c;请务必在重置密码后及时删除临时用户并重新启动 MySQL 服务。 一、使用 mysqladmin 重置密码 停止服务 # systemctl 启动的使用这个停止 $ sudo systemctl stop mysql# mac 本机…...

编程日记 2023/7/31 2:55:12

机器学习深度学习——图像分类数据集

&#x1f468;‍&#x1f393;作者简介&#xff1a;一位即将上大四&#xff0c;正专攻机器学习的保研er &#x1f30c;上期文章&#xff1a;机器学习&&深度学习——softmax回归&#xff08;下&#xff09; &#x1f4da;订阅专栏&#xff1a;机器学习&&深度学习…...

编程日记 2023/7/31 2:54:11

【PWN · 栈迁移】[BUUCTF]ciscn_2019_es_2

第一道栈迁移题目&#xff0c;跌跌撞撞理解了 前言 当前溢出可用空间比较少时&#xff08;极端情况下仅能覆写ebp和ret&#xff09;&#xff0c;可以通过栈迁移的方式&#xff0c;扩大shellcode的容纳空间&#xff0c;其核心是将esp移动到一段shellocode开头。而esp总是由ebp赋…...

编程日记 2023/7/31 2:53:10

网络编程(13): 网络通信常用命令（后续待补充）

ifconfig 一般用于查看网卡信息 ping 一般用于侦测本机到目标网络主机的网络是否通常: ping ip/域名 telnet 可以用于指定ip地址和端口的侦听服务是否存在&#xff1a;telnet ip port, 也可以模拟客户端给服务器发数据 netstat 用于查看网络连接状态 -a: 显示所有选项 -t&#…...

编程日记 2023/7/31 2:52:08

flask创建数据库连接池

flask创建数据库连接池 在Python中&#xff0c;您可以使用 Flask-SQLAlchemy 这个扩展来创建一个数据库连接池。Flask-SQLAlchemy 是一个用于 Flask 框架的 SQLAlchemy 操作封装&#xff0c;实现了 ORM(Object Relational Mapper)。ORM 主要用于将类与数据库中的表建立映射关系…...

编程日记 2023/7/31 2:51:06

C语言手撕顺序表

目录 一、概念 1、静态顺序表&#xff1a;使用定长数组存储元素。 2、动态顺序表&#xff1a;使用动态开辟的数组存储 二、接口实现 1、对顺序表的初始化 2、对数据的销毁 3、对数据的打印 4、检查是否需要扩容 5、尾插 6、头插 7、尾删 8、头删 9、在pos位置插入x …...

编程日记 2023/7/31 2:50:05

常见的排序算法

常见的排序算法 常见的排序算法包括&#xff1a; 冒泡排序&#xff08;Bubble Sort&#xff09;&#xff1a;依次比较相邻的元素&#xff0c;将较大的元素交换到右侧&#xff0c;逐步将最大元素移动到末尾。插入排序&#xff08;Insertion Sort&#xff09;&#xff1a;将数组…...

编程日记 2023/7/31 2:49:04

C#如何使用SQLite数据库？

文章目录 0.引言1.SQLite工具准备2.创建窗体项目并添加SQLite的命名空间3.编写使用SQLite代码4.结果展示 0.引言 SQLite是一个轻量级的嵌入式数据库&#xff0c;它的库文件非常小巧&#xff0c;不需要独立的服务器进程或配置。这使得它非常适合在资源受限的环境中使用&#xff…...

编程日记 2023/7/31 2:48:03

如何将表格中的状态数据转换为Tag标签显示

考虑到系统前端页面的美观程度&#xff0c;通常通过Tag标签来代替某条数据中的状态信息。仅通过一点操作&#xff0c;便能够使得页面美观程度得到较大提升&#xff0c;前后对比如下所示。代码基于Vue以及Element-ui组件实现。 修改前&#xff1a; 修改后&#xff1a; 修改前…...

编程日记 2023/7/31 2:47:02

centos中修改防火墙端口开放配置

1、直接进入文件修改 vim /etc/sysconfig/iptables 2、添加需要开放的端口 &#xff08;1&#xff09;添加需要开放的单个端口 4001 -A INPUT -m state --state NEW -m tcp -p tcp --dport 4001 -j ACCEPT &#xff08;2&#xff09;添加需要开放的某个网段端口 4001:4020 …...

编程日记 2023/7/31 2:46:01

程序设计 算法基础

✅作者简介&#xff1a;人工智能专业本科在读&#xff0c;喜欢计算机与编程&#xff0c;写博客记录自己的学习历程。 &#x1f34e;个人主页&#xff1a;小嗷犬的个人主页 &#x1f34a;个人网站&#xff1a;小嗷犬的技术小站 &#x1f96d;个人信条&#xff1a;为天地立心&…...

编程日记 2023/7/31 2:45:00

【数据结构】之十分好用的“链表”赶紧学起来！(第一部分单向链表）

&#x1f490; &#x1f338; &#x1f337; &#x1f340; &#x1f339; &#x1f33b; &#x1f33a; &#x1f341; &#x1f343; &#x1f342; &#x1f33f; &#x1f344;&#x1f35d; &#x1f35b; &#x1f364; &#x1f4c3;个人主页 &#xff1a;阿然成长日记 …...

编程日记 2023/7/31 2:43:59

ubuntu开机自启动

ubuntu开机自启动 1、建一个test.sh脚本&#xff0c;并写入 #!/bin/sh gnome-terminal -x bash -c ‘cd /home/文件路径/;python3 main.py’ exit 0 2、:wq!保存 3、创建rc-local.service文件&#xff08;sudo vim /etc/systemd/system/rc-local.service&#xff09;&#xf…...

编程日记 2023/7/31 2:42:58

Git将其他分支合并至主分支

主要思想&#xff1a; 把分支代码合并到master&#xff0c;合给谁&#xff0c;就先切换到谁的分支 1. 当前分支是dev&#xff0c;开发完成后&#xff0c;需要合并到master分支 先把该提交的提交&#xff0c;需要push的push完成后&#xff0c;再切换分支。 否则也会告诉你要提交…...

编程日记 2023/7/31 2:41:57

Python+request+pytest 接口自动化测试框架入门（与unittest的比较）

1. Pythonrequestpytest 接口自动化测试框架入门 - 简书 pytest和unittest的比较&#xff1a; pytest是一个非常成熟的全功能的Python测试框架&#xff0c;主要有以下几个特点&#xff1a; 简单灵活&#xff0c;容易上手支持参数化能够支持简单的单元测试和复杂的功能测试&a…...

编程日记 2023/7/31 2:40:55

数据结构——复杂度

总有一天你要一个人&#xff0c;再暗夜中&#xff0c;向那座桥走过去 文章目录 一、算法的复杂度 考察形式范例 二、算法的时间复杂度 大O的渐进表示法 常见的复杂度对比 例题&#xff1a;消失的数字 题目的三种思路 1.排序遍历 2.减法 3.单身狗思想 三、空间复杂度…...

编程日记 2023/7/31 2:39:53

使用goldengate 迁移Oracle到postgresql

环境&#xff1a; --源端&#xff1a; IP&#xff1a;10.0.4.16 hostname&#xff1a;tencent Oracle数据库版本&#xff1a;12.2.0.1.0 ogg for oracle版本&#xff1a;19.1.0.0.4 SID&#xff1a;orcl --目标端&#xff1a; IP&#xff1a;10.0.4.16 hostname&#…...

编程日记 2023/7/31 2:38:53

ESP-C3入门20. CentOS开发环境及Jenkins流水线

一、准备环境 CentOS8已经正常安装Jenkins 二、升级 cmake cmake 升到 3.16以上。 cmake --version # 安装 g sudo yum install gcc-c export CXXg# 安装 CMake 的依赖项 sudo yum install -y openssl-devel# 下载 CMake 源码并进行编译安装 wget https://github.com/Kitwa…...

编程日记 2023/7/31 2:37:46

服务器被爬虫恶意攻击怎么办？

在有预算的情况可以采购第三方服务防火墙&#xff0c;没钱就使用开源的WAF进行防护。 # WAF防火墙的基本防护原理 WAF&#xff08;Web 应用防火墙&#xff09;可以使用多种技术来防止恶意爬虫攻击&#xff0c;例如&#xff1a; 1. 黑名单&#xff1a;WAF 可以使用黑名单技术来…...

编程日记 2023/7/31 2:36:44

JavaScript正则表达式之座机号/手机号验证校验规则

引用:https://www.bilibili.com/read/cv18300539/ 本文对利用正则表达式对手机号码进行了验证 支持格式&#xff1a; 座机 &#xff1a;xxx-xxxxxxxx、xxxxxxxxxxxx …座机区号的横杠可有可无 手机&#xff1a;xxxxxxxxxxx JavaScript&#xff1a; var: checkPhone (rule,…...

编程日记 2023/7/31 2:35:41

黑客学习手册（自学网络安全）

一、首先&#xff0c;什么是黑客&#xff1f; 黑客泛指IT技术主攻渗透窃取攻击技术的电脑高手&#xff0c;现阶段黑客所需要掌握的远远不止这些。 二、为什么要学习黑客技术&#xff1f; 其实&#xff0c;网络信息空间安全已经成为海陆空之外的第四大战场&#xff0c;除了国…...

编程日记 2023/7/31 2:34:35

获取非叶子节点的grad（retain_grad()、hook）【为了解决grad值是None的问题】

在调试过程中, 有时候我们需要对中间变量梯度进行监控, 以确保网络的有效性, 这个时候我们需要打印出非叶节点的梯度, 为了实现这个目的, 我们可以通过两种手段进行, 分别是: retain_grad()hook 不过我感觉“hook”比“retain_grad()”要麻烦.....&#xff0c;所以我感觉还是…...

编程日记 2023/7/31 2:33:34

JMeter(八)：响应断言详解

响应断言 ：对服务器的响应进行断言校验 （1）应用范围: main sample and sub sample, main sample only , sub-sample only , jmeter variable 关于应用范围，我们大多数勾选“main sample only” 就足够了，因为我们一个请求，实质上只有一个请求。但是当我们发一个请求时，…...

编程日记 2023/7/31 2:32:33

【网络编程】IO复用的应用一：非阻塞connect

在connect连接中&#xff0c;若socket以非阻塞的方式进行连接&#xff0c;则系统内设置的TCP三次握手超时时间为0&#xff0c;所以它不会等待TCP三次握手完成&#xff0c;直接返回&#xff0c;错误为EINPROGRESS。   所以&#xff0c;我们可以通过判断connect时返回的错误码是…...

编程日记 2023/7/31 2:31:31

icp备案证书号查询/沈阳网站制作优化推广

&#xfeff;&#xfeff;Spring实现定时任务方法 标签&#xff1a; springquartztask 2017-03-11 02:02 190人阅读 评论(0) 收藏 举报 分类&#xff1a; spring&#xff08;3&#xff09; 作者同类文章Xtask quartz 版权声明&#xff1a;本文为博主原创文章&#xff0…...

编程日记 2025/2/7 16:13:52

张家港外贸网站制作/企业建站平台

HTTP cookies&#xff0c;通常又称作"cookies"&#xff0c;已经存在了很长时间&#xff0c;但是仍旧没有被予以充分的理解。首要的问题是存在了诸多误区&#xff0c;认为cookies是后门程序或病毒&#xff0c;或压根不知道它是如何工作的。第二个问题是对于cookies缺少…...

编程日记 2025/2/7 16:03:32

做网站包括服务器么/网络营销服务平台

一、客户端/服务端架构客户端/服务端架构 即C/S架构&#xff0c;包括&#xff1a;1、硬件C/S架构&#xff0c;2、软件C/S架构。互联网中处处都是C/S架构&#xff0c;学习socket 就是为了完成C/S架构的开发。C/S架构&#xff1a;　　server端要&#xff1a;　　　1、力求一直提供…...

编程日记 2025/2/7 12:41:31

四川省建设建设监理协会网站/怎么打广告宣传自己的产品

Frontend Knowledge Structure https://github.com/JacksonTian/fks 图片的形式具有诸多的不便。缺失源图的我们&#xff0c;无法为此图贡献些什么&#xff0c;随着时间的迁移&#xff0c;或许有些技术点会发生改变&#xff0c;所以有了这个GitHub项目。我们可以通过协作的方式…...

编程日记 2025/2/7 9:23:31

国企网站建设合同/深圳网站设计公司

文章目录一.原型链机制1. 原型链的本质2. 引用类型的构造函数3. 基本类型的包装类二. 对象与属性1. 对象直接打点验证某个属性是否存在4. instanceof 运算符三. 继承1. 原型链继承2. 构造函数继承3. 组合继承一.原型链机制 1. 原型链的本质 只要是对象&#xff0c;一定有原型…...

编程日记 2025/2/7 7:35:19

娄底市网站建设制作/chrome谷歌浏览器

一个组织拥有多个用户&#xff0c;一个组织有多个角色&#xff0c;一个角色有多个组织 package com.eshore.ismp.permission.model;import java.io.Serializable; import java.util.ArrayList; import java.util.Date; import java.util.HashSet; import java.util.List; impor…...

编程日记 2025/2/7 2:26:41