当前位置： 首页 > news >正文

论文阅读：MultiUI 利用网页UI进行丰富文本的视觉理解

news 文章来源：https://blog.csdn.net/jinselizhi/article/details/143322867 2025/1/12 1:54:08

《HARNESSING WEBPAGE UIS FOR TEXT-RICH VISUAL UNDERSTANDING》
利用网页UI进行丰富文本的视觉理解

总结

  • grounding和QA部分的数据集占比较大、同时消融实验显示其作用相对较大，并且grounding部分作用和效果呈现scaling正相关
  • 提供了很多web数据处理成多模态训练集的prompt、思路等、提供了开源代码：https://neulab.github.io/MultiUI/

1、前言

  • 1M URLs
  • 2个平台
  • 3种能力：视觉理解和推理、文本识别、定位

在这里插入图片描述

  • 基于充分结构化的网页来合成多模态指令数据集

在这里插入图片描述

2、数据集构建

  • 数据集通过4步构造

在这里插入图片描述

  • 9个任务的具体设计【重点】

在这里插入图片描述

数据分布

  • grounding数据占 3M/7.3M ~ 41%，mobile的grounding占mobile数据的 47.8%
  • 其次占比最多的是 WebQA、ImgQA

在这里插入图片描述

  • Grounding和action的一些数据示例

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

3、实验设置

  • 模型结构

在这里插入图片描述

  • 训练策略：两阶段训练

在这里插入图片描述

  • Benchmark

在这里插入图片描述

4、实验结果分析

  • GUI相关任务的实验结果
    • 没有把Seeclick模型在SSpot上的结果放出来（mobile-0.657）；

在这里插入图片描述

  • GUI grounding的能力和数据集大小存在正相关关系
    在这里插入图片描述
  • 消融实验说明了 加入grounding数据集对于screenspot评测集的必要性

在这里插入图片描述

  • 两阶段训练效果更优、提升2点左右

在这里插入图片描述

相关文章：

论文阅读：MultiUI 利用网页UI进行丰富文本的视觉理解

《HARNESSING WEBPAGE UIS FOR TEXT-RICH VISUAL UNDERSTANDING》 利用网页UI进行丰富文本的视觉理解 总结 grounding和QA部分的数据集占比较大、同时消融实验显示其作用相对较大，并且grounding部分作用和效果呈现scaling正相关提供了很多web数据处理成多模态训练…...

编程日记 2024/10/30 19:54:45

【云原生】云原生后端详解：架构与实践

目录 引言一、云原生后端的核心概念1.1 微服务架构1.2 容器化1.3 可编排性1.4 弹性和可伸缩性 二、云原生后端的架构示意图三、云原生后端的最佳实践3.1 使用服务网格3.2 监控与日志管理3.3 CI/CD 流水线3.4 安全性 总结参考资料 引言 随着云计算的迅猛发展，云原生…...

编程日记 2024/10/30 19:53:44

MySQL覆盖索引

覆盖索引（Covering Index）是数据库优化中的一种重要技术 覆盖索引是指一个查询语句在执行时，所需的数据可以完全通过索引来获取，而无需访问实际的数据行。也就是说，查询语句所需的列都包含在了创建的索引中&#xff0c…...

编程日记 2024/10/30 19:51:34

「C/C++」C/C++ 之 循环结构详解

✨博客主页何曾参静谧的博客📌文章专栏「C/C」C/C程序设计📚全部专栏「VS」Visual Studio「C/C」C/C程序设计「UG/NX」BlockUI集合「Win」Windows程序设计「DSA」数据结构与算法「UG/NX」NX二次开发「QT」QT5程序设计「File」数据文件格式「PK」Parasoli…...

编程日记 2024/10/30 19:43:24

json-server的基本使用

一、json-server工具的使用 可以快速的搭建符合RESTful API服务。返回符合RESTful规范的数据； 1、全局引入json-server包 npm install -g json-server2、创建json格式的db.json文件 {"jsonData": [{"name": "小明"}] }3、在json文…...

编程日记 2024/10/30 19:42:22

华为配置BFD状态与接口状态联动实验

组网图形 图1 配置BFD状态与接口状态联动组网图 BFD简介配置注意事项组网需求配置思路操作步骤配置文件 BFD简介 为了减小设备故障对业务的影响，提高网络的可靠性，网络设备需要能够尽快检测到与相邻设备间的通信故障，以便及时采取措施&…...

编程日记 2024/10/30 19:40:19

计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-22

计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-22 目录 文章目录 计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-10-22目录1. PoisonedRAG: Knowledge corruption attacks to retrieval-augmented generation of large language models摘要创新点…...

编程日记 2024/10/30 19:38:14

理解消息队列

消息队列（Message Queue）有下面四大作用： 解耦。几个业务系统之间可以通过 MQ 解耦，例如做数据同步数据的顺序性和可恢复性异步通讯缓冲能力 理解 MQ MQ 的前两个特点且不说，我们看看另外两个的。 异步通讯&#x…...

编程日记 2024/10/30 19:37:12

!什么，matlab也有网页版了

已经脱离matlab一下下几天的困境了，是的，matlab也有网页版了 附上网址： MATLAB Login | MATLAB & Simulink...

编程日记 2024/10/30 19:36:11

安卓屏幕息屏唤醒

背景，今天遇项目需要，需要在下载在后台任务运行时（如下载、上传或进行长时间计算），保持 CPU 活动，然后就写了这个实现方法，废话不多说上代码 第一步，再清单AndroidManifest文件声明权…...

编程日记 2024/10/30 19:35:10

类文件具有错误的版本 61.0, 应为 55.0

启动项目的时候报这个错误. 项目所使用的redis版本是jdk17的，而我使用的是Java11.所以要将redis版本降下来。 另一种方式就是修改jdk的版本，在设置修改编译版本，在版本控制里面修改jdk的版本。...

编程日记 2024/10/30 19:34:09

vue点击菜单，出现2个相同tab,啥原因

点击菜单，出现相同的tab 出现的原因： 1.组件中的name 和配置路由文件js, 的大小写不一致导致 2、跳转的路由整个地址，大小写不一致大致...

编程日记 2024/10/30 19:29:51

【网络原理】——图解HTTPS如何加密（通俗简单易懂）

阿华代码，不是逆风，就是我疯 你们的点赞收藏是我前进最大的动力！！ 希望本文内容能够帮助到你！！ 目录 一：HTTP为什么不安全 二：HTTPS加密过程 1：密码学中的概念 &…...

编程日记 2024/10/30 19:27:47

CentOS 修改服务器登录密码的完整指南

个人名片 🎓作者简介：java领域优质创作者 🌐个人主页：码农阿豪 📞工作室：新空间代码工作室（提供各种软件服务） 💌个人邮箱：[2435024119qq.com] &#x1f4f1…...

编程日记 2024/10/30 19:26:45

【PnP】详细公式推导，使用DLT直接线性变换法求解相机外参

文章目录 🚀PnP1️⃣ 求解不考虑尺度的解2️⃣ 恢复解的尺度3️⃣ 另一种解法 🚀PnP PnP(Perspective-n-Point)是求解3D到2D点相机外参的算法。PnP算法有DLT直接线性变换、P3P三对点估计位姿、EPnP(Efficient PnP)、BA(Bundle Adjustment)光速法平差。这…...

编程日记 2024/10/30 19:22:32

怎样把书上的事件图改编成活动图-《分析模式》漫谈43

DDD领域驱动设计批评文集 做强化自测题获得“软件方法建模师”称号 《软件方法》各章合集 《分析模式》中模型图的UML改编，之前也有人做过，Martin Fowler网站上给出了部分改编成果。 这些改编成果只覆盖了部分章节，而且只是把类型图&#…...

编程日记 2024/10/30 19:21:31

CodeFormer——基于代码本查找变换器的鲁棒盲人脸修复翻译

文章目录 原文翻译摘要1 Introduction2 Related Work3 Methodology3.1 Codebook Learning (Stage I)3.2 Codebook Lookup Transformer Learning (Stage II)3.3 Controllable Feature Transformation (Stage III) 4 Experiments4.1 Datasets4.2 Experimental Settings and Metri…...

编程日记 2024/10/30 19:20:29

监控场景下，视频SDK的应用策略

在当今数字化、智能化的时代背景下，音视频技术的快速发展正深刻改变着各行各业。特别是在监控领域，音视频SDK的应用不仅极大地提升了监控系统的性能与效率，还推动了监控技术的智能化转型。 一、音视频SDK 音视频SDK是一套集成了音视频编解码…...

编程日记 2024/10/30 19:18:27

前端面试必备！HTML 超实用考点全解析

在前端开发的广阔领域中，面试是检验开发者能力的关键环节。而 HTML 作为前端开发的基础，在面试中常常占据重要地位。无论是初入前端领域的新人，还是经验丰富的开发者，都可能在 HTML 的相关问题上遭遇挑战。今天，就让我…...

编程日记 2024/10/30 19:16:24

自动驾驶系统研发系列—避免事故的利器：AEB自动紧急制动系统详解

🌟🌟 欢迎来到我的技术小筑，一个专为技术探索者打造的交流空间。在这里，我们不仅分享代码的智慧，还探讨技术的深度与广度。无论您是资深开发者还是技术新手，这里都有一片属于您的天空。让我们在知识的海洋中一起航行，共同成长，探索技术的无限可能。 🚀 探索专栏：学…...

编程日记 2024/10/30 19:14:19

zabbix 6.0 监控clickhouse(单机）

zabbix 6.0 LTS已经包含了clickhouse的监控模板，所以我们可以直接使用自带的模板来监控clickhouse了。 0.前置条件 clickhouse 已经安装，我安装的是24.3.5.47zabbix-agent 已经安装并配置。系统是ubuntu 2204 server 1. 新建监控用户 使用xml的方式为…...

编程日记 2024/10/30 19:13:15

Redis的RDB执行原理

文章目录 引入‘页表’的概念Copy-On-WriteRDB快照 引入‘页表’的概念 Linux里面每个进程都是无法直接操作物理内存的，每个进程只能用页表映射本进程的虚拟内存到物理内存的映射。 bgsave的时候，主进程会fork（复制）一个子进程&am…...

编程日记 2024/10/30 19:12:14

速度背！24下软考网工“经典100道母题来了”！

2024下软考已经迫在眉睫了，准备考下半年软考多媒体应用设计师的小伙伴们准备得怎么样了？ 单单只啃书肯定不太够，今天给大家整理了多媒体100道经典题， 这些都是历年高频考点整理，包含24下软考80%以上考点，跟…...

编程日记 2024/10/30 19:04:06

three.js 纹理（Texture）、深度纹理（DepthTexture）、视频纹理（VideoTexture）

纹理（Texture） 创建一个纹理贴图，将其应用到一个表面，或者作为反射/折射贴图。 构造函数 Texture( image, mapping, wrapS, wrapT, magFilter, minFilter, format, type, anisotropy, encoding ) // load a texture, set wrap…...

编程日记 2024/10/30 19:03:05

广东自闭症全托机构：提供高质量的康复服务

在广东这片充满活力的土地上，自闭症儿童的康复需求日益受到社会各界的关注。在众多自闭症全托机构中，位于广州的星贝育园自闭症儿童寄宿制学校以其专业的团队、全面的服务体系以及显著的康复成效，成为了众多家庭的信赖之选。 星贝育园&#…...

编程日记 2024/10/30 19:01:02

Nodejs安装配置及创建vue项目

文章目录 Node简介Node官网安装node.js验证是否安装成功 npm简介配置node远程拉取仓库安装cnpm（国内插件管理命令）npm相关参数解读 vue简介创建vue项目 Node 简介 Node.js 是一个免费、开源、跨平台的 JavaScript 运行时环境，它让开发人员能…...

编程日记 2024/10/30 19:00:01

浅析正交投影矩阵和透视投影矩阵的推导

先上矩阵的内容。在opengl中，分别通过glOrtho函数和glFrustum函数得到正交投影矩阵和透视投影矩阵。 glOrtho 函数描述生成正交投影矩阵。 (左、 下、 近) 和 (右、 上、 近) 参数分别指定近剪裁平面上映射到窗口左下角和右上角的点，假定眼睛位于 (0、0…...

编程日记 2024/10/30 18:57:59

python四舍五入保留两位小数不足补0

在 Python 中，当你想要对数字进行四舍五入并保留两位小数，同时确保当小数位数不足两位时能够补零，你可以继续使用 round() 函数进行四舍五入，然后在格式化输出时使用字符串格式化方法来确保小数位数。 round() 函数本身只会返回四…...

编程日记 2024/10/30 18:56:57

Mybatis-15.动态SQL-if

一.动态SQL 比如只想查询名字中带‘张’的&#xff0c;其他的都不进行条件筛查 会发现什么也查询不出来 我们希望SQL语句能够根据我们所输入的查询值进行动态的变化&#xff0c;就需要使用到动态SQL。动态SQL中有很多标签&#xff0c;其中用于条件判断的就是标签<if>。…...

编程日记 2024/10/30 18:55:56

gb28181-sip注册流程

gb28181-sip注册流程 当客户端第一次接入时&#xff0c;客户端将持续向Server端发送REGISTER消息&#xff0c;直到Server端回复"200 OK"后结束 它的注册流程如下图&#xff1a; 注册流程&#xff1a; 1 . SIP代理向SIP服务器发送Register请求&#xff1a; 第1行表…...

编程日记 2024/10/30 18:54:54

网站建设要什么知识/网店运营工资一般多少

快速了解K4B2G1646F-BYK0K4B2G1646F-BYK0组织为16Mbit x16 I / O x8 bank设备。对于一般应用&#xff0c;该同步器件可实现高达1866Mb / sec / pin&#xff08;DDR3-1866&#xff09;的高速双倍数据速率传输速率。该芯片的设计符合以下关键DDR3 SDRAM特性&#xff0c;例如发布的…...

编程日记 2025/1/12 1:21:51

免费b2b电子商务网/宁波seo免费优化软件

临时研究了下机器视觉两个基本算法的算法原理 &#xff0c;可能有理解错误的地方&#xff0c;希望发现了告诉我一下 主要是了解思想&#xff0c;就不写具体的计算公式之类的了 &#xff08;一&#xff09; ICP算法&#xff08;Iterative Closest Point迭代最近点&#xff09; I…...

编程日记 2025/1/11 21:35:06

沙田做网站/微商怎样让客源主动加你

CSS初学感觉很简单&#xff0c;但随着学习的深入才感觉CSS的水由多深&#xff0c;平常总会遇到各种坑&#xff0c;先总结一些经常遇到的坑 大小写不敏感 虽然我们平时在写CSS的时候都是用小写&#xff0c;但其实CSS并不是大小写敏感的 .test{background-COLOR:#a00;width:100px…...

编程日记 2025/1/11 20:24:25

网站开发 外包公司/百度官网电话客服24小时

要求&#xff1a;仅使用jQuery提交表单和后台交互&#xff0c;不使用基于jQuery的表单插件 方式1、取到页面控件的值后拼接放在data中&#xff0c;传递到后台 页面代码&#xff1a; 1 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http…...

编程日记 2025/1/11 20:10:18

濮阳网站建设哪里便宜/百度点击器找名风

Fedora安装Nvidia G105M&#xff08;使用RPMFusion驱动&#xff09;2010-9-15日更新 计算机配置&#xff1a; 显卡&#xff1a;Nvidia G105M 网卡&#xff1a; Alheros AR8121/AR8113/AR8114 无线&#xff1a;Intel5100 安装好Fedora12-13&#xff08;使用PAE内核&#xff09;以…...

编程日记 2025/1/11 14:01:34

塑料袋销售做哪个网站推广好/代码优化

Hexo 我的博客到目前为止&#xff0c;可以分为3个阶段&#xff1a;博客园->Octopress->Hexo 我并没有经历过经典的WordPress的阶段&#xff0c;考虑到买域名、租VPS的费用&#xff0c;及麻烦程度。 我博客园的CSS经历过两次大修改&#xff0c;我一直寻求一种较为Geek风格…...

编程日记 2025/1/11 12:42:23