当前位置： 首页 > news >正文

SeeSR: Towards Semantics-Aware Real-World Image Super-Resolution

news 2026/2/7 20:14:36
  • CVPR2024 香港理工大学&OPPO&bytedance
  • https://github.com/cswry/SeeSR?tab=readme-ov-file#-license
  • https://arxiv.org/pdf/2311.16518#page=5.80
  1. 问题引入
  • 因为有些LR退化情况比较严重，所以超分之后的结果会出现语义的不一致的情况，所以本文训练了degradationaware prompt extractor来提取soft and hard semantic prompts辅助超分模型；
  • 在inference的过程中LR也参与了；
  1. methods
    在这里插入图片描述
  • 分为两个阶段，第一个阶段训练DAPE来从LR中提取对应的语义特征，包含soft(feature和hard(tag两个级别，训练的目标是使HR和LR对应的输出尽可能相似；第二个阶段是使用得到的语义信息来进行超分任务；
  • 对应HR-LR数据对 x , y x,y x,y，其中 y y y是对 x x x进行degradation得到的，之后分别输入到DAPE模型中得到 f x r e p , f x l o g i t s , f y r e p , f y l o g i t s f_x^{rep},f_x^{logits},f_y^{rep},f_y^{logits} fxrep​,fxlogits​,fyrep​,fylogits​，DAPE模型是从tag预训练模型初始化而来，最后的损失是 L D A P E = L r ( f y r e f , f x r e p ) + λ L l ( f y l o g i t s , f x l o g i t s ) L_{DAPE}=L_r(f_y^{ref},f_x^{rep}) + \lambda L_l(f_y^{logits},f_x^{logits}) LDAPE​=Lr​(fyref​,fxrep​)+λLl​(fylogits​,fxlogits​)， L r L_r Lr​是MSE损失， L l L_l Ll​是cross entropy损失，两部分损失中logits部分损失受到模型thresh值设定的影响，所以使用representation部分进行补充；
  • 超分网络在原始SD模型的基础上新增了representation和image作为条件，分别对应representation cross attention模块和controlnet模块，其中representation cross attention添加到text cross attn模块后面；
  • LR Embedding in Inference：推理的时候往常是随机初始化的噪声，但是本文是对LR添加噪声来进行噪声初始化；
  1. 实验
    在这里插入图片描述

相关文章：

SeeSR: Towards Semantics-Aware Real-World Image Super-Resolution

CVPR2024 香港理工大学&OPPO&bytedancehttps://github.com/cswry/SeeSR?tabreadme-ov-file#-licensehttps://arxiv.org/pdf/2311.16518#page5.80 问题引入 因为有些LR退化情况比较严重，所以超分之后的结果会出现语义的不一致的情况，所以本文训…...

编程日记 2024/7/1 23:41:15

七月论文审稿GPT第5版：拿我司七月的早期paper-7方面review数据集微调LLama 3

前言 llama 3出来后，为了通过paper-review的数据集微调3，有以下各种方式 不用任何框架 工具 技术，直接微调原生的llama 3，毕竟也有8k长度了 效果不期望有多高，纯作为baseline通过PI，把llama 3的8K长度扩展…...

编程日记 2024/7/1 23:40:02

盘古5.0，靠什么去解最难的题？

文｜周效敬 编｜王一粟 当大模型的竞争开始拼落地，商业化在B端和C端都展开了自由生长。 在B端，借助云计算向千行万业扎根；在C端，通过软件App和智能终端快速迭代。 在华为，这家曾经以通信行业起…...

编程日记 2024/7/1 23:37:50

2.3章节Python中的数值类型

1.整型数值 2.浮点型数值 3.复数   Python中的数值类型清晰且丰富，主要分为以下几种类型，每种类型都有其特定的用途和特性。 一、整型数值 1.定义：整数类型用于表示整数值，如1、-5、100等。 2.特点： Python 3中的…...

编程日记 2024/7/1 23:35:41

每日Attention学习7——Frequency-Perception Module

模块出处 [link] [code] [ACM MM 23] Frequency Perception Network for Camouflaged Object Detection 模块名称 Frequency-Perception Module (FPM) 模块作用 获取频域信息，更好识别伪装对象 模块结构 模块代码 import torch import torch.nn as nn import to…...

编程日记 2024/7/1 23:34:40

【从0实现React18】 (五) 初探react mount流程 完成核心递归流程

更新流程的目的： 生成wip fiberNode树标记副作用flags 更新流程的步骤： 递：beginWork归：completeWork 在 上一节 ，我们探讨了 React 应用在首次渲染或后续更新时的整体更新流程。在 Reconciler 工作流程中&#xff…...

编程日记 2024/7/1 23:33:40

0-30 VDC 稳压电源，电流控制 0.002-3 A

怎么运行的 首先，有一个次级绕组额定值为 24 V/3 A 的降压电源变压器，连接在电路输入点的引脚 1 和 2 上。（电源输出的质量将直接影响与变压器的质量成正比）。变压器次级绕组的交流电压经四个二极管D1-D4组成的电桥整流。桥输出端…...

编程日记 2024/7/1 23:32:38

HTML5+CSS3+JS小实例：图片九宫格

实例：图片九宫格 技术栈：HTML+CSS+JS 效果： 源码： 【HTML】 <!DOCTYPE html> <html lang="zh-CN"> <head><meta charset="UTF-8"><meta name="viewport" content="width=device-width, initial-scale=1…...

编程日记 2024/7/1 23:31:37

湘潭大学软件工程数据库总结

文章目录 前言试卷结构给学弟学妹的一些参考自己的一些总结 前言 自己可能很早很早之前就准备复习了&#xff0c;但是感觉还是没有学到要点&#xff0c;主要还是没啥紧迫的压力&#xff0c;我们是三月份开学&#xff0c;那时候实验室有朋友挺认真开始学习数据库了&#xff0c;…...

编程日记 2024/7/1 23:30:36

Codeforces Testing Round 1 B. Right Triangles 题解 组合数学

Right Triangles 题目描述 You are given a n m nm nm field consisting only of periods (‘.’) and asterisks (‘*’). Your task is to count all right triangles with two sides parallel to the square sides, whose vertices are in the centers of ‘*’-cells. …...

编程日记 2024/7/1 23:29:35

怎样将word默认Microsoft Office，而不是WPS

设置——>应用——>默认应用——>选择"word"——>将doc和docx都选择Microsoft Word即可...

编程日记 2024/7/1 23:28:34

C语言之进程的学习2

Env环境变量&#xff08;操作系统的全局变量&#xff09;...

编程日记 2024/7/1 23:26:30

web使用cordova打包Andriod

一.安装Gradel 1.下载地址 Gradle Distributions 2.配置环境 3.测试是否安装成功 在cmd gradle -v 二.创建vite项目 npm init vitelatest npm install vite build 三.创建cordova项目 1.全局安装cordova npm install -g cordova 2. 创建项目 cordova create cordova-app c…...

编程日记 2024/7/1 23:25:29

内卷情况下，工程师也应该了解的项目管理

简介&#xff1a;大家好&#xff0c;我是程序员枫哥&#xff0c;&#x1f31f;一线互联网的IT民工、&#x1f4dd;资深面试官、&#x1f339;Java跳槽网创始人。拥有多年一线研发经验&#xff0c;曾就职过科大讯飞、美团网、平安等公司。在上海有自己小伙伴组建的副业团队&…...

编程日记 2024/7/1 23:24:27

【解锁未来：深入了解机器学习的核心技术与实际应用】

解锁未来&#xff1a;深入了解机器学习的核心技术与实际应用 &#x1f48e;1.引言&#x1f48e;1.1 什么是机器学习&#xff1f; &#x1f48e;2 机器学习的分类&#x1f48e;3 常用的机器学习算法&#x1f48e;3.1 线性回归&#xff08;Linear Regression&#xff09;&#x1…...

编程日记 2024/7/1 23:23:25

1-3.文本数据建模流程范例

文章最前&#xff1a; 我是Octopus&#xff0c;这个名字来源于我的中文名–章鱼&#xff1b;我热爱编程、热爱算法、热爱开源。所有源码在我的个人github &#xff1b;这博客是记录我学习的点点滴滴&#xff0c;如果您对 Python、Java、AI、算法有兴趣&#xff0c;可以关注我的…...

编程日记 2024/7/1 23:22:24

【FFmpeg】avformat_alloc_output_context2函数

【FFmpeg】avformat_alloc_output_context2函数 1.avformat_alloc_output_context21.1 初始化AVFormatContext&#xff08;avformat_alloc_context&#xff09;1.2 格式猜测&#xff08;av_guess_format&#xff09;1.2.1 遍历可用的fmt&#xff08;av_muxer_iterate&#xff0…...

编程日记 2024/7/1 23:20:21

Flask 缓存和信号

Flask-Caching Flask-Caching 是 Flask 的一个扩展&#xff0c;它为 Flask 应用提供了缓存支持。缓存是一种优化技术&#xff0c;可以存储那些费时且不经常改变的运算结果&#xff0c;从而加快应用的响应速度。 一、初始化配置 安装 Flask-Caching 扩展&#xff1a; pip3 i…...

编程日记 2024/7/1 23:19:20

基于weixin小程序农场驿站系统的设计

管理员账户功能包括&#xff1a;系统首页&#xff0c;个人中心&#xff0c;农场资讯管理&#xff0c;用户管理&#xff0c;卖家管理&#xff0c;用户分享管理&#xff0c;分享类型管理&#xff0c;商品信息管理&#xff0c;商品类型管理 开发系统&#xff1a;Windows 架构模式…...

编程日记 2024/7/1 23:16:16

JAVA将List转成Tree树形结构数据和深度优先遍历

引言&#xff1a; 在日常开发中&#xff0c;我们经常会遇到需要将数据库中返回的数据转成树形结构的数据返回&#xff0c;或者需要对转为树结构后的数据绑定层级关系再返回&#xff0c;比如需要统计当前节点下有多少个节点等&#xff0c;因此我们需要封装一个ListToTree的工具类…...

编程日记 2024/7/1 23:14:14

后进先出（LIFO）详解

LIFO 是 Last In, First Out 的缩写&#xff0c;中文译为后进先出。这是一种数据结构的工作原则&#xff0c;类似于一摞盘子或一叠书本&#xff1a; 最后放进去的元素最先出来 -想象往筒状容器里放盘子&#xff1a; &#xff08;1&#xff09;你放进的最后一个盘子&#xff08…...

编程新知 2026/2/5 15:43:28

工业安全零事故的智能守护者：一体化AI智能安防平台

前言&#xff1a; 通过AI视觉技术&#xff0c;为船厂提供全面的安全监控解决方案&#xff0c;涵盖交通违规检测、起重机轨道安全、非法入侵检测、盗窃防范、安全规范执行监控等多个方面&#xff0c;能够实现对应负责人反馈机制&#xff0c;并最终实现数据的统计报表。提升船厂…...

编程新知 2026/1/21 9:20:07

3.3.1_1 检错编码（奇偶校验码）

从这节课开始&#xff0c;我们会探讨数据链路层的差错控制功能&#xff0c;差错控制功能的主要目标是要发现并且解决一个帧内部的位错误&#xff0c;我们需要使用特殊的编码技术去发现帧内部的位错误&#xff0c;当我们发现位错误之后&#xff0c;通常来说有两种解决方案。第一…...

编程新知 2026/1/30 3:28:14

06 Deep learning神经网络编程基础 激活函数 --吴恩达

深度学习激活函数详解 一、核心作用 引入非线性：使神经网络可学习复杂模式控制输出范围：如Sigmoid将输出限制在(0,1)梯度传递：影响反向传播的稳定性二、常见类型及数学表达 Sigmoid σ ( x ) = 1 1 +...

编程新知 2025/11/17 21:48:26

CSS设置元素的宽度根据其内容自动调整

width: fit-content 是 CSS 中的一个属性值&#xff0c;用于设置元素的宽度根据其内容自动调整&#xff0c;确保宽度刚好容纳内容而不会超出。 效果对比 默认情况&#xff08;width: auto&#xff09;&#xff1a; 块级元素&#xff08;如 <div>&#xff09;会占满父容器…...

编程新知 2025/10/16 16:03:09

给网站添加live2d看板娘

给网站添加live2d看板娘 参考文献&#xff1a; stevenjoezhang/live2d-widget: 把萌萌哒的看板娘抱回家 (ノ≧∇≦)ノ | Live2D widget for web platformEikanya/Live2d-model: Live2d model collectionzenghongtu/live2d-model-assets 前言 网站环境如下&#xff0c;文章也主…...

编程新知 2026/2/1 4:23:19

系统掌握PyTorch：图解张量、Autograd、DataLoader、nn.Module与实战模型

本文较长&#xff0c;建议点赞收藏&#xff0c;以免遗失。更多AI大模型应用开发学习视频及资料&#xff0c;尽在聚客AI学院。 本文通过代码驱动的方式&#xff0c;系统讲解PyTorch核心概念和实战技巧&#xff0c;涵盖张量操作、自动微分、数据加载、模型构建和训练全流程&#…...

编程新知 2026/1/30 6:05:30

算法—栈系列

一&#xff1a;删除字符串中的所有相邻重复项 class Solution { public:string removeDuplicates(string s) {stack<char> st;for(int i 0; i < s.size(); i){char target s[i];if(!st.empty() && target st.top())st.pop();elsest.push(s[i]);}string ret…...

编程新知 2026/1/22 13:43:14

Java中栈的多种实现类详解

Java中栈的多种实现类详解&#xff1a;Stack、LinkedList与ArrayDeque全方位对比 前言一、Stack类——Java最早的栈实现1.1 Stack类简介1.2 常用方法1.3 优缺点分析 二、LinkedList类——灵活的双端链表2.1 LinkedList类简介2.2 常用方法2.3 优缺点分析 三、ArrayDeque类——高…...

编程新知 2025/12/3 1:36:31

C#中用于控制自定义特性（Attribute）

我们来详细解释一下 [AttributeUsage(AttributeTargets.Class, AllowMultiple false, Inherited false)] 这个 C# 属性。 在 C# 中&#xff0c;Attribute&#xff08;特性&#xff09;是一种用于向程序元素&#xff08;如类、方法、属性等&#xff09;添加元数据的机制。Attr…...

编程新知 2026/2/4 7:17:15