Language Adaptive Weight Generation for Multi-task Visual Grounding 论文阅读笔记

写在前面

  新的一周开始了，冲冲冲~
  这篇文章是 上一篇博文 的参考文献之一，遂找来读读，粗略一扫，论文创新点挺好的，可惜没有提供源代码。话说，上篇浙大的不开源，这篇难道也不开源吗？那以后可能得绕道了。。。

• 论文地址：Language Adaptive Weight Generation for Multi-task Visual Grounding
• 代码地址：原文未提供
• 收录于： CVPR 2023
• Ps：2023 年每周一篇博文阅读笔记，主页 更多干货，欢迎关注呀，期待 5 千粉丝有你的参与呦~

一、Abstract

  之前的方法通常以一种被动的方式利用视觉 Backbone，即以固定权重提取视觉特征，而没有表达式的参与。理想情况下，视觉 Backbone 应当主动根据表达式来提取视觉特征。于是本文基于语言自适应权重 Language Adaptive Weights（VG-LAW），提出一种主动感知视觉定位框架。通过不同表达式生成的动态权重将视觉 Backbone 作为一个特定表达式的特征提取器，不需要额外的跨模态交互模块。实验表明方法很有效。

二、引言

  首先指出视觉定位的含义，难点，应用。之前的方法通常采用通用的目标检测框架，且重点关注跨模态交互模块的设计。然而采用固定结构来提取视觉特征可能会导致提取出的视觉特征和表达式不匹配，例如存在缺失或冗余的特征。如下图所示：

一些特征可视化例子如下图所示：

  有一些方法已经注意到这一现象并提出相应的解决办法，例如 QRNet 和 LAVT， 通过嵌入设计的交互模块，例如 QD-ATT、PWAN 到每个阶段的末尾。然而这一先提取后调整的策略无法避免包含大量固定权重提取出来的特征。于是本文采用一种更简单且细粒度的计划来修改视觉 Backbone 的权重。如图 1 c 所示。
  本文基于语言自适应权重 Language Adaptive Weights（VG-LAW），提出一种主动感知视觉定位框架。通过将指代表达式注入权重中，从而动态调整视觉 Backbone 的权重。具体来说，VG-LAW 首先通过两个连续的特征聚合和权重生成得到语言特征的自适应权重，用于视觉 Backbone。然后语言感知的视觉 Backbone 能在无需手动修改视觉 Backbone 结构的情况下提取相关表达式的视觉特征，因此无需额外的跨模态融合。进一步地，基于表达式的相关特征，提出一种轻量、整洁的多任务预测头用于指代表达式理解 REC 和指代表达式分割 RES 任务。
  
  文本贡献总结如下：

• 基于语言自适应权重 Language Adaptive Weights（VG-LAW），提出一种主动感知视觉定位框架。能够在无需手动修改视觉 Backbone 框架的情况下主动地提取相关表达式的视觉特征。
• 能够直接用于 REC 和 RES 任务，无需设计跨模态注意力模块。
• 实验表明达到了 SOTA 的结果。

三、相关工作

3.1 指代表达式理解

  得益于注意力机制，最近基于 Transformer 的方法能够有效捕捉模态内部和模态间的上下文交互信息。

3.2 指代表达式分割

  最近的研究利用 Transformer 来实现跨模态交互，已达到优越的性能，但所有的这些方法要么通过调整输入，要么修改固定网络权重的结构来实现跨模态交互。

3.3 动态权重网络

  网络能够自适应地动态调整权重。根据其生成方式，大致分为三种：使用可学习的 embedding 或中间特征作为输入，使用全连接层直接生成动态权重；将可学习权重进行求和，这被认为是混合专家，可能会导致优化困难；用矩阵分解的方式得到权重，最终的权重通过计算一些矩阵的乘法生成。

四、方法

4.1 总览

  VG-LAW 框架由四个部分组成，语言 Backbone、语言自适应权重生成器、视觉 Backbone、多任务头。

  给定一个指代表达式，N 层的 BERT 语言编码器将表达式 tokenizes，再前置一个 [CLS] token，提取出语言特征 $F_l\in \times R^{L\times d_l}$，其中 $L$ 和 $d_l$ 分别表示 token 的数量和维度。之后将 $F_l$ 送入语言自适应权重生成器得到权重，用于视觉 Backbone。

  接下来，给定一张图像 $I\in \times R^{3\times H\times W}$，通过视觉 Backbone 提取出表达式感知的视觉特征 $F_v\in {\mathbb{R}}^{C\times \frac{H}{s}\times \frac{W}{s}}$，其中 $C$、$s$ 分别表示通道数量和步长。最后，将 [CLS] token 表示的语言特征 $F_l^1\in {\mathbb{R}}^{d_l}$ 和视觉特征送入多任务头中，预测指代表达式的 bounding box 和 mask。

4.2 语言自适应权重生成

语言特征聚合

  考虑到指代表达式对应的是不同数量的语言 tokens，且视觉 Backbone 的每层可能会倾向于不同的语言 tokens，于是尝试用固定尺寸聚合每层的语言特征。根据多头注意力机制，引入一个可学习的特定层 embedding $e_i\in {\mathbb{R}}^{d_l}$ 用于视觉 Backbone 的第 $i$ 层，动态提取特定层的语言特征。将 $e_i$ 和 $F_l$ 分为 $G$ 组，对于每一个组 $g$，令逐 token 注意力 ${\alpha }_i^g\in [0,1{]}^L$ 为 $e_i^g$ 和 $F_l^g$ 的 Softmax 点乘：
$${\alpha }_i^g=\mathrm{Softmax}([e_i^g\cdot F_l^{g,1},e_i^g\cdot F_l^{g,2},\cdots ,e_i^g\cdot F_l^{g,L}])$$然后对特征拼接得到聚合的语言特征 $h_0^i\in {\mathbb{R}}^{d_l}$：
$$h_0^{i,g}=\sum _{j=1}^L{\alpha }_i^{g,j}{F}_l^{g,j}$$最后，使用全连接层 (FC) 减少其维度，用于视觉 Backbone 的第 $i$ 层：
$$h_1^i=\delta (W_1^i{h}_0^i)$$其中 $W_1^i\in {\mathbb{R}}^{d_l\times d_h}$ 将维度降低为 $d_h=d_l/r$， $r$ 为减少比例，$\delta$ 表示 GeLU 激活函数。

权重生成

  基于指代表达式，生成语言自适应的权重用于生成视觉 Backbone 中的 qeury $X_q$，Key $X_k$，Value $X_v$：
$$X_q=\theta (X;W_q),X_k=\theta (X;W_k),X_v=\theta (X;W_v)$$其中 $\theta (\cdot ;W)$ 表示线性投影，$X$ 表示输入的视觉特征。$W_q,W_k,W_v\in {\mathbb{R}}^{d_{out}\times d_{in}}$ 是用于生成 query，key，value 的动态投影权重。$d_{in}$ 和 $d_{out}$ 是特征 $X$ 和 query/key/value 的维度。

  $d_{out}\times d_{in}$ 还不足以用全连接层直接生成权重，例如 Hypernetworks。通过 K 个静态核的加权求和生成权重，DynamicConv 和 CondConv 能够缓解这一问题，但很难优化。于是根据动态通道融合 dynamic channel fusion，尝试用矩阵分解的方法生成动态权重。拿第 $i$ 层的 ViT 块举例：
$$[W_q^i,W_k^i,W_v^i]=W_0^i+P\Phi (h_1^i)Q^T$$其中 $W_0^i\in {\mathbb{R}}^{d_{out}\times d_{in}}$ 为特定层的静态可学习权重。$P\in {\mathbb{R}}^{d_{out}\times d_w}$ 和 $Q\in {\mathbb{R}}^{d_{in}\times d_w}$ 也是静态可学习权重，在所有 ViT 块中共享。$\Phi (h_1^i)$ 为全连接层，以聚合的语言特征 $h_1^i$ 为输入，生成形状为 $d_w\times d_w$ 的动态矩阵。

dynamic channel fusion：Yunsheng Li, Yinpeng Chen, Xiyang Dai, Dongdong Chen, Ye Yu, Lu Yuan, Zicheng Liu, Mei Chen, Nuno Vasconcelos, et al. Revisiting dynamic convolution via matrix decomposition. In ICLR, 2020. 3, 4

4.3 多任务头

  多任务头中有两个分支分别用于 REC 和 RES 任务。

  对于 REC 分支，直接应用坐标回归来预测指代目标的 Bounding box。为了池化 $2-d$ 视觉特征，提出一个语言自适应的池化模块 language adaptive pooling module (LAP)，使用语言自适应的注意力来聚合视觉特征。具体来说，视觉特征 { F v i , j } ∈ R C × H s × W s {\{F_{v}^{i,j}\}}\in\mathbb{R}^{C\times\frac{H}{s}\times\frac{W}{s}} {Fvi,j​}∈RC×sH​×sW​ 和语言特征 $F_l^1\in {\mathbb{R}}^{d_l}$ 首先投影到低维度空间 ${\mathbb{R}}^k$，并计算其点乘相似度的 softmax 归一化后的注意力权重 $A\in {\mathbb{R}}^{\frac{H}{s}\times \frac{W}{s}}$。然后通过计算注意力权重 $A$ 的求和来聚合视觉特征。最后，将聚合后的视觉特征送入三层全连接层，Sigmoid 函数用于预测指代的 bounding box $\hat{b}=(\hat{x},\hat{y},\hat{w},\hat{h})$。

  对于 RES 分支，应用二分类沿着视觉特征的空间维度来预测指代目标的 mask。具体来说，视觉特征 $F_v$ 首先采用连续的转置卷积上采样到 $\widehat{F_v}\in {\mathbb{R}}^{d_l\times \frac{H}{4}\times \frac{W}{4}}$，然后在每个视觉特征上使用线性投影 $\theta (\cdot ;W)$ 得到中间的分割图 $\bar{s}\in {\mathbb{R}}^{\frac{H}{4}\times \frac{W}{4}}$，其中 $W=F_l^1$。最后在 $\bar{s}$ 上使用双线性插值上采样得到全分辨率分割 mask $\hat{s}\in {\mathbb{R}}^{H\times W}$，后接一个 Sigmoid 函数。

4.4 训练目标

  对于 REC，给定预测的 bounding box $\hat{b}=(\hat{x},\hat{y},\hat{w},\hat{h})$ 和 GT box $b=(x,y,w,h)$，检测损失为：
$${\mathcal{L}}_{det}={\lambda }_{L1}{\mathcal{L}}_{L1}(b,\hat{b})+{\lambda }_{giou}{\mathcal{L}}_{giou}(b,\hat{b})$$其中 ${\mathcal{L}}_{L1}(\cdot )$ 和 ${\mathcal{L}}_{giou}(\cdot )$ 分别表示 L1 损失和通用 IoU 损失，${\lambda }_{L1}$ 和 ${\lambda }_{giou}$ 为控制损失函数的相关权重。
  对于 RES，给定预测的 mask $\hat{s}$ 和 GT $s$，分割损失定义为：
$${\mathcal{L}}_{seg}={\lambda }_{focal}{\mathcal{L}}_{focal}(s,\hat{s})+{\lambda }_{dice}{\mathcal{L}}_{dice}(s,\hat{s})$$其中 ${\mathcal{L}}_{focal}(\cdot ,\cdot )$ 和 ${\mathcal{L}}_{dice}(\cdot ,\cdot )$ 分别表示 focal 损失和 DICE/F-1 损失，${\lambda }_{focal}$ 和 ${\lambda }_{dice}$ 为控制两个分割损失的相关权重。本文提出的框架可以同时训练 REC 和 RES 任务，其共同训练损失函数为：
$${\mathcal{L}}_{total}={\mathcal{L}}_{det}+{\mathcal{L}}_{seg}$$

五、实验

5.1 数据集和评估指标

数据集

  RefCOCO、RefCOCO+、RefCOCOg、ReferItGame。

评估指标

  分别使用 $Prec@0.5$ 和 $mIoU$ 来评估 REC 和 RES 的性能。

5.2 实施细节

训练

  输入图像尺寸 $448\times 448$。视觉 Backbone ViT-Base，采用 ViTDet 中的自适应方法将视觉 Backbone 应用于高分辨率图像。预训练使用 Mask R-CNN 在 MS-COCO 上，除去 val/test 子集。$W_0^i$ 和 $\Phi (h_1^i)$ 采用相应的视觉 Backbone 权重和 0 来初始化。表达式的最大长度 40， 无级联的 6 层 BERT 作为语言 Backbone 来提取语言特征。${\lambda }_{L1}$ 和 ${\lambda }_{giou}$ 设为 1，${\lambda }_{focal}$ 和 ${\lambda }_{dice}$ 设为 4。减少率 $r$ 设为 16。视觉和语言 Backbone 的初始学习率 $4e-5$，剩下部分的学习率 $4e-4$。AdamW 优化器，90 epochs，batch size 256，权重衰减 $1e-4$。在第 10 和 60 个 epochs 乘 10%。数据增强：水平翻转。NVIDIA A100 GPUs（不差钱）。

推理

  推理时，输入图像尺寸 $448\times 448$，表达式的最大长度 40。RES 的二值化阈值设为 0.35。无需后处理，直接输出 bounding box 和 分割 mask。

5.3 与 SOAT 方法的比较

REC 任务

RES 任务

指代表达式的长度分析

5.4 消融分析

5.5 定量分析

六、结论和限制

  基于语言自适应权重，本文提出一种主动感知框架 VG-LAW 用于视觉定位。VG-LAW 能够直接注入表达式的信息到视觉 Backbone 的权重中而无需修改其结构。实验效果很好。

  限制主要有两点：VG-LAW 在可解释性方面差，整体推理过程隐式，很难理解推理过程；多任务头一次预测一个实例，限制了其在短语定位中的应用。

写在后面

  这篇文章创新点很足，算是打开了另一种思路。写作上也不拖沓，就是代码能不能开源呀？这么好的文章就别藏着掖着了。看看人家 LAVT。