当前位置：首页 > news >正文

论文解读(12)-Transfer Learning

news 文章来源：https://blog.csdn.net/weixin_63767221/article/details/140839303 2025/1/13 3:07:40

这个也是看论文的时候看到的，但是对这方面不是理解，需要对这方面知识点进行一个补充。

参考：

迁移学习概述（Transfer Learning）-CSDN博客

1. 什么是Transfer Learning？

Transfer Learning就是迁移学习：
因为标注数据是一项枯燥且花费巨大的任务，因此就要想办法进行废物利用。

如何将一个数据集的数据可以应用于另一个新的任务，这就是迁移学习

Transfer Learning Definition:
Ability of a system to recognize and apply knowledge and skills learned in previous domains/tasks to novel domains/tasks.

目标：将某个领域或任务上学习到的知识或模式应用到不同但相关的领域或问题中。

2. 三大问题

用什么迁移（what to transfer）
如何进行迁移（how to transfer）
何时适合迁移（when to transfer）

3. 如何迁移

3.1 基于实例的迁移

基于实例的迁移学习研究的是，如何从源领域中挑选出，对目标领域的训练有用的实例，比如对源领域的有标记数据实例进行有效的权重分配，让源域实例分布接近目标域的实例分布，从而在目标领域中建立一个分类精度较高的、可靠地学习模型。
因为，迁移学习中源领域与目标领域的数据分布是不一致，所以源领域中所有有标记的数据实例不一定都对目标领域有用。戴文渊等人提出的TrAdaBoost算法就是典型的基于实例的迁移。
在这里插入图片描述

（这个就是从数据下手，想办法让旧数据能够适应新的问题，比如筛选或者变换等等）

3.2 基于特征的迁移

寻找源领域于目标领域之间的共同特征

特征映射：
在这里插入图片描述

3.3 基于共享参数的迁移

如何找到源数据和目标数据的空间模型之间的共同参数或者先验分布，从而可以通过进一步处理，达到知识迁移的目的，假设前提是，学习任务中的的每个相关模型会共享一些相同的参数或者先验分布。

4. 模型的预训练

其实预训练的过程就是一种迁移学习，想办法转移到一个具体的问题领域上

因此第一层feature称之为一般(general)特征，最后一层称之为特定(specific)特征

详细内容，需要看参考的那篇博客。