迁移学习（Transfer Learning）是机器学习中的一种方法，旨在将从一个任务或领域（源域）中学到的知识迁移到另一个相关但不同的任务或领域（目标域）中，以提升目标任务的性能或减少训练成本。其核心思想是：利用已有知识解决新问题。

核心概念
1、源域（Source Domain）：已有大量标注数据的领域或任务（如ImageNet图像分类）。
2、目标域（Target Domain）：数据较少或标注成本高的新任务（如医学影像分类）。
3、迁移方式：通过共享模型参数、特征表示或模型结构，将源域的知识迁移到目标域。

常见迁移学习场景
1、领域自适应（Domain Adaptation）
源域和目标域任务相同，但数据分布不同（如真实照片→卡通图片分类）。
2、跨任务迁移（Task Transfer）
源任务和目标任务不同但相关（如用图像分类模型训练目标检测模型）。
3、多任务学习（Multitask Learning）
同时学习多个相关任务，共享部分模型参数。

迁移学习方法
1、基于模型的迁移
微调（Finetuning）：在预训练模型（如ResNet、BERT）基础上，用目标域数据调整部分或全部参数。
固定特征提取：仅使用预训练模型的前几层作为特征提取器，后续层重新训练。

2、基于特征的迁移
将源域和目标域数据映射到同一特征空间（如通过对抗训练减少分布差异，如DANN算法）。

3、基于关系的迁移
适用于数据间存在相似关系（如社交网络中的用户行为迁移）。

4、对抗迁移学习
使用生成对抗网络（GAN）或领域对抗训练（如DANN）对齐源域和目标域的特征分布。

典型应用场景
计算机视觉：用ImageNet预训练模型迁移到医疗影像、卫星图像等小众领域。
自然语言处理（NLP）：BERT、GPT等预训练模型通过微调适配下游任务（如文本分类、问答）。
语音识别：跨语言或跨口音的模型迁移。
推荐系统：跨平台用户行为迁移（如电商→视频推荐）。

优势与挑战
优势：
减少对目标域数据量的依赖。
加速模型训练，降低计算成本。
提升小样本任务的性能。

挑战：
负迁移（Negative Transfer）：源域与目标域差异过大导致性能下降。
领域差异的量化与对齐。
如何选择可迁移的层次或参数。

实践建议
1、选择合适的预训练模型：领域相关性越高，迁移效果越好（如用生物医学文本预训练的BioBERT处理医疗NLP任务）。
2、数据预处理：对目标域数据做归一化或增强，使其接近源域分布。
3、分层微调：优先调整模型高层（任务相关层），冻结底层（通用特征层）。
4、评估迁移效果：通过交叉验证或领域差异指标（如MMD）监控性能。

迁移学习是解决数据稀缺问题的利器，尤其在深度学习时代，预训练模型（如ViT、LLaMA）的普及使其成为工业界和研究的标配技术。