在迁移学习中，只有fine-tune和基于实例的迁移可用在小样本上吗，还有其他的小样本迁移方法吗？ 第1页
1
jindongwang 网友的相关建议:
你说的小样本迁移，指的是few-shot learning，还是目标域只有少量有标记数据的情况呢？
如果是few-shot learning，那这个领域已经很成熟了，可以直接用元学习方法来解。
如果是目标域只有很少量的有标记数据，那通常做法都是finetune，或者在finetune过程中加入一些控制机制，例如调节样本权重，动态调节学习率，加入课程学习等等。总的来说都是在finetune的大框架下进行的操作。
这是由于目标域小样本带来了过拟合问题，使得我们必须有针对性的设计学习策略。
所以你的问题的焦点就是如何减小过拟合现象。在这个方面，我们也做了一些工作，近期就会开源。主要思想是利用Transformer结构，插入adapter层，来避免过拟合。同时，我们采用了元学习和融合学习的方法进行小样本迁移，在语音识别任务取得了提高。
1
相关话题
什么是博弈机器学习？机器学习，深度神经网络等方法是否是正确的方向？
为什么小模型已经可以很好地拟合数据集了，换大模型效果却要比小模型好？
PRML为何是机器学习的经典书籍中的经典？
想问下专业人士 OpenCv会被深度学习进一步取代吗进一步取代吗？
2021年了，机器学习有什么高质量的专著?
经过足够长的时间， AlphaGo 的棋谱能收敛到一张上吗？
机器学习为生物学和医学研究带来了哪些改变？能解决哪些医学难题？
如何通俗易懂地介绍 Gaussian Process？
神经网络中，bias有什么用，为什么要设置bias，当加权和大于某值时，激活才有意义？
前一个讨论
怎么才能有尤雨溪一半强，该怎么学习？
相关的话题
目前工业界常用的推荐系统模型有哪些？机器学习能否用于综合评价？具体怎么操作？
计算机视觉中，目前有哪些经典的目标跟踪算法？
只有正样本和未标签数据的机器学习怎么做？
既然使用神经网络也可以解决分类问题，那SVM、决策树这些算法还有什么意义呢？
如何评价MXNet发布的1.0版本？
计算机视觉有多少分支？
现在tensorflow和mxnet很火，是否还有必要学习scikit-learn等框架？
在中小学阶段设置人工智能相关课程对于培养人工智能人才具有哪些意义？如何推进会比较有效？
如何学习视频识别技术？
有哪些你看了以后大呼过瘾的数据分析书？
既然使用神经网络也可以解决分类问题，那SVM、决策树这些算法还有什么意义呢？
如何评价Hinton组的新工作SimCLR?
看完麻省理工博士胡渊鸣用代码实现「冰雪奇缘」后，自己陷入了深深的自卑，如何排解这种情绪？
用于数据挖掘的聚类算法有哪些，各有何优势？
如何理解 inductive learning 与 transductive learning?
神经网络的万能逼近定理已经发展到什么地步了？
什么是反事实分析呀？
为啥gan里面几乎不用pooling？
未来五年，数据科学家（Data Scientist）的岗位需求会如何变化？
主动学习(Active learning)算法的原理是什么，有哪些比较具体的应用？
DeepMind 团队中有哪些厉害的人物和技术积累？
面试官如何判断面试者的机器学习水平？
机器学习领域是否已经达到饱和？
特征工程中的「归一化」有什么作用？
机器学习中的机器是如何分辨哪些是有用的知识，哪些是没用的信息呢？
全连接层的作用是什么？
深度学习应用在哪些领域让你觉得「我去，这也能行！」？
如何评价 NVIDIA 最新技术 5 秒训练 NERF？
编写基于机器学习的程序，有哪些编写和调试的经验和窍门？