在迁移学习中，只有fine-tune和基于实例的迁移可用在小样本上吗，还有其他的小样本迁移方法吗？ 第1页
1
jindongwang 网友的相关建议:
你说的小样本迁移，指的是few-shot learning，还是目标域只有少量有标记数据的情况呢？
如果是few-shot learning，那这个领域已经很成熟了，可以直接用元学习方法来解。
如果是目标域只有很少量的有标记数据，那通常做法都是finetune，或者在finetune过程中加入一些控制机制，例如调节样本权重，动态调节学习率，加入课程学习等等。总的来说都是在finetune的大框架下进行的操作。
这是由于目标域小样本带来了过拟合问题，使得我们必须有针对性的设计学习策略。
所以你的问题的焦点就是如何减小过拟合现象。在这个方面，我们也做了一些工作，近期就会开源。主要思想是利用Transformer结构，插入adapter层，来避免过拟合。同时，我们采用了元学习和融合学习的方法进行小样本迁移，在语音识别任务取得了提高。
1
相关话题
不觉得最大熵原理很奇怪吗？如何将某个分布作为机器学习的特征？
人工智能已在哪些领域超越了人类的表现？
cygwin和mingw选哪个？
什么是蒙特卡罗 Dropout(Monte-Carlo Dropout)？
有人说「真正的人工智能至少还要几百年才能实现」，真的是这样吗？
如何评价李飞飞和李佳加盟谷歌？
如何用简单易懂的例子解释条件随机场（CRF）模型？它和HMM有什么区别？
你见过最差的算法工程师能差到什么程度？
我们目前的时代距离人工智能具有自我意识还有多远？
前一个讨论
怎么才能有尤雨溪一半强，该怎么学习？
相关的话题
多任务学习成功的原因是引入了别的数据库还是多任务框架本身呢？如何评价新Nature子刊Nature Machine Intelligence的出现？
如何系统学习机器学习？
机器学习在理论经济学研究中有哪些可能的应用前景？
如何看待AI伦理科学家Timnit Gebru在邮件控诉谷歌缺乏种族多样性后被Jeff Dean炒掉？
二次型的意义是什么？有什么应用？
什么是迁移学习 (Transfer Learning)？这个领域历史发展前景如何？
Dirichlet Processes 是一个什么样的随机过程？
为什么熵值最大的分布状态是正态分布而不是均匀分布？
如何看待 AI 方向 PhD 申请竞争过于激烈的现象？
三门问题(蒙提霍尔悖论)变种，如果主持人不知道哪个门是汽车随便蒙门打开正好是羊这时观众还需要换门吗？
如何看待北京交通大学学生在 ATM 机内学习?
如何用简单易懂的例子解释条件随机场（CRF）模型？它和HMM有什么区别？
如何评价2020年计算机视觉顶会CVPR投稿量破万的现象？
参加kaggle竞赛是怎样一种体验？
超越人类的人工智能 (AI) 是否能够实现？
UCLA 的朱松纯教授是一个什么样的人？
为什么softmax很少会出现[0.5，0.5]？
如何理解Inductive bias？
如何评价B站UP主未明子宣称“知乎搞机器学习模拟拉康的程序员”具备“头脑上的悲剧”？
机器学习的算法和普通《算法导论》里的算法有什么本质上的异同？
如何理解attention中的Q,K,V？
机器学习以及贝叶斯统计里，关于近似intractable integral，大家都偏爱什么算法？
既然使用神经网络也可以解决分类问题，那SVM、决策树这些算法还有什么意义呢？
语义网所谓的“本体”的具体例子是什么？
当初的生物热，和如今的全民CS全民AI，让你想到了什么？
为什么softmax很少会出现[0.5，0.5]？
为什么在SGD中使用L1正则化很难获得稀疏性？
各种机器学习算法的应用场景分别是什么（比如朴素贝叶斯、决策树、K 近邻、SVM、逻辑回归最大熵模型）？
如何评价 Kaiming 团队新作 Masked Autoencoders (MAE)？