在迁移学习中，只有fine-tune和基于实例的迁移可用在小样本上吗，还有其他的小样本迁移方法吗？ 第1页
1
jindongwang 网友的相关建议:
你说的小样本迁移，指的是few-shot learning，还是目标域只有少量有标记数据的情况呢？
如果是few-shot learning，那这个领域已经很成熟了，可以直接用元学习方法来解。
如果是目标域只有很少量的有标记数据，那通常做法都是finetune，或者在finetune过程中加入一些控制机制，例如调节样本权重，动态调节学习率，加入课程学习等等。总的来说都是在finetune的大框架下进行的操作。
这是由于目标域小样本带来了过拟合问题，使得我们必须有针对性的设计学习策略。
所以你的问题的焦点就是如何减小过拟合现象。在这个方面，我们也做了一些工作，近期就会开源。主要思想是利用Transformer结构，插入adapter层，来避免过拟合。同时，我们采用了元学习和融合学习的方法进行小样本迁移，在语音识别任务取得了提高。
1
相关话题
多因子模型是否真的可以带来阿尔法（alpha）？AAAI 2022有哪些值得关注的方向？
LSTM如何来避免梯度弥散和梯度爆炸？
在统计学领域有哪些经典奠基性的论文？
什么是反事实分析呀？
请解释下variational inference？
参加kaggle竞赛是怎样一种体验？
如何用一句话证明自然语言处理很难？
GAN（对抗生成网络）可以被用于哪些（商业或潜在商业）实际问题？
有什么算法能对一个长短不一的时间序列进行分类预测?
前一个讨论
怎么才能有尤雨溪一半强，该怎么学习？
相关的话题
主题模型(topic model)到底还有没有用，该怎么用？简单解释一下sparse autoencoder, sparse coding和restricted boltzmann machine的关系？
深度学习中Attention与全连接层的区别何在？
如何用简单易懂的例子解释隐马尔可夫模型？
如何看待多模态transformer，是否会成为多模态领域的主流？
机器学习如何才能避免「只是调参数」？
机器学习里面的流形都是怎么用的？
为什么说股票不能通过机器学习来预测？
为什么做stacking之后，准确率反而降低了？
如何评价DeepMind新提出的MuZero算法？
全连接层的作用是什么？
什么是无监督学习？
工程师简历写着「在微软传播性病」，骗过了 90% 公司的机器筛选，机器筛选简历那么不靠谱吗？
如果用机器学习的理论来理解人的行为，会有什么发现？
分类机器学习中，某一标签占比太大（标签稀疏），如何学习？
Yann LeCun、Geoffrey Hinton或Yoshua Bengio能得图灵奖吗？
推荐系统应该如何保障推荐的多样性？
三门问题(蒙提霍尔悖论)变种，如果主持人不知道哪个门是汽车随便蒙门打开正好是羊这时观众还需要换门吗？
为什么在SGD中使用L1正则化很难获得稀疏性？
共轭是指 ‘先验分布与后验分布共轭“ ，还是指 "先验分布与似然函数共轭“？
如何看待周志华等人的新书《机器学习理论导引》？
attention跟一维卷积的区别是啥？
如何看待swin transformer成为ICCV2021的 best paper？
如何看待Capsule Network在NLP领域的潜力？
人工「神经网络」技术在信息处理上有何特点，工作原理是什么？
用 Python 进行数据分析，不懂 Python，求合适的 Python 书籍或资料推荐？
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？
人工智能被高估了吗？
在迁移学习中，只有fine-tune和基于实例的迁移可用在小样本上吗，还有其他的小样本迁移方法吗？
三位物理学家与陶哲轩发现的特征向量全新求解公式，会给机器学习领域带来怎样的变化？