在迁移学习中，只有fine-tune和基于实例的迁移可用在小样本上吗，还有其他的小样本迁移方法吗？ 第1页
1
jindongwang 网友的相关建议:
你说的小样本迁移，指的是few-shot learning，还是目标域只有少量有标记数据的情况呢？
如果是few-shot learning，那这个领域已经很成熟了，可以直接用元学习方法来解。
如果是目标域只有很少量的有标记数据，那通常做法都是finetune，或者在finetune过程中加入一些控制机制，例如调节样本权重，动态调节学习率，加入课程学习等等。总的来说都是在finetune的大框架下进行的操作。
这是由于目标域小样本带来了过拟合问题，使得我们必须有针对性的设计学习策略。
所以你的问题的焦点就是如何减小过拟合现象。在这个方面，我们也做了一些工作，近期就会开源。主要思想是利用Transformer结构，插入adapter层，来避免过拟合。同时，我们采用了元学习和融合学习的方法进行小样本迁移，在语音识别任务取得了提高。
1
相关话题
是否有可能使用人工智能在高原、戈壁和沙漠中进行工业生产？深度学习到底是「实验科学」还是「理论科学」？能否称为「算法」？
如何评价Hinton组的新工作SimCLR?
如果 2台 alphago 不断对战，是否会不断的强大？
机器学习算法进行分类时，样本极度不平衡，评估模型要看哪些指标？
语音识别中，声学模型与语言模型扮演什么角色？或者说是怎么通过两个模型进行语音识别的?
分类机器学习中，某一标签占比太大（标签稀疏），如何学习？
有哪些职业容易被人工智能替代？
能分享你收藏的国外AI talk, seminar平台或网站吗？
人工智能技术会不会最终赶上微积分的历史地位？
前一个讨论
怎么才能有尤雨溪一半强，该怎么学习？
相关的话题
生成对抗网络的毕设怎么上手？在统计学领域有哪些经典奠基性的论文？
基于深度学习的自然语言处理在 2016 年有哪些值得期待的发展？
TensorFlow 有哪些令人难以接受的地方？
如何评价余凯创立的horizon robotics？
如何评价CVPR2019程序主席Derek Hoiem的论点：计算机视觉只是记忆，不是智能？
如何评价Kaiming He团队的MoCo v3？
在迁移学习中，只有fine-tune和基于实例的迁移可用在小样本上吗，还有其他的小样本迁移方法吗？
计算商品embedding然后平均得到用户embedding，会不会存在这种问题？
写深度学习代码是先写model还是dataset还是train呢，有个一般化的顺序吗？
研一，在学机器学习和深度学习，为什么感觉越学越不会，怎么解决这个问题？
请解释下variational inference？
机器学习中有哪些形式简单却很巧妙的idea？
学习机器学习有哪些好工具推荐？
AI在网络安全领域（尤其是威胁检测领域），有什么好的应用场景？
2019年，计算机视觉领域，你推荐哪些综述性的文章？
机器学习中非均衡数据集的处理方法？
如何评价陈天奇团队新开源的TVM？
Yoshua Bengio为什么能跟Hinton、LeCun相提并论？？
机器通过主动学习能为人类生活带来怎样的改变？
如果用机器学习的理论来理解人的行为，会有什么发现？
研究推荐系统要对NLP很了解吗？
算法研究属于数学专业还是计算机专业？
现代人工神经网络是不是一个死胡同？这个技术是不是骗人的？
2019年，计算机视觉领域，你推荐哪些综述性的文章？
为什么ViT里的image patch要设计成不重叠？
如何评价论文「Stochastic Training is Not Necessary ...」?
有什么算法能对一个长短不一的时间序列进行分类预测?
如何评价李飞飞和李佳加盟谷歌？
如何解读「量子计算应对大数据挑战：中国科大首次实现量子机器学习算法」？