在迁移学习中，只有fine-tune和基于实例的迁移可用在小样本上吗，还有其他的小样本迁移方法吗？ 第1页
1
jindongwang 网友的相关建议:
你说的小样本迁移，指的是few-shot learning，还是目标域只有少量有标记数据的情况呢？
如果是few-shot learning，那这个领域已经很成熟了，可以直接用元学习方法来解。
如果是目标域只有很少量的有标记数据，那通常做法都是finetune，或者在finetune过程中加入一些控制机制，例如调节样本权重，动态调节学习率，加入课程学习等等。总的来说都是在finetune的大框架下进行的操作。
这是由于目标域小样本带来了过拟合问题，使得我们必须有针对性的设计学习策略。
所以你的问题的焦点就是如何减小过拟合现象。在这个方面，我们也做了一些工作，近期就会开源。主要思想是利用Transformer结构，插入adapter层，来避免过拟合。同时，我们采用了元学习和融合学习的方法进行小样本迁移，在语音识别任务取得了提高。
1
相关话题
有哪些解决完之后让你拍案叫绝的算法问题？如何才能看得懂变分贝叶斯方法（Variational Bayesian）？
能分享你收藏的国外AI talk, seminar平台或网站吗？
如何评价 MLSys 这个会议？
有监督和无监督学习都各有哪些有名的算法和深度学习？
如何理解压缩感知(compressive sensing)？
当前（2020年）机器学习中有哪些研究方向特别的坑？
大四年级，完全没接触过高数，目前对机器学习产生浓厚兴趣，该如何学习数学？
有没有值得推荐的随机森林 Random Forest教材？
机器学习，深度神经网络等方法是否是正确的方向？
前一个讨论
怎么才能有尤雨溪一半强，该怎么学习？
相关的话题
有什么深度学习数学基础书推荐？Transformer在工业界的应用瓶颈如何突破？
自学深度学习是怎样一种体验？
UCLA 的朱松纯教授是一个什么样的人？
为什么熵值最大的分布状态是正态分布而不是均匀分布？
GAN生成的数据没有标签怎么用来训练分类模型？
是不是机器学习的框架都偏向 Python ？如果是，为什么？
有没有哪些人工的工作是无法被机器替代的？
如何评价百度自动驾驶 ApolloAuto 在 Github 上发布的代码？
谷歌翻译原理是什么，从语言A到B，中间是否要翻译成中介语言C（如英语）？
AI领域的灌水之风如何破局？
什么是主动学习（Active Learning, AL）？
机器学习算法进行分类时，样本极度不平衡，评估模型要看哪些指标？
如何简单理解贝叶斯决策理论（Bayes Decision Theory）？
如何看待Hinton的论文《Dynamic Routing Between Capsules》？
如何看待李国杰院士在科学网发文称，国内 AI 研究「顶不了天、落不了地」，该想想了？
李航的统计学习方法，吴恩达的视频，关于机器学习的东西都看不懂是怎么回事？
从今年校招来看，机器学习等算法岗位应届生超多，竞争激烈，未来 3-5 年机器学习相关就业会达到饱和吗？
为什么相比于计算机视觉(cv)，自然语言处理(nlp)领域的发展要缓慢？
如何看待Yoav Goldberg 怒怼来自MILA的GAN for NLG的paper?
求通俗解释下bandit老虎机到底是个什么东西？
如何看待AI伦理科学家Timnit Gebru在邮件控诉谷歌缺乏种族多样性后被Jeff Dean炒掉？
word2vec 相比之前的 Word Embedding 方法好在什么地方？
wasserstein 距离的问题?
机器通过主动学习能为人类生活带来怎样的改变？
在中小学阶段设置人工智能相关课程对于培养人工智能人才具有哪些意义？如何推进会比较有效？
人工「神经网络」技术在信息处理上有何特点，工作原理是什么？
为什么deep lab v3起，输出不再接 DenseCRF了？
时间序列数据上可以抽取哪些频域特征？
如何理解空洞卷积（dilated convolution）？