在迁移学习中，只有fine-tune和基于实例的迁移可用在小样本上吗，还有其他的小样本迁移方法吗？ 第1页
1
jindongwang 网友的相关建议:
你说的小样本迁移，指的是few-shot learning，还是目标域只有少量有标记数据的情况呢？
如果是few-shot learning，那这个领域已经很成熟了，可以直接用元学习方法来解。
如果是目标域只有很少量的有标记数据，那通常做法都是finetune，或者在finetune过程中加入一些控制机制，例如调节样本权重，动态调节学习率，加入课程学习等等。总的来说都是在finetune的大框架下进行的操作。
这是由于目标域小样本带来了过拟合问题，使得我们必须有针对性的设计学习策略。
所以你的问题的焦点就是如何减小过拟合现象。在这个方面，我们也做了一些工作，近期就会开源。主要思想是利用Transformer结构，插入adapter层，来避免过拟合。同时，我们采用了元学习和融合学习的方法进行小样本迁移，在语音识别任务取得了提高。
1
相关话题
如何评价李飞飞和李佳加盟谷歌？在Lasso中，oracle property指的是什么性质？
在Auto ML的冲击下，ML算法人员是否会在前者成熟后失业的情况？
人工智能技术会不会最终赶上微积分的历史地位？
机器学习中有哪些形式简单却很巧妙的idea？
要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？
请问机器学习中的预测与决策的区别是什么，他们的界限在哪里呢？
可以对只有一个像素的图片拥有版权或著作权吗？为什么？
有哪些你看了以后大呼过瘾的数据分析书？
金融学及金融从业者如何应对人工智能和大数据？
前一个讨论
怎么才能有尤雨溪一半强，该怎么学习？
相关的话题
有谁给解释一下流形以及流形正则化？如何看待 Deepmind 宣称最新版 AlphaGo 能让李世乭版本 AlphaGo 三子？
算法研究属于数学专业还是计算机专业？
为什么最近几年 FPGA 变得越发受大家重视了？
做底层 AI 框架和做上层 AI 应用，哪个对自己的学术水平（或综合能力）促进更大？
搞机器学习的生环化材是天坑吗？
能识别情绪的机器人可以算做有情感的机器人吗？
自然语言处理怎么最快入门？
如何看待 Alex Smola 加入 Amazon？
机器学习以及贝叶斯统计里，关于近似intractable integral，大家都偏爱什么算法？
对自己深度学习方向的论文有idea，可是工程实践能力跟不上，实验搞不定怎么办？
做底层 AI 框架和做上层 AI 应用，哪个对自己的学术水平（或综合能力）促进更大？
当前人工智能特别是深度学习最前沿的研究方向是什么？
如何看待微软小冰写的诗？
机器学习相关岗位面试中，有哪些加（zhuang）分（bi）项？
如何看待 Alex Smola 加入 Amazon？
机器学习里面的流形都是怎么用的？
什么是主动学习（Active Learning, AL）？
阿里的TDM树深度模型为什么很少有人用，是有哪些问题吗？
人们是如何想到奇异值分解的？
《失控玩家》中的游戏有可能实现出来吗？
有哪些优秀的深度学习入门书籍？需要先学习机器学习吗？
如何看待 AI 方向 PhD 申请竞争过于激烈的现象？
你实践中学到的最重要的机器学习经验是什么？
人工智能被高估了吗？
阿里的TDM树深度模型为什么很少有人用，是有哪些问题吗？
新手如何入门pytorch？
研究推荐系统要对NLP很了解吗？
目前的人工智能离可以自己给自己写代码编程还有多远？
NLP文本匹配问题的本质是不是 对于要预测的句子，遍历候选句子 从训练数据集里寻找最相似的pair？