在迁移学习中，只有fine-tune和基于实例的迁移可用在小样本上吗，还有其他的小样本迁移方法吗？ 第1页
1
jindongwang 网友的相关建议:
你说的小样本迁移，指的是few-shot learning，还是目标域只有少量有标记数据的情况呢？
如果是few-shot learning，那这个领域已经很成熟了，可以直接用元学习方法来解。
如果是目标域只有很少量的有标记数据，那通常做法都是finetune，或者在finetune过程中加入一些控制机制，例如调节样本权重，动态调节学习率，加入课程学习等等。总的来说都是在finetune的大框架下进行的操作。
这是由于目标域小样本带来了过拟合问题，使得我们必须有针对性的设计学习策略。
所以你的问题的焦点就是如何减小过拟合现象。在这个方面，我们也做了一些工作，近期就会开源。主要思想是利用Transformer结构，插入adapter层，来避免过拟合。同时，我们采用了元学习和融合学习的方法进行小样本迁移，在语音识别任务取得了提高。
1
相关话题
如何看待谷歌研究人员提出的卷积正则化方法「DropBlock」？普通程序员如何正确学习人工智能方向的知识？
机器学习自嘲的炼丹和化学材料自嘲的炒菜有什么本质上的区别？
LSTM如何来避免梯度弥散和梯度爆炸？
怎样从机器学习模型中获取知识？
运维监控的KPI异常检测 业界有哪些实用方法？
算法工程师的落地能力具体指的是什么？
各种机器学习算法的应用场景分别是什么（比如朴素贝叶斯、决策树、K 近邻、SVM、逻辑回归最大熵模型）？
Transformer在工业界的应用瓶颈如何突破？
如何看待 Alex Smola 加入 Amazon？
前一个讨论
怎么才能有尤雨溪一半强，该怎么学习？
相关的话题
为什么softmax很少会出现[0.5，0.5]？在机器学习模型的训练期间，大概几十分钟到几小时不等，大家都会在等实验的时候做什么？
如果 2台 alphago 不断对战，是否会不断的强大？
Evidential deep learning里一般怎么估计多标签分类的Uncertainty？
如何评价 On Unifying Deep Generative Models 这篇 paper?
Yoshua Bengio为什么能跟Hinton、LeCun相提并论？？
如何看待Yoav Goldberg 怒怼来自MILA的GAN for NLG的paper?
在迁移学习中，只有fine-tune和基于实例的迁移可用在小样本上吗，还有其他的小样本迁移方法吗？
如何评价基于游戏毁灭战士（Doom）的AI死亡竞赛大赛结果？
有谁给解释一下流形以及流形正则化？
人工智能 CV 岗位是不是现在供严重大于需？
未来十年，AI 将可能与哪些产业结合应用？产生怎样的价值？
机器学习中使用正则化来防止过拟合是什么原理？
如何评价 DeepMind 在星际中的失利，以及 OpenAI 在 Dota 上的成功？
视觉算法的工业部署及落地方面的技术知识，怎么学？
常用的机器学习算法比较？
如何看待AI伦理科学家Timnit Gebru在邮件控诉谷歌缺乏种族多样性后被Jeff Dean炒掉？
有哪些比较好的机器学习、数据挖掘、计算机视觉的订阅号、微博或者是论坛？
如何把梯度传递过Argmax?
如何对用户进行聚类分析？
为什么梯度下降能找到最小值？
有哪些LSTM(Long Short Term Memory)和RNN(Recurrent)网络的教程？
机器学习算法工程师如何自己接项目单干、并赚取比上班多得多的收入？
如何看待 Nervana 被 Intel 收购？
在计算资源有限的情况下，有什么深度学习的选题可以推荐/避免？
如何评价 Self-Normalizing Neural Networks 这篇论文?
机器学习算法进行分类时，样本极度不平衡，评估模型要看哪些指标？
如何看待在某度搜不到megengine官网？
据说机器学习长于预测，计量经济学长于解释。有什么具体例子是机器学习完成了很好的预测却在解释上表现不好？
机器学习能否用于综合评价？具体怎么操作？