在迁移学习中，只有fine-tune和基于实例的迁移可用在小样本上吗，还有其他的小样本迁移方法吗？ 第1页
1
jindongwang 网友的相关建议:
你说的小样本迁移，指的是few-shot learning，还是目标域只有少量有标记数据的情况呢？
如果是few-shot learning，那这个领域已经很成熟了，可以直接用元学习方法来解。
如果是目标域只有很少量的有标记数据，那通常做法都是finetune，或者在finetune过程中加入一些控制机制，例如调节样本权重，动态调节学习率，加入课程学习等等。总的来说都是在finetune的大框架下进行的操作。
这是由于目标域小样本带来了过拟合问题，使得我们必须有针对性的设计学习策略。
所以你的问题的焦点就是如何减小过拟合现象。在这个方面，我们也做了一些工作，近期就会开源。主要思想是利用Transformer结构，插入adapter层，来避免过拟合。同时，我们采用了元学习和融合学习的方法进行小样本迁移，在语音识别任务取得了提高。
1
相关话题
如何将某个分布作为机器学习的特征？在中小学阶段设置人工智能相关课程对于培养人工智能人才具有哪些意义？如何推进会比较有效？
神经网络中 warmup 策略为什么有效；有什么理论解释么？
数据挖掘、机器学习、自然语言处理这三者是什么关系？这几个怎么入门啊？
机器学习，深度神经网络等方法是否是正确的方向？
如果你是面试官，你怎么去判断一个面试者的深度学习水平？
AI领域的灌水之风如何破局？
神经网络中，bias有什么用，为什么要设置bias，当加权和大于某值时，激活才有意义？
Deep Learning 的专家如此急缺，它难在何处？
深度学习领域有哪些瓶颈？
前一个讨论
怎么才能有尤雨溪一半强，该怎么学习？
相关的话题
工程师简历写着「在微软传播性病」，骗过了 90% 公司的机器筛选，机器筛选简历那么不靠谱吗？GAN:固定训练好的判别器网络，去指导训练生成器为什么不可以？
各种机器学习算法的应用场景分别是什么（比如朴素贝叶斯、决策树、K 近邻、SVM、逻辑回归最大熵模型）？
如何评价新Nature子刊Nature Machine Intelligence的出现？
为什么 Non-Convex Optimization 受到了越来越大的关注？
如果有第谷的数据，现在的机器学习，深度学习有办法学出开普勒三定律吗？
如何看待 Richard Sutton 说的「人工智能中利用算力才是王道」？
如何学习视频识别技术？
如何才能看得懂变分贝叶斯方法（Variational Bayesian）？
目前强化学习在控制领域的应用有哪些？
机器学习的解释模型存在嘛？
scikit-learn, tensorflow, pytorch真的只需要查下API，不需要学吗?
学习python中的pandas有没有好的教程推荐？
新手如何实现个简单AutoML框架。有参考的github开源项目介绍吗？
机器学习小白来提问：关于联邦学习FedAVG和FedSGD的问题？
学习机器学习有哪些好工具推荐？
NLP文本匹配问题的本质是不是 对于要预测的句子，遍历候选句子 从训练数据集里寻找最相似的pair？
ICLR 2022有哪些值得关注的投稿？
在中小学阶段设置人工智能相关课程对于培养人工智能人才具有哪些意义？如何推进会比较有效？
AI领域的灌水之风如何破局？
attention跟一维卷积的区别是啥？
南京大学LAMDA（周志华）组的实力如何？
2021 年各家大厂的 AI Lab 现状如何？
如何用简单易懂的例子解释条件随机场（CRF）模型？它和HMM有什么区别？
测试集在构造的时候需要人为控制其中应该正确的和应该错误的数据比例吗？
从算法的角度来看，Elsagate 事件暴露出了「自动推荐」的哪些问题，该如何规避？
机器学习中的优化理论，需要学习哪些资料才能看懂？
为什么 Non-Convex Optimization 受到了越来越大的关注？
为什么神经网络具有泛化能力？
深度学习底层开发对数学有哪些要求？