在迁移学习中，只有fine-tune和基于实例的迁移可用在小样本上吗，还有其他的小样本迁移方法吗？ 第1页
1
jindongwang 网友的相关建议:
你说的小样本迁移，指的是few-shot learning，还是目标域只有少量有标记数据的情况呢？
如果是few-shot learning，那这个领域已经很成熟了，可以直接用元学习方法来解。
如果是目标域只有很少量的有标记数据，那通常做法都是finetune，或者在finetune过程中加入一些控制机制，例如调节样本权重，动态调节学习率，加入课程学习等等。总的来说都是在finetune的大框架下进行的操作。
这是由于目标域小样本带来了过拟合问题，使得我们必须有针对性的设计学习策略。
所以你的问题的焦点就是如何减小过拟合现象。在这个方面，我们也做了一些工作，近期就会开源。主要思想是利用Transformer结构，插入adapter层，来避免过拟合。同时，我们采用了元学习和融合学习的方法进行小样本迁移，在语音识别任务取得了提高。
1
相关话题
双非小硕一枚 能否从事机器学习?为什么现在的CNN模型都是在GoogleNet、VGGNet或者AlexNet上调整的？
怎样计算两个服从高斯分布的向量乘积的期望？
如何看待 Nervana 被 Intel 收购？
能否训练一个AI模型来预测房价，寻找投资机会挖掘价值洼地？
大家推荐一下，哪些学校的导师有在做量化交易、股票预测的？
如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ?
为什么计算机科学专业背景的人喜欢黑机器学习？
如何评价华为天才少年钟钊团队成功开启了 AutoML 大规模商用的先河？什么是 AutoML？
如何判断两个Deep Learning 数据集的数据分布是否一致？
前一个讨论
怎么才能有尤雨溪一半强，该怎么学习？
相关的话题
求通俗解释下bandit老虎机到底是个什么东西？这一波人工智能泡沫将会怎么破灭？
主动学习(Active learning)算法的原理是什么，有哪些比较具体的应用？
PyTorch中在反向传播前为什么要手动将梯度清零？
在迁移学习中，只有fine-tune和基于实例的迁移可用在小样本上吗，还有其他的小样本迁移方法吗？
Learning To Rank的pair wise方法如何得到全局排序结果呢？
马上计算机研一，想问一下机器学习、深度学习…大家都是怎么入门的？
目前强化学习在控制领域的应用有哪些？
人工智能领域有哪些精妙的数学原理？
机器学习中的机器是如何分辨哪些是有用的知识，哪些是没用的信息呢？
为什么我学过微积分、线性代数和概率论，还是看不懂机器学习？
Apple 在设备端对儿童色情图片检测，你怎么看这项功能？
在迁移学习中，只有fine-tune和基于实例的迁移可用在小样本上吗，还有其他的小样本迁移方法吗？
应届硕士毕业生如何拿到知名互联网公司算法岗（机器学习、数据挖掘、深度学习） offer？
ICML 2018 有哪些值得关注的亮点?
计量经济学是不是过时了？
时间序列数据上可以抽取哪些频域特征？
双非小硕一枚 能否从事机器学习?
什么是无监督学习？
如何看待2016年3月柯洁表示 AlphaGo「赢不了我」？
ICLR 2022有哪些值得关注的投稿？
经过足够长的时间， AlphaGo 的棋谱能收敛到一张上吗？
知识图谱+nlp，有什么适合硕士独自研究的方向？
2021年了，机器学习有什么高质量的专著?
xgboost原理？
如何评价2020年计算机视觉顶会CVPR投稿量破万的现象？
数据挖掘、机器学习、自然语言处理这三者是什么关系？这几个怎么入门啊？
神经网络中 warmup 策略为什么有效；有什么理论解释么？
本科数学，目前在读计算机研一，毕业的时候想要应聘数据挖掘工程师，看了对数据挖掘工程师的招聘要求，感觉太宽泛了，希望能具体说一下现在应该准备哪些知识（算法？编程语言？其他？），谢谢！
如何看待字节跳动 AI 实验室总监李磊入职 UCSB？