在迁移学习中，只有fine-tune和基于实例的迁移可用在小样本上吗，还有其他的小样本迁移方法吗？ 第1页
1
jindongwang 网友的相关建议:
你说的小样本迁移，指的是few-shot learning，还是目标域只有少量有标记数据的情况呢？
如果是few-shot learning，那这个领域已经很成熟了，可以直接用元学习方法来解。
如果是目标域只有很少量的有标记数据，那通常做法都是finetune，或者在finetune过程中加入一些控制机制，例如调节样本权重，动态调节学习率，加入课程学习等等。总的来说都是在finetune的大框架下进行的操作。
这是由于目标域小样本带来了过拟合问题，使得我们必须有针对性的设计学习策略。
所以你的问题的焦点就是如何减小过拟合现象。在这个方面，我们也做了一些工作，近期就会开源。主要思想是利用Transformer结构，插入adapter层，来避免过拟合。同时，我们采用了元学习和融合学习的方法进行小样本迁移，在语音识别任务取得了提高。
1
相关话题
学习人工智能，术语看不懂怎么办？是不是并不是所有问题都适合用神经网络预测？
机器学习中使用正则化来防止过拟合是什么原理？
为什么机器学习解决网络安全问题总是失败?
什么是迁移学习 (Transfer Learning)？这个领域历史发展前景如何？
先进的图像识别怎样改变 AV 产业？
因果推断（causal inference）是回归（regression）问题的一种特例吗？
在哪里能找到各行业的分析研究报告？
如何看待微软小冰写的诗？
机器学习专家与统计学家观点上有哪些不同？
前一个讨论
怎么才能有尤雨溪一半强，该怎么学习？
相关的话题
如何看待Kaggle最新比赛Zillow禁止中国居民参加第二轮？为什么softmax很少会出现[0.5，0.5]？
在你做推荐系统的过程中都遇到过什么坑？
用 Python 进行数据分析，不懂 Python，求合适的 Python 书籍或资料推荐？
有什么深度学习数学基础书推荐？
加州大学伯克利分校为何能连续孵化出 Mesos,Spark,Alluxio,Ray 等重量级开源项目?
如何评价《Science》封面文章《通过概率规划归纳的人类层次概念学习》?
如何评价Yann LeCun 说的「要研究机器学习，本科应尽量多学物理和数学课」？
机器学习包含哪些学习思想？
有哪些深度学习效果不如传统方法的经典案例？
对自己深度学习方向的论文有idea，可是工程实践能力跟不上，实验搞不定怎么办？
机器通过主动学习能为人类生活带来怎样的改变？
有没有哪些人工的工作是无法被机器替代的？
面试官如何判断面试者的机器学习水平？
如何看待西安电子科技大学偷偷给贫困生打钱，大数据精准帮助贫困生是否值得推广？
AAAI 2022有哪些值得关注的方向？
为什么在实际的kaggle比赛中，GBDT和Random Forest效果非常好？
三维重建怎么入门？
国内目前的量化交易是否很少涉及到机器学习？
金融学及金融从业者如何应对人工智能和大数据？
我应该从计算机视觉回到做FPGA 吗？
如何评价亚马逊AI新开源自动机器学习项目AutoGluon?
主动学习（Active Learning）近几年的研究有哪些进展，现在有哪些代表性成果？
现在tensorflow和mxnet很火，是否还有必要学习scikit-learn等框架？
如果人工智能迎来下一个寒冬，你认为会是卡在什么问题上？
大家推荐一下，哪些学校的导师有在做量化交易、股票预测的？
神经网络中 warmup 策略为什么有效；有什么理论解释么？
在统计学领域有哪些经典奠基性的论文？
医学生学习机器学习该如何入门？
想问下专业人士 OpenCv会被深度学习进一步取代吗进一步取代吗？