在迁移学习中，只有fine-tune和基于实例的迁移可用在小样本上吗，还有其他的小样本迁移方法吗？ 第1页
1
jindongwang 网友的相关建议:
你说的小样本迁移，指的是few-shot learning，还是目标域只有少量有标记数据的情况呢？
如果是few-shot learning，那这个领域已经很成熟了，可以直接用元学习方法来解。
如果是目标域只有很少量的有标记数据，那通常做法都是finetune，或者在finetune过程中加入一些控制机制，例如调节样本权重，动态调节学习率，加入课程学习等等。总的来说都是在finetune的大框架下进行的操作。
这是由于目标域小样本带来了过拟合问题，使得我们必须有针对性的设计学习策略。
所以你的问题的焦点就是如何减小过拟合现象。在这个方面，我们也做了一些工作，近期就会开源。主要思想是利用Transformer结构，插入adapter层，来避免过拟合。同时，我们采用了元学习和融合学习的方法进行小样本迁移，在语音识别任务取得了提高。
1
相关话题
《失控玩家》中的游戏有可能实现出来吗？如何评价 Kaiming 团队新作 Masked Autoencoders (MAE)？
cygwin和mingw选哪个？
机器学习该怎么入门？
机器学习中的 Bias（偏差）、Error（误差）、Variance（方差）有什么区别和联系？
三位物理学家与陶哲轩发现的特征向量全新求解公式，会给机器学习领域带来怎样的变化？
如何看待北京交通大学学生在 ATM 机内学习?
常用的机器学习算法比较？
如何看待Kaggle最新比赛Zillow禁止中国居民参加第二轮？
如果 2台 alphago 不断对战，是否会不断的强大？
前一个讨论
怎么才能有尤雨溪一半强，该怎么学习？
相关的话题
要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？如何全面理解工程师红利？
如何评价Google发布的第二代深度学习系统TensorFlow?
为什么读论文最好打印出来读？
熵权法确定权重的原理是不是因为它仅依赖于数据本身的离散性?
Transformer在工业界的应用瓶颈如何突破？
关于材料计算，模拟，仿真什么区别?
如何看待多模态transformer，是否会成为多模态领域的主流？
深度学习方面还有什么Open Problem?
除了深度学习，机器学习领域近年来还有什么热点吗？
未来20年，新技术将从哪些方面改变人的消费方式？
如何系统学习机器学习？
2020到2021年小样本学习取得重大进展了吗？
深度学习有哪些好玩的案例？
如果推出一款有「滤镜」功能的写作软件，修饰平庸的文字，会有市场吗？
三门问题(蒙提霍尔悖论)变种，如果主持人不知道哪个门是汽车随便蒙门打开正好是羊这时观众还需要换门吗？
t-sne数据可视化算法的作用是啥？为了降维还是认识数据？
Transformer是如何处理可变长度数据的？
隐马尔可夫模型在金融领域应用前景如何？
Jacobian矩阵和Hessian矩阵的作用是什么？
为什么C4.5决策树能处理连续特征，ID3树不能处理连续特征？
人工智能在发展到极高的程度之后能否算得上是一种生命？
如何证明对任意给定的正数e，存在M上的矩阵范数||A||，满足不等式||A||<=谱半径+e?
欧洲有哪些统计机器学习比较强的大学或者研究院的？？
机器学习中使用正则化来防止过拟合是什么原理？
精确率、召回率、F1 值、ROC、AUC 各自的优缺点是什么？
如何评价微软新出的自拍软件 Microsoft Selfie？
如何看待Yoav Goldberg 怒怼来自MILA的GAN for NLG的paper?
想问下专业人士 OpenCv会被深度学习进一步取代吗进一步取代吗？
为什么CV能做到让一幅人脸图动了笑了，而NLP的text-style-transfer进展貌似一般？