在迁移学习中，只有fine-tune和基于实例的迁移可用在小样本上吗，还有其他的小样本迁移方法吗？ 第1页
1
jindongwang 网友的相关建议:
你说的小样本迁移，指的是few-shot learning，还是目标域只有少量有标记数据的情况呢？
如果是few-shot learning，那这个领域已经很成熟了，可以直接用元学习方法来解。
如果是目标域只有很少量的有标记数据，那通常做法都是finetune，或者在finetune过程中加入一些控制机制，例如调节样本权重，动态调节学习率，加入课程学习等等。总的来说都是在finetune的大框架下进行的操作。
这是由于目标域小样本带来了过拟合问题，使得我们必须有针对性的设计学习策略。
所以你的问题的焦点就是如何减小过拟合现象。在这个方面，我们也做了一些工作，近期就会开源。主要思想是利用Transformer结构，插入adapter层，来避免过拟合。同时，我们采用了元学习和融合学习的方法进行小样本迁移，在语音识别任务取得了提高。
1
相关话题
想问下专业人士 OpenCv会被深度学习进一步取代吗进一步取代吗？cygwin和mingw选哪个？
到了 2022 年，人工智能有哪些真正可落地的应用？
支持向量机（SVM）是什么意思？
目前工业界常用的推荐系统模型有哪些？
机器学习中使用正则化来防止过拟合是什么原理？
人类大脑的聪慧程度以 IQ 为标准，那么人工智能的水平用什么指标来衡量呢？
算法工程师的落地能力具体指的是什么？
如何看待多模态transformer，是否会成为多模态领域的主流？
反馈控制理论在优化、机器学习等领域有哪些应用？
前一个讨论
怎么才能有尤雨溪一半强，该怎么学习？
相关的话题
怎么通过一维分布的随机样本推测原分布？知识图谱+nlp，有什么适合硕士独自研究的方向？
如何解读「量子计算应对大数据挑战：中国科大首次实现量子机器学习算法」？
对于技术岗位而言，开发岗累还是算法岗累呢？
为什么国家将加快人工智能研究生培养？又为什么很多研究生评论人工智能是个大坑呢？
985工科研一觉得快要退学了怎么办？
有哪些你看了以后大呼过瘾的数据分析书？
KL散度衡量的是两个概率分布的距离吗？
graph convolutional network有什么比较好的应用task？
DL/ML 模型如何部署到生产环境中？
多因子模型是否真的可以带来阿尔法（alpha）？
KL散度衡量的是两个概率分布的距离吗？
Python中 __init__的通俗解释是什么？
resnet（残差网络）的F（x）究竟长什么样子？
如何理解链接预测（link prediction）？
2021 年各家大厂的 AI Lab 现状如何？
Python中 __init__的通俗解释是什么？
运维监控的KPI异常检测 业界有哪些实用方法？
有哪些看了让你醍醐灌顶的书籍、论文、期刊，使你对如何做数据挖掘、特征工程、统计挖掘有了眉目？
Resnet到底在解决一个什么问题呢？
为什么CV能做到让一幅人脸图动了笑了，而NLP的text-style-transfer进展貌似一般？
如何可以通过自学来深入学习机器学习？
2019年NeurIPS有哪些糟糕的论文？
对神经网络某一层做了小改进，效果却提升显著，可以发论文吗？
有监督和无监督学习都各有哪些有名的算法和深度学习？
领域自适应需要用到测试集数据，这样的方法有啥意义呢？
深度学习方面还有什么Open Problem?
如何评价 UCLA 朱松纯教授近日访谈中对深度学习的批评？
2020年，多标签学习（multi-label）有了哪些新的进展？
为什么谈论深度学习工具时，很少有人讨论matlab的神经网络工具包？