有哪些比较好的元学习（meta learning）领域的学习资源？

想要在元学习这个领域深入钻研，确实需要一些精挑细选的学习资源。这个领域发展迅速，新方法层出不穷，所以找到靠谱的学习路径非常关键。我这就给你梳理一下，希望能帮你少走弯路，扎实地打下基础。

一、 基础概念与入门理解：

在深入学习元学习的各种算法之前，对它的核心思想有个清晰的认识至关重要。元学习，顾名思义，就是“学习如何学习”。它试图让模型在面对新任务时，能够快速适应，而不需要从头开始大量的训练。

1. 理解“学习如何学习”的本质：
目标： 快速适应新任务，用少量样本（fewshot learning）就能取得不错的效果。
关键思想： 学习的“经验”不再是特定的数据集或任务，而是学习一个通用的学习过程、一个好的参数初始化、一个有效的特征表示，甚至是学习如何更新模型参数。
与传统机器学习的区别： 传统机器学习是“单次学习”（oneshot learning），每次都要从头训练；元学习则是“多次学习”（multitask learning）的延伸，通过经验积累来提升学习效率。

2. 入门阅读材料：
经典的综述文章： 找几篇近几年的、影响力大的综述文章。它们通常会梳理元学习的发展脉络、主要流派和关键挑战。
推荐： 搜索 "metalearning survey" 或 "learning to learn survey"。比如，[Learning to Learn by Gradient Descent by Gradient Descent](https://arxiv.org/abs/1606.04012) 这篇文章虽然有些年头，但它提出的 MAML (ModelAgnostic MetaLearning) 是元学习领域非常重要的一个里程碑，理解 MAML 对入门非常有帮助。
可以关注的关键词： fewshot learning, transfer learning, domain adaptation, lifelong learning, continual learning. 这些概念和元学习有很强的关联性。

二、 主要的元学习方法流派：

元学习的方法很多，但大致可以归为几个主要流派，理解它们各自的原理和优缺点，能帮你构建起一个完整的知识框架。

1. 基于度量学习（Metricbased MetaLearning）：
核心思想： 学习一个好的度量空间，在这个空间中，属于同一类别的样本距离近，不同类别的样本距离远。在新任务到来时，通过计算新样本与已有的支持集（support set）样本的距离来进行分类。
代表算法：
Siamese Networks / Triplet Networks： 虽然它们不完全是元学习算法，但学习度量空间的思想对后来的元学习算法影响很大。
Prototypical Networks： 简单直观，计算每个类别的原型（prototype），然后用欧氏距离等衡量新样本与原型的相似度。
Relation Networks： 学习一个关系模块，直接评估两个样本之间的相似度。
学习资源： 搜索 "prototypical networks explanation", "relation networks paper"。

2. 基于优化学习（Optimizationbased MetaLearning）：
核心思想： 学习如何进行优化，或者说学习如何更新模型的参数，使得模型在新任务上能够快速收敛。
代表算法：
MAML (ModelAgnostic MetaLearning)： 这是这个流派的代表作。它学习一个初始的参数，这个参数在经过一到几步的梯度下降后，就能在新任务上取得好的性能。理解 MAML 的“二阶梯度”更新是关键。
Reptile： MAML 的一个简化版本，不需要计算二阶梯度，但效果也不错。
MetaLSTM / MetaSGD： 学习一个 RNN 或 LSTM 来更新模型的参数。
学习资源：
MAML 原论文： [Learning to Learn by Gradient Descent by Gradient Descent](https://arxiv.org/abs/1606.04012)
MAML 的解释和实现： 很多博主和开源项目都有非常详细的 MAML 讲解和 PyTorch/TensorFlow 实现。搜索 "MAML explained", "MAML implementation pytorch"。

3. 基于模型学习（Modelbased MetaLearning）：
核心思想： 直接设计一个能够快速适应新任务的“元模型”（metamodel）。这个元模型可能包含一个记忆模块（如 RNN 或外部记忆），能够存储和利用历史任务的信息。
代表算法：
Meta Networks： 学习两套参数，一套是“慢学习”参数，另一套是“快学习”参数，后者由前者快速生成。
MANN (MemoryAugmented Neural Networks)： 结合了神经网络和外部存储器（如 Neural Turing Machines）。
学习资源： 搜索 "memory augmented neural networks", "meta networks paper"。

三、 学习路径与进阶：

1. 打好深度学习基础：
必备技能： 熟练掌握 PyTorch 或 TensorFlow，理解神经网络的基本结构（CNN, RNN, Transformer），掌握梯度下降及其变种，了解损失函数和评估指标。
推荐资源：
李沐的《动手学深度学习》： 经典中的经典，理论与实践结合得非常好。
吴恩达的 Deep Learning Specialization (Coursera)： 体系化地学习深度学习。

2. 从 FewShot Learning 入手：
元学习最常见的应用场景就是 FewShot Learning。理解 FewShot Learning 的挑战（数据稀疏性、过拟合）和基本设置（Nway Kshot）非常有益。
搜索： "fewshot learning explained", "fewshot learning benchmarks" (如 miniImageNet, tieredImageNet)。

3. 动手实践：
找一个元学习的库： 一些库提供了常用元学习算法的实现，可以帮助你快速上手。例如，[PTZ](https://github.com/yaoxiyou/PTZ) (PyTorch MetaLearning Zoo) 等。
复现论文： 选择一篇你感兴趣的元学习论文，尝试自己复现其中的算法。这是检验你理解程度的最好方式。
参加 Kaggle 竞赛： 寻找与元学习相关的 Kaggle 竞赛，在真实场景中锻炼你的技能。

4. 关注最新进展：
顶会论文： NeurIPS, ICML, ICLR, CVPR, ICCV, ECCV 等顶会经常有高质量的元学习论文。
arXiv： 每天都有大量新论文涌现，利用好 arXiv 的搜索功能，关注你感兴趣的作者和关键词。
GitHub Trending： 关注 GitHub 上与元学习相关的热门项目。

四、 学习方法建议：

循序渐进： 不要一开始就挑战最复杂的算法，先从理解 MAML、Prototypical Networks 这些经典模型开始。
理论与实践结合： 阅读论文理解原理，然后通过代码实现加深理解。
积极提问： 在学习过程中遇到问题，不要害怕在社区（如 Stack Overflow, Reddit 的 r/MachineLearning）提问。
形成自己的笔记： 记录下你学到的核心概念、算法流程、优缺点，这有助于你梳理和巩固知识。
关注领域内的“大牛”： 了解在元学习领域有贡献的研究者，关注他们的博客、论文和社交媒体。

总结一下，要学好元学习，你需要：

1. 扎实的深度学习基础。
2. 对元学习核心思想的透彻理解。
3. 掌握至少一个主流元学习流派（如基于度量或基于优化）。
4. 通过动手实践来巩固理论。
5. 持续关注领域内的最新研究进展。

元学习是一个非常有挑战但也非常有前景的领域，祝你在学习的道路上一切顺利！

网友意见

元学习（meta learning）的学习资料，你要的全都有~

---

科普介绍

科普视频：Meta Learning by Siraj Raval

知乎专栏：智能单元

Meta Learning单排小教学
百家争鸣的Meta Learning/Learning to learn
荐读 Meta-Learning in Neural Networks: A survey
Chelsea Finn博士论文赏析 Learning to Learn with Gradients

---

博客

• 大数据时代的小样本深度学习问题的综述
• Berkeley Artificial Intelligence Research blog
• Meta-Learning: Learning to Learn Fast
• Meta-Reinforcement Learning
• How to train your MAML: A step by step approach
• An Introduction to Meta-Learning
• From zero to research — An introduction to Meta-learning
• What’s New in Deep Learning Research: Understanding Meta-Learning
• Meta Reinforcement Learning Blog by Lilian Weng
• Meta-Learning: Learning to Learn Fast

---

领域学者

• Chelsea Finn, UC Berkeley

• Pieter Abbeel, UC Berkeley
• Erin Grant, UC Berkeley
• Raia Hadsell, DeepMind
• Misha Denil, DeepMind
• Adam Santoro, DeepMind
• Sachin Ravi, Princeton University
• David Abel, Brown University
• Brenden Lake, Facebook AI Research

---

领域综述

（这里先放一篇小样本学习的领域综述）

Generalizing from a Few Examples: A Survey on Few-Shot Learning

解读1 解读2 解读3

作者： QUANMING YAO

小样本学习（Few-shot Learning）综述 （阿里巴巴智能服务事业部小蜜北京团队）

---

领域经典文献

（正在调研）

---

论文+展示视频

NeurIPS2019

Yoshua Bengio: Meta-learning

West Ballroom B - Meta-Learning （12个talk）

---

系列视频课程

Chelsea Finn

斯坦福CS330

Stanford CS330课程 深度多任务和元学习 / B站视频（中英字幕）

ICML 2019 Tutorial：Meta-Learning: from Few-Shot Learning to Rapid Reinforcement Learning

B站视频 （2个视频）

Building Unsupervised Versatile Agents with Meta-Learning

Invited Talks

a talk on challenges in multi-task learning and meta-learning (slides here, video here) at the IAS Workshop on New Directions in Optimization Statistics and Machine Learning.

NeurIPS 2019：an invited talk on Meta-Learning and Memorization (slides here, video here) at the Bayesian Deep Learning Workshop

In July 2018, gave a talk at Google DeepMind with Sergey Levine on meta-learning frontiers. (slides here)
At NIPS 2017, I gave an invited talk in the Workshop on Meta-Learning (slides here) and contributed talks at the Deep Reinforcement Learning Symposium and the workshop on Deep Learning: Bridging Theory and Practice.

李宏毅机器学习2020春季课程（中文）

李宏毅机器学习（2020春季课程） / B站视频地址

Meta-Learning MAML 课件

Meta Learning - Gradient Descent and Metric-based 课件

Google Brain: Hugo Larochelle 小样本学习

Few-shot Learning with Meta-Learning: Progress Made and Challenges Ahead B站视频 / 课件

Generalizing from Few Examples with Meta-Learning B站视频 / 课件

Massimiliano Patacchiola 小样本学习

B站视频 （7个视频） / 课程主页

其他课程

• Sam Ritter: Meta-Learning to Make Smart Inferences from Small Data
• Model Agnostic Meta Learning by Siavash Khodadadeh
• Meta Learning and One-Shot Learning

---

数据集

Most popularly used datasets：

• Omniglot
• mini-ImageNet
• ILSVRC
• FGVC aircraft
• Caltech-UCSD Birds-200-2011

使用谷歌查询其他元学习相关数据集 here

其他数据集整合结果 datasets

---

论文与代码

论文集参见：Awesome-Meta-Learning / Floodsung's Meta-Learning Paper lists

Meta-Learning in Neural Networks: A Survey

few-shot-object-detection

每年cvpr都会有针对小样本学习的一个总结

比如：从 CVPR 2019 一览小样本学习研究进展

ICLR2019: A CLOSER LOOK AT FEW-SHOT CLASSIFICATION

A Baseline for Few-Shot Image Classification

---

书籍

• Hands-On Meta Learning with Python: Meta learning using one-shot learning, MAML, Reptile, and Meta-SGD with TensorFlow, (2019), Sudharsan Ravichandiran. [pdf] [code]

---

Workshops

NeurIPS

• MetaLearn 2019
• MetaLearn 2018
• MetaLearn 2017

参考资料：

https:// github.com/sudharsan132 96/Awesome-Meta-Learning
https:// github.com/Duan-JM/awes ome-papers-fewshot
https:// github.com/tata1661/Few ShotPapers

注：调研时间：2020年6月10日
由于知乎编辑器限制，PDF在此处不太好展示，可以在 个人博客 看完整版

类似的话题

• 

  有哪些比较好的元学习（meta learning）领域的学习资源？

  

  想要在元学习这个领域深入钻研，确实需要一些精挑细选的学习资源。这个领域发展迅速，新方法层出不穷，所以找到靠谱的学习路径非常关键。我这就给你梳理一下，希望能帮你少走弯路，扎实地打下基础。一、 基础概念与入门理解：在深入学习元学习的各种算法之前，对它的核心思想有个清晰的认识至关重要。元学习，顾名思义，就.............
• 

  有没有人知道，家用小型的吸尘器（500元以内）性能比较好的有哪几款？

  

  .......
• 

  价位在400元左右的微波炉哪款比较好，性价比高？ 谁有好的介绍？

  

  .......
• 

  有哪些200元以下送女朋友比较小众的圣诞礼物？

  

  200块以下，送女朋友一份惊喜又特别的圣诞礼物，既要心意满满，又要不落俗套，这绝对是一门技术活！告别烂大街的香薰蜡烛和毛绒玩具，咱们来点真正能让她眼前一亮的。1. 定制星空画/月相图：将宇宙的浪漫锁在她心里 为什么小众？ 大多数人想到送纪念品，可能会是照片摆台。但星空画/月相图，是将某个特定时刻.............
• 

  有哪些比较好的在线项目管理软件值得推荐？

  

  市面上的在线项目管理软件琳琅满目，选择一款合适的工具对项目的成功至关重要。以下是一些我个人认为比较优秀、功能全面且用户口碑较好的在线项目管理软件，我会尽量详细地介绍它们的特点、优势以及适合的场景： 1. Asana定位： 灵活、强大且易于使用的项目管理工具，适合各种规模的团队和项目类型，尤其擅长任务.............
• 

  有哪些比较好的机器学习、数据挖掘、计算机视觉的订阅号、微博或者是论坛？

  

  很高兴为您整理了机器学习、数据挖掘和计算机视觉领域的优秀订阅号、微博和论坛。这些平台汇聚了大量的技术干货、最新研究、行业动态和交流机会，能帮助您快速提升专业知识和视野。一、 机器学习（Machine Learning）机器学习是AI的核心驱动力，涵盖了监督学习、无监督学习、强化学习等多个分支。关注这.............
• 

  有哪些比较好的h5模板下载？

  

  没问题，关于好用的 H5 模板下载，我来给你好好唠唠，保证听起来就像是我这个“过来人”亲手帮你搜罗整理的。咱们现在做 H5，尤其是要做得快速、好看，就不能老是从零开始敲代码，那样效率太低了。这时候 H5 模板就成了咱们的救星。它们就像是精心设计的框架，你可以根据自己的需求进行修改和填充，省时又省力。.............
• 

  有哪些比较好的详细描写武器发展历史的书籍？

  

  关于武器发展史的优秀书籍，如果追求的是详细、深入且不落俗套的叙述，我倒有几部非常值得推荐。它们不仅仅是罗列事实，更会深入探讨技术、社会、文化乃至战争本身是如何塑造武器的演变，让你读来仿佛穿越了时空，亲身感受那些划时代的变革。首先，我得提到 “兵器王”约翰·乔治·马丁（John George Mart.............
• 

  有哪些比较好的伪兄妹的小说？

  

  伪兄妹题材的小说有很多，其中不乏一些非常优秀的作品。这些小说往往通过“假兄妹”这个设定，来探讨亲情、爱情、道德伦理等复杂的情感关系，以及人物内心的挣扎与成长。以下我将为您推荐一些比较好的伪兄妹小说，并尽量详细地讲述它们的特点，希望能满足您的需求：1. 《哥哥，可不可以不要走》 (作者：夏暖溪) .............
• 

  有哪些比较好的数学分析和高等代数的公开课（数学系）？

  

  哈哈，很高兴能和你聊聊数学分析和高等代数这两个基础而又迷人的学科的公开课。作为一名对数学充满好奇的学习者，我一直觉得能通过优秀的公开课系统学习这些内容，简直是太幸运了！它们不仅能帮助我们建立扎实的理论基础，更能打开我们认识数学世界的大门。要说“最好”的，这个评价确实有些主观，因为每个人的学习习惯、背.............
• 

  有哪些比较好的法律类的纪录片？

  

  想找些能让你对法律这玩意儿产生点儿兴趣的纪录片，我倒真有几部私藏的，绝对不是那种照本宣科、干巴巴的货色。它们有的会让你看得热血沸腾，有的让你心头一沉，但无一例外，都会让你对公平、正义，以及法律背后的人性，有更深的体悟。我个人特别推崇一部叫 《制造杀人犯》（Making a Murderer） 的系列.............
• 

  有哪些比较好的防脱发洗发水？

  

  好的，如果你正在寻找能够有效缓解脱发困扰的洗发水，我为你梳理了一些在市场上口碑和效果都比较突出的产品。选择洗发水，就像选择护肤品一样，关键在于找到适合自己头皮和发质的成分，并持之以恒地使用。理解脱发原因，是选择洗发水的第一步在深入探讨产品之前，我想先强调一下，脱发的原因有很多种，比如遗传性脱发（最常.............
• 

  有哪些比较好的数学建模的评价模型？

  

  数学建模的评价，就像为一幅精心绘制的画作寻找合适的鉴赏视角，需要我们深入理解模型的构造、表达能力以及它所能带来的价值。没有放之四海而皆准的“最佳”评价模型，因为评价的侧重点会根据建模的目的、问题的性质以及使用者的需求而变化。但有一些被广泛认可且效果显著的评价维度和模型，它们能够帮助我们系统地、有深度.............
• 

  有哪些比较好的隐形眼镜吗？

  

  好的，关于隐形眼镜的选择，确实是一件挺让人纠结的事情。市面上品牌和类型那么多，到底哪个好，真的得好好捋一捋。我尽量用我自己的经验和了解，给你讲得详细点，希望能帮到你。首先得明白，隐形眼镜不是“一刀切”就能买到的，适合你的才是最好的。这个“适合”包括很多方面，比如你的眼睛状况、你的生活习惯、你的预算等.............
• 

  有哪些比较好的读书类情感类公众号？

  

  写在前面，提到“读书类情感类公众号”，我脑海里会浮现出一些画面：一个午后，阳光透过窗户洒在书页上，旁边放着一杯冒着热气的茶。空气中弥漫着淡淡的纸张和茶香。这时候，你可能正陷入某个故事的沉思，或是被一段文字触动了心弦。而公众号，就像是那个默默陪伴你的朋友，用文字和你分享它的阅读感受，或是它因此而涌现的.............
• 

  有哪些比较好的电脑桌面时钟（提醒）软件？

  

  好嘞，咱们来聊聊电脑桌面时钟和提醒软件这回事儿。这玩意儿看着小，但关键时刻能帮大忙，尤其是对咱们这种记性不太好，或者工作一忙起来就顾不上时间的人来说。市面上这类软件不少，功能也各有侧重，我挑几个我自己觉得用着挺顺手的，跟您详细说说。1. 微软自带的时钟/日历：简单够用，就是它咱们先从最基础的说起，其.............
• 

  有哪些比较好的机器学习，深度学习的网络资源可利用？

  

  在机器学习和深度学习的浩瀚海洋里，想要找到既靠谱又深入的资源，确实需要一些“老司机”的指引。我整理了一些在我学习和实践过程中觉得特别有价值的网络资源，希望能帮你在探索这条道路上少走弯路，更高效地提升自己。这些资源各有侧重，有的适合入门打基础，有的则能让你深入到技术前沿。一、 理论基础与入门指引类 .............
• 

  有哪些比较好的中小雅思培训机构及工作室？

  

  说起中小雅思培训，市面上确实不少选择，无论是大型连锁机构还是特色鲜明的工作室，都有各自的优势。选择哪个，很大程度上取决于你的具体需求和偏好。我帮你梳理一下市面上口碑不错的几家，希望能让你心里有个谱。大型连锁机构：系统化、资源丰富这类机构通常规模较大，教学体系成熟，师资力量雄厚，并且有很多学习资源和辅.............
• 

  有哪些比较好的男士 T 恤品牌推荐？

  

  想挑几件称心如意的男士 T 恤，确实是门学问。毕竟 T 恤虽然看似简单，但细节处见真章。合身的剪裁、优质的面料，加上耐看的设计，就能让你在日常穿搭中轻松提升质感。今天就跟大家聊聊一些我个人觉得不错的男士 T 恤品牌，希望能给你点儿参考。一、注重基础款的质感与舒适度：这类品牌通常不会有过多的花哨设计，.............
• 

  有哪些比较好的却又不肝的FPS游戏?

  

  想找一款既爽快刺激，又不用你花费大量时间和精力去“肝”的FPS游戏，这其实是个挺大的挑战，但也不是不可能。我心中的几款游戏，虽然各有侧重，但都能让你在短时间内体验到纯粹的射击乐趣，而不是被复杂的系统和无休止的任务绑架。比如，有一个系列的游戏，它的核心魅力就在于“快”。你可能需要一点时间来熟悉角色的技.............