CTC和Encoder-Decoder有什么关系? 第1页
1
maigo 网友的相关建议:
- 是否把 LSTM + CTC 看成编码器 + 解码器的结构，我觉得是一个无所谓的问题。
其实任何一种网络结构，都可以看成编码器 + 解码器，只要把网络的低几层看成编码器，高几层看成解码器就行了。但对于 LSTM + CTC 来说，到底把哪几层看成编码器，哪几层看成解码器，并没有一个明确的界限，不像注意力网络中，编码器与解码器中间有一个注意力层的结构是跟其它层不同的。所以说 LSTM + CTC 是编码器 + 解码器，不能算错，但没什么意思。
2. 变长序列的端到端学习方法，我觉得有三种主流思路，除了 CTC 和注意力以外，还有 transducer。下面这篇文章就比较了三种方法用于语音识别的效果：
我对它们的总结是这样的：
1
相关话题
大家用resnet50在imagenet上面top1最高能到多少？在算力充沛，深度学习模型大行其道的今天，传统机器学习的未来在哪里？
验证集loss上升，准确率却上升该如何理解？
深度学习有哪些好玩的案例？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
NLP文本分类的本质是不是其实是找相似，对于要分类的句子，在训练集里找最相似的句子？
PyTorch中在反向传播前为什么要手动将梯度清零？
自学深度学习是怎样一种体验？
对于神经网络，硕士博士不需要弄明白原理，只需要应用，是这样吗？
GAN生成的数据没有标签怎么用来训练分类模型？
相关的话题
深度学习领域有哪些瓶颈？word2vec有什么应用？
机器学习能否用于综合评价？具体怎么操作？
机器学习能否用于综合评价？具体怎么操作？
神经网络中，bias有什么用，为什么要设置bias，当加权和大于某值时，激活才有意义？
验证集loss上升，准确率却上升该如何理解？
Yann LeCun、Geoffrey Hinton或Yoshua Bengio能得图灵奖吗？
如何评价CVPR2019程序主席Derek Hoiem的论点：计算机视觉只是记忆，不是智能？
为什么ViT里的image patch要设计成不重叠？
为什么很少人用FFT加速CNN卷积层的运算？
深度学习方面还有什么Open Problem?
如何看待Geoffrey Hinton的言论，深度学习要另起炉灶，彻底抛弃反向传播？
从应用的角度来看，深度学习怎样快速入门？
医学生学习机器学习该如何入门？
为什么图形学的会议siggraph的论文代码很少会开源？好像视觉如CVPR、ICCV开源的更多一些。
下一代 AI 框架长什么样？
分类机器学习中，某一标签占比太大（标签稀疏），如何学习？
国内外厂商发布的各类 AI 智能音箱，优缺点分别是什么？
AI（或者说神经网络/深度学习）能够实现科学（尤其是物理学）研究中提出假设这一步嘛？
使用强化学习解决实际问题时常常避不开环境模拟或者使用离线强化学习算法，两者分别有什么优缺点？
GAN（对抗生成网络）可以被用于哪些（商业或潜在商业）实际问题？
有哪些LSTM(Long Short Term Memory)和RNN(Recurrent)网络的教程？
如何看待百度无人车， 三千多个场景，一万多个if？
2021年了，如何评价微软亚研提出的对偶学习（Dual Learning）？
一个完整的Pytorch深度学习项目代码，项目结构是怎样的？
ICLR 2021 有什么值得关注的投稿？
Yann LeCun、Geoffrey Hinton或Yoshua Bengio能得图灵奖吗？
如何看待知乎的AI答主「四十二」？人工智能有可能理解生命的意义是什么吗？
为什么图形学的会议siggraph的论文代码很少会开源？好像视觉如CVPR、ICCV开源的更多一些。
2021年深度学习哪些方向比较新颖，处于上升期或者朝阳阶段，没那么饱和，比较有研究潜力？