CTC和Encoder-Decoder有什么关系? 第1页
1
maigo 网友的相关建议:
- 是否把 LSTM + CTC 看成编码器 + 解码器的结构，我觉得是一个无所谓的问题。
其实任何一种网络结构，都可以看成编码器 + 解码器，只要把网络的低几层看成编码器，高几层看成解码器就行了。但对于 LSTM + CTC 来说，到底把哪几层看成编码器，哪几层看成解码器，并没有一个明确的界限，不像注意力网络中，编码器与解码器中间有一个注意力层的结构是跟其它层不同的。所以说 LSTM + CTC 是编码器 + 解码器，不能算错，但没什么意思。
2. 变长序列的端到端学习方法，我觉得有三种主流思路，除了 CTC 和注意力以外，还有 transducer。下面这篇文章就比较了三种方法用于语音识别的效果：
我对它们的总结是这样的：
1
相关话题
有什么算法能对一个长短不一的时间序列进行分类预测?GAN（对抗生成网络）可以被用于哪些（商业或潜在商业）实际问题？
机器学习如何才能避免「只是调参数」？
神经网络中的能量函数是如何定义的？
如何评价清华大学发布的自研深度学习框架-计图(Jittor)？
如何看待阿里巴巴提出的 FashionAI 比赛？
神经网络为什么可以（理论上）拟合任何函数？
GPU 与 CPU 比较，为什么说 GPU 更适合深度学习？
科研时，想到一个idea，其实现的结果一定要比前人的评估指标高才能发表吗？
深度学习图像处理什么时候用到GPU？
相关的话题
目前 AI 在疾病的诊断和治疗上，有哪些成功的应用？GAN的生成器是怎么产生图片的？
自然语言处理怎么最快入门？
为什么现在有这么多人工智能无用论？
如何评价最近火热的对比学习，会引领预训练模型新的范式嘛?
ICLR 2019 有什么值得关注的亮点？
Transformer在工业界的应用瓶颈如何突破？
如何评价清华大学发布的自研深度学习框架-计图(Jittor)？
如何看待NIPS2017图灵奖得主贝叶斯网络之父Judea Pearl讲座无人问津？
2021年深度学习哪些方向比较新颖，处于上升期或者朝阳阶段，没那么饱和，比较有研究潜力？
让人工智能去下路边街头的象棋残局会赢吗？
给男友配置一个适合做深度学习的电脑要多少钱？
2021年，ncnn发展的如何了？
CVPR2022 有什么值得关注的论文 ?
2017年1月18日Facebook发行的PyTorch相比TensorFlow、MXNet有何优势？
如果不按套路下棋是不是就能赢 Alpha Go 了？
如何看待Jeff Dean&Hinton投到ICLR17的MoE的工作？
如何看待Jeff Dean&Hinton投到ICLR17的MoE的工作？
为什么交叉熵（cross-entropy）可以用于计算代价？
在NLP上，CNN、RNN（认为LSTM等变体也是RNN）、最简单全连结MLP，三者相比，各有何优劣?
强化学习和自适应控制的关系是什么？
梯度下降法的神经网络容易收敛到局部最优，为什么应用广泛？
如何看待 AlphaFold 在蛋白质结构预测领域的成功？
编程达到什么水平才能编写出像caffe这样的深度学习框架？
给男友配置一个适合做深度学习的电脑要多少钱？
在文本分类任务中，有哪些论文中很少提及却对性能有重要影响的tricks？
如何看待MXNet在CVPR2017上公布的gluon接口？
计算机视觉和自然语言处理，哪个更具有发展前景呢，还是各有千秋呢？
用生成模型做数据增强data augmentation时，如何从合成数据中筛选出质量较好的样本？
2020年，多标签学习（multi-label）有了哪些新的进展？