CTC和Encoder-Decoder有什么关系? 第1页
1
maigo 网友的相关建议:
- 是否把 LSTM + CTC 看成编码器 + 解码器的结构，我觉得是一个无所谓的问题。
其实任何一种网络结构，都可以看成编码器 + 解码器，只要把网络的低几层看成编码器，高几层看成解码器就行了。但对于 LSTM + CTC 来说，到底把哪几层看成编码器，哪几层看成解码器，并没有一个明确的界限，不像注意力网络中，编码器与解码器中间有一个注意力层的结构是跟其它层不同的。所以说 LSTM + CTC 是编码器 + 解码器，不能算错，但没什么意思。
2. 变长序列的端到端学习方法，我觉得有三种主流思路，除了 CTC 和注意力以外，还有 transducer。下面这篇文章就比较了三种方法用于语音识别的效果：
我对它们的总结是这样的：
1
相关话题
研一，在学机器学习和深度学习，为什么感觉越学越不会，怎么解决这个问题？为什么现在有这么多人工智能无用论？
CTC和Encoder-Decoder有什么关系?
在实际工程系统中，MPC太复杂，难以做到realtime。因此都利用数据，MPC对比RL还有优势么?
深度学习图像处理什么时候用到GPU？
请问应该怎样去学习图像识别和深度学习？
如何评价 Self-Normalizing Neural Networks 这篇论文?
ICLR 2018 有什么值得关注的亮点？
计算流体力学（CFD）里应用注意力机制（attention）是否可行？
如何看待人工智能领域的很多专家认为「人工智能将对人类存亡造成威胁」的观点？
相关的话题
请问应该怎样去学习图像识别和深度学习？深度学习如何入门？
如何评价AlphaGo Zero？
目前，人工智能语音在说中文时的语气感觉上还比较机械，怎样使人工智能语音的语气更自然一些？
土木和机器学习/深度学习/算法的交叉岗位在哪里找呀？ 在哪找都找不到招聘公司?
计算机视觉（cv）方向今年招聘情况怎么样?是否已经人才过剩?
Graph Attention Network的本质是什么？
为什么相比于计算机视觉(cv)，自然语言处理(nlp)领域的发展要缓慢？
如何评价何恺明、Ross Girshick组的自监督时空表征学习新作？
中科院某所研一新生，小样本学习、数据融合、强化学习、图神经网络、资源受限的计算这几个方向选哪个更好？
深度学习中Attention与全连接层的区别何在？
AlphaGo 与李世石的对战会推动人类的极限还是机器学习的进步和觉醒？
如何评价MSRA视觉组最新对spatial attention mechanism分析论文？
为什么有些学数学的看不惯甚至鄙视 Deep Learning？
有没有必要把机器学习算法自己实现一遍？
如何评价深度学习相关顶级期刊论文难复现的问题？
行人轨迹预测有哪些有效的方法和普遍的base方法？或者public dataset?
如何评价MSRA最新的 Relation Networks for Object Detection？
为什么小模型已经可以很好地拟合数据集了，换大模型效果却要比小模型好？
CVPR 2019 有哪些值得关注的亮点？
如何评价清华大学发布的自研深度学习框架-计图(Jittor)？
GPU 与 CPU 比较，为什么说 GPU 更适合深度学习？
如何评价最近火热的对比学习，会引领预训练模型新的范式嘛?
卷积神经网络如果将池化层去除，与神经网络的区别还大么？
如何看待Capsule Network在NLP领域的潜力？
ICLR 2022有哪些值得关注的投稿？
如何证明数据增强（Data Augmentation）有效性？
如何评价最近火热的对比学习，会引领预训练模型新的范式嘛?
如何评价深度学习相关顶级期刊论文难复现的问题？
如何解决测试中充斥着大量训练集中没见过的样本类型模型将其识别成非我族类仍然保持测试集的高精度？