CTC和Encoder-Decoder有什么关系? 第1页
1
maigo 网友的相关建议:
- 是否把 LSTM + CTC 看成编码器 + 解码器的结构，我觉得是一个无所谓的问题。
其实任何一种网络结构，都可以看成编码器 + 解码器，只要把网络的低几层看成编码器，高几层看成解码器就行了。但对于 LSTM + CTC 来说，到底把哪几层看成编码器，哪几层看成解码器，并没有一个明确的界限，不像注意力网络中，编码器与解码器中间有一个注意力层的结构是跟其它层不同的。所以说 LSTM + CTC 是编码器 + 解码器，不能算错，但没什么意思。
2. 变长序列的端到端学习方法，我觉得有三种主流思路，除了 CTC 和注意力以外，还有 transducer。下面这篇文章就比较了三种方法用于语音识别的效果：
我对它们的总结是这样的：
1
相关话题
从今年校招来看，机器学习等算法岗位应届生超多，竞争激烈，未来 3-5 年机器学习相关就业会达到饱和吗？如果不按套路下棋是不是就能赢 Alpha Go 了？
当前人工智能特别是深度学习最前沿的研究方向是什么？
如何评价生成模型框架 ZhuSuan?
CTC和Encoder-Decoder有什么关系?
如何评价2020年计算机视觉顶会CVPR投稿量破万的现象？
如何评价FAIR提出的MaskFormer，在语义分割ADE20K上达到SOTA：55.6 mIoU？
为什么Transformer适合做多模态任务？
如何评价「Patches are all you need」?
在NLP上，CNN、RNN（认为LSTM等变体也是RNN）、最简单全连结MLP，三者相比，各有何优劣?
相关的话题
应届硕士毕业生如何拿到知名互联网公司算法岗（机器学习、数据挖掘、深度学习） offer？人工智能在生活中的应用都有哪些？
因果推断会是下一个AI热潮吗？
计算机视觉顶级会议论文中比较适合初学计算机视觉的人做的复现实验有哪些？
如何判断两个Deep Learning 数据集的数据分布是否一致？
卷积神经网络中卷积核是如何学习到特征的？
学生网络用知识蒸馏损失去逼近教师网络，如何提高学生网络的准确率？
如何评价陈天奇团队新开源的TVM？
全连接层的作用是什么？
为什么softmax很少会出现[0.5，0.5]？
神经网络的万能逼近定理已经发展到什么地步了？
AlphaGo「理解」围棋吗？
如何评价谷歌提出的 Pix2Seq：将目标检测看成语言建模，效果超过 DETR？
如何理解attention中的Q,K,V？
深度学习调参有哪些技巧？
Evidential deep learning里一般怎么估计多标签分类的Uncertainty？
AI（或者说神经网络/深度学习）能够实现科学（尤其是物理学）研究中提出假设这一步嘛？
什么是meta-learning?
深度学习有哪些好玩的案例？
计算机视觉中video understanding领域有什么研究方向和比较重要的成果？
人工智能就业前景越来越严峻了，你还在坚持吗？
土木和机器学习/深度学习/算法的交叉岗位在哪里找呀？ 在哪找都找不到招聘公司?
现在的BERT等语言模型，最快训练要多久？
能否使用神经网络来判断奇偶数？
Transformer中的Mask矩阵已经有顺序了，能去掉position embedding吗?
能否使用区块链的算力来解决深度学习训练？
目标检测算法中Two-stage算法速度慢,到底在哪里?
机器学习，深度神经网络等方法是否是正确的方向？
如何评价移动端吊打一切万众期待的商汤深度学习推理框架PPL开源了却没有支持移动端？
为什么很少人用FFT加速CNN卷积层的运算？