CTC和Encoder-Decoder有什么关系? 第1页
1
maigo 网友的相关建议:
- 是否把 LSTM + CTC 看成编码器 + 解码器的结构，我觉得是一个无所谓的问题。
其实任何一种网络结构，都可以看成编码器 + 解码器，只要把网络的低几层看成编码器，高几层看成解码器就行了。但对于 LSTM + CTC 来说，到底把哪几层看成编码器，哪几层看成解码器，并没有一个明确的界限，不像注意力网络中，编码器与解码器中间有一个注意力层的结构是跟其它层不同的。所以说 LSTM + CTC 是编码器 + 解码器，不能算错，但没什么意思。
2. 变长序列的端到端学习方法，我觉得有三种主流思路，除了 CTC 和注意力以外，还有 transducer。下面这篇文章就比较了三种方法用于语音识别的效果：
我对它们的总结是这样的：
1
相关话题
深度学习中有哪些数据增强方法？为何以范剑青老师的 Sure Independence Screening 为代表的筛选法没有流行呢？
如何看待 Nervana 被 Intel 收购？
在算力充沛，深度学习模型大行其道的今天，传统机器学习的未来在哪里？
如何看待马毅老师深度学习第一性原理的文章在 ICML 四个审稿人一致接收的情况下被 AC 拒了？
如何评价微软亚研院提出的把 Transformer 提升到了 1000 层的 DeepNet？
如何评价陈天奇的模块化深度学习系统NNVM？
如何理解 Graph Convolutional Network（GCN）？
你见过最差的算法工程师能差到什么程度？
人工智能就业前景越来越严峻了，你还在坚持吗？
相关的话题
ICML2020有哪些值得关注的工作?Google 的神经网络生成图像 (Inceptionism) 是怎么做到的？
深度学习领域，你心目中 idea 最惊艳的论文是哪篇？
要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？
如何看待KDD'21的文章，异质图神经网络的效果不如简单的GCN、GAT？
有没有可能运用人工神经网络将一种编程语言的代码翻译成任意的另一种编程语言，而不经过人工设计的编译过程？
如何看待NLP领域最近比较火的prompt，能否借鉴到CV领域？
如何证明数据增强（Data Augmentation）有效性？
围棋AI为什么没有下出同局？
因果推断会是下一个AI热潮吗？
如果你是面试官，你怎么去判断一个面试者的深度学习水平？
目标检测算法中Two-stage算法速度慢,到底在哪里?
为什么谈论深度学习工具时，很少有人讨论matlab的神经网络工具包？
深度学习cnn中，怎么理解图像进行池化（pooling）后的平移不变性？
神经网络训练多个epoch，写论文的时候可以取最好的效果那一个epoch作为结果吗？
NLP文本匹配问题的本质是不是 对于要预测的句子，遍历候选句子 从训练数据集里寻找最相似的pair？
全连接层的作用是什么？
ICML2020有哪些值得关注的工作?
深度学习工作站中使用AMD的CPU会有问题吗？
自监督学习（Self-supervised Learning）有什么比较新的思路？
注意力机制是如何学习到模型所应注意的区域的？
对于神经网络，硕士博士不需要弄明白原理，只需要应用，是这样吗？
图片上训的模型，怎么迁移视频上呢？
如何评价ST-GCN动作识别算法？
如何评价陈天奇的模块化深度学习系统NNVM？
领域自适应需要用到测试集数据，这样的方法有啥意义呢？
你见过最差的算法工程师能差到什么程度？
中科院某所研一新生，小样本学习、数据融合、强化学习、图神经网络、资源受限的计算这几个方向选哪个更好？
有哪些令你印象深刻的魔改transformer？
什么是人工智能？人工智能、机器学习、深度学习三者之间有什么关系吗？