CTC和Encoder-Decoder有什么关系? 第1页
1
maigo 网友的相关建议:
- 是否把 LSTM + CTC 看成编码器 + 解码器的结构，我觉得是一个无所谓的问题。
其实任何一种网络结构，都可以看成编码器 + 解码器，只要把网络的低几层看成编码器，高几层看成解码器就行了。但对于 LSTM + CTC 来说，到底把哪几层看成编码器，哪几层看成解码器，并没有一个明确的界限，不像注意力网络中，编码器与解码器中间有一个注意力层的结构是跟其它层不同的。所以说 LSTM + CTC 是编码器 + 解码器，不能算错，但没什么意思。
2. 变长序列的端到端学习方法，我觉得有三种主流思路，除了 CTC 和注意力以外，还有 transducer。下面这篇文章就比较了三种方法用于语音识别的效果：
我对它们的总结是这样的：
1
相关话题
如何看待百度无人车， 三千多个场景，一万多个if？想问下专业人士 OpenCv会被深度学习进一步取代吗进一步取代吗？
AMD的CPU是否适合搭建深度学习主机？
神经网络训练多个epoch，写论文的时候可以取最好的效果那一个epoch作为结果吗？
机器学习中的机器是如何分辨哪些是有用的知识，哪些是没用的信息呢？
attention跟一维卷积的区别是啥？
学生网络用知识蒸馏损失去逼近教师网络，如何提高学生网络的准确率？
新手如何入门pytorch？
在NLP上，CNN、RNN（认为LSTM等变体也是RNN）、最简单全连结MLP，三者相比，各有何优劣?
怎样把音频文件转为文本？
相关的话题
为什么CV能做到让一幅人脸图动了笑了，而NLP的text-style-transfer进展貌似一般？如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
如何看待NLP领域最近比较火的prompt，能否借鉴到CV领域？
编程达到什么水平才能编写出像caffe这样的深度学习框架？
GAN生成的数据没有标签怎么用来训练分类模型？
深度学习在无人驾驶汽车上面的运用有哪些？
如何看待多模态transformer，是否会成为多模态领域的主流？
深度学习如何入门？
在集成电路设计领域（数字，模拟），人工智能有无可能取代人类？
如何看待Transformer在CV上的应用前景，未来有可能替代CNN吗？
2020-2021年NLP有什么核心技术的更迭吗？或者有什么推动领域发展的paper吗？
如何评价Google发布的第二代深度学习系统TensorFlow?
如何评价AlphaGo Zero？
目前 AI 在疾病的诊断和治疗上，有哪些成功的应用？
中科院某所研一新生，小样本学习、数据融合、强化学习、图神经网络、资源受限的计算这几个方向选哪个更好？
如何看待在某度搜不到megengine官网？
如何看待Tensor Comprehensions？与TVM有何异同？
深度学习（机器学习）的下一步如何发展？
如何评价FAIR提出的ConvNeXt：CNN匹敌Swin Transformer?
如何评价 DeepMind 公司？
如何评价FAIR提出的MaskFeat：一种适用图像和视频分类的自监督学习方法？
人是如何做黑盒优化的？
为啥gan里面几乎不用pooling？
NLP文本分类的本质是不是其实是找相似，对于要分类的句子，在训练集里找最相似的句子？
如何评价微软亚洲研究院提出的LightRNN？
一个完整的Pytorch深度学习项目代码，项目结构是怎样的？
如何评价 7 月 31 日一流科技开源的深度学习框架 OneFlow？
深度学习中有哪些数据增强方法？
深度学习中，模型大了好还是小了好呢？
AMD 开源高性能机器智能库MIopen是否可以和cuDNN抗衡？