CTC和Encoder-Decoder有什么关系? 第1页
1
maigo 网友的相关建议:
- 是否把 LSTM + CTC 看成编码器 + 解码器的结构，我觉得是一个无所谓的问题。
其实任何一种网络结构，都可以看成编码器 + 解码器，只要把网络的低几层看成编码器，高几层看成解码器就行了。但对于 LSTM + CTC 来说，到底把哪几层看成编码器，哪几层看成解码器，并没有一个明确的界限，不像注意力网络中，编码器与解码器中间有一个注意力层的结构是跟其它层不同的。所以说 LSTM + CTC 是编码器 + 解码器，不能算错，但没什么意思。
2. 变长序列的端到端学习方法，我觉得有三种主流思路，除了 CTC 和注意力以外，还有 transducer。下面这篇文章就比较了三种方法用于语音识别的效果：
我对它们的总结是这样的：
1
相关话题
有哪些比较好的机器学习，深度学习的网络资源可利用？2020到2021年小样本学习取得重大进展了吗？
请解释下variational inference？
如何看待华为 4 月 25 日发布的盘古智能大模型？在这个行业处于什么水平？
消融实验是什么？
如何理解深度学习源码里经常出现的logits？
有哪些关于机器学习的真相还鲜为人知？
如何评价 Face++ 旷视科技最新出品的检测专用 backbone 网络 DetNet ？
从今年校招来看，机器学习等算法岗位应届生超多，竞争激烈，未来 3-5 年机器学习相关就业会达到饱和吗？
贝叶斯深度学习是什么，和传统神经网络有何不同？
相关的话题
人是如何做黑盒优化的？CVPR2022 有什么值得关注的论文 ?
目前 AI 在疾病的诊断和治疗上，有哪些成功的应用？
如何看待李沐老师提出的「用随机梯度下降来优化人生」？
DL框架的未来发展，TensorFlow/MXNet/PyTorch, 选哪个？
现在的BERT等语言模型，最快训练要多久？
2022 年初，你认为哪项成果代表了现在人工智能的最高水平？
计算机视觉中，目前有哪些经典的目标跟踪算法？
如何评价 NVIDIA 发布的 DGX-1？
有哪些优秀的深度学习入门书籍？需要先学习机器学习吗？
如何看待多模态transformer，是否会成为多模态领域的主流？
普通FPGA工程师怎样向人工智能靠拢？
深度学习如何入门？
有人说「真正的人工智能至少还要几百年才能实现」，真的是这样吗？
使用pytorch时，训练集数据太多达到上千万张，Dataloader加载很慢怎么办?
如何理解深度学习中的deconvolution networks？
为什么Transformer适合做多模态任务？
如何看待Tensor Comprehensions？与TVM有何异同？
如何评价深度学习相关顶级期刊论文难复现的问题？
算法岗位真的需要顶会才能入场吗？
word2vec有什么应用？
如何看待 2014 年以来计算机视觉（Computer Vision）界创业潮？
为什么Transformer要用LayerNorm？
了解/从事机器学习/深度学习系统相关的研究需要什么样的知识结构？
生成式对抗网络GAN有哪些最新的发展，可以实际应用到哪些场景中？
如何评价 DeepMind 公布的可生成算法竞赛解题代码的 AlphaCode？
为什么中文 NLP 数据集这么少？
国内做NLP业务的香侬科技值得去吗？
如何评价谷歌大脑的EfficientNet？
领域自适应需要用到测试集数据，这样的方法有啥意义呢？