为什么 BERT 的 intermediate_size 这么大？ 第1页
1
guotong1988 网友的相关建议:
建议阅读：《Optimal Subarchitecture Extraction for BERT》
1
相关话题
有没有可能运用人工神经网络将一种编程语言的代码翻译成任意的另一种编程语言，而不经过人工设计的编译过程？NLP领域，你推荐哪些综述性的文章？
验证集loss上升，准确率却上升该如何理解？
视觉Transformer如何优雅地避开位置编码？
nlp有哪些值得完整实现一遍的算法?
对自己深度学习方向的论文有idea，可是工程实践能力跟不上，实验搞不定怎么办？
怎样计算两个服从高斯分布的向量乘积的期望？
人工智能会是泡沫吗？
有没有可能运用人工神经网络将一种编程语言的代码翻译成任意的另一种编程语言，而不经过人工设计的编译过程？
如何评价微软亚洲研究院提出的LightRNN？
下一个讨论
多模态训练，怎么解决不同模态之间差异的问题？
相关的话题
你实践中学到的最重要的机器学习经验是什么？数据挖掘与数据分析的主要区别是什么？
熵权法确定权重的原理是不是因为它仅依赖于数据本身的离散性?
BERT中，multi-head 768*64*12与直接使用768*768矩阵统一计算，有什么区别？
为什么梯度下降能找到最小值？
如何解决图神经网络（GNN）训练中过度平滑的问题？
最数学的计算机科学方向有哪些？
如何看待字节跳动 AI 实验室总监李磊入职 UCSB？
在机器学习中，L2正则化为什么能够缓过拟合？
深度学习在无人驾驶汽车上面的运用有哪些？
NLP文本分类的本质是不是其实是找相似，对于要分类的句子，在训练集里找最相似的句子？
关于tensorflow中的滑动平均？
知识图谱+nlp，有什么适合硕士独自研究的方向？
如何评价Yann LeCun 说的「要研究机器学习，本科应尽量多学物理和数学课」？
从人工智能技术的角度如何评价 Google home、Amazon Echo、Rokid 这三款产品？
word2vec有什么应用？
为什么 Non-Convex Optimization 受到了越来越大的关注？
数据挖掘与数据分析的主要区别是什么？
普通FPGA工程师怎样向人工智能靠拢？
编写基于机器学习的程序，有哪些编写和调试的经验和窍门？
深度学习如何入门？
机器学习中有哪些形式简单却很巧妙的idea？
深度学习应用在哪些领域让你觉得「我去，这也能行！」？
目前有哪些比较成功的人工智能应用？
如何评价Momenta ImageNet 2017夺冠架构SENet?
计算机技术的进步与模拟运算，在未来真的可以解决磁约束核聚变技术中所有关键问题吗？
GAN:固定训练好的判别器网络，去指导训练生成器为什么不可以？
在集成电路设计领域（数字，模拟），人工智能有无可能取代人类？
如何理解链接预测（link prediction）？
什么是人工智能？人工智能、机器学习、深度学习三者之间有什么关系吗？