为什么 BERT 的 intermediate_size 这么大？ 第1页
1
guotong1988 网友的相关建议:
建议阅读：《Optimal Subarchitecture Extraction for BERT》
1
相关话题
如何看待Hinton的论文《Dynamic Routing Between Capsules》？如何看待Capsule Network在NLP领域的潜力？
如何解读「量子计算应对大数据挑战：中国科大首次实现量子机器学习算法」？
如何评价「Patches are all you need」?
怎样计算两个服从高斯分布的向量乘积的期望？
人工智能相关的岗位薪酬状况如何？
新手如何入门pytorch？
如果你是面试官，你怎么去判断一个面试者的深度学习水平？
如何看待MXNet获得amazon官方支持首位？
梯度下降法的神经网络容易收敛到局部最优，为什么应用广泛？
下一个讨论
多模态训练，怎么解决不同模态之间差异的问题？
相关的话题
AlphaGo「理解」围棋吗？如何看待MXNet获得amazon官方支持首位？
《失控玩家》中的游戏有可能实现出来吗？
GAN的生成器是怎么产生图片的？
有哪些人工智能上的事实，没有一定人工智能知识的人不会相信？
各种机器学习算法的应用场景分别是什么（比如朴素贝叶斯、决策树、K 近邻、SVM、逻辑回归最大熵模型）？
如何看待周志华等人的新书《机器学习理论导引》？
你所在的研究领域里，有哪些工作的结果虽然不是造假，但是是精挑细选出来的?
全连接层的作用是什么？
人工智能可以解决人类难题吗？
为什么 BERT 的 intermediate_size 这么大？
如何评价Hinton组的新工作SimCLR?
深度学习工作站中使用AMD的CPU会有问题吗？
为什么Transformer要用LayerNorm？
wasserstein 距离的问题?
word2vec有什么应用？
国内目前的量化交易是否很少涉及到机器学习？
LSTM如何来避免梯度弥散和梯度爆炸？
为什么现在有这么多人工智能无用论？
现在机器学习工业界和学术界的差别越来越大了吗？尽早实习和踏实科研各有什么利弊？
如何看待 Google 围棋 AI AlphaGo 击败欧洲围棋冠军？
FPGA做深度学习能走多远？
为什么Transformer要用LayerNorm？
word2vec有什么应用？
如何评价微软新出的自拍软件 Microsoft Selfie？
验证集loss上升，准确率却上升该如何理解？
Bert中的词向量各向异性具体什么意思啊？
有什么算法能对一个长短不一的时间序列进行分类预测?
BERT中，multi-head 768*64*12与直接使用768*768矩阵统一计算，有什么区别？
有什么深度学习数学基础书推荐？