为什么 BERT 的 intermediate_size 这么大？ 第1页
1
guotong1988 网友的相关建议:
建议阅读：《Optimal Subarchitecture Extraction for BERT》
1
相关话题
全连接层的作用是什么？最数学的计算机科学方向有哪些？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
小样本学习中关于虚拟样本有效性的问题？
如何看待Yoav Goldberg 怒怼来自MILA的GAN for NLG的paper?
如何看待在某度搜不到megengine官网？
人工智能会是泡沫吗？
OpenAI 发布文字生成图像工具 DALL·E 2，它的画作水平如何？从技术角度如何评价它的能力？
AMD的CPU是否适合搭建深度学习主机？
如何看待Transformer在CV上的应用前景，未来有可能替代CNN吗？
下一个讨论
多模态训练，怎么解决不同模态之间差异的问题？
相关的话题
分类机器学习中，某一标签占比太大（标签稀疏），如何学习？Yann LeCun、Geoffrey Hinton或Yoshua Bengio能得图灵奖吗？
如何评价基于游戏毁灭战士（Doom）的AI死亡竞赛大赛结果？
GAN:固定训练好的判别器网络，去指导训练生成器为什么不可以？
加州大学伯克利分校为何能连续孵化出 Mesos,Spark,Alluxio,Ray 等重量级开源项目?
如何解读「量子计算应对大数据挑战：中国科大首次实现量子机器学习算法」？
分类机器学习中，某一标签占比太大（标签稀疏），如何学习？
有什么深度学习数学基础书推荐？
GAN:固定训练好的判别器网络，去指导训练生成器为什么不可以？
超越人类的人工智能 (AI) 是否能够实现？
如何看待 Nervana 被 Intel 收购？
年轻人为什么要做期货？
DL/ML 模型如何部署到生产环境中？
隐私计算、计算机视觉、自然语言处理三者中，哪个研究起来更有前途？
为什么最近几年 FPGA 变得越发受大家重视了？
你见过最差的算法工程师能差到什么程度？
如何评价「Patches are all you need」?
AI在网络安全领域（尤其是威胁检测领域），有什么好的应用场景？
围棋AI为什么没有下出同局？
深度学习在生物信息领域有什么应用？
如何理解今年发表在JMLR上随机森林算法SPORF？
能否使用神经网络来判断奇偶数？
如何评价 MLSys 这个会议？
已有大量编程基础，如何速成python用于学习机器学习？
如何评价何恺明、Ross Girshick组的自监督时空表征学习新作？
为什么 BERT 的 intermediate_size 这么大？
为什么计算机科学专业背景的人喜欢黑机器学习？
对于多指标评价，BP神经网络评价和TOPSIS有什么区别呢？
如何证明数据增强（Data Augmentation）有效性？
计算机视觉是否已经进入瓶颈期？