为什么 BERT 的 intermediate_size 这么大？ 第1页
1
guotong1988 网友的相关建议:
建议阅读：《Optimal Subarchitecture Extraction for BERT》
1
相关话题
现在的人工智能是否走上了数学的极端？机器学习以及贝叶斯统计里，关于近似intractable integral，大家都偏爱什么算法？
反馈控制理论在优化、机器学习等领域有哪些应用？
推荐算法岗是否存在严重人才过剩?
DL/ML 模型如何部署到生产环境中？
机器学习自嘲的炼丹和化学材料自嘲的炒菜有什么本质上的区别？
ICLR 2022有哪些值得关注的投稿？
如何看待指出 神经网络的训练罪魁祸首是退化一文？
OpenCV已经将图像处理(识别)的算法写成函数了,那我们还有必要去学习这些算法不?
如果推出一款有「滤镜」功能的写作软件，修饰平庸的文字，会有市场吗？
下一个讨论
多模态训练，怎么解决不同模态之间差异的问题？
相关的话题
如何看待Meta（恺明）最新论文ViTDet：只用ViT做backbone（不使用FPN）的检测模型？TensorFlow 中 padding 的 SAME 和 VALID 两种方式有何异同？
多模态方面，有哪些牛组值得我们follow他们的工作？
为什么神经网络具有泛化能力？
如何看待Capsule Network在NLP领域的潜力？
主题模型(topic model)到底还有没有用，该怎么用？
国内 top2 高校研一在读，为什么感觉深度学习越学越懵?
实体提取任务中使用BERT-CRF时，CRF根据数据统计可以得到转移概率，为啥还要训练呢？
能分享你收藏的国外AI talk, seminar平台或网站吗？
因果推断会是下一个AI热潮吗？
OpenCV已经将图像处理(识别)的算法写成函数了,那我们还有必要去学习这些算法不?
EM算法存在的意义是什么？
如何评价通信工程很多导师都研究机器学习人工智能而不是传统的天线电磁场等方向?
在中文 NLP 等论文中，应该如何翻译 token 这个词？
无人车为什么一定要用激光雷达做，双目视觉难道不行吗？
如何评价最新的Octave Convolution？
如何评价最近火热的对比学习，会引领预训练模型新的范式嘛?
实验室只有1080的显卡，老师还想让发深度学习论文，也不给配置好的显卡怎么办？
百度学术能否替代 Google 学术网站？有没有其他选择？
DL框架的未来发展，TensorFlow/MXNet/PyTorch, 选哪个？
搞机器学习的生环化材是天坑吗？
神经网络的万能逼近定理已经发展到什么地步了？
多任务学习中loss多次backward和loss加和后backward有区别吗？
NLP文本分类的本质是不是其实是找相似，对于要分类的句子，在训练集里找最相似的句子？
2021 年，深度学习方面取得了哪些关键性进展？
27岁了跨考计算机研究生会不会太晚？
多任务学习成功的原因是引入了别的数据库还是多任务框架本身呢？
结合深度学习的图像修复怎么实现？
如何评价Sony新出的深度学习库NNabla？
Pytorch有什么节省显存的小技巧？