为什么 BERT 的 intermediate_size 这么大？ 第1页
1
guotong1988 网友的相关建议:
建议阅读：《Optimal Subarchitecture Extraction for BERT》
1
相关话题
如何评价CVPR2019程序主席Derek Hoiem的论点：计算机视觉只是记忆，不是智能？一个无监督学习算法，如何判断其好坏呢?
人工「神经网络」技术在信息处理上有何特点，工作原理是什么？
面试官如何判断面试者的机器学习水平？
如何看待MXNet获得amazon官方支持首位？
在五到十年内，人工智能能复原成人影片中的被马赛克部分吗？
预训练模型的训练任务在 MLM 之外还有哪些有效方式？
现在tensorflow和mxnet很火，是否还有必要学习scikit-learn等框架？
如何计算CNN中batch normalization的计算复杂度（FLOPs）？
如何证明对任意给定的正数e，存在M上的矩阵范数||A||，满足不等式||A||<=谱半径+e?
下一个讨论
多模态训练，怎么解决不同模态之间差异的问题？
相关的话题
ICLR 2021 有什么值得关注的投稿？KL散度衡量的是两个概率分布的距离吗？
有哪些令你印象深刻的魔改transformer？
人工智能 CV 岗位是不是现在供严重大于需？
如何评价陈天奇团队新开源的TVM？
深度神经网络（DNN）是否模拟了人类大脑皮层结构？
如何评价微软亚洲研究院提出的LightRNN？
人工智能技术会不会最终赶上微积分的历史地位？
为什么中文 NLP 数据集这么少？
阿里的TDM树深度模型为什么很少有人用，是有哪些问题吗？
谷歌翻译原理是什么，从语言A到B，中间是否要翻译成中介语言C（如英语）？
要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？
2019年，计算机视觉领域，你推荐哪些综述性的文章？
未来20年，新技术将从哪些方面改变人的消费方式？
为什么Transformer适合做多模态任务？
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？
Word2vec 翻译到另一种语言，其向量空间之间的映射会不会是线性的？
怎么选取训练神经网络时的Batch size?
如何用自然语言处理判断一句话是否符合中文口语习惯？
如何评价谷歌提出的 Pix2Seq：将目标检测看成语言建模，效果超过 DETR？
如何评价 2018 清华大学特等奖学金计算机大类（贵系、软院、姚班）无人通过一轮筛选？
如何评价DALL-E模型的实现？
如何看待QQ邮箱翻译出他人的快递通知？
因果推断会是下一个AI热潮吗？
如何看待指出 神经网络的训练罪魁祸首是退化一文？
深度学习做股票预测靠谱吗？
请问有没有基于实例的迁移学习的数据？
如何理解 Swin Transformer 和 Vision Transformer不同任务上的差异？
经过足够长的时间， AlphaGo 的棋谱能收敛到一张上吗？
大牛Bengio 团队最新的研究和我自己之前的研究成果重复了，应该怎么办？