Transformer在工业界的应用瓶颈如何突破？ 第1页
1
pi-qia-che-70 网友的相关建议:
回答问题：工业界+蛋白质领域，Alphafold2的trunk部分用的就是transformer。同时facebook的MSA transformer在无监督提取蛋白质接触图谱上有了大的突破。
问题之外：我觉得大家不要过分只关注transformer，transformer只是一种特殊形式的GNN。在图神经网络上有更大的空间。Relational inductive biases, deep learning, and graph networks
1
相关话题
为什么交叉熵（cross-entropy）可以用于计算代价？attention跟一维卷积的区别是啥？
民航客机距离完全不需要飞行员的自动驾驶还有多远？
百度在深度学习上使用Xilinx FPGA?
知乎是否对于人工智能过于警惕，而对于转基因技术过于自信，被提出潜在风险大多被认为是杞人忧天？
如何评价陈天奇的模块化深度学习系统NNVM？
为何以范剑青老师的 Sure Independence Screening 为代表的筛选法没有流行呢？
想问下专业人士 OpenCv会被深度学习进一步取代吗进一步取代吗？
如何评价周志华在微博对 AlphaGo 和机器学习技术的评论？
如何看待 CMU 新开设的 AI 专业？
前一个讨论
杭州空气是不是很差？如果是，为什么那么差？
下一个讨论
导师要抢我的一作，我该怎么办？
相关的话题
有没有可能让计算机去理解代码，从而写代码？ai将来可以熟练运用公式解应用题吗？那为什么我还要起早贪黑地学解公式，而不是研究怎么搞这个ai？
NIPS 2018 有什么值得关注的亮点？
为什么要压缩模型，而不是直接训练一个小的CNN？
阿里的TDM树深度模型为什么很少有人用，是有哪些问题吗？
有哪些定理在高维情况下与三维情况下培养出来的直觉不符？
深度学习底层开发对数学有哪些要求？
如何看待Tensor Comprehensions？与TVM有何异同？
如何评价 On Unifying Deep Generative Models 这篇 paper?
什么是迁移学习 (Transfer Learning)？这个领域历史发展前景如何？
为什么百度无人车在国内这么多人黑？
如何评价 Kaiming 团队新作 Masked Autoencoders (MAE)？
上学和读书有什么区别?
现在机器学习工业界和学术界的差别越来越大了吗？尽早实习和踏实科研各有什么利弊？
如何评价Yann LeCun 说的「要研究机器学习，本科应尽量多学物理和数学课」？
「刷脸支付」靠谱吗，现在发展得怎么样了？
如何评价谷歌推出1.6万亿参数超级语言模型Switch Transformer？
机器学习里面的流形都是怎么用的？
如何评价AWS的图神经网络框架DGL？
如何看待swin transformer成为ICCV2021的 best paper？
多任务学习成功的原因是引入了别的数据库还是多任务框架本身呢？
为什么人工智能用 Python？
在中小学阶段设置人工智能相关课程对于培养人工智能人才具有哪些意义？如何推进会比较有效？
如何看待 CMU 新开设的 AI 专业？
AI 有可能代替人类从事数学研究吗？
如何看待timm作者发布ResNet新基准：ResNet50提至80.4，这对后续研究会带来哪些影响？
为什么交叉熵（cross-entropy）可以用于计算代价？
如何评价 Self-Normalizing Neural Networks 这篇论文?
类似AlphaGo一样的人工智能什么时候才可以击败RTS（如星际）顶级选手？
国内目前的量化交易是否很少涉及到机器学习？