如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ? 第1页
1
wang-yan-56-80 网友的相关建议:
感谢关注我们的工作，这是我的前实习生苏熠暄与我以及实习生兰天合作的提出的一套新的文本生成训练+decoding框架，在做出初步结果以后，觉得效果不错，为了进一步完善方法，邀请了好朋友老孔以及老孔的好朋友老丹一起参与了这个工作。另外，在论文写好之前，这套方法已经被广泛用于我们内部产品中，取代了之前的top k top p sampling方法。
在这篇工作中，我们针对开放式文本生成任务(Open-ended Text Generation)提出了一个新的训练策略(SimCTG)+解码算法(contrastive search)。我们在来自多语言的不同任务以及实际工业场景中进行了大量的自动及人工评测集。实验结果(见下图)表明我们的方法显著提升了文本生成模型的效果。论文以及所有代码模型均已开源。在Github开源项目中我们详细展示了如何在中文，英文，日文语言生成模型上使用我们的方法。简而言之，这是一个让大家不再需要top k top k sampling的工作，欢迎感兴趣的朋友一起交流讨论。
1
相关话题
工程师简历写着「在微软传播性病」，骗过了 90% 公司的机器筛选，机器筛选简历那么不靠谱吗？2019 秋招的 AI 岗位竞争激烈吗？
强化学习和自适应控制的关系是什么？
为什么在实际的kaggle比赛中，GBDT和Random Forest效果非常好？
如何评价Hinton在加拿大多伦多大学关于用“capsule”作为下一代CNN的演讲？
数据挖掘、机器学习、自然语言处理这三者是什么关系？这几个怎么入门啊？
自监督学习（Self-supervised Learning）有什么比较新的思路？
pytorch 的高层库ignite怎么样？
如何比较Keras, TensorLayer, TFLearn ？
大家推荐一下，哪些学校的导师有在做量化交易、股票预测的？
前一个讨论
图片上训的模型，怎么迁移视频上呢？
相关的话题
普通程序员如何正确学习人工智能方向的知识？如何理解深度学习中的deconvolution networks？
Domain Adaptation学术上有哪些方向，还有哪些可做的地方？
简单解释一下sparse autoencoder, sparse coding和restricted boltzmann machine的关系？
关于tensorflow中的滑动平均？
类似AlphaGo一样的人工智能什么时候才可以击败RTS（如星际）顶级选手？
即时战略游戏（比如 WAR3）的 AI 是怎样实现的？
机器学习中的机器是如何分辨哪些是有用的知识，哪些是没用的信息呢？
如何解决图神经网络（GNN）训练中过度平滑的问题？
学习人工智能，术语看不懂怎么办？
人工「神经网络」技术在信息处理上有何特点，工作原理是什么？
如何评价各种关联因素分析算法,尤其是在算法效果对比方面?
不觉得最大熵原理很奇怪吗？
如何评价百度自动驾驶 ApolloAuto 在 Github 上发布的代码？
Learning To Rank的pair wise方法如何得到全局排序结果呢？
请问机器学习中的预测与决策的区别是什么，他们的界限在哪里呢？
如何评价《Science》封面文章《通过概率规划归纳的人类层次概念学习》?
2021年了，机器学习有什么高质量的专著?
如果有第谷的数据，现在的机器学习，深度学习有办法学出开普勒三定律吗？
深度学习attention机制中的Q,K,V分别是从哪来的？
AI在网络安全领域（尤其是威胁检测领域），有什么好的应用场景？
算法岗位真的需要顶会才能入场吗？
贝叶斯深度学习是什么，和传统神经网络有何不同？
中科院某所研一新生，小样本学习、数据融合、强化学习、图神经网络、资源受限的计算这几个方向选哪个更好？
ICLR 2021 有什么值得关注的投稿？
基于对比学习(Contrastive Learning)的文本表示模型【为什么】能学到语义【相似】度？
如何看待swin transformer成为ICCV2021的 best paper？
实验室一块GPU都没有怎么做深度学习？
FPGA做深度学习能走多远？
GAN生成的数据没有标签怎么用来训练分类模型？