如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ? 第1页
1
wang-yan-56-80 网友的相关建议:
感谢关注我们的工作，这是我的前实习生苏熠暄与我以及实习生兰天合作的提出的一套新的文本生成训练+decoding框架，在做出初步结果以后，觉得效果不错，为了进一步完善方法，邀请了好朋友老孔以及老孔的好朋友老丹一起参与了这个工作。另外，在论文写好之前，这套方法已经被广泛用于我们内部产品中，取代了之前的top k top p sampling方法。
在这篇工作中，我们针对开放式文本生成任务(Open-ended Text Generation)提出了一个新的训练策略(SimCTG)+解码算法(contrastive search)。我们在来自多语言的不同任务以及实际工业场景中进行了大量的自动及人工评测集。实验结果(见下图)表明我们的方法显著提升了文本生成模型的效果。论文以及所有代码模型均已开源。在Github开源项目中我们详细展示了如何在中文，英文，日文语言生成模型上使用我们的方法。简而言之，这是一个让大家不再需要top k top k sampling的工作，欢迎感兴趣的朋友一起交流讨论。
1
相关话题
AI领域的灌水之风如何破局？为什么交叉熵（cross-entropy）可以用于计算代价？
如何评价基于游戏毁灭战士（Doom）的AI死亡竞赛大赛结果？
《人工智能训练师国家职业技能标准》发布，有哪些值得关注的信息？
如何理解今年发表在JMLR上随机森林算法SPORF？
机器学习到底是什么，如何使用这项技术？
国内做NLP业务的香侬科技值得去吗？
数据挖掘、机器学习、自然语言处理这三者是什么关系？这几个怎么入门啊？
transformer 为什么使用 layer normalization，而不是其他的归一化方法？
如何评价MSRA视觉组最新对spatial attention mechanism分析论文？
前一个讨论
图片上训的模型，怎么迁移视频上呢？
相关的话题
能否对卷积神经网络工作原理做一个直观的解释？如何评价沐神他们写的《动手学深度学习》这本书？
xgboost原理？
如何评价 On Unifying Deep Generative Models 这篇 paper?
特征工程中的「归一化」有什么作用？
为什么机器学习解决网络安全问题总是失败?
NLP领域，你推荐哪些综述性的文章？
为什么 BERT 的 intermediate_size 这么大？
如何评价最近火热的对比学习，会引领预训练模型新的范式嘛?
如何理解attention中的Q,K,V？
深度学习调参有哪些技巧？
人工智能可以为人类找寻他们心目中的另一半吗?
在统计学领域有哪些经典奠基性的论文？
当前深度学习理论基础薄弱是否意味着我们应该放弃深度学习应用(计算机视觉、自然语言处理)？
GAN的生成器是怎么产生图片的？
如何评价第一局比赛 AlphaGo 战胜李世石？
有哪些看了让你醍醐灌顶的书籍、论文、期刊，使你对如何做数据挖掘、特征工程、统计挖掘有了眉目？
如何理解深度学习中的deconvolution networks？
PyTorch中在反向传播前为什么要手动将梯度清零？
为什么CV能做到让一幅人脸图动了笑了，而NLP的text-style-transfer进展貌似一般？
神经网络为什么可以（理论上）拟合任何函数？
各种机器学习算法的应用场景分别是什么（比如朴素贝叶斯、决策树、K 近邻、SVM、逻辑回归最大熵模型）？
为什么CV能做到让一幅人脸图动了笑了，而NLP的text-style-transfer进展貌似一般？
把某人的 DNA 序列作为输入，正面照片作为输出，丢到深度神经网络里面学习，可行吗？
如何评价百度自动驾驶 ApolloAuto 在 Github 上发布的代码？
深度学习底层开发对数学有哪些要求？
adversarial training为什么会起作用？
自监督学习（Self-supervised Learning）有什么比较新的思路？
多模态训练，怎么解决不同模态之间差异的问题？
2019年，计算机视觉领域，你推荐哪些综述性的文章？