如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ? 第1页
1
wang-yan-56-80 网友的相关建议:
感谢关注我们的工作，这是我的前实习生苏熠暄与我以及实习生兰天合作的提出的一套新的文本生成训练+decoding框架，在做出初步结果以后，觉得效果不错，为了进一步完善方法，邀请了好朋友老孔以及老孔的好朋友老丹一起参与了这个工作。另外，在论文写好之前，这套方法已经被广泛用于我们内部产品中，取代了之前的top k top p sampling方法。
在这篇工作中，我们针对开放式文本生成任务(Open-ended Text Generation)提出了一个新的训练策略(SimCTG)+解码算法(contrastive search)。我们在来自多语言的不同任务以及实际工业场景中进行了大量的自动及人工评测集。实验结果(见下图)表明我们的方法显著提升了文本生成模型的效果。论文以及所有代码模型均已开源。在Github开源项目中我们详细展示了如何在中文，英文，日文语言生成模型上使用我们的方法。简而言之，这是一个让大家不再需要top k top k sampling的工作，欢迎感兴趣的朋友一起交流讨论。
1
相关话题
ICLR 2022有哪些值得关注的投稿？视觉算法的工业部署及落地方面的技术知识，怎么学？
对于多指标评价，BP神经网络评价和TOPSIS有什么区别呢？
如何评价何恺明、Ross Girshick组的自监督时空表征学习新作？
为什么 BERT 的 intermediate_size 这么大？
2019 秋招的 AI 岗位竞争激烈吗？
如何看待2016年3月柯洁表示 AlphaGo「赢不了我」？
如何看待 Daniel Povey 离开 JHU 后加入小米？
迁移学习入门，新手该如何下手？
Google 的神经网络生成图像 (Inceptionism) 是怎么做到的？
前一个讨论
图片上训的模型，怎么迁移视频上呢？
相关的话题
如何评价 DeepMind 在星际中的失利，以及 OpenAI 在 Dota 上的成功？GAN生成的数据没有标签怎么用来训练分类模型？
如果用机器学习的理论来理解人的行为，会有什么发现？
把某人的 DNA 序列作为输入，正面照片作为输出，丢到深度神经网络里面学习，可行吗？
什么是狄利克雷分布？狄利克雷过程又是什么？
现在的人工智能是否走上了数学的极端？
一个无监督学习算法，如何判断其好坏呢?
写深度学习代码是先写model还是dataset还是train呢，有个一般化的顺序吗？
阿里的TDM树深度模型为什么很少有人用，是有哪些问题吗？
所谓大数据分析，究竟要学什么？
Transformer在工业界的应用瓶颈如何突破？
主题模型(topic model)到底还有没有用，该怎么用？
如何评价MXNet发布的1.0版本？
如何评价Yann LeCun 说的「要研究机器学习，本科应尽量多学物理和数学课」？
如何评价深度学习之父Hinton发布的Capsule论文？
为什么 BERT 的 intermediate_size 这么大？
不觉得最大熵原理很奇怪吗？
计算流体力学（CFD）里应用注意力机制（attention）是否可行？
深度学习工作站中使用AMD的CPU会有问题吗？
深度学习有哪些好玩的案例？
transformer中的Q,K,V到底是什么？
人工智能在生活中的应用都有哪些？
ICLR 2019 有什么值得关注的亮点？
如何看待 Alex Smola 加入 Amazon？
自然语言处理怎么最快入门？
ICML 2018 有哪些值得关注的亮点?
马上计算机研一，想问一下机器学习、深度学习…大家都是怎么入门的？
为什么在R语言里多用<-而不是=表示赋值？
我决定进军期货市场，您有什么建议吗？
如何系统学习机器学习？