如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ? 第1页
1
wang-yan-56-80 网友的相关建议:
感谢关注我们的工作，这是我的前实习生苏熠暄与我以及实习生兰天合作的提出的一套新的文本生成训练+decoding框架，在做出初步结果以后，觉得效果不错，为了进一步完善方法，邀请了好朋友老孔以及老孔的好朋友老丹一起参与了这个工作。另外，在论文写好之前，这套方法已经被广泛用于我们内部产品中，取代了之前的top k top p sampling方法。
在这篇工作中，我们针对开放式文本生成任务(Open-ended Text Generation)提出了一个新的训练策略(SimCTG)+解码算法(contrastive search)。我们在来自多语言的不同任务以及实际工业场景中进行了大量的自动及人工评测集。实验结果(见下图)表明我们的方法显著提升了文本生成模型的效果。论文以及所有代码模型均已开源。在Github开源项目中我们详细展示了如何在中文，英文，日文语言生成模型上使用我们的方法。简而言之，这是一个让大家不再需要top k top k sampling的工作，欢迎感兴趣的朋友一起交流讨论。
1
相关话题
AI领域的灌水之风如何破局？为什么在R语言里多用<-而不是=表示赋值？
如何评价 Kaiming 团队新作 Masked Autoencoders (MAE)？
请问人工神经网络中的activation function的作用具体是什么？为什么ReLu要好过于tanh和sigmoid function?
搞机器学习的生环化材是天坑吗？
为什么学习深度学习感觉无法入门？
如何评价deepmind最新在nature上发表的论文《在人工网络中用网格样表征进行基于向量的导航》？
能否用具体的例子解释一下 (Model-based) Structural Estimation？
从今年校招来看，机器学习等算法岗位应届生超多，竞争激烈，未来 3-5 年机器学习相关就业会达到饱和吗？
如果有第谷的数据，现在的机器学习，深度学习有办法学出开普勒三定律吗？
前一个讨论
图片上训的模型，怎么迁移视频上呢？
相关的话题
在你做推荐系统的过程中都遇到过什么坑？如何评价谷歌刚推出的Cloud AutoML？
请问应该怎样去学习图像识别和深度学习？
为什么相比于计算机视觉(cv)，自然语言处理(nlp)领域的发展要缓慢？
如何评价 MXNet 被 Amazon AWS 选为官方深度学习平台？
可以对只有一个像素的图片拥有版权或著作权吗？为什么？
人工智能已在哪些领域超越了人类的表现？
为什么在SGD中使用L1正则化很难获得稀疏性？
当前（2020年）机器学习中有哪些研究方向特别的坑？
时间序列数据上可以抽取哪些频域特征？
如何评价 UCLA 朱松纯教授近日访谈中对深度学习的批评？
如何评价openai的新工作DALL·E?
如何看待微软小冰写的诗？
计算机视觉是否已经进入瓶颈期？
如何用自然语言处理判断一句话是否符合中文口语习惯？
计算机视觉中，目前有哪些经典的目标跟踪算法？
为什么相比于计算机视觉(cv)，自然语言处理(nlp)领域的发展要缓慢？
如何判断两个Deep Learning 数据集的数据分布是否一致？
在NLP上，CNN、RNN（认为LSTM等变体也是RNN）、最简单全连结MLP，三者相比，各有何优劣?
有哪些深度学习效果不如传统方法的经典案例？
如何看待2021年秋招算法岗灰飞烟灭？
如何评价 DeepMind 在北京时间 19 年 1 月 25 日 2 点的《星际争霸 2》项目演示？
有什么深度学习数学基础书推荐？
想问下专业人士 OpenCv会被深度学习进一步取代吗进一步取代吗？
能分享你收藏的国外AI talk, seminar平台或网站吗？
除了深度学习，机器学习领域近年来还有什么热点吗？
机器学习能否用于综合评价？具体怎么操作？
在Auto ML的冲击下，ML算法人员是否会在前者成熟后失业的情况？
如何看待SQuAD比赛中，阿里、MSRA机器阅读理解准确率超越人类？
使用强化学习解决实际问题时常常避不开环境模拟或者使用离线强化学习算法，两者分别有什么优缺点？