如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ? 第1页
1
wang-yan-56-80 网友的相关建议:
感谢关注我们的工作，这是我的前实习生苏熠暄与我以及实习生兰天合作的提出的一套新的文本生成训练+decoding框架，在做出初步结果以后，觉得效果不错，为了进一步完善方法，邀请了好朋友老孔以及老孔的好朋友老丹一起参与了这个工作。另外，在论文写好之前，这套方法已经被广泛用于我们内部产品中，取代了之前的top k top p sampling方法。
在这篇工作中，我们针对开放式文本生成任务(Open-ended Text Generation)提出了一个新的训练策略(SimCTG)+解码算法(contrastive search)。我们在来自多语言的不同任务以及实际工业场景中进行了大量的自动及人工评测集。实验结果(见下图)表明我们的方法显著提升了文本生成模型的效果。论文以及所有代码模型均已开源。在Github开源项目中我们详细展示了如何在中文，英文，日文语言生成模型上使用我们的方法。简而言之，这是一个让大家不再需要top k top k sampling的工作，欢迎感兴趣的朋友一起交流讨论。
1
相关话题
为什么交叉熵（cross-entropy）可以用于计算代价？应该选择TensorFlow还是Theano？
Python中 __init__的通俗解释是什么？
为什么nlp没有像cv四小龙一样的创业公司？
谈谈机器学习在网络安全领域的局限性，以及是否乐观？
工作之后，顶会还重要吗？
如何评价FAIR提出的MaskFormer，在语义分割ADE20K上达到SOTA：55.6 mIoU？
2020年，多标签学习（multi-label）有了哪些新的进展？
深度学习工作站中使用AMD的CPU会有问题吗？
2019年NeurIPS有哪些糟糕的论文？
前一个讨论
图片上训的模型，怎么迁移视频上呢？
相关的话题
测试集在构造的时候需要人为控制其中应该正确的和应该错误的数据比例吗？如何直观地解释 backpropagation 算法？
推荐算法岗是否存在严重人才过剩?
2019年NeurIPS有哪些糟糕的论文？
Resnet到底在解决一个什么问题呢？
如何看待周志华等人的新书《机器学习理论导引》？
人工智能领域有哪些精妙的数学原理？
写深度学习代码是先写model还是dataset还是train呢，有个一般化的顺序吗？
什么是主动学习（Active Learning, AL）？
深度学习工作站中使用AMD的CPU会有问题吗？
机器学习系统MLSys中有哪些比较有前途的研究方向？
Transformer是如何处理可变长度数据的？
深度学习方面还有什么Open Problem?
如何看待 Google 围棋 AI AlphaGo 击败欧洲围棋冠军？
2021年了，如何评价微软亚研提出的对偶学习（Dual Learning）？
如果人工智能迎来下一个寒冬，你认为会是卡在什么问题上？
如果不按套路下棋是不是就能赢 Alpha Go 了？
为什么 Bert 的三个 Embedding 可以进行相加？
应该选择TensorFlow还是Theano？
如何评价 NVIDIA 发布的 DGX-1？
相比于时下流行的机器学习方法（联接主义），传统的人工智能方法（符号主义）有什么独一无二的优势？
2021 年了，TensorFlow 和 PyTorch 两个深度学习框架地位又有什么变化吗？
Transformer是如何处理可变长度数据的？
自然语言处理怎么最快入门？
你所在的研究领域里，有哪些工作的结果虽然不是造假，但是是精挑细选出来的?
先进的图像识别怎样改变 AV 产业？
AlphaGo 与李世石的对战会推动人类的极限还是机器学习的进步和觉醒？
PyTorch中在反向传播前为什么要手动将梯度清零？
有没有什么可以节省大量时间的 Deep Learning 效率神器？
如何评价微软机器翻译在 WMT2017 中英翻译达到「人类水平」？