如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ? 第1页
1
wang-yan-56-80 网友的相关建议:
感谢关注我们的工作，这是我的前实习生苏熠暄与我以及实习生兰天合作的提出的一套新的文本生成训练+decoding框架，在做出初步结果以后，觉得效果不错，为了进一步完善方法，邀请了好朋友老孔以及老孔的好朋友老丹一起参与了这个工作。另外，在论文写好之前，这套方法已经被广泛用于我们内部产品中，取代了之前的top k top p sampling方法。
在这篇工作中，我们针对开放式文本生成任务(Open-ended Text Generation)提出了一个新的训练策略(SimCTG)+解码算法(contrastive search)。我们在来自多语言的不同任务以及实际工业场景中进行了大量的自动及人工评测集。实验结果(见下图)表明我们的方法显著提升了文本生成模型的效果。论文以及所有代码模型均已开源。在Github开源项目中我们详细展示了如何在中文，英文，日文语言生成模型上使用我们的方法。简而言之，这是一个让大家不再需要top k top k sampling的工作，欢迎感兴趣的朋友一起交流讨论。
1
相关话题
为什么机器学习解决网络安全问题总是失败?如何看待李国杰院士在科学网发文称，国内 AI 研究「顶不了天、落不了地」，该想想了？
自学深度学习是怎样一种体验？
机器学习如何才能避免「只是调参数」？
在NLP当中，不同的评价指标，BLEU, METEOR, ROUGE和CIDEr的逻辑意义？
如何看待与评价 AAAI 2022 的录用结果？
预训练模型的训练任务在 MLM 之外还有哪些有效方式？
为什么C4.5决策树能处理连续特征，ID3树不能处理连续特征？
为什么现在很多人不看好商汤科技？
统计模型和概率模型的区别是什么呢？
前一个讨论
图片上训的模型，怎么迁移视频上呢？
相关的话题
如何看待AI伦理科学家Timnit Gebru在邮件控诉谷歌缺乏种族多样性后被Jeff Dean炒掉？如何看待 Nervana 被 Intel 收购？
如何才能看得懂变分贝叶斯方法（Variational Bayesian）？
请问一下，机器学习领域的联邦学习技术，目前看到最多的是微众银行，国内还有哪些顶级专家及机构和大学？
当前人工智能特别是深度学习最前沿的研究方向是什么？
如何评价openai的新工作DALL·E?
主题模型(topic model)到底还有没有用，该怎么用？
土木和机器学习/深度学习/算法的交叉岗位在哪里找呀？ 在哪找都找不到招聘公司?
研一，在学机器学习和深度学习，为什么感觉越学越不会，怎么解决这个问题？
GAN（对抗生成网络）可以被用于哪些（商业或潜在商业）实际问题？
NLP文本分类的本质是不是其实是找相似，对于要分类的句子，在训练集里找最相似的句子？
graph convolutional network有什么比较好的应用task？
2021 年了，机器/深度学习还有哪些坑比较好挖？
当前（2020年）机器学习中有哪些研究方向特别的坑？
人工智能在生活中的应用都有哪些？
Transformer是如何处理可变长度数据的？
多因子模型是否真的可以带来阿尔法（alpha）？
如何将某个分布作为机器学习的特征？
深度学习方面还有什么Open Problem?
如何评价 2018 年度图灵奖颁发给三位深度学习之父？
为什么说大模型训练很难？
如何看待周志华等人的新书《机器学习理论导引》？
从算法的角度来看，Elsagate 事件暴露出了「自动推荐」的哪些问题，该如何规避？
能否对卷积神经网络工作原理做一个直观的解释？
CTR预估中怎样加入图片特征？图片特征怎么提取？
自然语言处理怎么最快入门？
当前（2020年）机器学习中有哪些研究方向特别的坑？
pytorch ddp训练中一个node fail，导致整个训练失败，有可能解决吗？
为何中国人迷恋吴恩达的机器学习课？
为什么nlp没有像cv四小龙一样的创业公司？