如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ? 第1页
1
wang-yan-56-80 网友的相关建议:
感谢关注我们的工作，这是我的前实习生苏熠暄与我以及实习生兰天合作的提出的一套新的文本生成训练+decoding框架，在做出初步结果以后，觉得效果不错，为了进一步完善方法，邀请了好朋友老孔以及老孔的好朋友老丹一起参与了这个工作。另外，在论文写好之前，这套方法已经被广泛用于我们内部产品中，取代了之前的top k top p sampling方法。
在这篇工作中，我们针对开放式文本生成任务(Open-ended Text Generation)提出了一个新的训练策略(SimCTG)+解码算法(contrastive search)。我们在来自多语言的不同任务以及实际工业场景中进行了大量的自动及人工评测集。实验结果(见下图)表明我们的方法显著提升了文本生成模型的效果。论文以及所有代码模型均已开源。在Github开源项目中我们详细展示了如何在中文，英文，日文语言生成模型上使用我们的方法。简而言之，这是一个让大家不再需要top k top k sampling的工作，欢迎感兴趣的朋友一起交流讨论。
1
相关话题
如何看待Capsule Network在NLP领域的潜力？如何评价FAIR提出的ConvNeXt：CNN匹敌Swin Transformer?
AI领域的灌水之风如何破局？
为什么计算机科学专业背景的人喜欢黑机器学习？
如何评价B站UP主未明子宣称“知乎搞机器学习模拟拉康的程序员”具备“头脑上的悲剧”？
word2vec 相比之前的 Word Embedding 方法好在什么地方？
插值和拟合最根本的区别是什么？机器学习为啥用拟合？？
在优化问题里，强化学习相比启发式搜索算法有什么好处？
在算力充沛，深度学习模型大行其道的今天，传统机器学习的未来在哪里？
在哪里能找到各行业的分析研究报告？
前一个讨论
图片上训的模型，怎么迁移视频上呢？
相关的话题
如何看待 AlphaFold 在蛋白质结构预测领域的成功？如何评价基于游戏毁灭战士（Doom）的AI死亡竞赛大赛结果？
深度学习在无人驾驶汽车上面的运用有哪些？
如何看UCBerkeley RISELab即将问世的Ray，replacement of Spark？
CVPR 2019 有哪些值得关注的亮点？
有哪些解决完之后让你拍案叫绝的算法问题？
mxnet的并行计算为什么这么牛，是什么原理？
AI领域的灌水之风如何破局？
人工智能在发展到极高的程度之后能否算得上是一种生命？
在计算资源有限的情况下，有什么深度学习的选题可以推荐/避免？
如何看待Hinton的论文《Dynamic Routing Between Capsules》？
如何看待Hinton的论文《Dynamic Routing Between Capsules》？
如何评价余凯创立的horizon robotics？
人工智能被高估了吗？
如何评价Google最新提出的gMLP：MLP模型在CV和NLP任务上均取得较好的效果？
中科院某所研一新生，小样本学习、数据融合、强化学习、图神经网络、资源受限的计算这几个方向选哪个更好？
有什么算法能对一个长短不一的时间序列进行分类预测?
如何评价论文「Stochastic Training is Not Necessary ...」?
K-means聚类算法中的K如何确定？
如何评价小米开源的移动端深度学习框架MACE？
已有大量编程基础，如何速成python用于学习机器学习？
如何看待华为 4 月 25 日发布的盘古智能大模型？在这个行业处于什么水平？
OpenAI 发布文字生成图像工具 DALL·E 2，它的画作水平如何？从技术角度如何评价它的能力？
什么是机器学习？
为什么 BERT 的 intermediate_size 这么大？
为什么我用相同的模型，数据，超参，随机种子，在两台服务器会得到不同的结果？
如何评价华为天才少年钟钊团队成功开启了 AutoML 大规模商用的先河？什么是 AutoML？
如何评价Yann LeCun 说的「要研究机器学习，本科应尽量多学物理和数学课」？
有没有根据一张人物的立绘正面像，自动生成同风格各侧面角度像并自动衍生表情的软件啊？
DeepMind 团队中有哪些厉害的人物和技术积累？