如何评价剑桥，腾讯， DeepMind以及港大团队新作 SimCTG ? 第1页
1
wang-yan-56-80 网友的相关建议:
感谢关注我们的工作，这是我的前实习生苏熠暄与我以及实习生兰天合作的提出的一套新的文本生成训练+decoding框架，在做出初步结果以后，觉得效果不错，为了进一步完善方法，邀请了好朋友老孔以及老孔的好朋友老丹一起参与了这个工作。另外，在论文写好之前，这套方法已经被广泛用于我们内部产品中，取代了之前的top k top p sampling方法。
在这篇工作中，我们针对开放式文本生成任务(Open-ended Text Generation)提出了一个新的训练策略(SimCTG)+解码算法(contrastive search)。我们在来自多语言的不同任务以及实际工业场景中进行了大量的自动及人工评测集。实验结果(见下图)表明我们的方法显著提升了文本生成模型的效果。论文以及所有代码模型均已开源。在Github开源项目中我们详细展示了如何在中文，英文，日文语言生成模型上使用我们的方法。简而言之，这是一个让大家不再需要top k top k sampling的工作，欢迎感兴趣的朋友一起交流讨论。
1
相关话题
NTIRE2017夺冠的EDSR去掉了Batch Normalization层就获得了提高为什么？神经网络中 warmup 策略为什么有效；有什么理论解释么？
2021 年了，机器/深度学习还有哪些坑比较好挖？
如何看待2021年哔哩哔哩拜年纪采用机器生成的假弹幕？
为何以范剑青老师的 Sure Independence Screening 为代表的筛选法没有流行呢？
为什么编程语言语法的设计不往缩小与自然语言的差别的方向发展，或者说在这个方向发展得这么慢呢？
如何评价周志华在微博对 AlphaGo 和机器学习技术的评论？
学生网络用知识蒸馏损失去逼近教师网络，如何提高学生网络的准确率？
什么是博弈机器学习？
深度学习方面还有什么Open Problem?
前一个讨论
图片上训的模型，怎么迁移视频上呢？
相关的话题
深度学习到底是「实验科学」还是「理论科学」？能否称为「算法」？如果推出一款有「滤镜」功能的写作软件，修饰平庸的文字，会有市场吗？
深度学习中Attention与全连接层的区别何在？
普通FPGA工程师怎样向人工智能靠拢？
如何看待2021年秋招算法岗灰飞烟灭？
CTC和Encoder-Decoder有什么关系?
ICLR 2021 有什么值得关注的投稿？
《人工智能训练师国家职业技能标准》发布，有哪些值得关注的信息？
人工智能领域有哪些精妙的数学原理？
神经网络中的能量函数是如何定义的？
为何以范剑青老师的 Sure Independence Screening 为代表的筛选法没有流行呢？
国内外有哪些做小样本学习(Few-Shot Learning)的优秀团队？
如何判断两个Deep Learning 数据集的数据分布是否一致？
怎样从机器学习模型中获取知识？
既然使用神经网络也可以解决分类问题，那SVM、决策树这些算法还有什么意义呢？
机器学习算法进行分类时，样本极度不平衡，评估模型要看哪些指标？
如何看待Meta（恺明）最新论文ViTDet：只用ViT做backbone（不使用FPN）的检测模型？
现在tensorflow和mxnet很火，是否还有必要学习scikit-learn等框架？
如何评价 7 月 31 日一流科技开源的深度学习框架 OneFlow？
2021年深度学习哪些方向比较新颖，处于上升期或者朝阳阶段，没那么饱和，比较有研究潜力？
自然语言处理怎么最快入门？
金融学及金融从业者如何应对人工智能和大数据？
在迁移学习中，只有fine-tune和基于实例的迁移可用在小样本上吗，还有其他的小样本迁移方法吗？
支持向量机（SVM）是什么意思？
为什么中文 NLP 数据集这么少？
计算机视觉中，目前有哪些经典的目标跟踪算法？
深度学习到底是「实验科学」还是「理论科学」？能否称为「算法」？
如何评价 UCLA 朱松纯教授近日访谈中对深度学习的批评？
行为识别常用哪种特征提取？
如何看待KDD'21的文章，异质图神经网络的效果不如简单的GCN、GAT？