在中文 NLP 等论文中，应该如何翻译 token 这个词？ 第1页
1
zibuyu9 网友的相关建议:
在语言学特定语境下，一般会将 word type 和 word token 做比对，这时候，翻译为 词形 和 词例 比较合适。word type指的是词表中互不相同的单词形态，而word token则是指文本中具体出现的单词。很多NLP论文中说token的时候，大致是指的文本序列中具体出现的那些词，即word token。
1
相关话题
神经网络中的能量函数是如何定义的？神经网络为什么可以（理论上）拟合任何函数？
Transformer在工业界的应用瓶颈如何突破？
有哪些你看了以后大呼过瘾的数据分析书？
为什么在SGD中使用L1正则化很难获得稀疏性？
2021 年了，机器/深度学习还有哪些坑比较好挖？
NLP文本匹配问题的本质是不是 对于要预测的句子，遍历候选句子 从训练数据集里寻找最相似的pair？
因果推断会是下一个AI热潮吗？
人工智能被高估了吗？
深度学习attention机制中的Q,K,V分别是从哪来的？
相关的话题
如果有一天人类被AI取代，他们将以什么样的方式生活，娱乐，工作？行为识别常用哪种特征提取？
怎么通俗地理解张量？
机器学习中如何识别图片中的手是手背还是手心？
Yoshua Bengio为什么能跟Hinton、LeCun相提并论？？
为什么做机器学习的很少使用假设检验？
深度学习领域，你心目中 idea 最惊艳的论文是哪篇？
怎样计算两个服从高斯分布的向量乘积的期望？
学习python中的pandas有没有好的教程推荐？
有没有必要把机器学习算法自己实现一遍？
联邦学习在机器学习领域有什么独立存在的价值?
如何理解今年发表在JMLR上随机森林算法SPORF？
深度学习应用在哪些领域让你觉得「我去，这也能行！」？
如何理解attention中的Q,K,V？
有多少个数学家叫 Kolmogorov ?
微软小冰测颜值是否比较准？为什么？
机器学习中非均衡数据集的处理方法？
机器学习如何才能避免「只是调参数」？
主题模型(topic model)到底还有没有用，该怎么用？
如何评价《Science》封面文章《通过概率规划归纳的人类层次概念学习》?
人工智能和自动控制能在一起擦出什么样的火花？
GAN生成的数据没有标签怎么用来训练分类模型？
如何评价李飞飞和李佳加盟谷歌？
为什么读论文最好打印出来读？
机器学习中的 Bias（偏差）、Error（误差）、Variance（方差）有什么区别和联系？
机器学习最好的课程是什么？
目前有哪些比较成功的人工智能应用？
计算机视觉和自然语言处理，哪个更具有发展前景呢，还是各有千秋呢？
NLP领域，你推荐哪些综述性的文章？
如何评价Google发布的第二代深度学习系统TensorFlow?