百科问答小站 logo
百科问答小站 font logo



怎么形象理解embedding这个概念? 第1页

  

user avatar   CommanderYCJiangS117 网友的相关建议: 
      

我觉得 @邱锡鹏 老师的《神经网络与深度学习》里对这个的解释比较容易理解——实际上对颜色的RGB表示法就属于一种典型的分布式表示:

对于颜色,我们可以把它拆成三个特征维度,用这三个维度的组合理论上可以表示任意一种颜色。同理,对于词,我们也可以把它拆成指定数量的特征维度,词表中的每一个词都可以用这些维度组合成的向量来表示,这个就是Word Embedding的含义。

当然,词跟颜色还是有很大的差别的——我们已经知道表示颜色的三个维度有明确对应的物理意义(即RGB),直接使用物理原理就可以知道某一个颜色对应的RGB是多少。但是对于词,我们无法给出每个维度所具备的可解释的意义,也无法直接求出一个词的词向量的值应该是多少。所以我们需要使用语料和模型来训练词向量——把嵌入矩阵当成模型参数的一部分,通过词与词间的共现或上下文关系来优化模型参数,最后得到的矩阵就是词表中所有词的词向量。

这里需要说明的是,有的初学者可能没绕过一个弯,就是“最初的词向量是怎么来的”——其实你只要知道最初的词向量是瞎JB填的就行了。嵌入矩阵最初的参数跟模型参数一样是随机初始化的,然后前向传播计算损失函数,反向传播求嵌入矩阵里各个参数的导数,再梯度下降更新,这个跟一般的模型训练都是一样的。等训练得差不多的时候,嵌入矩阵就是比较准确的词向量矩阵了。




  

相关话题

  如何评价各种关联因素分析算法,尤其是在算法效果对比方面? 
  凸分析和凸优化有什么推荐的教材吗? 
  相比于时下流行的机器学习方法(联接主义),传统的人工智能方法(符号主义)有什么独一无二的优势? 
  如何看待 2014 年以来计算机视觉(Computer Vision)界创业潮? 
  2019年NeurIPS有哪些糟糕的论文? 
  如何评价FAIR提出的MaskFormer,在语义分割ADE20K上达到SOTA:55.6 mIoU? 
  在机器学习模型的训练期间,大概几十分钟到几小时不等,大家都会在等实验的时候做什么? 
  resnet(残差网络)的F(x)究竟长什么样子? 
  机器学习为生物学和医学研究带来了哪些改变?能解决哪些医学难题? 
  计算成像(computational photography)方向的就业前景如何? 

前一个讨论
有哪些「美国美食」?
下一个讨论
word2vec 相比之前的 Word Embedding 方法好在什么地方?





© 2024-10-31 - tinynew.org. All Rights Reserved.
© 2024-10-31 - tinynew.org. 保留所有权利