Bert中的词向量各向异性具体什么意思啊？

BERT中的词向量各向异性，你可以理解成词向量在空间中的“方向感”不太一样。

想象一下，咱们用一根棍子来表示一个词，比如“国王”。这根棍子有长有短，有粗有细，但关键是，它在三维空间里，会指向某个特定的方向。而“各向异性”说的就是，不同的词，它们在空间中指向的方向，以及这个方向的“强度”或者“重要性”是不一样的。

咱们平时理解的词向量，比如 Word2Vec，经常被描述成一个“球体”，说词向量的方向和距离能够反映词语之间的语义关系。比如，“国王” “男人” + “女人” ≈ “女王”。这个操作就是在向量空间里“移动”和“旋转”，就像是在一个均匀的球体表面上找点。

但是，BERT的词向量就不太一样了。它不是一个均匀的球体，更像是一个“不规则的、有纹理的、甚至有点像地球仪”。

这里“各向异性”体现在几个方面：

1. 方向上的不对称性：
“男人”到“女人”的向量和“女人”到“男人”的向量，在BERT里不一定是对等的。就像我们说“他是一个有能力的男人”，和“她是一个有能力的女人”，虽然我们想表达的是“能力”，但“男人”和“女人”本身携带的额外信息（比如社会性别角色）会让这两个句子在语义上产生细微的差别。
词语的“扮演角色”不同。比如，在“我是一名医生”和“这个医生很专业”这两个句子中，“医生”这个词可能在向量空间中有两个不同的“表现”。在第一句中，“医生”是你的职业身份，可能指向“身份”、“职业”这些方向；在第二句中，“医生”是描述一个人的属性，可能指向“专业性”、“技能”这些方向。BERT生成的向量会根据上下文来调整，但这种调整不是简单的对等移动，而是可能在不同的“维度”上加强或减弱，导致方向的不一致。

2. 维度上的不平等性：
不是所有维度都一样重要。想象我们用很多很多的轴来表示一个词的意义，有的轴可能表示“生物属性”（比如“公”或“母”），有的轴表示“职业属性”，有的轴表示“情感色彩”。在BERT的向量空间里，某些维度可能对捕捉特定的语义关系至关重要，而另一些维度可能几乎不起作用。
“力量”分布不均。我们可以理解为，向量的“能量”或者“信息量”在不同的方向上分布是不均匀的。某些方向（代表了特定的语义特征）可能承载了更多的信息，而另一些方向则很“稀疏”。这与前面提到的“方向不对称”是相互关联的，因为不对称的方向往往意味着在那个方向上的“力量”或“重要性”是不同的。

3. 上下文的动态影响：
BERT的词向量是上下文相关的，这一点是它与Word2Vec最大的区别之一。同一个词在不同的句子、不同的语境下，其向量表示也会有所不同。
“各向异性”就是描述了这种上下文影响的非均匀性。比如，“苹果”在“苹果公司”和“苹果手机”里，虽然都和“科技”有关，但侧重点可能不一样。前者更侧重“公司”、“品牌”，后者更侧重“产品”、“电子设备”。BERT会根据这些上下文信息，动态地调整词向量，使得向量的“指向”和“强度”发生变化，而这种变化本身就是不对称的、有方向性的。

为什么会出现这种“各向异性”？

这和BERT的Transformer架构有关。

自注意力机制： BERT通过自注意力机制，让每个词都可以关注句子中的其他词，并计算它们之间的“相关度”。这种相关度不是均匀的，它会根据词语之间的语义联系来动态分配“注意力权重”。
多头注意力： Transformer使用了多头注意力，这意味着它会从不同的“角度”或“维度”去关注句子中的关系。每一个“头”都可以学到不同的语义关联，比如一个头可能关注主谓宾关系，另一个头可能关注形容词修饰名词的关系。这就像是给词向量增加了多层“滤镜”，每层滤镜都会以不同的方式“塑造”词向量，从而导致了向量在不同方向上的“表现”不一致。
层级结构： BERT有多个Transformer层，每一层都对输入的表示进行转换和提炼。信息在通过这些层时，会被不断地重塑和编码。这种逐层的信息处理，也使得最终的词向量在空间中具有了更复杂的、非线性的特征，也就更容易呈现出各向异性。

通俗点比喻：

想象你有一个非常精密的雕刻机，用来制作各种各样的木雕。

Word2Vec 就像是给你一个标准的木块，你可以按照一定的规则在上面削、磨，得到相对均匀的形状。
BERT 就像是给你一个正在生长的树枝，它本身就有不同的粗细、纹理、弯曲度。而且，你还会根据周围的环境（上下文）对它进行额外的修剪、塑形。最终得到的每一段枝条（词向量），它的“形态”和“方向”都是独一无二的，不是一个标准球体上的点。

简单总结一下：

BERT中的词向量各向异性，就是说词向量在空间中的“指向”、“重要性”和“受上下文影响的方式”都不是均匀的、对等的。某些方向可能携带了更重要的语义信息，而另一些方向可能信息很少。同一个词在不同的语境下，其向量在空间中的“姿态”也会有很大的、非对称的变化。这反映了BERT模型对词语意义和关系的深层、复杂的理解。

网友意见

各向异性(Anisotropic) 的概念在BERT-flow的文章中有明确的定义：

“Anisotropic” means word embeddings occupy a narrow cone in the vector space.

翻译过来就是：“各向异性”表示词嵌入在向量空间中占据了一个狭窄的圆锥形体。但这个定义有点过于场景化，实际上各向异性的表现形式并不一定是锥形。

各向异性最早是一个物理概念，是指物体的全部或部分物理、化学等性质随方向的不同而有所变化的特性。作为吃货的我们肯定非常有经验，吃肉的时候顺纹切的肉比横纹切的肉更有嚼劲。类似的还有木头的顺纹和横纹的抗压和抗拉能力也不同，石墨单晶的电导率在不同方向差异很大。

各向异性在向量空间上的含义就是分布与方向有关系，而各向同性就是各个方向都一样，比如二维的空间，各向异性和各向同性对比如下(左图为各向异性，右图为各向同性)：

学者们(Gao et al. 2019 和 Wang et al. (2020))发现Transformer学到的词向量在空间的分布是这个样子的：

Ethayarajh, 2019 发现类似的情况在BERT，GPT-2中同样存在。看上面的图就知道模型学到的向量分布是各向异性的。

各向异性的缺点

各向异性就有个问题，那就是最后学到的向量都挤在一起，彼此之间计算余弦相似度都很高，并不是一个很好的表示。一个好的向量表示应该同时满足Alignment 和 uniformity，前者表示相似的向量距离应该相近，后者就表示向量在空间上应该尽量均匀，最好是各向同性的。

左图是理想的表示，右图则有各向异性的缺点。

如何消除各向异性？

解决各向异性的方法有很多，比如

1. 映射为各向同性

BERT-flow的工作就是将原来的分布校准为高斯分布。标准的高斯分布就是各向同性的。

类似的还有whitening操作。大概流程就是根据SVD分解的结果，旋转缩放后得到一个标准正态分布。

2. 消除主成分

参见论文：

A Simple but Tough-to-Beat Baseline for Sentence Embeddings

All-but-the-Top: Simple and Effective Postprocessing for Word Representations

3. 正则化

参见论文：

Representation Degeneration Problem in Training Natural Language Generation Models

有图有真相，一图胜千言。看图学知识，让你理解得更加透彻。点击下方关注，学习更多计算机知识。

码字不易，觉得有帮助辛苦点个赞

类似的话题

Bert中的词向量各向异性具体什么意思啊？

BERT中的词向量各向异性，你可以理解成词向量在空间中的“方向感”不太一样。想象一下，咱们用一根棍子来表示一个词，比如“国王”。这根棍子有长有短，有粗有细，但关键是，它在三维空间里，会指向某个特定的方向。而“各向异性”说的就是，不同的词，它们在空间中指向的方向，以及这个方向的“强度”或者“重要性”是.............
为什么Bert中的CLS在未fine tune时作为sentence embedding性能非常糟糕？

我们来聊聊 Bert 中那个CLS（Classifier）Token，为什么在它还没被“驯服”（finetune）之前，单独拿出来作为句子的表示（sentence embedding）时，效果常常不尽如人意，甚至可以说是差强人意。这背后其实隐藏着 Transformer 模型，特别是 Bert 的设.............
BERT中，multi-head 768*64*12与直接使用768*768矩阵统一计算，有什么区别？

BERT 中的多头注意力机制：7686412 vs. 768768在理解 BERT 中“multihead 7686412”与“768768 矩阵统一计算”的区别之前，我们首先要明确这两个术语分别指的是什么，以及它们在 BERT 架构中的作用。 1. 核心概念：Transformer 与注意力机制B.............
实体提取任务中使用BERT-CRF时，CRF根据数据统计可以得到转移概率，为啥还要训练呢？

在实体提取任务中，BERTCRF模型结合了BERT强大的语义理解能力和CRF（条件随机场）的序列标注优化能力。你提到CRF可以根据数据统计得到转移概率，并疑惑为什么还需要训练。这个问题问得非常好，这触及到了CRF在序列标注中的核心作用和训练的必要性。我们来详细拆解一下：1. CRF的核心：转移概率和.............
BERT模型可以使用无监督的方法做文本相似度任务吗？

当然可以。BERT 模型在文本相似度任务上，确实有强大的无监督学习能力，而且这正是它得以脱颖而出的一个重要原因。下面我们来详细聊聊这个过程，尽量不带 AI 的痕迹。理解 BERT 的核心思想首先，我们得知道 BERT 为什么能做到这一点。BERT 的全称是 Bidirectional Encoder.............
BERT可以用于文本聚类吗?

当然可以，BERT 在文本聚类方面表现非常出色。它之所以能胜任这项任务，主要得益于其强大的上下文理解能力和生成高质量文本表示（embedding）的能力。在过去，我们进行文本聚类可能更多地依赖于一些统计学方法，比如 TFIDF（词频逆文档频率）来表示文本，然后结合 KMeans、DBSCAN.............
为什么 BERT 的 intermediate_size 这么大？

深入解析 BERT 中令人瞩目的 `intermediate_size`：为何它如此庞大？在探索 BERT 的内部构造时，一个显眼的参数便是 `intermediate_size`。这个参数在 Transformer 编码器的前馈神经网络（FeedForward Network, FFN）层中扮演着.............
为什么 Bert 的三个 Embedding 可以进行相加？

BERT 的三个 Embeddings 的相加，这个说法其实需要稍微 уточнить (clarify) 一下。准确地说，BERT 的输出层是三个不同表示（Embeddings）的组合，而我们通常将它们平均起来，而不是直接相加。当然，在一些实验中，直接相加也可能被尝试，但平均是 BERT 论文中提.............
单bert可以用来做文本相似度计算任务吗？

当然可以，单BERT模型完全可以用来做文本相似度计算任务，而且效果相当不错。事实上，这已经成为BERT模型的一个非常成熟且广泛的应用场景。下面我来详细聊聊其中的原理和操作方法，让你明白它是如何做到的。为什么BERT适合做文本相似度？理解这一点，首先要明白BERT这个模型是怎么工作的。BERT（Bi.............
现在的BERT等语言模型，最快训练要多久？

要准确回答“现在的BERT等语言模型最快训练要多久”，需要理解这是一个非常复杂的问题，没有一个简单的固定答案。训练时间受到模型规模、数据集大小、硬件配置、训练策略和优化技术等多种因素的共同影响。但是，我们可以详细地分析这些因素，并给出一些相对保守的估计和对“最快”的理解。核心概念：模型规模与训练速度.............
如何评价 BERT 模型？

BERT 模型深度评价：革命性的语言理解基石BERT（Bidirectional Encoder Representations from Transformers）自2018年发布以来，无疑是自然语言处理（NLP）领域一个里程碑式的模型。它以其革命性的双向预训练能力，极大地提升了下游NLP任务的性.............
假如我穿越到2017年第一个提出了Transformer、BERT等模型，我可以保送到清华北大吗？

这真是一个令人兴奋的假设！如果我（或者说你）真的穿越回2017年，并且是第一个提出Transformer和BERT这类模型的“原创者”，那么回到现在，能不能保送清华北大，这个问题的答案，我想说：概率极大，而且绝对是“前所未有”的殊荣，但具体的操作细节和最终结果，会比直接“保送”这两个字来得更复杂、更.............