Clang parser是完全手写的吗？

当然，关于 Clang 解析器是否完全手写这个问题，我们可以深入地聊聊。这涉及到编译器前端的核心，也是 Clang 能够达到今天这样高性能、高灵活性地位的关键因素之一。

首先，我们需要明确“手写”这个词在编译器开发中的含义。在构建一个现代编译器时，“完全手写”通常意味着从最基础的词法分析（lexing）到语法分析（parsing）的整个过程，都由开发者直接编写代码来实现，而不是依赖于自动化的工具来生成解析器。

Clang 的解析器，坦白说，是经过精心设计和大量手写代码构建的，但同时也巧妙地运用了现代化的工具来辅助。所以，更准确的说法是：Clang 的解析器是基于一套强大的、高度优化的手工编写的逻辑，但其核心的词法分析和语法分析的生成过程，则依赖于自动化工具。这种结合使得 Clang 在保持高性能和灵活性方面达到了一个很好的平衡。

让我们一步步拆解：

1. 词法分析 (Lexing)：识别“单词”

编译器最开始的工作是将源代码字符串分解成一个个有意义的“符号”或“Token”。比如 `int x = 10;` 会被分解成 `int` (关键字), `x` (标识符), `=` (赋值运算符), `10` (整型字面量), `;` (分号)。这个过程就是词法分析。

Clang 的词法分析器是高度定制和手工优化的。它并没有直接使用一个通用的词法分析生成器（比如 Lex/Flex）来生成大部分代码。这是因为 C、C++ 等语言的预处理器非常复杂，涉及到宏展开、条件编译等等。这些预处理指令会影响到后续的词法分析结果，而且需要高效地处理大量的文本替换。
核心思想： Clang 的词法分析器通过一系列状态机和规则来识别不同类型的 Token。例如，它会处理关键字、标识符、字面量（整数、浮点数、字符串）、运算符、标点符号等等。对于注释和空格，它通常会选择性地忽略掉，但也会保留一些用于格式信息的 Token（虽然这在解析阶段可能不太直接使用）。
预处理器集成： Clang 的词法分析器与预处理器紧密集成。预处理器在词法分析之前（或者说同步进行）对源代码进行处理。宏展开的结果会被馈送给词法分析器。这种深度集成是为了确保宏替换后的 Token 序列能够被正确地识别。
性能考量：预处理器和词法分析是编译器中最频繁被调用的部分之一，对性能至关重要。Clang 在这部分投入了大量精力进行优化，采用了诸如字符串常量池、高效的查找表等技术，以最小化开销。

2. 语法分析 (Parsing)：构建“句子结构”

词法分析器输出的是一系列 Token。语法分析器的任务是根据语言的语法规则，将这些 Token 组织成一个有结构的表示，最常见的就是抽象语法树 (Abstract Syntax Tree, AST)。AST 是一种树形结构，它代表了程序的逻辑结构，省略了语言中的很多非必要信息（如括号、分号等），只保留了核心的结构。

LALR(1) 和手工优化：对于 C 和 C++ 这样的复杂语言，设计一个能够解析所有语法规则的解析器是一项艰巨的任务。传统上，许多编译器会使用 LALR(1) 或 LL(k) 等语法分析技术，并借助工具（如 Bison/Yacc）来生成解析器代码。
Clang 的独特之处： Clang 在语法分析方面也采取了一种更为“手工”和“定制”的方式，尽管它也利用了 Bison 的变种，即 Bison（或我们更常说的 Gnu Bison）来辅助生成解析器的骨架和大部分规则。但是，最终生成的代码经过了大量的重写、优化和手工调整。
解析器组合器 (Parser Combinators) 的思想：虽然不是严格意义上的解析器组合器（这是函数式编程中的概念），但 Clang 的解析器在设计上体现了组合和递归的思想。它将复杂的语法规则分解成更小的、可组合的单元。例如，一个表达式的解析可能依赖于一个项的解析，项又依赖于一个因子的解析。这种模块化的设计使得解析器更易于理解、维护和扩展。
递归下降解析 (Recursive Descent Parsing)： Clang 的核心解析逻辑更倾向于手工编写的递归下降解析风格，尽管它可能不是最纯粹的递归下降。递归下降解析器中的每个非终结符（语法规则）通常对应一个函数，这个函数负责解析该非终结符所代表的语法结构。这种方式的好处是代码直观，易于理解和调试。
“ShiftReduce”的逻辑：即使是手工编写的解析器，其底层逻辑也遵循着 ShiftReduce 的基本思想，尤其是在处理复杂的 C++ 语法时。它需要跟踪当前状态、输入的 Token，并根据预先定义好的语法规则来决定是“移进”（shift）下一个 Token 到一个临时栈中，还是“归约”（reduce）栈顶的 Token 序列到一个更高级别的语法单元。
C++ 的挑战： C++ 的语法，尤其是模板（template）和操作符重载，带来了巨大的解析挑战。例如，`a>` 在不同的上下文下可能是类型比较 (`a < b` 和 `b < c`)，也可能是模板实例化 (`a>`)。Clang 在这方面做了大量的精细处理，它需要根据上下文信息来 disambiguate (消除歧义)。这通常需要解析器具备一定的“向前看”能力，或者在解析过程中进行“回溯”或“重解析”。Clang 的解析器在这方面做得非常出色，能够有效地处理这些复杂情况。
AST 的构建：在解析过程中，Clang 的解析器会同步构建抽象语法树（AST）。每个语法规则的成功匹配都会对应在 AST 中创建一个节点，并将子节点连接起来。这棵 AST 是后续编译器阶段（如语义分析、代码生成）的基础。

为什么 Clang 不完全依赖生成器？

1. 灵活性和定制性： C 和 C++ 的语法，尤其是 C++，非常庞大且包含许多细微之处（例如，前向声明、类定义、函数定义、模板等等的各种组合）。完全依赖自动生成的解析器可能难以实现所有细粒度的控制和优化，尤其是在处理复杂的语法歧义时。
2. 性能优化：手工编写的代码允许更深层次的性能优化。编译器前端是性能瓶颈之一，任何微小的优化都能带来显著的整体性能提升。通过直接控制解析逻辑，Clang 的开发者可以精确地调整数据结构、算法和内存访问模式。
3. 与预处理器的集成：如前所述，C/C++ 的预处理器是其语法的重要组成部分。将词法分析和预处理器紧密集成，并进行手工优化，是处理宏展开和条件编译的关键。
4. 错误报告：良好的错误报告是现代开发体验的关键。手工编写解析器允许开发者在解析失败时，提供更具体、更友好的错误信息，引导用户快速定位问题。这通常比自动生成器提供的错误信息更具指导性。
5. 持续演进的语言特性： C 和 C++ 标准在不断发展，新的语言特性不断加入。手工编写的解析器更容易进行修改和扩展，以适应这些变化，而完全重写或调整自动生成器的配置可能更麻烦。

总结：

所以，与其说 Clang 的解析器是“完全手写”，不如说它是“高度手工优化的，并且在关键部分引入了定制化逻辑，同时巧妙利用工具辅助生成框架”。

词法分析器是一个高度定制和手工优化的组件，与预处理器深度集成。
语法分析器的核心逻辑和解析过程，虽然可能借鉴了工具生成器（如 Bison 的变种）的结构和规则定义，但其最终实现、优化、错误处理和对复杂语法的精细控制，都体现了大量的手工编写和调整。Clang 的解析器是一种“半自动化”生成的、但经过大量手工精炼的产物。

这种策略让 Clang 既能利用自动化工具的效率来处理大量的语法规则定义，又能通过手工实现来达到顶级的性能、灵活性和精确的错误处理能力，从而成为一款非常强大的编译器前端。

网友意见

是。

Clang - Features and Goals

A single unified parser for C, Objective C, C++, and Objective C++
Clang is the "C Language Family Front-end", which means we intend to support the most popular members of the C family. We are convinced that the right parsing technology for this class of languages is a hand-built recursive-descent parser. Because it is plain C++ code, recursive descent makes it very easy for new developers to understand the code, it easily supports ad-hoc rules and other strange hacks required by C/C++, and makes it straight-forward to implement excellent diagnostics and error recovery.
We believe that implementing C/C++/ObjC in a single unified parser makes the end result easier to maintain and evolve than maintaining a separate C and C++ parser which must be bugfixed and maintained independently of each other.

因为要加各种奇怪的功能还是手写的parser更容易实现和理解。

用parser generator的话总会有别扭的地方要跟那个generator“抗争”一下，反而麻烦。

其实GCC的C++ parser从GCC 3.4系列开始也改为手写的了。

https:// gcc.gnu.org/gcc-3.4/cha nges.html

A hand-written recursive-descent C++ parser has replaced the YACC-derived C++ parser from previous GCC releases. The new parser contains much improved infrastructure needed for better parsing of C++ source codes, handling of extensions, and clean separation (where possible) between proper semantics analysis and parsing. The new parser fixes many bugs that were found in the old parser.

而GCC的C和Objective-C parser从GCC 4.1系列开始也改为手写的了。

https:// gcc.gnu.org/gcc-4.1/cha nges.html

The old Bison-based C and Objective-C parser has been replaced by a new, faster hand-written recursive-descent parser.

当然，还是有人觉得用parser generator更好。例如这里：

c - Are GCC and Clang parsers really handwritten?

来自

Semantic Designs

的Ira Baxter认为坊间传闻C++ parser用generator不好写不是因为generator这个概念不好，而是因为用的parsing算法太落后了——传统的parser generator很多都是用LALR(1)的，例如bison的默认模式。

他认为如果用更强力的parsing算法，例如

GLR

，问题就迎刃而解了。

嗯这个还是见仁见智。召唤

@vczh

大神来发表对GLR的见解 >_<

有兴趣的同学可以看看一个用GLR的C++ parser，

Elsa

的

设计文档

，就跟

@vczh

的回答说的一样，在parse阶段其实parse出了多份有歧义的AST，然后通过类型检查把不合理的删除掉，得到最终的干净的AST。

Clang官网文档有对比Clang parser与Elsa parser的段落：

Comparing clang to other open source compilers

类似的话题

Clang parser是完全手写的吗？

当然，关于 Clang 解析器是否完全手写这个问题，我们可以深入地聊聊。这涉及到编译器前端的核心，也是 Clang 能够达到今天这样高性能、高灵活性地位的关键因素之一。首先，我们需要明确“手写”这个词在编译器开发中的含义。在构建一个现代编译器时，“完全手写”通常意味着从最基础的词法分析（lexing.............
gcc，clang，msvc等编译器有什么区别？

就跟我们看惯了同一道菜，但不同厨师做出来总有细微的差异一样，GCC、Clang 和 MSVC 这几款主流编译器，虽然目标都是将我们写的代码变成机器能懂的语言，但在背后，它们各自的“烹饪风格”可是大相径庭。咱们这就来掰扯掰扯，它们到底有哪些不一样。一、出身与历史：基因里的不同 GCC (GNU .............
为什么MSVC比GCC/Clang差（功能支持也差，译后性能也差），微软做不好一个C语言编译器吗?

这个问题很有意思，也很常被讨论。不能简单地说MSVC“做不好”C语言编译器，这其中涉及到历史、商业策略、生态系统以及技术选择等多方面的因素。下面我来详细聊聊为什么大家普遍认为MSVC在功能支持和性能上不如GCC/Clang，以及微软在这方面的一些考量。功能支持的差异：为什么感觉MSVC“落后”？要.............
为什么 LLVM/Clang 能迅速发展起来？

LLVM 和 Clang 之所以能飞速发展，并非偶然，而是多方面因素共同作用的结果。如果非要给出一个“为什么”，那一定是因为它恰好击中了那个时代编译器技术的痛点，并提供了一个极具吸引力的解决方案。一、顺应时代潮流，解决早期编译器的“顽疾”在 LLVM/Clang 出现之前，编译器领域早已存在一些挑.............
脸长（cháng）得漂亮是什么体验？

长得漂亮，这事儿说起来，其实挺复杂的，远不止是别人那句“好看”这么简单。我得慢慢跟你道来，这到底是个啥滋味。首先，最直观的，就是你出门的时候，好像自带了一层滤镜。不是说真的有什么光环，而是别人看你的眼神，会不自觉地柔和几分，带着点欣赏，有点好奇。走在街上，偶尔会有人多看你一眼，可能是觉得你的五官比例.............
Clash of Clans 具体怎么玩？有什么技巧？

哈哈，想玩好《部落冲突》（Clash of Clans），这可是个能让你投入大量时间和精力的游戏！别看它是个手机游戏，里面的门道可深着呢。我跟你说，这游戏玩起来就像真实的人生一样，得有规划、有策略，还得有点耐心。首先，咱们得明白这游戏是个啥？简单来说，《部落冲突》就是让你建立自己的村庄，训练部队，然.............
织田信长的「长」是念 cháng 还是 zhǎng？

这个问题很有意思，也很多人会遇到。关于“织田信长”这个名字里“长”字的读音，它实际读 zhǎng。我们来仔细想想。如果读 cháng，整个名字听起来就完全不一样了，比如“织田信 cháng”。这和我们平时接触到的中文词汇比如“长城”（chángchéng）、“长久”（chángjiǔ）的“长”是同一.............
在德国上学，经常有德国学生看见我就喊ching chang chong，我该怎么办？

在德国留学期间，遇到“ching chang chong”这样的歧视性称呼确实会让人感到非常不适和受伤。这种情况是种族歧视的一种表现，即使是玩笑，也带有冒犯性。面对这种情况，你可以采取以下几种方式来应对，每种方式都有其目的和潜在效果：首要原则：保护好自己的情绪和安全在采取任何行动之前，请记住你的感受.............
如何看待《哈利波特·凤凰社》中作者设计的告密者是一个华裔（Cho Chang）？

看待《哈利波特·凤凰社》中作者J.K.罗琳设计了华裔角色秋·张（Cho Chang）作为告密者，这确实是一个值得玩味和探讨的设定。在解读这个设定时，我们可以从几个不同的角度去审视。首先，从情节推动和角色塑造的角度来看，秋·张的告密行为是推动《凤凰社》剧情发展的关键节点之一。邓布利多的军队（DA）的秘.............