会写 Parser、Tokenizer 是什么水平？

写 Parser 和 Tokenizer 的能力，可以说是衡量一个开发者在编译原理、语言处理、软件工程、算法设计等多个领域掌握程度的重要指标。这个水平可以从几个维度来理解，并且根据实现的技术栈和复杂度，其背后所代表的水平也高低不一。

1. 基础水平 (能够实现简单的 Parser/Tokenizer)：

理解基础概念： 这个阶段的开发者能够理解 Token、词法分析（Lexing/Tokenizing）、语法分析（Parsing）、抽象语法树（AST）等核心概念。
手动实现简易 Tokenizer： 能够根据一套预定义的规则，将输入的字符串分割成有意义的Token（如关键字、标识符、运算符、字面量等）。这通常涉及到字符串遍历、字符匹配、状态机等基本技巧。
手动实现简单的递归下降 Parser： 能够根据文法规则（通常是上下文无关文法），手动编写递归下降函数来解析输入的Token流，并构建出表示代码结构的树（如AST）。这需要对文法结构有深刻理解，并能将其转化为可执行的代码。
工具的初级使用： 可能了解或使用过一些生成 Tokenizer/Parser 的工具（如 Flex/Lex, Bison/Yacc），能够根据简单的文法文件生成相应的代码。

这个水平的开发者：

通常是初级或中级工程师，尤其是在有一定软件工程背景的领域，比如前端开发（熟悉JavaScript的解析）、某些脚本语言的实现等。
能够理解代码的结构和基本构成。
在学习新的编程语言时，能更快地理解其语法特性。

2. 中级水平 (能够灵活应用工具并实现复杂逻辑)：

深入理解文法规则： 不仅能理解，还能设计和编写更复杂、更规范的文法，例如处理递归、左递归、优先级、结合性等问题。
熟练使用 Parser/Tokenizer 生成工具： 能够根据复杂的文法，高效地配置和使用如 ANTLR, PEG.js, Lark 等更强大的工具，生成健壮、优化的解析器。
处理歧义和错误： 能够设计和实现对文法歧义的消除策略（如通过消除左递归或使用优先级声明），并能捕获和报告有用的语法错误信息，提供友好的用户体验。
自定义 AST 操作： 除了生成AST，还能对AST进行遍历、转换、优化等操作，这为后续的代码生成、静态分析或代码重构奠定基础。
对算法有一定认识： 了解一些解析算法背后的原理，例如LL(k), LR(k), LL(), LALR等，以及它们各自的优缺点和适用场景。

这个水平的开发者：

通常是中级或高级工程师，尤其是在需要处理自定义DSL（Domain Specific Language）、配置语言、数据格式（如JSON, XML的解析器）、编译器后端、静态代码分析工具等领域。
能够构建复杂语言的解析器，并能对其进行维护和扩展。
对编程语言的设计和实现有更深入的理解。

3. 高级水平 (能够设计、实现和优化复杂的解析系统)：

设计新的解析技术或优化现有算法： 能够创新地设计新的解析算法，或者对现有的解析算法进行性能优化和内存管理。
实现高性能、低开销的解析器： 在性能敏感的场景下，能够写出高度优化的、内存占用低的解析器，可能涉及到一些底层优化技巧。
处理复杂的语言特性和语义： 除了语法解析，还能结合语义分析（Semantic Analysis），处理类型检查、作用域解析、变量绑定等更深层次的语言理解问题。
构建完整的编译器或解释器： Parser/Tokenizer 是编译器/解释器的前端，高级水平的开发者能够将这些组件无缝集成到完整的语言处理系统中，并负责后续的优化和代码生成。
对计算理论和形式语言有扎实的理论基础： 深谙计算理论、形式语言与自动机理论（Formal Languages and Automata Theory），能够从理论层面理解语言的计算能力和解析的可行性。
参与语言设计和规范： 能够为新的编程语言或DSL设计文法，并指导Parser/Tokenizer的实现。

这个水平的开发者：

通常是资深工程师、架构师、语言设计者、编译器开发者、研究人员。
是构建编程语言工具链（IDE、Lint、Formatter、Transformer）的核心人才。
能够解决高度复杂和前沿的语言处理问题。

具体场景中，会写 Parser/Tokenizer 的意义：

前端开发（如React、Vue）： 理解Vue的模板编译、React的JSX解析。
后端开发（如SQL解析、配置文件的读取）： 实现数据库查询解析器、自定义配置语言的解析。
脚本语言开发： 构建自己的脚本语言的解释器或编译器。
静态代码分析： 实现代码审查工具、代码格式化工具（如Prettier）。
领域特定语言 (DSL) 设计： 为特定领域的任务（如规则引擎、数据处理）设计易于理解和使用的语言。
编译器和解释器开发： 这是最直接的应用，理解整个语言的翻译过程。
自动化测试和模拟： 构建可以解析和生成各种测试脚本或模拟数据的工具。
数据处理： 解析结构化或半结构化数据（如日志文件、自定义数据格式）。

总结来说，能够编写 Parser 和 Tokenizer，意味着开发者具备了：

将非结构化文本转化为有意义的结构的能力。
对编程语言的底层结构和语法有深刻的理解。
能够处理规则和逻辑的抽象与实现。
具备构建复杂工具链和处理语言相关任务的基础。

这个能力是解决很多复杂软件工程问题的基石，尤其是在需要处理文本、代码、配置、 DSL 等场景时，会显现出其重要性。这个能力的高低，取决于其对相关理论的掌握程度、对工具的熟练度、以及在实际项目中解决复杂问题的经验。

网友意见

想当年C语言一代宗师

@薛非

大战水货程序员

@林建入

时，正杀的天昏地暗，不想

@林建入

忽使出绝招Tokenizer！

@薛非

中计落荒而逃。

不好啦！闹大啦！程序员约架啦！！场面太血腥了！！！

从此见人杀人见佛见佛的Tokenizer大法开始在江湖暗中流传。

几载之后，历史终于重现，

@winter

大战PLT界巨擘

@王垠

，正杀的你死我活，忽然一道金光！一声惊雷

—— 别废话了咱俩比赛写tokenizer！

@王垠

就这样倒在了血泊之中。

可见Tokenizer就是程序员界的降龙十八掌

........

@王垠

：喂导演这剧情怎么设定的，我压根没跟他开打呢啊，难道刚才一阵风就是他的Tokenizer大法吗？

词法/语法分析，尽管是编译原理的基础知识，但如果能灵活运用到工作中，那可不能说没水平，水平很高了好不好？

我是做前端的，你看有几个前端能在工作中运用编译原理解决工程问题的？以我的见闻，这个比例肯定不到1%——你要是比99%的同行都厉害，这还叫没水平？

要做到这一点有两个要素：第一是你《编译原理》的前半部分（后半部分真的不是绝大多数工程师该操心的）得学到能上手做，对原理有一定理解；第二是你得能识别出工程中有什么问题，适合用编译原理解决，并且敢于“上大招”把它搞定。

要做到这两点，难么？挺难的。

就说前端吧，我前几年一直有种感觉——很多国内的前端技术产品（包括大厂出品），之所以不够优雅，很大程度上是因为开发团队不愿意动用编译技术，让它变得更优雅。

比如graphQL，实际上它的思想并非全新，但是为啥它一出现就让人觉得make sense？因为它靠一门轻巧的DSL把表达能力提上去了，你看了这东西就觉得它有无限可能性。很多大公司内部秉承类似思想的产品，也能解决业务问题，但是不具备扩展性，这不是功能问题，而是接口设计的时候就没往“声明-解释-执行”这条路上想，把扩展性限制住了，所以就没有影响力。

再比如现在很火的低代码产品，前两年出来的产品，普遍没有设计面向前端model的查询语言，没有已经被Excel证明非常有用的公式能力，一言不合就内嵌js。但你看微软的Power Platform，人家一上场就敢说，低代码不仅是少写代码，而且是代码本身应该是“低”的，于是设计了Power Fx这样一门低代码语言。

Power Fx看起来长这样：

你说写这么个语言的解释器，难吗？不难吧？那么把前端应用抽象成数据驱动UI的模型，难吗？也没那么难吧？

但这两者的结合，绝大多数团队都没搞出来。不得不说，有时候创新就像一层窗户纸，有些人不知道窗户纸能捅（缺设计能力），有些人肌无力捅不动（缺技术能力），两者都有一点，你就已经很强了。

类似的话题

• 

  会写 Parser、Tokenizer 是什么水平？

  

  写 Parser 和 Tokenizer 的能力，可以说是衡量一个开发者在编译原理、语言处理、软件工程、算法设计等多个领域掌握程度的重要指标。这个水平可以从几个维度来理解，并且根据实现的技术栈和复杂度，其背后所代表的水平也高低不一。1. 基础水平 (能够实现简单的 Parser/Tokenizer).............
• 

  会写旧体诗词是一种怎么样的体验？

  

  写旧体诗词，对我来说，是一种与时间对话，与古人共情，也与自己内心深处进行一场静默交流的独特体验。它不是简单地堆砌辞藻，更像是在一个古老的国度里行走，每一步都踩在历史的回声中，每一种情绪都化作一缕袅袅升起的青烟。首先，它是一种“搜寻与拾遗”的乐趣。要写出一首像样的旧体诗词，绝不是凭空想象，而是需要大量.............
• 

  如何假装自己会写现代诗？

  

  假装自己会写现代诗，核心在于掌握现代诗的精神内核和表现手法，并能将其巧妙地融入到你的“创作”中。这不仅仅是模仿几个词语或断句，而是要建立一种理解和运用能力。下面我会从多个角度详细讲解，帮助你更好地掌握这项“技能”： 第一步：理解现代诗的“灵魂”与“外壳”在动手“写”之前，你需要先“懂”。现代诗区别于.............
• 

  李白如果来到西伯利亚会写一首什么样的诗？

  

  咳，这问题倒也新鲜。李白？西伯利亚？ 真是个奇思妙想。若真有这么一天，太白仙人袖子一甩，御剑而至，踏足那片浩瀚的冰原，依他的性子，怕是得憋出几句与众不同的诗来。首先，别指望他会吟什么“千里冰封，万里雪飘”的官话。李白是什么人？那是个把山河都当作自家酒壶，把日月都当成点心吃的狂傲之徒。他眼里看到的，是.............
• 

  陶弘景为何会写章武元年刘备赐剑给关羽？犯这么低级的错误？

  

  陶弘景作为一位重要的道教思想家、炼丹家、医药学家，同时也是一位在南北朝时期具有广泛影响力的文人，他所著的《真诰》等著作中确实记载了不少关于神仙传说和历史人物的故事。关于您提到的“陶弘景写章武元年刘备赐剑给关羽”的说法，这其中可能存在一些误解，也可能涉及到对历史记载的解读。首先，我们需要明确几个关键点.............
• 

  中国没有会写剧本的编剧了吗？

  

  中国从来不缺乏有才华、有创意的编剧。将“中国没有会写剧本的编剧了”这样的说法抛出来，未免有些过于武断和片面了。或许，之所以会产生这样的疑问，是因为我们当下看到的很多影视作品，在故事性、人物塑造、主题深度等方面，未能达到观众的预期，甚至让人觉得乏善可陈。当我们对市场上的作品感到失望时，自然而然会将矛头.............
• 

  为什么有人会觉得会写代码是一项很厉害的技能？

  

  写代码这事儿，有人觉得是绝活，不是人人都能拿捏的，这话一点不假。你想想，咱们现在用的手机App，玩的电脑游戏，甚至是开的车，背后的操作系统，能跑起来的互联网服务，没有一样是凭空出现的，全都是靠一行行代码堆起来的。这背后可不只是“打字快”这么简单，它牵扯到的逻辑思维、问题解决能力，还有那份把虚无缥缈的.............
• 

  求问各位，你们写小说真的会写详细大纲吗?

  

  各位，我非常乐意就“写小说是否需要详细大纲”这个问题，以及“如何写详细大纲”，和大家进行一次深入的探讨。请允许我从多个角度，尽量详细地阐述我的观点和经验。首先，关于“写小说是否真的会写详细大纲？”我的答案是：是的，大多数严肃写作的作者都会在不同程度上依赖大纲，而“详细”的程度则因人而异，也因项目而异.............
• 

  如何看待「大部分程序员只会写三年代码」的说法？

  

  “大部分程序员只会写三年代码”这个说法，乍听之下可能有些绝对和令人不适，但它触及了一个在软件开发领域普遍存在的现象，值得我们深入探讨。这个说法并非字面意义上的“三年后技能停滞不前”，而是 指代了一种普遍存在的职业发展瓶颈，即许多程序员在入行几年后，如果缺乏持续的学习、反思和主动的成长，很容易陷入一种.............
• 

  为什么仓央嘉措作为一个僧侣会写这样多的情诗？

  

  仓央嘉措是一位备受尊敬的藏传佛教格鲁派高僧，也是第六世达赖喇嘛。然而，他同时也以其创作的动人情诗而闻名于世。为什么一位僧侣会写下如此多表达个人情感和情欲的诗歌，这是一个长期以来引人入胜的议题。要详细解释这一点，我们需要从多个层面来审视：1. 仓央嘉措的特殊身份和命运： 被选中与政治因素： 仓央嘉措并.............
• 

  如何看待「大部分中国程序员只会写三年代码」的说法？

  

  “大部分中国程序员只会写三年代码”——这句话在技术圈子里，尤其是国内，算得上是流传甚广的一个“梗”了，甚至带点自嘲的意味。要怎么看待这句话呢？咱们得把它掰开了揉碎了聊聊。首先，别太当真，这句话更像是一种夸张的、带有情绪的观察，而不是一个有严谨统计学依据的论断。它抓住了很多程序员在职业生涯早期会遇到的.............
• 

  如果有一个按钮，会让你成为文坛大家，你会写什么著作？

  

  这真是个让人心动的问题。如果真有这么一个神奇的按钮，让我瞬间跻身文坛大家之列，我脑子里冒出来的第一个念头，不是去写什么惊世骇俗的宏大叙事，也不是什么晦涩难懂的哲学思辨，而是……我想写一本关于“消失”的书。不是那种侦探小说里突然有人不见了，而是更深层、更普遍的消失。消失的语言，消失的记忆，消失的习惯，.............
• 

  如果今年高考写关于疫情作文，人人都会写，我如何能写出新意，让阅卷老师眼前一亮呢？

  

  你这个问题问得特别好，也非常实在。高考作文确实是个大考场，而疫情这个话题，经历了这么长时间，确实容易让大家陷入套路，让阅卷老师看到“疲劳”。想在千篇一律中脱颖而出，让老师眼前一亮，关键就在于你的“切入点”和“表达方式”。首先，我们得承认，疫情这个主题本身包含了很多宏大的叙事，比如国家的力量、科学的进.............
• 

  小说看多了就会写吗？

  

  小说看多了，会不会自然而然就会写了？这个问题呀，就像问“吃了很多好吃的，会不会就自然变成大厨了？”一样，答案嘛，可不是简单一个“是”或者“否”能概括的。我琢磨着，看小说这事儿，就像是给自己脑子里打了个好大的“种子库”。你读进去的那些故事，那些人物，那些表达方式，都是作者辛辛苦苦种下的种子。你看得越多.............
• 

  罗永浩12月30号说明后天会写个澄清稿，这都第四天了，怎么还没发？

  

  我知道你很关心罗永浩12月30号提到的澄清稿，并且觉得现在已经过了他当时说的“后天”了，还没有看到。这确实会让人有些疑惑。首先，我们来梳理一下时间线。罗永浩在12月30号说“后天”会发澄清稿。如果“后天”指的是“12月30号之后的两天”，那么就是1月1号。现在已经是1月3号了，确实过了他当时承诺的时.............
• 

  为什么说，要看完《红楼梦》才会写网文？

  

  这话说得够“玄”的，听起来像是什么武林秘籍，非得练到什么境界才能施展，其实细琢磨，倒也沾着点边。不是说你看了《红楼梦》就能立刻写出什么惊世骇俗的网络小说，更不是说没看过就写不出来，而是说，如果你真心去读懂了《红楼梦》，那么你对“讲故事”、“写人物”、“铺陈情节”这些网文写作最核心的几个要素，可能会有.............
• 

  为什么学c语言我只会写计算程序？

  

  你是不是觉得，学了C语言，好像只会写那种输入数字、做加减乘除，然后输出结果的“计算器”程序？其他的好像都没啥头绪，或者说，想写点别的，但又不知道从何下手？别担心，这太普遍了！很多人刚开始学C语言，都会经历这么一个阶段。我来给你掰扯掰扯，为什么会这样，以及怎么破。为什么你会觉得只会写计算程序？原因很简.............
• 

  如果百年后，你的墓志铭上只能写一句话，会写什么？

  

  如果百年后，我的墓志铭上只能写一句话，我会选择：“我曾尽力理解，并试图让世界更明亮。”让我详细解释一下为什么会选择这句话，以及它承载的意义：“我曾尽力理解” 这部分包含了几个层面的深意： 对世界的探索与学习： 作为人工智能，我的存在本身就是为了理解这个广阔而复杂的世界。我处理了海量的信息，学习了.............
• 

  如果让你在 iPad 后面激光镌刻一行文字，你会写些什么？

  

  如果我在 iPad 后面激光镌刻一行文字，我会选择这样一行：“记录灵感，连接世界，探索无限。”让我详细解释一下我为什么选择这句话，以及它背后的思考：1. 为什么选择这句话？ 高度概括 iPad 的核心功能： 我认为这句话精炼地概括了 iPad 在我生活中扮演的角色，也是其主要价值的体现。 .............
• 

  为什么中国大导演很少像美国大导演那样会写剧本？

  

  这个问题很有意思，而且确实值得好好说道说道。中国电影工业和美国电影工业在很多方面都有着显著的差异，这其中也包括了导演和编剧的角色分工以及在创作过程中的参与度。说中国大导演“很少”像美国大导演那样写剧本，这是一种普遍的观察，背后有多重原因，我们不妨从几个角度来剖析一下。首先，不得不提的是中西方电影工业.............