摘要：而，称之为非终结符。而这个展开方案中对各个非终结符产生式的选择过程，即是对源代码中每一个部分的定性过程。这个过程让能够理解源代码各个部分表示的含义，并以此生成对应的语法树。
我需要定义出 tao 语言的细节，在此，需要引出文法这一概念。所谓文法，即是用于描述语言的一种工具。
例如，一个赋值语句可能写成如下形式：
variable = 1 + 3
如何充分定义这个赋值语句的形式呢？若用自然语言描述，我可以说，赋值语句最左边是一个标示符，然后紧接一个“=”符号，然后再接一个表达式。满足这个条件的，即是赋值语句啦。
S → abE
用符号来描述的话，就是如上形式，这种形式称之为 S 的产生式。其中 S 表示赋值语句，a 表示一个标示符，b 是“=”符号，E 表示表达式。这里用到了S、a、b、E 四个不同的字母。
等等，似乎还有什么没说完，因为标示符（字母a表示）与“=”符号（字母b表示）都与 Tokenizer 生成的 Token 对应，但是表达式（字母E表示）却没有对应的 Token 呀。
于是，我还要进一步描述表达式。这里为了不让问题变得过于繁琐，我先假定表达式只出现加减号和数字。那么表达式的定义如下。
E → d | E+d | E-d
这里出现的“|”表示“或”，这表明表达式（字母E）可以展开成三种不同的式子。同时，E 展开后的式子中可能再次出现 E 本身，这种递归形式足以涵盖任意长度的表达式形式。
于是，我们又得到字母 d，d 表示一个数字（也与某种 Token 对应）。
至此，我们一共得到了 S、a、b、E、d 五个不同的字母，其中 a、b、d 都与 Token 对应。然而，虽然 S、E 却没有对应的 Token，但它们都有至少有一个属于自己的产生式。
对于 a、b、d，称之为终结符。即它们不会再有自己的产生式了。而 S、E，称之为非终结符。
当我们为式子中某个非终结符挑选一个特定的产生式，并用产生式的右边部分代替这个非终结符在式子中的位置，那么我们将这个过程称之为非终结符的展开。
考虑下面这行代码：
index = 15 + 7 - 3
其形如 abd+d-d（a 为 "index"、b 为"="、d 为"15", "7", "3"）
对于 S 有如下展开方式：
S → abE
→ abE-d（展开 E → E-d）
→ abE+d-d（展开 E → E+d）
→ abd+d-d（展开 E → d）
其中 S 表示一个赋值语句。既然 S 存在某种展开方式，其形式与这行代码完全相同，我们说，这行代码与 S 是匹配的。对于 Parser 而言，即可断定这行语句是一个赋值语句。
因此，Parser 读取语言的文法定义。然后，通过找到一个展开方案以匹配源代码。而这个展开方案中对各个非终结符产生式的选择过程，即是对源代码中每一个部分的定性过程。这个过程让 Parser 能够理解源代码各个部分表示的含义，并以此生成对应的语法树（Syntax Tree）。
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/64262.html
摘要：是的，这个系列将呈现一个完整的编译器从无到有的过程。但在写这个编译器的过程中，我可不会偷工减料，该有的一定会写上的。该语言的虚拟机将运行于之上，同时编译器将使用实现。我早有写编译器的想法之前没写过，故希望一边写编译器一边完成这个系列。 是的，这个系列将呈现一个完整的编译器从无到有的过程。当然，为了保证该系列内容的简洁（也为了降低难度），仅仅保证编译器的最低要求，即仅能用。但在写这个编译...
摘要：希腊字母表示空，这个产生式表明非终结符可以产生一个空。此外，对于一个文法之中的非终结符，还有集集的概念。对于一个非终结符而言，它的集指可能展开的各种形式中，位于第一的所有终结符所组成的集合。 上一章中，我说 Parser 的工作就是依据文法定义，找到一个与源代码匹配的展开方案就可以了。听起来我们只要先给出一个 tao 语言的文法定义，然后写一个找匹配方案的的程序就可以了。 然而事情情况...
摘要：目前为止我们创建的文件列表新上一章中我们提到了个方法它们可以用来描述非终结符和展开式的形式，那么它们又是如何工作的呢文件中定义了一些方法。特别的，注意如下代码这个方法可以纪录被掉的一组非终结符，纪录这些东西有什么用，将在随后的章节介绍。 目前为止我们创建的文件列表： |- com.taozeyu.taolan.analysis |- FirstSetConstructor ...
摘要：一个非终结符可以被展开称为一个串，如上定义便是将这个非终结符展开称为一个又终结符和非终结符混合而成的串。特别注意我定义的方法仅仅用于修饰非终结符，而非展开式，虽然这个例子中我的方法更靠近方法，但并意味着用于修饰展开式。 各位久等了，本系列在新一年的连载中，形式会加入少许变化。首先，我会将 tao 语言编译器（以及运行环境）的全部内容贴在 GitHub 上，在阅读本系列的时候，需要对照 ...
摘要：从展开式中，可以看出，除了这个非终结符，还有其他一些非终结符。是可能展开的形式之一，在语言中，如下代码就是一行典型的从表达式来看，它是由一个级表达式和一个类型的非终结符组成。但特别注意结尾的数量词表明，整个非终结符都是可选的。 目前为止我们创建的文件列表： |- com.taozeyu.taolan.analysis |- FirstSetConstructor |- ...
阅读 3162·2023-04-25 17:19
阅读 616·2021-11-23 09:51
阅读 1339·2021-11-08 13:19
阅读 776·2021-09-29 09:34
阅读 1673·2021-09-28 09:36
阅读 1494·2021-09-22 14:59
阅读 2707·2019-08-29 16:38
阅读 2053·2019-08-26 13:40
