从零开始写个编译器吧 - 符号分析，编写 SignParser.java 文件

摘要：即创建一个文件，并写下如下内容。然后以此缓存一个字符串，然后，通过调用来将这个字符串分割成一个一个运算符，并生成。语言中根据运算符长度分开储存的。具体来说，如果运算符对应的字符串最短的是，最长的是。

上一章留下的那个大大的 TODO 表明，似乎还有什么东西没写完。没错，所以这一章我们来写 Sign 状态下的代码。

所谓 Sign 状态，即是用来处理和生成 Sign 类型的 Token ，即运算符。诸如此类，都是运算符：

  
+、-、*、/、>=、==、&&、||

相对于 String 字符串啊、Identifier 标示符之类的可以通过字符本身来划分开端和结尾的类型，Sign 运算符运算符类型却只能以既定形式来划分开端和结尾。

例如，

  
"hello world" +-&& str_hello_wold

这段“源码”可以被分割成如下一组 Token，

  
[""hello world"", " ", "+", "-", "&&", "str_hello_world"]

注意 Sign 运算符类型和 String 字符串类型、Identifier 标示符划分的区别。对于 “+”、“-” 两个字符被各自分在一个 Token 中，而 “&&” 却是由两个字符组合成一个 Token。因为 tao 语言中没有 “&” 运算符（没有与位运算，也没有短路与非短路与之分），却拥有 “&&”。

此外，

  
>=

对于这个字符串，到底应该划分成

  
[">", "="]

这样两个运算符呢，还是应该划分成

  
[">="]

这样一个运算符呢？

因为 “>"、"="、">=" 这三个都是合法的 tao 语言运算符。这里为了消除歧义，我规定必须划分成 ">=" 。另外，如果存在多种划分方式，尽量将短的运算符凑成长运算符。

OK，我现在决定把有关 Sign 运算符类型的代码多带带写一个类。即创建一个 SignParser.java 文件，并写下如下内容。

package com.taozeyu.taolan.analysis;

class SignParser {

    static boolean inCharSet(char c) {
        //TODO
    }

    static List parse(String str)  {
        //TODO
    }
}

对于，LexicalAnalysis.java ，它只会调用 SignParser.inCharset(...) 来判断当前读入的字符是不是某个既定运算符的某个字符。然后以此缓存一个字符串，然后，通过调用 SignParser.parse(str) 来将这个字符串分割成一个一个运算符，并生成 Token。

现把 LexicalAnalysis.java 中 boolean readChar(char c) 函数中TODO 消灭掉吧。

} else if(state == State.Sign) {

    if(SignParser.inCharSet(c)) {
        readBuffer.append(c);

    } else {
        List list = SignParser.parse(readBuffer.toString());
        for(String signStr:list) {
            createToken(Type.Sign, signStr);
        }
        createType = null;
        state = State.Normal;
        moveCursor = false;
    }

}

当然，这里需要重载 createToken 一下。

private void createToken(Type type, String value) {
    Token token = new Token(type, value);
    tokenBuffer.addFirst(token);
    readBuffer = null;
}

OK，我们在回过头来写 SignParser.java 吧。首先，定义几个静态常量。

package com.taozeyu.taolan.analysis;

import java.util.ArrayList;
import java.util.HashSet;
import java.util.LinkedList;
import java.util.List;

class SignParser {

    private final static List> signSetList;
    private final static HashSet signCharSet;
    private final static int MaxLength, MinLength;

    static {
        String[] signArray = new String[] {
            "+", "-", "*", "/", "%", 
            ">", "<", ">=", "<=", "=", "!=", "==", "=~",
            "+=", "-=", "*=", "/=", "%=",
            "&&", "||", "!", "^",
            "&&=", "||=", "^=",
            "<<", ">>", "->", "<-",
            "?", ":",
            ".", ",", ";", "..",
            "(", ")", "[", "]", "{", "}",
            "@", "@@", "$",
        };

        int maxLength = Integer.MIN_VALUE,
            minLength = Integer.MAX_VALUE;

        signCharSet = new HashSet<>();
        for(String sign:signArray) {
            int length = sign.length();
            if(length > maxLength) {
                maxLength = length;
            }
            if(length < minLength) {
                minLength = length;
            }
            for(int i=0; i(maxLength - minLength + 1);
        for(int i=0; i< maxLength - minLength + 1; ++i) {
            signSetList.add(new HashSet<>());
        }
        for(String sign:signArray) {
            int length = sign.length();
            HashSet signSet = signSetList.get(length - minLength);
            signSet.add(sign);
        }
        MaxLength = maxLength;
        MinLength = minLength;
    }

    static boolean inCharSet(char c) {
        //TODO
    }

    static List parse(String str)  {
        //TODO
    }
}

static 块中的 signArray 变量定义了 tao 语言所用到的所有运算符。之后的代码解析 signArray 并生成 4 个静态常量。

signCharSet：tao 语言所有运算符中可能出现的字符集合。

signSetList：tao 语言中根据运算符长度分开储存的 List。具体来说，如果运算符对应的字符串最短的 length 是 n，最长的是 m。那么 List 的索引范围从 0 到 (m - n) 分别储存字符 length 从 n 到 m 的所有运算符。

MinLength：运算符中字符串 length 的最小长度。

MaxLength：运算符中字符串 length 的最大长度。

然后是填满那两个写着 TODO 的函数。

static boolean inCharSet(char c) {
    return signCharSet.contains(c);
}

static List parse(String str) throws LexicalAnalysisException {
    LinkedList rsContainer = new LinkedList<>(); 
    int startIndex = 0;
    while(startIndex < str.length()) {
        String matchStr = match(startIndex, str);
        if(matchStr == null) {
            throw new LexicalAnalysisException(str.substring(startIndex));
        } else {
            rsContainer.add(matchStr);
            startIndex += matchStr.length();
        }
    }
    return rsContainer;
}

private static String match(int startIndex, String str) {
    String matchStr = null;
    int length = str.length() - startIndex;
    length = Math.min(length, MaxLength);
    if(length >= MinLength) {
        for(int i=length - MinLength; i>=0; i--) {
            int matchLength = i + MinLength;
            HashSet signSet = signSetList.get(i);
            matchStr = str.substring(startIndex, startIndex + matchLength);
            if(signSet.contains(matchStr)) {
                break;
            }
            matchStr = null;
        }
    }
    return matchStr;
}

OK，搞定。特别的，如果 parse 划分运算符过程中发现留下一个尾巴匹配不了，那么将抛出一个词法错误异常。