C语言词法分析器优化需求：标识符规则与数据类型识别

问题1：修正标识符识别规则 #

你的代码当前将a4拆分为标识符a和数字4，原因是原逻辑仅将单个字母判定为标识符，未遵循C语言标识符规范：标识符以字母或下划线开头，后续可跟随字母、数字、下划线。

修改方案 #

在识别到字母/下划线开头时，持续读取后续符合规则的字符，直到遇到非字母、数字、下划线的字符为止：

#include <ctype.h>
#include <string.h>

// 先定义必要的Token类型和结构体
typedef enum {
    TOKEN_IDENTIFIER,
    TOKEN_NUMBER,
    TOKEN_INT,
    TOKEN_CHAR,
    TOKEN_FLOAT,
    TOKEN_EOF
} TokenType;

typedef struct {
    TokenType type;
    char value[256]; // 存储Token内容，可按需调整大小
} Token;

static char current_char; // 当前读取的字符，需提前初始化

Token next_token() {
    // 跳过空白字符（空格、换行、制表符等）
    while (isspace(current_char)) {
        current_char = getchar();
    }

    // 处理标识符/关键字
    if (isalpha(current_char) || current_char == '_') {
        Token token = {TOKEN_IDENTIFIER, {0}};
        int idx = 0;
        // 持续读取字母、数字、下划线
        while (isalnum(current_char) || current_char == '_') {
            token.value[idx++] = current_char;
            current_char = getchar();
        }
        token.value[idx] = '\0';

        // 后续判断是否为关键字，这里先占位
        TokenType kw_type = lookup_keyword(token.value);
        if (kw_type != TOKEN_IDENTIFIER) {
            token.type = kw_type;
        }
        return token;
    }

    // 处理数字常量
    else if (isdigit(current_char)) {
        Token token = {TOKEN_NUMBER, {0}};
        int idx = 0;
        while (isdigit(current_char)) {
            token.value[idx++] = current_char;
            current_char = getchar();
        }
        token.value[idx] = '\0';
        return token;
    }

    // 其他字符（运算符、标点等）的处理逻辑，按需补充
    // ...

    // 默认返回EOF
    return (Token){TOKEN_EOF, {0}};
}

问题2：高效识别关键字（如int） #

避免冗长的if-else判断，可通过关键字表+查找函数实现，扩展性和维护性更强。

实现方案 #

1. 定义关键字与对应Token的映射表
2. 实现查找函数，判断识别出的标识符是否为关键字

代码实现

// 关键字映射表，按字典序排序可支持二分查找优化
static const struct {
    const char* name;
    TokenType type;
} keywords[] = {
    {"char", TOKEN_CHAR},
    {"float", TOKEN_FLOAT},
    {"int", TOKEN_INT},
    // 按需添加更多关键字，如double、return、if等
};

#define KEYWORD_COUNT (sizeof(keywords) / sizeof(keywords[0]))

// 基础版：线性遍历查找（适合关键字数量少的场景）
TokenType lookup_keyword(const char* str) {
    for (int i = 0; i < KEYWORD_COUNT; i++) {
        if (strcmp(str, keywords[i].name) == 0) {
            return keywords[i].type;
        }
    }
    return TOKEN_IDENTIFIER;
}

// 优化版：二分查找（适合关键字数量较多的场景）
// 注意：使用前需确保keywords数组已按字典序排序
/*
#include <stdlib.h>

static int keyword_cmp(const void* a, const void* b) {
    const char* target = (const char*)a;
    const typeof(keywords[0])* kw = b;
    return strcmp(target, kw->name);
}

TokenType lookup_keyword(const char* str) {
    const void* result = bsearch(str, keywords, KEYWORD_COUNT, sizeof(keywords[0]), keyword_cmp);
    return result ? ((const typeof(keywords[0])*)result)->type : TOKEN_IDENTIFIER;
}
*/

核心说明 #

• 标识符识别逻辑修正后，a4、_var123这类符合C规范的标识符会被整体识别，只有当字母与数字间有空白符时才会拆分；
• 关键字表的方式可快速扩展新的关键字，无需修改主逻辑，比嵌套if-else更简洁高效。

内容的提问来源于stack exchange，提问作者Vaibav Reddy