C语言中如何拆分字符串为特定字符并转换数据类型实现表达式识别执行
C语言下表达式字符串分词的最优实现方案
最优方案是手写基于状态机的词法扫描器(Lexer/Token Scanner),完全适配C语言无内置灵活分词能力的场景,同时满足拆分、类型标识、存储的全部需求。
先定义标准化的Token存储结构
因为需要区分不同类型的拆分单元,必须先自定义结构体,把类型和对应值绑定,后续存储和类型转换都基于这个结构:
#include <ctype.h> #include <string.h> #include <stdlib.h> // 枚举所有Token类型,对应需要识别的要素 typedef enum { TOKEN_NUMBER, // 数值(兼容整数/浮点数,统一转成double存储) TOKEN_OPERATOR, // 单字符运算符:* + - / 等 TOKEN_FUNCTION, // 多字符函数标识:cos/sin/tan 等 TOKEN_LPAREN, // 左括号( TOKEN_RPAREN, // 右括号) TOKEN_EOF // 表达式结束标记 } TokenType; // 单个Token的实体,用联合体复用内存,存储对应类型的值 typedef struct { TokenType type; union { double num_val; char op_val; char func_name[16]; // 预留足够长度存储常见函数名 } value; } Token;
核心扫描逻辑(一次遍历完成拆分)
不需要依赖外部库,直接逐字符扫描输入字符串,遇到对应字符模式就生成对应Token,一次遍历完成所有操作,时间复杂度为O(n),是性能最高的实现方式:
- 用全局指针记录当前扫描位置,避免重复遍历
- 逐字符判断属于哪种模式:数字、字母、单字符符号
- 连续扫描同类型的字符(比如连续数字、连续字母),避免拆错单元
核心实现代码:
// 扫描状态:全局记录当前处理位置、输入的表达式字符串 static int g_scan_pos = 0; static const char* g_expr; // 可选功能:跳过输入里的空白字符,适配带空格的输入场景 static void skip_whitespace() { while (g_expr[g_scan_pos] == ' ' || g_expr[g_scan_pos] == '\t') { g_scan_pos++; } } // 核心接口:获取下一个Token Token get_next_token() { Token tok; skip_whitespace(); // 扫描到字符串末尾,返回结束标记 if (g_expr[g_scan_pos] == '\0') { tok.type = TOKEN_EOF; return tok; } char curr = g_expr[g_scan_pos]; // 分支1:遇到数字/小数点,扫描完整数值 if (isdigit(curr) || curr == '.') { int start = g_scan_pos; // 连续扫完所有连续的数字和小数点 while (isdigit(g_expr[g_scan_pos]) || g_expr[g_scan_pos] == '.') { g_scan_pos++; } tok.type = TOKEN_NUMBER; // 直接把截取的子串转成浮点型数值存储 tok.value.num_val = atof(&g_expr[start]); return tok; } // 分支2:遇到字母,扫描完整函数名 if (isalpha(curr)) { int start = g_scan_pos; // 连续扫完所有连续的字母 while (isalpha(g_expr[g_scan_pos])) { g_scan_pos++; } char temp_name[16] = {0}; strncpy(temp_name, &g_expr[start], g_scan_pos - start); // 匹配内置函数库,标记为函数类型 if (strcmp(temp_name, "cos") == 0 || strcmp(temp_name, "sin") == 0) { tok.type = TOKEN_FUNCTION; strcpy(tok.value.func_name, temp_name); return tok; } // 可扩展:匹配变量名时可新增TOKEN_VARIABLE类型 } // 分支3:处理单字符的运算符和括号 switch (curr) { case '*': case '+': case '-': case '/': tok.type = TOKEN_OPERATOR; tok.value.op_val = curr; g_scan_pos++; return tok; case '(': tok.type = TOKEN_LPAREN; g_scan_pos++; return tok; case ')': tok.type = TOKEN_RPAREN; g_scan_pos++; return tok; default: // 非法字符处理,直接返回EOF标记错误 tok.type = TOKEN_EOF; return tok; } }
拆分后的存储与使用
循环调用get_next_token获取所有Token,存入数组(或动态扩容的链表),直到拿到TOKEN_EOF标记。
针对示例输入9*5cos(5),最终拆分得到的Token序列为:
- TOKEN_NUMBER 存储值为
9 - TOKEN_OPERATOR 存储值为
* - TOKEN_NUMBER 存储值为
5 - TOKEN_FUNCTION 存储值为
cos - TOKEN_LPAREN
- TOKEN_NUMBER 存储值为
5 - TOKEN_RPAREN
- TOKEN_EOF
注:分词阶段只负责拆分最小独立单元,不需要判断单元之间的语义关联(比如
5cos实际是隐式乘法),这类语义判断可以放到后续的语法分析环节处理,避免分词逻辑过载。
为什么这是最优方案
- 完全规避C标准库的能力缺陷:
strtok无法拆分无分隔符的单元(比如5cos中间没有分隔符),标准库regex的正则匹配开销大,对“数字结束位置/字母开始位置”这类边界判断的精度远低于手写状态机 - 性能最优:一次线性扫描完成所有拆分,没有重复遍历,处理长表达式的效率远高于正则方案
- 可扩展性极强:后续新增运算符、新增函数、支持浮点数、支持变量,只需要在对应分支增加匹配逻辑即可,不需要重构整体流程
内容的提问来源于stack exchange,提问作者coolguy123
相关产品推荐
相关产品推荐

