多文本行循环分词异常排查及strtok安全替代方案咨询

核心问题拆解 #

1. 多行输入仅保留最后一行结果的原因 #

• 每次fgets会把新行内容覆盖到同一个line缓冲区，原代码中temparr存储的都是指向line的指针，上一轮的分词指针会因line被覆盖而失效。
• 每次调用tokenize时，从temparr的索引0开始赋值，直接覆盖了之前存储的指针，导致前序行的分词结果全部丢失。

2. 最后一行较短时乱码的原因 #

• temparr是静态数组，未在处理新行前清空残留的旧指针。当最后一行分词数量少于之前的行时，数组中剩余的旧指针会指向已被覆盖的line内存或无效区域，打印时出现乱码。
• strtok会修改原字符串（将分隔符替换为\0），line被覆盖后，旧指针指向的位置可能缺失正确的字符串终止符，导致打印时越界读取内存。

strtok的安全替代方案 #

• strtok_r：POSIX标准的线程安全版本，通过传入额外的上下文指针保存分词状态，避免静态变量带来的冲突问题。
• strtok_s：C11标准定义的安全版本，用法与strtok_r类似，主流编译器（如GCC、MSVC）均支持。
• 自定义分词函数：手动遍历字符串实现分词逻辑，完全脱离库函数的状态依赖。

优化后的代码示例 #

以下代码采用strtok_r实现线程安全分词，同时通过动态内存分配保存分词结果，避免原缓冲区覆盖问题：

#include <stdio.h>
#include <stdlib.h>
#include <string.h>

#define MAX_LINE_LEN 1000
#define MAX_TOKENS 1000  // 可根据实际需求调整

const char delimiter[] = " \t\r\n\v\f";

// 分词并将结果拷贝到独立内存，返回分词数量；失败返回-1
int tokenize(const char *string, char **ret) {
    // 复制原字符串，避免修改输入内容
    char *str_copy = strdup(string);
    if (!str_copy) {
        perror("strdup failed");
        return -1;
    }

    char *saveptr;
    char *ptr = strtok_r(str_copy, delimiter, &saveptr);
    int count = 0;

    while (ptr != NULL && count < MAX_TOKENS - 1) {
        // 为每个分词分配独立内存
        ret[count] = strdup(ptr);
        if (!ret[count]) {
            perror("strdup failed");
            // 清理已分配的内存
            for (int i = 0; i < count; i++) {
                free(ret[i]);
            }
            free(str_copy);
            return -1;
        }
        count++;
        ptr = strtok_r(NULL, delimiter, &saveptr);
    }
    ret[count] = NULL;  // 用NULL标记分词数组结束
    free(str_copy);
    return count;
}

int main(void) {
    char line[MAX_LINE_LEN];
    char *tokens[MAX_TOKENS] = {NULL};
    int total_tokens = 0;

    while (fgets(line, sizeof(line), stdin)) {
        int current_count = tokenize(line, tokens + total_tokens);
        if (current_count == -1) {
            // 清理已分配内存后退出
            for (int i = 0; tokens[i]; i++) {
                free(tokens[i]);
            }
            return 1;
        }
        total_tokens += current_count;
        if (total_tokens >= MAX_TOKENS - 1) {
            fprintf(stderr, "已达到最大分词数量限制\n");
            break;
        }
    }

    // 打印所有分词并释放内存
    for (int i = 0; tokens[i]; i++) {
        printf("%s\n", tokens[i]);
        free(tokens[i]);
    }

    return 0;
}

代码优化要点 #

1. 避免缓冲区覆盖：用strdup复制输入字符串，对副本进行分词；同时为每个分词分配独立内存，不再依赖原line缓冲区。
2. 线程安全：使用strtok_r替代strtok，通过上下文指针saveptr保存分词状态，避免多线程或嵌套调用冲突。
3. 内存安全：添加内存分配失败的错误处理，程序结束时释放所有动态分配的内存，避免内存泄漏。
4. 结果累加：每次分词后将结果追加到tokens数组末尾，保留所有行的分词结果。
5. 边界控制：限制最大分词数量，避免数组越界。

内容的提问来源于stack exchange，提问作者thestranger