C语言中strtok_r结合多线程统计词频计数不准问题求助

你遇到的核心问题是文件拆分时没考虑单词边界——直接按字节数均分文件，会把一个完整单词劈成两半，分别落在两个线程的读取片段里。比如"princess"可能前几个字符在Thread 1的读取末尾，剩下的在Thread 2的开头，两个线程用strtok_r()拆分时，都识别不出完整的"princess"，自然会漏统计，而且不管线程数多少，只要有单词跨了片段边界，就会出现这个问题。

你可以手动核对一下：

• 用grep -n "princess" WarandPeace.txt找出所有"princess"的出现行
• 再用od -c WarandPeace.txt | grep -n "princess"定位这些单词对应的文件字节偏移量
• 对比你拆分线程时的片段分界字节数，肯定能找到几个刚好卡在分界点上的"princess"

修改文件拆分逻辑，让每个线程的读取起点从完整单词的开头开始：

1. 先按初始计算的字节偏移量定位到片段起点
2. 从该位置开始向后读，直到碰到空格、标点这类单词分隔符
3. 把起点调整到这个分隔符的下一个字节，确保线程读取的片段从完整单词开始
4. 最后一个线程直接读到文件末尾就行

int fd = open("WarandPeace.txt", O_RDONLY);
off_t start_off = ...; // 初始计算的线程起始偏移量
off_t file_size = lseek(fd, 0, SEEK_END);

// 调整起始偏移到单词边界（第一个线程不需要调整）
if (start_off > 0) {
    char c;
    while (pread(fd, &c, 1, start_off) == 1) {
        // 判断是否是单词分隔符（可根据需求补充更多分隔符）
        if (isspace((unsigned char)c) || ispunct((unsigned char)c)) {
            start_off++;
            break;
        }
        start_off++;
        // 防止超出文件范围
        if (start_off >= file_size) break;
    }
}

// 用调整后的start_off作为线程读取的起始位置
// 后续线程读取逻辑不变

• 调整起始位置后，记得重新计算该线程的读取长度，避免超出文件总大小
• 可以把单词分隔符的判断封装成一个小函数，方便维护

内容的提问来源于stack exchange，提问作者fifthfiend