为何自定义strtok_new函数中token==NULL判断始终不成立？

核心原因 #

token == NULL 判断不生效的本质是：你得到的token不是空指针（NULL），而是一个指向零长度字符串的有效指针：

• NULL指的是指针本身的值为0，代表没有指向任何内存地址；
• 你的调试输出显示token[0] = 0，说明token指向的内存位置第一个字节就是字符串结束符\0，所以strlen(token)返回0，但指针本身是合法的非空地址，因此token == NULL永远不成立。

函数逻辑问题分析 #

你的strtok_new函数处理连续分隔符时的逻辑导致了这个现象：
当解析到"foo,,,,blabla"里的连续逗号时，strpbrk会找到当前source指向的逗号，将其替换为\0，然后返回source的指针——此时source正好指向这个被替换成\0的位置，所以返回的是指向空串的指针，而非NULL。只有当source本身为NULL，或者找不到分隔符且ret未被赋值时，函数才会返回NULL。

修复方案 #

根据CSV解析的需求（空项是合法字段，需要被识别），修改函数逻辑以正确区分「空项」和「解析结束」：

修改后的函数代码 #

char *strtok_new(char *string, char const *delimiter, char **context)
{
    static char *source = NULL;
    char *p, *ret = NULL;

    // 重置source或判断是否已到末尾
    if (string != NULL) 
        source = string;
    if (source == NULL || *source == '\0')
        return NULL;

    // 查找分隔符
    if ((p = strpbrk(source, delimiter)) != NULL) 
    {
        *p = '\0';
        ret = source;
        source = p + 1;
    }
    else
    {
        // 无分隔符时返回剩余字符串，并将source移到末尾
        ret = source;
        source += strlen(source);
    }
    return ret;
}

正确的调用判断逻辑 #

char buffer[64] = "foo,,,,blabla";
const char delimiters[] = ",";
char *token;
char *ptr;

// 循环解析所有字段
while ((token = strtok_new(buffer, delimiters, &ptr)) != NULL)
{
    if (strlen(token) == 0)
    {
        // 处理空项
        Serial.println("空字段");
    }
    else
    {
        // 处理非空字段
        Serial.printf("字段内容：%s\n", token);
    }
    // 后续调用传入NULL
    buffer = NULL;
}
// 循环结束表示解析完成
Serial.println("解析完毕");

总结 #

• token == NULL仅在完全解析结束时触发；
• 空项需要通过strlen(token) == 0来识别；
• 修改后的函数能正确处理CSV中的连续分隔符，区分空项与解析结束状态。

内容的提问来源于stack exchange，提问作者Mark