如何定义boost tokenizer使其返回boost::iterator_range<const char*>类型

错误原因 #

编译报错的核心是你指定boost::tokenizer的输出token类型为boost::iterator_range<const char*>，但你用的boost::escaped_list_separator分词逻辑内部会调用operator+=往token里逐个追加字符，boost::iterator_range本身没有提供接受单个char的+=重载，直接触发编译失败。

另外有一个逻辑上的问题需要注意：escaped_list_separator本身会处理转义字符（比如你定义的\转义符），处理后的token内容和原字符串中的原始内容并不一致（例如原串中\"会被处理为"），这种场景下你根本无法用原字符串的iterator_range来表示处理后的结果，因为原串中不存在和处理结果完全匹配的连续字符序列。

解决方案 #

你可以根据自己的需求二选一：

• 如果你不需要保留转义处理逻辑，仅需要支持引号包裹的内容拆分，可以自己实现分割逻辑：遍历字符时记录是否处于引号内，遇到分隔符（;/=/空格）时如果不在引号内就拆分，直接记录起止位置构造iterator_range，没有额外字符串拷贝，完全符合你的需求。
• 如果你需要保留转义处理能力，就不要强制要求返回iterator_range，直接让tokenizer输出std::string类型的结果即可，修改tokenizer定义如下：

// 去掉自定义的输出类型参数，用默认的std::string即可
boost::tokenizer<
  boost::escaped_list_separator<char>,
  boost::iterator_range<const char*>::iterator
> tok(*attrIt, els);

如果确实需要返回iterator_range且需要转义支持，可以换用boost::spirit::qi框架实现解析，它原生支持返回匹配片段的迭代器范围，也能轻松处理引号、转义、多分隔符的需求。

内容的提问来源于stack exchange，提问作者gc5