boost::spirit::qi分块解析未完成文本触发expectation failure问题

问题根因 #

• 原有try/catch拼接残留片段的方案失效，核心原因是boost::spirit::qi抛出期望失败（expectation failure）时，迭代器位置已经因回溯失效，捕获异常时拿到的未解析位置不准，存入extra的内容要么包含已解析片段、要么漏掉截断部分，拼接后无法正确续解析。
• Spirit默认解析逻辑要求输入范围是完整可匹配的，当分块截断在XML标签、属性等语法结构中间时，解析器找不到预期的语法标记（比如属性闭合引号、标签闭合符>），会直接在期望点触发失败，不会主动停在截断位置等待后续输入。

可行实现方案 #

方案1：移除期望运算符，基于部分匹配结果手动维护残留缓存 #

这是最稳定的手动分块实现方式：

• 把解析器规则中所有使用>（期望运算符，匹配失败直接抛异常）的位置，替换为普通的>>顺序匹配运算符，从根源上避免不完整输入直接抛异常。
• 在解析循环外维护一个std::string extra缓存，用来存上次解析未完成的残留片段。每次读取新的固定大小缓冲区后，先把新内容拼接到extra末尾，再对extra整体做解析。
• 解析时传入extra的首尾迭代器，解析完成后拿到返回的结束迭代器：
  • 如果结束迭代器走到extra末尾，说明本次匹配可能因为输入截断提前终止，直接保留当前extra内容等待下一次读块拼接即可，已经解析完成的节点从结果容器中取走。
  • 如果结束迭代器没到extra末尾，先跳过结束位置之后的所有空白字符，如果剩余内容为空，说明本次解析完成，清空extra即可；如果剩余内容非空，说明是真实XML语法错误，直接抛出对应错误。
• 注意每次解析只取走已经匹配成功的节点，未匹配的尾部内容始终留在extra中，不要丢弃。

方案2：使用Spirit原生流迭代器，省略手动分块逻辑 #

如果没有强制要求自己管理固定大小缓冲区，可以直接用Spirit提供的流适配迭代器，自动处理流的按需读取，完全避免手动分块截断问题：

#include <boost/spirit/include/qi.hpp>
#include <boost/spirit/include/support_istream_iterator.hpp>
#include <fstream>

namespace qi = boost::spirit::qi;

// 替换成你自己的XML解析规则、结果结构体定义
// struct XmlNode {... };
// qi::rule<Iterator, XmlNode(), qi::space_type> xml_rule =...;

int main() {
    std::ifstream ifs("target.xml", std::ios::binary);
    // 必须关闭流的默认跳过空白逻辑，否则Spirit无法正确读取所有字符
    ifs.unsetf(std::ios::skipws);

    boost::spirit::istream_iterator iter(ifs), iter_end;
    std::vector<XmlNode> result;
    // 直接传入流迭代器做解析，Spirit会自动在迭代器耗尽时从流中读取后续内容
    bool parse_ret = qi::phrase_parse(iter, iter_end, *your_xml_rule, qi::space, result);

    if (parse_ret && iter == iter_end) {
        // 解析完成，处理result
    } else {
        // 真实语法错误
    }
    return 0;
}

这个方案不需要自己维护缓冲区、拼接残留内容，迭代器会自动处理跨块的语法匹配，代码量最少，稳定性最高。

方案3：保留期望运算符，自定义错误处理器识别截断场景 #

如果必须保留>期望运算符做快速语法校验，可以给解析器注册on_error回调，在期望失败触发时先判断当前迭代器位置：

• 如果当前迭代器已经走到本次输入块的末尾，判定为输入截断导致的失败，不要向外抛异常，直接返回已解析的结果，把当前位置到块尾的内容存入extra缓存等待下次拼接。
• 如果当前迭代器没到输入块末尾，判定为真实语法错误，正常抛出错误信息。
  注意这个方案需要自定义qi的错误返回逻辑，不要让异常跳出解析函数，否则栈回溯会破坏迭代器状态，导致拿到的残留位置不准。

原有方案避坑点 #

• 不要在异常抛出后再提取未解析内容：Spirit抛异常时会自动回溯到当前解析分支的起始位置，catch块中拿到的迭代器不是实际解析中断的位置，提取的残留内容会出错。
• 不要跨不连续的缓冲区解析：Spirit要求输入迭代器指向的内存是连续的，必须把上次残留的extra和新读入的块拼成连续字符串后再送入解析，不能直接把两个缓冲区的迭代器拼起来传。
• 固定缓冲区大小建议设为4KB/8KB等文件系统块大小的整数倍，减少拼接和续解析的性能损耗。

内容的提问来源于stack exchange，提问作者dennn