C++结合Rapidjson解析JSON数组:提取Country字段去重计数并结构化存储
基于现有RapidJSON解析流程的实现方案
你现有代码中StringBuffer、Writer相关的逻辑是冗余的——doc.ParseStream(isw)执行完成后,就已经把整个JSON文件解析为内存中的DOM对象树,不需要额外将DOM内容写回字符串缓冲区,删除这部分逻辑可以减少不必要的内存拷贝,对3MB量级的JSON数据处理效率提升更明显。
1. 前置结构校验
在JSON解析错误判断完成后,首先校验根节点是否为预期的数组结构,避免遍历过程触发未定义行为:
if (!doc.IsArray()) { std::cerr << "JSON根节点不是预期的数组结构\n"; return EXIT_FAILURE; } // 提前获取数组总条目数,用于后续容器预分配 const size_t total_entries = doc.Size();
2. 核心需求实现
2.1 国家字段提取逻辑
按照要求将所有条目的Country字段值存入std::vector<string> countries容器:
- 提前按数组条目数给
countries容器预留容量,避免遍历过程中频繁触发vector的扩容拷贝 - 遍历每个数组元素时,校验
Country字段的存在性和字符串类型后,直接取值存入容器 - 遍历完成后再单独完成去重计数,保证
countries容器存储全量条目的Country值,不做提前过滤
2.2 二维数组结构适配
由于单条JSON条目包含字符串(Country、Indicator)和数值(Value、Year)两类不同类型的字段,同质的原生二维数组无法同时存储不同类型的数据,因此适配后续处理的常用拆分存储方式为:
- 字符串类字段单独组成二维字符串表,每一行对应一个JSON条目,列依次存储Country、Indicator值
- 数值类字段单独组成二维数值表,每一行对应一个JSON条目,列依次存储Value、Year值
如果后续处理需要强类型的结构化行存储,可以定义对应字段的结构体替代上述拆分的二维表,访问效率更高。
核心遍历实现代码如下:
// 按需求定义存储容器 std::vector<std::string> countries; countries.reserve(total_entries); // 预分配容量减少扩容开销 // 适配后续处理的二维结构 std::vector<std::vector<std::string>> string_table; // 字符串二维表 string_table.reserve(total_entries); std::vector<std::vector<double>> numeric_table; // 数值二维表 numeric_table.reserve(total_entries); // 遍历JSON数组的所有条目 for (const auto& entry : doc.GetArray()) { // 跳过非对象类型的异常条目 if (!entry.IsObject()) continue; // 提取Country字段值 std::string country_val; if (entry.HasMember("Country") && entry["Country"].IsString()) { country_val = entry["Country"].GetString(); countries.emplace_back(country_val); } // 提取Indicator字段值 std::string indicator_val; if (entry.HasMember("Indicator") && entry["Indicator"].IsString()) { indicator_val = entry["Indicator"].GetString(); } // 提取Value字段值 double value_val = 0.0; if (entry.HasMember("Value") && entry["Value"].IsNumber()) { value_val = entry["Value"].GetDouble(); } // 提取Year字段值 double year_val = 0.0; if (entry.HasMember("Year") && entry["Year"].IsNumber()) { year_val = static_cast<double>(entry["Year"].GetInt()); } // 按行存入对应二维结构 string_table.emplace_back(std::vector<std::string>{country_val, indicator_val}); numeric_table.emplace_back(std::vector<double>{value_val, year_val}); }
3. 不同国家总数统计
因为要求countries容器要存储所有条目的Country值,不能在遍历阶段就跳过重复值,因此在遍历完成后单独做去重统计:
// 拷贝一份副本用于排序去重,不修改原始全量存储的countries序列 std::vector<std::string> country_counter = countries; // 排序 std::sort(country_counter.begin(), country_counter.end()); // 相邻重复元素去重 auto unique_iter = std::unique(country_counter.begin(), country_counter.end()); // 计算去重后的元素总数,即不同国家的总个数 size_t unique_country_total = std::distance(country_counter.begin(), unique_iter);
注意:上述代码中的字段存在性、类型校验是为了适配非完全规整的JSON数据,如果确定所有条目严格符合预设的同构结构、无字段缺失或类型错误,可以删除校验逻辑,进一步提升遍历性能。
性能提示:RapidJSON在读取字符串、数值字段时,直接从DOM树的内存位置取值,不会产生额外的内存拷贝,3MB量级的JSON数据整个解析+遍历过程的内存占用可以控制在几MB的范围,不会出现内存溢出的问题。
内容的提问来源于stack exchange,提问作者MIQUEAS GARCIA GONZALEZ
相关产品推荐
相关产品推荐

