You need to enable JavaScript to run this app. C++结合Rapidjson解析JSON数组:提取Country字段去重计数并结构化存储
优惠活动
大模型
产品
解决方案
定价
更多

C++结合Rapidjson解析JSON数组:提取Country字段去重计数并结构化存储

基于现有RapidJSON解析流程的实现方案

你现有代码中StringBuffer、Writer相关的逻辑是冗余的——doc.ParseStream(isw)执行完成后,就已经把整个JSON文件解析为内存中的DOM对象树,不需要额外将DOM内容写回字符串缓冲区,删除这部分逻辑可以减少不必要的内存拷贝,对3MB量级的JSON数据处理效率提升更明显。

1. 前置结构校验

在JSON解析错误判断完成后,首先校验根节点是否为预期的数组结构,避免遍历过程触发未定义行为:

if (!doc.IsArray()) {
    std::cerr << "JSON根节点不是预期的数组结构\n";
    return EXIT_FAILURE;
}
// 提前获取数组总条目数,用于后续容器预分配
const size_t total_entries = doc.Size();

2. 核心需求实现

2.1 国家字段提取逻辑

按照要求将所有条目的Country字段值存入std::vector<string> countries容器:

  • 提前按数组条目数给countries容器预留容量,避免遍历过程中频繁触发vector的扩容拷贝
  • 遍历每个数组元素时,校验Country字段的存在性和字符串类型后,直接取值存入容器
  • 遍历完成后再单独完成去重计数,保证countries容器存储全量条目的Country值,不做提前过滤

2.2 二维数组结构适配

由于单条JSON条目包含字符串(Country、Indicator)和数值(Value、Year)两类不同类型的字段,同质的原生二维数组无法同时存储不同类型的数据,因此适配后续处理的常用拆分存储方式为:

  • 字符串类字段单独组成二维字符串表,每一行对应一个JSON条目,列依次存储Country、Indicator值
  • 数值类字段单独组成二维数值表,每一行对应一个JSON条目,列依次存储Value、Year值
    如果后续处理需要强类型的结构化行存储,可以定义对应字段的结构体替代上述拆分的二维表,访问效率更高。

核心遍历实现代码如下:

// 按需求定义存储容器
std::vector<std::string> countries;
countries.reserve(total_entries); // 预分配容量减少扩容开销

// 适配后续处理的二维结构
std::vector<std::vector<std::string>> string_table; // 字符串二维表
string_table.reserve(total_entries);
std::vector<std::vector<double>> numeric_table;     // 数值二维表
numeric_table.reserve(total_entries);

// 遍历JSON数组的所有条目
for (const auto& entry : doc.GetArray()) {
    // 跳过非对象类型的异常条目
    if (!entry.IsObject()) continue;

    // 提取Country字段值
    std::string country_val;
    if (entry.HasMember("Country") && entry["Country"].IsString()) {
        country_val = entry["Country"].GetString();
        countries.emplace_back(country_val);
    }

    // 提取Indicator字段值
    std::string indicator_val;
    if (entry.HasMember("Indicator") && entry["Indicator"].IsString()) {
        indicator_val = entry["Indicator"].GetString();
    }

    // 提取Value字段值
    double value_val = 0.0;
    if (entry.HasMember("Value") && entry["Value"].IsNumber()) {
        value_val = entry["Value"].GetDouble();
    }

    // 提取Year字段值
    double year_val = 0.0;
    if (entry.HasMember("Year") && entry["Year"].IsNumber()) {
        year_val = static_cast<double>(entry["Year"].GetInt());
    }

    // 按行存入对应二维结构
    string_table.emplace_back(std::vector<std::string>{country_val, indicator_val});
    numeric_table.emplace_back(std::vector<double>{value_val, year_val});
}

3. 不同国家总数统计

因为要求countries容器要存储所有条目的Country值,不能在遍历阶段就跳过重复值,因此在遍历完成后单独做去重统计:

// 拷贝一份副本用于排序去重,不修改原始全量存储的countries序列
std::vector<std::string> country_counter = countries;
// 排序
std::sort(country_counter.begin(), country_counter.end());
// 相邻重复元素去重
auto unique_iter = std::unique(country_counter.begin(), country_counter.end());
// 计算去重后的元素总数,即不同国家的总个数
size_t unique_country_total = std::distance(country_counter.begin(), unique_iter);

注意:上述代码中的字段存在性、类型校验是为了适配非完全规整的JSON数据,如果确定所有条目严格符合预设的同构结构、无字段缺失或类型错误,可以删除校验逻辑,进一步提升遍历性能。

性能提示:RapidJSON在读取字符串、数值字段时,直接从DOM树的内存位置取值,不会产生额外的内存拷贝,3MB量级的JSON数据整个解析+遍历过程的内存占用可以控制在几MB的范围,不会出现内存溢出的问题。


内容的提问来源于stack exchange,提问作者MIQUEAS GARCIA GONZALEZ

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.11 22:24:03