如何将parquet-go返回的[]interface{}转换为结构体切片？

一、直接转换现有[]interface{}到[]ParquetProduct #

你当前用JSON序列化反序列化的方式确实冗余，完全可以直接遍历rows（[]interface{}），将每个元素断言为map[string]interface{}后手动映射到结构体字段（手动映射比反射性能更优）。

示例代码：

for {
    rows, err := pr.ReadByNumber(r.cfg.RowsToRead)
    if err != nil {
        return errs.Wrap(err)
    }
    if len(rows) <= 0 {
        break
    }

    // 替代JSON序列化反序列化的直接转换逻辑
    var productRows []ParquetProduct
    for _, row := range rows {
        // 将interface{}断言为map，必须处理断言失败的情况避免panic
        rowMap, ok := row.(map[string]interface{})
        if !ok {
            return fmt.Errorf("invalid row type: expected map[string]interface{}, got %T", row)
        }

        // 手动映射字段，根据你的Parquet列名和结构体字段对应关系调整
        product := ParquetProduct{
            ID:    int64(rowMap["id"].(float64)), // 注意Parquet的INT类型无schema时可能解析为float64
            Name:  rowMap["name"].(string),
            Price: rowMap["price"].(float64),
            // 其他字段依次处理，建议每个类型断言都加ok判断
        }
        productRows = append(productRows, product)
    }

    // 使用productRows...
}

注意：类型断言要匹配Parquet实际存储的类型，比如INT64在无schema解析时可能被转为float64，需额外转换；必须处理断言失败的情况，防止程序崩溃。

二、更高效的整体实现方案（推荐） #

上述直接转换只是减少了JSON序列化的开销，更优的方式是让parquet-go直接解析为目标结构体，从根源上避免[]interface{}的生成。

核心思路：初始化ParquetReader时传入ParquetProduct的实例作为schema，告诉Reader直接将Parquet数据解析为该结构体类型。

步骤1：给结构体添加parquet tag（列名与字段名不一致时） #

确保结构体字段和Parquet文件的列名对应，列名不同时用parquet tag指定映射关系：

type ParquetProduct struct {
    ID    int64   `parquet:"id"`       // 对应Parquet列"id"
    Name  string  `parquet:"product_name"` // 对应Parquet列"product_name"
    Price float64 `parquet:"price"`    // 对应Parquet列"price"
    // 其他字段按实际列名配置tag
}

步骤2：修改Reader初始化代码 #

// 替换原来的nil，传入ParquetProduct的指针作为schema
pr, err := reader.NewParquetReader(fr, new(ParquetProduct), int64(r.cfg.Workers))
if err != nil {
    return errs.Wrap(err)
}

步骤3：直接读取为结构体切片 #

现在Read方法可以直接将数据读入结构体切片，无需再处理interface{}：

for {
    // 直接初始化结构体切片，调用Read方法读取
    productRows := make([]ParquetProduct, r.cfg.RowsToRead)
    numRead, err := pr.Read(&productRows)
    if err != nil {
        return errs.Wrap(err)
    }
    if numRead <= 0 {
        break
    }
    // 只保留实际读取的行数
    productRows = productRows[:numRead]

    // 使用productRows...
}

这种方式的优势：

• 避免了interface{}到map再到结构体的多层转换开销
• 减少不必要的内存分配，提升读取效率
• 代码更简洁，类型更安全

内容的提问来源于stack exchange，提问作者AndyP