Golang实现MongoDB动态结构数据写入Parquet文件报错求助

1. 先校验集合首文档是否存在 #

你的逻辑依赖集合第一个文档生成动态结构体，如果集合为空，firstDoc会是nil，后续所有基于它的操作都会触发空指针错误。

• 新增判断逻辑：

  var firstDoc bson.M
  err := coll.FindOne(context.TODO(), bson.D{}).Decode(&firstDoc)
  if err != nil {
      if err == mongo.ErrNoDocuments {
          log.Fatal("集合为空，无文档用于生成Schema")
      }
      log.Fatal(err)
  }
  

2. 确保Parquet Writer初始化成功 #

错误出在WriteStop，大概率是writer本身为nil。要校验parquet.NewGenericWriter的返回值：

writer := parquet.NewGenericWriter(file, schema)
if writer == nil {
    log.Fatal("Parquet Writer初始化失败")
}

同时在defer调用WriteStop前加非空判断：

if writer != nil {
    writer.WriteStop()
}

3. 校验动态生成的Schema有效性 #

动态生成的Parquet Schema可能存在格式错误，导致writer初始化失败。可以在生成后打印Schema内容，确认是否与MongoDB文档结构匹配：

schema := generateSchemaFromDoc(firstDoc) // 你的生成逻辑
log.Printf("生成的Parquet Schema: %v", schema)

4. 优化MongoDB文档到结构体的映射 #

直接用反射生成动态结构体容易出现类型不匹配或实例未初始化的问题，可改用map[string]interface{}中转：

• 先把MongoDB的BSON文档解码为map[string]interface{}
• 再通过Parquet库支持的map类型写入（部分Parquet库可直接处理map，避免动态结构体的复杂度）

5. 关键步骤加调试日志 #

在读取文档、生成Schema、初始化writer等关键节点打印变量值，精准定位空指针出现的具体位置，比如：

log.Printf("读取的首文档内容: %v", firstDoc)
log.Printf("生成的动态结构体实例: %v", dynamicStructInstance)

内容的提问来源于stack exchange，提问作者Walter Garcia