如何将HDF5文件导入BigQuery？

BigQuery本身不支持直接导入HDF5格式，除了繁琐的CSV转换，还有以下几种更高效的标准方法：

• Python直连读写（中小数据集首选）
  利用pandas读取HDF5文件，再通过google-cloud-bigquery客户端直接写入BigQuery，全程无需生成中间文件，操作简洁。
  示例代码：

  import pandas as pd
  from google.cloud import bigquery
  
  # 读取HDF5中的目标数据集
  with pd.HDFStore('your_data.h5') as store:
      df = store['target_dataset']  # 替换为你的HDF5数据集键名
  
  # 初始化BigQuery客户端并写入数据
  client = bigquery.Client()
  table_ref = 'your-project-id.your-dataset.your-table'
  
  load_job = client.load_table_from_dataframe(df, table_ref)
  load_job.result()  # 等待写入任务完成
  

• Parquet中间格式（中等规模数据适配）
  Parquet是高效列存格式，比CSV压缩比更高、解析速度更快，作为中间格式比CSV更省心。
  操作步骤：

  1. 将HDF5转存为Parquet：

     import pandas as pd
     with pd.HDFStore('your_data.h5') as store:
         df = store['target_dataset']
         df.to_parquet('output_data.parquet')
     

  2. 将Parquet文件上传到Google Cloud Storage（GCS）
  3. 在BigQuery控制台中创建表，选择「从GCS导入」，指定Parquet格式，BigQuery会自动识别表结构

• Cloud Dataflow分布式处理（超大规模数据）
  针对TB级别的超大HDF5文件，用Cloud Dataflow做分布式读取和写入，避免单机器内存瓶颈：

  1. 基于Apache Beam编写Dataflow管道，使用HDF5读取组件加载数据
  2. 将数据转换为BigQuery接受的行结构
  3. 配置管道直接写入目标BigQuery表
     这种方式适合需要并行处理的海量数据场景，能充分利用云资源提升效率

内容的提问来源于stack exchange，提问作者Igor Rivin