如何在Apache Beam中读取含NUMERIC类型的BigQuery表数据？

我之前也碰到过这个头疼的问题，除了调用REST API，这里有几个实用的方法能处理BigQuery里的NUMERIC字段，不用绕远路：

1. 在BigQuery端转换NUMERIC类型 #

最简单的思路是在读取数据前，把NUMERIC字段转换成Beam支持的类型（比如STRING或FLOAT64），可以通过查询语句代替直接读表，或者提前创建一个转换后的视图。

示例代码（Java） #

// 用标准SQL查询，将NUMERIC转成STRING避免精度损失
BigQueryIO.readTableRow()
    .fromQuery("SELECT CAST(your_numeric_col AS STRING) AS numeric_str, other_cols FROM `your-project.your-dataset.your-table`")
    .usingStandardSql();

之后在Beam的DoFn里，再把STRING转回高精度数值类型（比如Java的BigDecimal）：

public static class ParseNumericFn extends DoFn<TableRow, YourDataModel> {
  @ProcessElement
  public void processElement(@Element TableRow row, OutputReceiver<YourDataModel> receiver) {
    BigDecimal numericValue = new BigDecimal((String) row.get("numeric_str"));
    // 处理其他字段并输出模型
    receiver.output(new YourDataModel(numericValue, ...));
  }
}

注意：如果转成FLOAT64会有精度丢失风险，优先选择转STRING。

2. 自定义TableRow映射逻辑 #

如果不想在BigQuery端做转换，可以自定义Beam的读取映射逻辑，绕过默认的类型检查。

示例代码（Java） #

使用BigQueryIO.read()配合自定义的TableRowMapper，直接处理NUMERIC字段：

BigQueryIO.read(new TableRowMapper<YourDataModel>() {
  @Override
  public YourDataModel mapTableRow(TableRow row) {
    // 部分Beam版本中，NUMERIC会被解析为BigDecimal存储在TableRow中
    BigDecimal numericVal = (BigDecimal) row.get("your_numeric_col");
    String otherField = (String) row.get("other_col");
    return new YourDataModel(numericVal, otherField);
  }
})
.from(options.getValueProvider());

这种方式需要先测试你的Beam版本是否能在TableRow中正确获取NUMERIC的原始值，避免类型转换异常。

3. 升级Apache Beam版本 #

这是最省心的方案：Beam 2.20及以上的版本已经原生支持BigQuery的NUMERIC类型，默认的BigQueryIO.readTableRow()会自动把NUMERIC字段转换成BigDecimal（Java）或Decimal（Python），不会再抛出“Numeric is Not supported yet”异常。

如果项目依赖允许升级，直接更新Beam的依赖版本即可，比如Maven中：

<dependency>
  <groupId>org.apache.beam</groupId>
  <artifactId>beam-sdks-java-io-google-cloud-platform</artifactId>
  <version>2.48.0</version> <!-- 替换为最新稳定版 -->
</dependency>

这些方案都能避开REST API调用，你可以根据项目的兼容性要求和复杂度选择最合适的~

内容的提问来源于stack exchange，提问作者BackBenChers