如何将BigQuery API返回的TableResult转换为JSON或CSV格式？

嘿，刚好我之前在项目里也做过把BigQuery的TableResult转成JSON和CSV的需求，给你分享两种靠谱的实现方式，都是基于Java的，和你看的官方示例适配：

核心思路是先解析TableResult的schema拿到字段名，再遍历每一行数据把字段名和对应值映射成键值对，最后用JSON序列化库（比如Jackson或者Gson）转成JSON字符串。

步骤和代码示例：

1. 提取schema中的字段名列表
2. 遍历TableResult的每一行，构建字段名-值的Map
3. 将所有行的Map集合序列化为JSON

import com.google.cloud.bigquery.FieldValue;
import com.google.cloud.bigquery.FieldValueList;
import com.google.cloud.bigquery.TableResult;
import com.google.gson.Gson;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

public class BigQueryResultConverter {
    public static String tableResultToJson(TableResult result) {
        // 1. 获取字段名列表
        List<String> fieldNames = result.getSchema().getFields().stream()
                .map(field -> field.getName())
                .toList();
        
        List<Map<String, Object>> rows = new ArrayList<>();
        
        // 2. 遍历每一行构建键值对
        for (FieldValueList row : result.iterateAll()) {
            Map<String, Object> rowMap = new HashMap<>();
            for (int i = 0; i < fieldNames.size(); i++) {
                FieldValue value = row.get(i);
                // 处理不同数据类型，这里做了基础类型的转换，可根据需求扩展
                switch (value.getType()) {
                    case STRING:
                        rowMap.put(fieldNames.get(i), value.getStringValue());
                        break;
                    case INTEGER:
                        rowMap.put(fieldNames.get(i), value.getLongValue());
                        break;
                    case FLOAT:
                        rowMap.put(fieldNames.get(i), value.getDoubleValue());
                        break;
                    case BOOLEAN:
                        rowMap.put(fieldNames.get(i), value.getBooleanValue());
                        break;
                    case TIMESTAMP:
                        rowMap.put(fieldNames.get(i), value.getTimestampValue().toString());
                        break;
                    default:
                        // 其他类型可以根据需求处理，比如BYTES转Base64
                        rowMap.put(fieldNames.get(i), value.getValue());
                }
            }
            rows.add(rowMap);
        }
        
        // 3. 序列化为JSON
        return new Gson().toJson(rows);
    }
}

CSV的话建议用成熟的库（比如OpenCSV）来处理，避免手动拼接时遇到字段包含逗号、引号等特殊字符的问题。核心思路是先写表头，再逐行写入数据。

步骤和代码示例：

1. 导入OpenCSV依赖（如果用Maven的话，在pom.xml里加依赖）
2. 提取字段名作为CSV表头
3. 遍历TableResult的每一行，把字段值按顺序写入CSV

首先是Maven依赖（如果需要的话）：

<dependency>
    <groupId>com.opencsv</groupId>
    <artifactId>opencsv</artifactId>
    <version>5.6</version>
</dependency>

然后是转换代码：

import com.google.cloud.bigquery.FieldValue;
import com.google.cloud.bigquery.FieldValueList;
import com.google.cloud.bigquery.TableResult;
import com.opencsv.CSVWriter;
import java.io.StringWriter;
import java.util.List;

public class BigQueryResultConverter {
    public static String tableResultToCsv(TableResult result) throws Exception {
        StringWriter writer = new StringWriter();
        CSVWriter csvWriter = new CSVWriter(writer);
        
        // 1. 写入表头
        List<String> fieldNames = result.getSchema().getFields().stream()
                .map(field -> field.getName())
                .toList();
        csvWriter.writeNext(fieldNames.toArray(new String[0]));
        
        // 2. 逐行写入数据
        for (FieldValueList row : result.iterateAll()) {
            String[] rowData = new String[fieldNames.size()];
            for (int i = 0; i < fieldNames.size(); i++) {
                FieldValue value = row.get(i);
                // 处理空值和不同数据类型
                if (value.isNull()) {
                    rowData[i] = "";
                } else {
                    switch (value.getType()) {
                        case TIMESTAMP:
                            rowData[i] = value.getTimestampValue().toString();
                            break;
                        case BYTES:
                            rowData[i] = value.getBytesValue().toString(); // 或转Base64
                            break;
                        default:
                            rowData[i] = value.toString();
                    }
                }
            }
            csvWriter.writeNext(rowData);
        }
        
        csvWriter.close();
        return writer.toString();
    }
}

注意事项 #

• 上面的代码只处理了常见数据类型，如果你有特殊类型（比如ARRAY、STRUCT），需要额外扩展处理逻辑，比如把STRUCT转成嵌套JSON，ARRAY转成JSON数组等。
• 如果结果集很大，建议不要一次性把所有数据加载到内存里，可以考虑流式处理（比如边遍历边写入文件/输出流），避免内存溢出。

内容的提问来源于stack exchange，提问作者Filipa Ivars Silva