在Clojure中处理BigQuery查询结果的两类技术问题求助

问题描述 #

作为Clojure新手，通过Java互操作对接BigQuery时，现有查询代码可获取结果，但存在两个问题：

• 使用.getStringValue提取数字类型列的数据，无法自动匹配正确类型
• 仅能打印首列，不知如何直接从查询结果中获取列数以遍历所有列（无需二次查询）

背景：最终目标是将数据导入tech.ml.dataset的DataFrame，当前仅做打印演示。

现有代码 #

(ns bq
  (:import (com.google.cloud.bigquery BigQueryOptions QueryJobConfiguration BigQuery BigQueryException BigQuery$JobOption)))

(defn querybq [query]
  (let [^BigQuery big-query (.getService (BigQueryOptions/getDefaultInstance))
        ^QueryJobConfiguration query-config (.build (QueryJobConfiguration/newBuilder query))
        results (.query big-query query-config (into-array BigQuery$JobOption []))]
    results))

(def res (querybq (str "SELECT * FROM xxxxxxxxxx.wpi_dataset.wpi_table LIMIT 10")))

(defn print-res [args]
  (doseq [x (.iterateAll res)]
    (let [^String y (.getStringValue (.get x 0))]
      (println y))))

依赖配置（deps.edn） #

{:deps
 {com.google.cloud/google-cloud-bigquery {:mvn/version "2.24.4"}}}

查询结果示例 #

#object[com.google.cloud.bigquery.TableResult 0x63d5874f TableResult{rows=[[FieldValue{attribute=PRIMITIVE, value=12500.0}, FieldValue{attribute=PRIMITIVE, value=Brazil NE Coast -- 12470}, FieldValue{attribute=PRIMITIVE, value=Cameta}, ...]]}]

解决方案 #

1. 自动提取对应类型的数据 #

BigQuery的FieldValue提供了getValue方法，会返回字段的原始类型对象，无需手动调用类型特定的提取方法（如.getStringValue、.getDoubleValue）。结合NULL值判断，可实现通用的字段值提取：

;; 通用字段值提取函数，处理NULL情况
(defn get-field-value [field-value]
  (if (.isNull field-value)
    nil
    (.getValue field-value)))

;; 提取首列并打印类型示例
(defn print-first-column-with-type []
  (doseq [row (.iterateAll res)]
    (let [value (get-field-value (.get row 0))]
      (println (str "值: " value " | 类型: " (type value))))))

调用后会输出对应类型的数据（如数字列返回Double类型，字符串列返回String类型）。

2. 获取列数并遍历所有列 #

通过TableResult的.getSchema方法获取表结构，再通过.getFields得到字段列表，即可获取列数；遍历每行时直接迭代row的所有FieldValue即可，无需提前知道列数：

;; 打印所有列数据
(defn print-all-columns []
  ;; 获取列数
  (let [column-count (.size (.getFields (.getSchema res)))]
    (println "总列数: " column-count))
  ;; 遍历每行每列
  (doseq [row (.iterateAll res)]
    (doseq [field-val (.iterate row)]
      (print (str (get-field-value field-val) "\t")))
    (println)))

;; 带列名打印所有数据
(defn print-with-column-names []
  (let [fields (.getFields (.getSchema res))
        column-names (map #(.getName %) fields)]
    ;; 打印列名
    (println (clojure.string/join "\t" column-names))
    ;; 打印每行数据
    (doseq [row (.iterateAll res)]
      (let [values (map get-field-value (.iterate row))]
        (println (clojure.string/join "\t" values))))))

3. 导入tech.ml.dataset的DataFrame #

将BigQuery结果转换为Clojure的map序列，再用tech.ml.dataset/->dataset生成DataFrame：

(require '[tech.ml.dataset :as ds])

(defn bq-result->dataset [table-result]
  (let [fields (.getFields (.getSchema table-result))
        column-names (map keyword (.getName %) fields)
        ;; 转换每行为{列名: 值}的map
        rows (map (fn [row]
                    (zipmap column-names
                            (map get-field-value (.iterate row))))
                  (.iterateAll table-result))]
    (ds/->dataset rows)))

;; 使用示例
(def dataset (bq-result->dataset res))

内容的提问来源于stack exchange，提问作者Dan