Python 2.7下BigQuery查询转ML Predict适配JSON的方案咨询

问题1：不用Pandas直接转换为requests.post可用的JSON格式 #

当然可以！你完全可以借助BigQuery的Python客户端库直接处理查询结果，全程不需要依赖Pandas。核心思路是把BigQuery返回的行数据转换成字典列表，再封装成ML Predict要求的标准结构（通常是{"instances": [实例字典列表]}的格式）。

给你一个适配Python 2.7的代码示例：

from google.cloud import bigquery
import json
import requests

# 初始化BigQuery客户端（GCP标准环境会自动加载默认凭证）
client = bigquery.Client()

# 执行你的查询
query = """
SELECT feature1, feature2, feature3
FROM your_project.your_dataset.your_table
WHERE your_filter_condition
"""
query_job = client.query(query)
results = query_job.result()

# 把查询结果转换成符合ML要求的实例列表
instances = []
for row in results:
    # 直接将BigQuery行对象转为字典
    instance_dict = dict(row.items())
    # 如果需要调整字段名、数据类型，在这里处理
    # 比如：instance_dict["adjusted_feature"] = float(instance_dict.pop("original_feature"))
    instances.append(instance_dict)

# 封装成ML Predict接受的JSON结构
payload = {"instances": instances}

# 直接传入requests.post使用
response = requests.post(your_ml_predict_endpoint, json=payload)

这种方法完全避开了Pandas，而且google-cloud-bigquery库在GCP标准环境中是兼容的（注意要安装适配Python2.7的版本，比如google-cloud-bigquery==1.28.0）。

问题2：构造BigQuery查询直接生成JSON格式 #

这也完全可行！你可以利用BigQuery的原生JSON函数，让查询结果直接输出接近ML Predict要求的JSON字符串，后续只需要少量调整（甚至不用调整）就能使用。

假设ML Predict需要的格式是{"instances": [{"feature1": val1, ...}, ...]}，你可以写这样的SQL查询：

SELECT CONCAT(
  '{"instances": [',
  STRING_AGG(TO_JSON_STRING(t), ','),
  ']}'
) AS ml_predict_payload
FROM (
  -- 这里写你的原始查询，确保输出字段和ML要求的一致
  SELECT feature1, feature2, feature3
  FROM your_project.your_dataset.your_table
  WHERE your_filter_condition
) t

这个查询会把每行数据转换成JSON字符串，用STRING_AGG拼接成数组，最后加上外层的标准结构。

然后在Python里获取结果并直接解析：

query_job = client.query(sql_query)
result = next(query_job.result())
payload = json.loads(result.ml_predict_payload)

# 直接传给requests.post即可
response = requests.post(your_ml_predict_endpoint, json=payload)

需要注意两个细节：

• 如果查询结果存在NULL值，TO_JSON_STRING会将其转为null，大部分ML服务都支持，但如果你的服务有特殊要求，可以用IFNULL在SQL里替换成默认值。
• 确保SQL输出的字段名和ML Predict要求的字段名完全匹配，这样就不需要后续修改JSON结构了。

内容的提问来源于stack exchange，提问作者Prof. Falken