Python执行BigQuery命令时如何处理换行符问题

问题原因 #

1. BigQuery的STRING_AGG函数要求第二个参数（分隔符）必须是字面量字符串或查询参数，不能是CHR(13) || CHR(10)这类表达式，这是报错的直接原因。
2. 直接在Python字符串里写'\n'会被Python解析为实际的换行，导致SQL语句结构被破坏，进而执行失败。

可行解决方案 #

方案1：使用参数化查询（推荐）

通过BigQuery Python客户端的参数化查询功能，将换行符作为参数传入，既符合BigQuery的语法要求，又避免了字符串转义问题。

from google.cloud import bigquery

# 初始化BigQuery客户端
client = bigquery.Client()

# 定义带参数占位符的SQL语句
sql_stmt = """
    SELECT 
    STRING_AGG(COLUMN_NAME || ' ' || DATA_TYPE || ',' , @delimiter) AS COLUMN_LIST
    FROM  `prj_name.dataset_name.INFORMATION_SCHEMA.COLUMNS`
"""

# 配置查询参数，传入换行符（'\n'是换行，'\r\n'是回车+换行，按需选择）
job_config = bigquery.QueryJobConfig(
    query_parameters=[
        bigquery.ScalarQueryParameter("delimiter", "STRING", "\n")
    ]
)

# 执行查询并获取结果
query_job = client.query(sql_stmt, job_config=job_config)
results = query_job.result()

# 处理结果
for row in results:
    print(row.COLUMN_LIST)

方案2：直接在SQL中使用字面量换行符

通过Python字符串的转义控制，让BigQuery接收到字面量的'\n'：

from google.cloud import bigquery

client = bigquery.Client()

# 方法A：使用原始字符串，避免Python解析'\n'
sql_stmt = r"""
    SELECT 
    STRING_AGG(COLUMN_NAME || ' ' || DATA_TYPE || ',' , '\n') AS COLUMN_LIST
    FROM  `prj_name.dataset_name.INFORMATION_SCHEMA.COLUMNS`
"""

# 方法B：用字符串拼接传递转义后的换行符
delimiter = '\n'
# repr(delimiter)会返回"'\\n'"，去掉前后引号得到BigQuery能识别的'\n'
sql_stmt = f"""
    SELECT 
    STRING_AGG(COLUMN_NAME || ' ' || DATA_TYPE || ',' , '{repr(delimiter)[1:-1]}') AS COLUMN_LIST
    FROM  `prj_name.dataset_name.INFORMATION_SCHEMA.COLUMNS`
"""

# 执行查询
query_job = client.query(sql_stmt)
results = query_job.result()

注意事项 #

• 参数化查询（方案1）是更安全的做法，还能避免潜在的SQL注入风险，优先推荐。
• 如果需要Windows风格的换行（回车+换行），只需把参数值改成'\r\n'即可。

内容的提问来源于stack exchange，提问作者VKarthik