GCS上传CSV被识别为单列 导入BigQuery报错如何修复

报错核心原因是CSV分隔符不匹配：你代码里手动拼接行内容时用;作为字段分隔符，但BigQuery加载CSV任务默认使用逗号(,)作为分隔符，因此类似1;2022-01-01的行会被识别为单个字段，和目标表要求的2列结构冲突，最终触发列数不足的报错。
该问题和upload_from_string方法本身无关，仅和生成的文件格式、导入任务的配置有关。

两种方案均可生效，推荐优先选方案2，格式兼容性更好。

方案1：调整BigQuery导入配置 #

在创建GCS到BigQuery的加载任务时，显式指定字段分隔符为;：

• 控制台操作：在CSV格式的高级配置项中，将「字段分隔符」从默认的逗号修改为;
• SDK/API调用：在加载作业配置中设置delimiter=";"参数
  配置完成后重新执行导入任务即可正常拆分两列。

方案2：生成标准逗号分隔的CSV文件（推荐） #

放弃手动拼接字符串的写法，用Python内置csv模块生成标准逗号分隔的CSV内容，从根源避免分隔符不匹配问题，同时完全满足不存储本地文件的性能要求，修改后的可运行代码如下：

import csv
import io
import requests

response = requests.get(url, headers=headers)
response.encoding = "UTF-8"

# 读取源分号分隔的CSV数据
reader = csv.reader(response.text.splitlines(), delimiter=';', quotechar='"')
# 基于内存缓冲区生成CSV，不落地本地磁盘
output_buffer = io.StringIO()
writer = csv.writer(
    output_buffer,
    delimiter=',',
    quotechar='"',
    quoting=csv.QUOTE_MINIMAL
)
# 写入与BigQuery表字段对应的表头
writer.writerow(["ID", "Registration_date"])

for row in reader:
    try:
        # 提取需要的第0列、第6列写入新CSV
        writer.writerow([row[0], row[6]])
    except Exception:
        print(row)

# 直接从内存读取内容上传至GCS
csv_content = output_buffer.getvalue()
blob = bucket.blob("users.csv")
blob.upload_from_string(csv_content, content_type="text/csv")

该写法生成的是通用标准CSV，用默认配置即可在GCS中正常预览两列结构，导入BigQuery也不会出现列数匹配错误。如果字段内容本身包含逗号、引号等特殊字符，csv.writer会自动做转义处理，比手动拼接字符串的鲁棒性高很多。

内容的提问来源于stack exchange，提问作者Arnaud Stephan