Google Cloud BigQuery如何导入数据库及Google Drive的Excel表

BigQuery 原生不支持直接解析 .xls/.xlsx 格式的Excel文件，不管是从本地上传还是挂Google Drive路径直连，选Excel格式都会直接触发导入报错，以下是实测可落地的导入方案。

• 打开Google Drive找到目标Excel文件，右键选择「打开方式」→「Google 表格」，系统会自动生成一份同内容的Sheets格式文件保存在Drive中
• 打开转好的Google表格文件，点击右上角「共享」，把权限设置为「知道链接的任何人可查看」，避免BigQuery拉取时触发授权错误
• 进入BigQuery控制台，选中要存入数据的数据集，点击「创建表」，来源选择「Google Drive」
• 在输入框粘贴刚才Google表格的分享链接，文件类型选择「Google Sheet」，按需指定要导入的工作表范围（比如填Sheet1!A1:Z5000就是导Sheet1的A到Z列前5000行，不填默认读全表）
• 打开「自动检测schema」开关，设置好目标表名称，点击创建即可完成导入，导入完成后可以把Sheets的分享权限改回私有不影响已导入的数据。

如果你的Excel单表超过100万行（超过Google Sheets的单元格上限），或者需要定期同步，可以用Python脚本处理，步骤如下：

• 先在本地安装依赖包：
  pip install pandas openpyxl google-cloud-bigquery db-dtypes
• 配好本地GCP认证权限后，参考以下代码逻辑完成导入：

from google.cloud import bigquery
import pandas as pd

# 初始化BigQuery客户端
client = bigquery.Client()
# 替换成你的目标表地址：GCP项目ID.数据集名.表名
target_table = "my-project.data_set.user_table"

# 读取目标Excel工作表，本地文件直接填路径，Drive上的文件可以先通过Drive API拉取文件流传入
excel_data = pd.read_excel(
    io="./local_download/target_db.xlsx",
    sheet_name="db_sheet_01", # 替换成你要导入的工作表名称
    dtype=str # 全字段按字符串读入可避免格式自动识别错位，后续可以在BigQuery里再改字段类型
)

# 配置导入作业
load_config = bigquery.LoadJobConfig(
    autodetect=True,
    write_disposition="WRITE_TRUNCATE" # 按需调整：WRITE_TRUNCATE覆盖写/WRITE_APPEND追加写
)
# 提交导入作业，等待执行完成
load_job = client.load_table_from_dataframe(excel_data, target_table, job_config=load_config)
load_job.result()

如果文件已经存在本地下载文件夹，不需要走Drive链路的话，直接本地打开Excel，把目标工作表另存为UTF-8编码的CSV文件，在BigQuery创建表时来源选「本地文件上传」，文件格式选CSV，开自动检测schema就能直接导入，不需要走中转。

• 不要直接把.xlsx/.xls格式的Drive链接填到BigQuery的Drive来源路径下，原生解析器不支持该格式，必然报错
• 用Sheets中转前先把Excel里的合并单元格拆分、公式结果粘贴为纯值，否则导入后会出现空行、数据错位问题
• 如果导入时提示权限错误，先检查Sheets文件的分享权限，以及你当前操作的BigQuery账号是否有对应数据集的写入权限
• 大文件不要用Sheets中转，单Sheets文件最多支持1000万个单元格，超量会出现内容截断，直接走脚本或者转CSV上传更稳定

内容的提问来源于stack exchange，提问作者Pooja Bhardwaj