无法用Python将Pandas DataFrame推送至Google BigQuery，遇转换错误

错误原因分析 #

报错pyarrow.lib.ArrowInvalid: Could not convert '1' with type str: tried to convert int64的核心问题是：DataFrame中存在混合类型的列——同一列里同时包含数值类型（int64/float64）和字符串类型的数字（比如'1'），pyarrow在将DataFrame转换为Parquet格式时，无法自动解决这种类型冲突，导致转换失败。

分步解决方案 #

1. 定位混合类型列 #

先检查每一列的类型分布，确认哪几列存在类型混杂：

import pandas as pd

for col in table_df.columns:
    type_counts = table_df[col].apply(type).value_counts()
    print(f"列 {col} 的类型分布:\n{type_counts}\n")

2. 统一列类型 #

根据业务需求，将混合类型列统一为目标类型：

• 如果列应为数值类型：将字符串数字转为数值，无法转换的设为NaN后按需填充

  # 转换为数值，errors='coerce'将无效值转为NaN
  table_df['col2'] = pd.to_numeric(table_df['col2'], errors='coerce')
  # 填充NaN，示例用0填充，可根据业务调整为均值/中位数等
  table_df['col2'] = table_df['col2'].fillna(0)
  

• 如果列应为字符串类型：将所有值统一转为字符串

  table_df['col1'] = table_df['col1'].astype(str)
  

3. 重新推送数据 #

处理完类型后，选择合适的方式推送：

方式1：用pandas_gbq的to_gbq方法

可以指定pyarrow参数，或者强制用CSV格式上传（绕过Parquet转换）：

# 方法A：启用pyarrow相关参数
table_df.to_gbq(
    table_id, 
    project_id, 
    if_exists="replace", 
    use_pyarrow=True, 
    pyarrow_bq=True
)

# 方法B：强制使用CSV格式上传，避免Parquet转换问题
table_df.to_gbq(
    table_id, 
    project_id, 
    if_exists="replace", 
    chunksize=10000, 
    method='csv'
)

方式2：用BigQuery客户端上传

确保Schema与处理后的DataFrame类型严格匹配：

from google.cloud import bigquery

client = bigquery.Client()
table_id = 'dataset.table'

# 处理后的DataFrame类型要和Schema一致
job_config = bigquery.LoadJobConfig(schema=[
             bigquery.SchemaField("col1", "STRING"),
             bigquery.SchemaField("col2", "NUMERIC"),
           ])

job = client.load_table_from_dataframe(
            table_df, table_id, job_config=job_config
      )

job.result()

内容的提问来源于stack exchange，提问作者s nandan