将DataFrame上传至BigQuery后非sessions/date列全为NULL问题求助

以下是针对该问题的具体排查和解决步骤：

• 核对列名大小写与一致性
  BigQuery对列名大小写敏感，若DataFrame列名（如totalUsers）与BigQuery Schema中的列名（如totalusers）大小写不匹配，会导致字段映射失败，值全部为NULL。直接打印列名列表逐字核对：

print(df.columns.tolist())

若存在不可见字符（如空格、制表符），先清理列名：

df.columns = df.columns.str.strip()

• 深度检查数据类型匹配
  表面调整数据类型可能不够，需确认DataFrame列的实际类型与Schema完全对应：

1. 查看所有列的类型：

print(df.dtypes)

2. 若存在字符串格式的数值（如"123"），先转换为数值类型：

df['totalUsers'] = pd.to_numeric(df['totalUsers'], errors='coerce')

3. 确保Schema中的类型与DataFrame类型对应：比如DataFrame的datetime64对应BigQuery的DATETIME，int64对应INT64，float64对应FLOAT64。

• 检查上传参数与Schema设置
  使用pandas_gbq.to_gbq时，注意以下参数：

1. 用if_exists='replace'覆盖原有表，避免旧表结构干扰：

schema = [
    {'name': 'date', 'type': 'DATE'},
    {'name': 'sessions', 'type': 'INT64'},
    {'name': 'totalUsers', 'type': 'INT64'},
    # 按DataFrame列顺序补充其他字段
]
pd.to_gbq(df, destination_table='项目ID.数据集.表名', project_id='你的项目ID', schema=schema, if_exists='replace')

2. 确认Schema的name字段与DataFrame列名完全一致，无拼写错误。

• 小批量数据测试排查
  取DataFrame前5行数据上传测试：

df_sample = df.head(5)
pd.to_gbq(df_sample, destination_table='项目ID.数据集.测试表', project_id='你的项目ID', schema=schema, if_exists='replace')

若小批量正常，说明全量数据中存在异常行（如嵌套结构、特殊字符值），需逐列排查数据内容。

内容的提问来源于stack exchange，提问作者在去中国