无法将Flipkart时尚产品数据集上传至BigQuery的求助

针对XLSX上传报错的处理 #

报错提示Avro库解析头部失败，核心原因是文件格式识别错误或文件损坏：

• 上传时务必在BigQuery的「文件格式」选项中选择「Excel」，不要误选Avro或其他格式
• 重新下载Kaggle数据集，用本地Excel打开验证文件完整性，确认没有损坏或格式异常
• 若问题仍存在，将XLSX导出为CSV格式（Excel中「另存为」选择CSV），CSV是BigQuery兼容性最优的格式之一，上传时选择「CSV」格式即可

针对JSON上传报错的处理 #

报错提示JSON解析失败，原因是BigQuery要求JSON采用JSON Lines格式（每行一个独立JSON对象），而原数据集的JSON是外层包裹数组的格式：

• 转换JSON格式为JSON Lines：将原JSON中的数组拆分为每行一个对象，示例转换脚本：

import json

# 读取原JSON文件
with open("flipkart-fashion.json", "r", encoding="utf-8") as input_file:
    dataset = json.load(input_file)

# 写入JSON Lines格式文件
with open("flipkart-fashion.jsonl", "w", encoding="utf-8") as output_file:
    for item in dataset:
        json.dump(item, output_file)
        output_file.write("\n")

• 上传转换后的flipkart-fashion.jsonl文件，BigQuery会自动识别JSON Lines格式，无需手动指定Schema（若有特殊字段类型需求，再自定义Schema）

内容的提问来源于stack exchange，提问作者Goldszmidt