求助:如何将多份CSV文件导入单个BigQuery表?(谷歌数据分析Capstone)
解决方案
一、BigQuery免费沙箱内的合并方案
免费沙箱限制DML操作,但可通过创建视图实现逻辑合并,无需生成物理合并表:
- 确保所有月度Excel已上传为BigQuery独立表(命名如
divvy_2023_01、divvy_2023_02等) - 执行以下SQL创建视图,该视图会实时关联所有月度数据:
CREATE VIEW `your-project.your-dataset.divvy_yearly_combined` AS SELECT * FROM `your-project.your-dataset.divvy_2023_01` UNION ALL SELECT * FROM `your-project.your-dataset.divvy_2023_02` -- 依次追加剩余月度表的SELECT语句
- 后续分析直接查询该视图即可,语法与查询物理表完全一致,且视图不占用额外存储额度。
二、替代免费SQL平台
若需要物理合并的单表,可选择以下工具:
- SQLite:轻量级本地数据库,完全免费,支持标准SQL,轻松处理500万行数据:
- 将所有Excel转成CSV格式(可通过批量转换工具或极简Python脚本完成,无需复杂编程基础)
- 用DB Browser for SQLite等可视化工具创建数据库,批量导入CSV至同一表
- 直接在SQLite中执行分析查询
- PostgreSQL本地版:开源免费,支持大规模数据处理,本地安装后可导入CSV生成单表,适配复杂SQL分析场景
- MySQL社区版:开源免费,本地部署后支持批量CSV导入,满足500万行数据的分析需求
内容的提问来源于stack exchange,提问作者Sean Francis
相关产品推荐
相关产品推荐

