如何使用R无需创建dataframe直接将CSV/TSV加载到BigQuery

可行方案：使用bigrquery原生文件上传接口 #

你日常使用的bigrquery包本身已经支持无需读取为dataframe、直接上传本地磁盘文件到BigQuery的能力，对应函数为bq_table_upload()，该函数的values参数除了支持传入R data.frame外，也直接接受本地CSV/Parquet/JSON等文件的路径作为输入，完全不需要调用bash代码块或system命令。

代码示例 #

library(bigrquery)

# 基础配置替换为你自己的实际参数
gcp_project <- "你的GCP项目ID"
bq_dataset <- "目标数据集名称"
bq_table_name <- "目标表名称"
local_csv_path <- "本地CSV文件的绝对/相对路径"

# 构造目标表对象
target_table <- bq_table(
  project = gcp_project,
  dataset = bq_dataset,
  table = bq_table_name
)

# 执行直接上传
bq_table_upload(
  x = target_table,
  values = local_csv_path,
  # 可选配置项
  create_disposition = "CREATE_IF_NEEDED", # 表不存在时自动创建
  write_disposition = "WRITE_APPEND", # 写入模式：追加/覆盖/仅空表写入可选
  autodetect = TRUE, # 自动识别CSV的表头和字段类型
  quiet = FALSE # 显示上传进度，大文件建议开启
)

常用配置说明 #

• 如果需要自定义表schema避免自动识别误差，可以替换autodetect = TRUE为fields参数手动指定字段类型：

  fields = bq_fields(list(
    bq_field("user_id", "INTEGER"),
    bq_field("user_name", "STRING"),
    bq_field("register_time", "TIMESTAMP")
  ))
  

• 支持直接上传压缩格式的CSV文件（如.csv.gz），无需提前解压
• 单文件最大支持15GB，超过该大小建议拆分后分批上传

注意事项 #

DBI接口目前确实没有提供直接上传本地文件的标准方法，因此直接使用bigrquery的原生函数是当前最贴合你现有技术栈的解决方案，和你日常使用的dbplyr、BigQuery交互逻辑完全兼容，无需额外安装其他依赖包。

内容的提问来源于stack exchange，提问作者abalter