在R中拆分Data Frame：将约900K行数据拆分为两个不等数据集

针对你有900K行DataFrame需要拆分写入MySQL的需求（因为dbWriteTable单表写入上限约700K行），我给你整理了一套实操步骤，用R语言为例（毕竟你提到了dbWriteTable，这是DBI包的常用函数）：

步骤1：确定拆分比例并拆分DataFrame #

首先你可以自定义两个新表的行数，只要每个都不超过700K就行，比如第一个表取600K行，第二个取剩下的300K行：

# 假设你的原始DataFrame叫df
total_rows <- nrow(df)
# 设定第一个表的行数（可根据需求调整，只要<=700000）
table1_rows <- 600000
table2_rows <- total_rows - table1_rows

# 拆分DataFrame
df_table1 <- df[1:table1_rows, ]
df_table2 <- df[(table1_rows + 1):total_rows, ]

# 验证拆分是否正确
cat("表1行数：", nrow(df_table1), "\n")
cat("表2行数：", nrow(df_table2), "\n")
cat("总行数：", nrow(df_table1) + nrow(df_table2), "\n")

如果你习惯用tidyverse的语法，也可以用slice函数：

library(dplyr)
df_table1 <- df %>% slice(1:table1_rows)
df_table2 <- df %>% slice((table1_rows + 1):total_rows)

步骤2：连接MySQL并写入两个表 #

接下来用DBI和RMariaDB包连接数据库，分别写入两个不同名称的表：

library(DBI)
library(RMariaDB)

# 建立数据库连接
conn <- dbConnect(RMariaDB::MariaDB(),
                  host = "你的数据库地址",
                  user = "用户名",
                  password = "密码",
                  dbname = "数据库名")

# 写入第一个表（自定义表名，比如"large_data_part1"）
dbWriteTable(conn, name = "large_data_part1", df_table1, row.names = FALSE, overwrite = TRUE)

# 写入第二个表（比如"large_data_part2"）
dbWriteTable(conn, name = "large_data_part2", df_table2, row.names = FALSE, overwrite = TRUE)

# 关闭连接
dbDisconnect(conn)

注意事项 #

• 如果需要追加数据而不是覆盖表，把overwrite = TRUE改成append = TRUE。
• 确保拆分后的每个DataFrame行数都低于700K，避免触发写入限制。
• 如果你的DataFrame有特殊格式的列（比如日期、二进制），可以在dbWriteTable里指定field.types参数来匹配MySQL的字段类型。

内容的提问来源于stack exchange，提问作者Shooki