基于DataFrame大小自动生成多Excel工作表/CSV的方案咨询

一、Python自动实现方案（基于Pandas） #

1. 拆分到单个Excel文件的多个工作表 #

针对百万级DataFrame，按指定行数自动拆分到同一Excel的不同工作表，示例代码如下：

import pandas as pd

# 读取原始CSV为DataFrame
df = pd.read_csv("large_data.csv")

# 定义每个工作表的最大行数（Excel单表上限约1048576行，设100万留冗余）
chunk_size = 1000000
# 计算需要拆分的份数
total_chunks = len(df) // chunk_size + (1 if len(df) % chunk_size != 0 else 0)

# 创建Excel写入对象
with pd.ExcelWriter("split_data.xlsx") as writer:
    for i in range(total_chunks):
        # 截取对应数据片段
        start = i * chunk_size
        end = start + chunk_size
        chunk_df = df.iloc[start:end]
        # 写入工作表，命名为Sheet_1、Sheet_2...
        chunk_df.to_excel(writer, sheet_name=f"Sheet_{i+1}", index=False)

2. 拆分为多个独立CSV文件 #

如果需要生成多个独立CSV文件，代码逻辑如下：

import pandas as pd

df = pd.read_csv("large_data.csv")
chunk_size = 1000000
total_chunks = len(df) // chunk_size + (1 if len(df) % chunk_size != 0 else 0)

for i in range(total_chunks):
    start = i * chunk_size
    end = start + chunk_size
    chunk_df = df.iloc[start:end]
    # 保存为split_data_1.csv、split_data_2.csv...
    chunk_df.to_csv(f"split_data_{i+1}.csv", index=False)

二、Excel手动拆分大文件的方法 #

方法1：Power Query拆分（无代码） #

1. 打开Excel，点击「数据」选项卡 → 「获取数据」→ 「从文件」→ 「从文本/CSV」，选择目标大CSV文件
2. 在预览窗口中，点击「加载」旁的下拉箭头 → 「加载到」，选择「只有创建连接」后确定
3. 再次点击「数据」→ 「现有连接」，选中刚创建的连接并打开
4. 在Power Query编辑器中，点击「主页」→ 「拆分列」下拉箭头 → 「按行数拆分」，输入单表行数（如1000000）
5. 点击「关闭并上载」，Excel会自动将拆分后的片段导入到单独工作表中

方法2：VBA宏自动拆分 #

1. 打开包含大数据集的Excel文件（若为CSV，先另存为Excel格式）
2. 按下Alt + F11打开VBA编辑器，插入新模块，粘贴以下代码：

Sub SplitDataIntoSheets()
    Dim wsSource As Worksheet
    Dim wsNew As Worksheet
    Dim lastRow As Long
    Dim rowCount As Long
    Dim startRow As Long
    Dim endRow As Long
    Dim sheetNum As Integer
    Dim chunkSize As Long
    
    ' 设置每个工作表的行数
    chunkSize = 1000000
    Set wsSource = ActiveSheet
    lastRow = wsSource.Cells(wsSource.Rows.Count, "A").End(xlUp).Row
    sheetNum = 1
    startRow = 2 ' 假设第一行是表头
    
    Do While startRow <= lastRow
        endRow = startRow + chunkSize - 1
        If endRow > lastRow Then endRow = lastRow
        
        ' 创建新工作表
        Set wsNew = ThisWorkbook.Sheets.Add(After:=ThisWorkbook.Sheets(ThisWorkbook.Sheets.Count))
        wsNew.Name = "Sheet_" & sheetNum
        
        ' 复制表头
        wsSource.Rows(1).Copy wsNew.Rows(1)
        ' 复制数据行
        wsSource.Rows(startRow & ":" & endRow).Copy wsNew.Rows(2)
        
        startRow = endRow + 1
        sheetNum = sheetNum + 1
    Loop
End Sub

3. 按下F5运行宏，即可自动生成拆分后的工作表

内容的提问来源于stack exchange，提问作者Bing Shuen