基于切片拆分Pandas DataFrame为3份：中间数据集异常排查及优化

问题排查：中间切片延伸至末尾的原因 #

核心问题是切片未指定结束索引。Pandas中，df[start:]这类写法会从start位置的行一直取到数据集最后一行，不会自动截断。比如你可能写了类似这样的错误代码：

# 错误示例
df1 = df[:100]  # 首段正常，取前100行
df2 = df[100:]  # 未指定结束索引，直接取到末尾
df3 = df[200:]  # 尾段实际重复取了200到末尾的行

正确的中间切片必须明确给出结束位置，遵循Pandas切片左闭右开的规则，也就是df[start:end]，这样只会取start到end-1之间的行。

更优拆分实现方案 #

根据不同的拆分需求，推荐以下两种可靠的实现方式：

1. 按固定比例/行数平均拆分 #

如果需要将DataFrame平均分成3份，用numpy.array_split最简便，它会自动处理行数不能被3整除的情况：

import pandas as pd
import numpy as np

# 直接拆分出3个DataFrame
df1, df2, df3 = np.array_split(df, 3)

也可以手动计算分界位置，用iloc（基于位置的索引，避免标签索引的潜在问题）实现：

total_rows = len(df)
split_point1 = total_rows // 3
split_point2 = split_point1 * 2

df1 = df.iloc[:split_point1]
df2 = df.iloc[split_point1:split_point2]
df3 = df.iloc[split_point2:]

2. 按指定分界点精准拆分 #

如果已经确定了具体的拆分位置（比如在第100行和第200行处拆分），必须用iloc明确指定首尾索引：

# 精准拆分：df1取0-99行，df2取100-199行，df3取200到末尾
df1 = df.iloc[:100]
df2 = df.iloc[100:200]
df3 = df.iloc[200:]

验证拆分结果 #

拆分后可以通过以下方式验证正确性：

• 检查总长度：len(df1) + len(df2) + len(df3) == len(df)
• 查看每个DataFrame的行数：print(df1.shape, df2.shape, df3.shape)

内容的提问来源于stack exchange，提问作者Carson Whitley