如何移除第二个DataFrame最后两列？read_parquet是什么？代码失效排查

1. 什么是pd.read_parquet？ #

这是Pandas库提供的Parquet格式文件读取函数。Parquet是一种高效的列式存储格式，主打高压缩比、快读写速度，适配大数据场景。使用这个函数需要先安装依赖库（比如pyarrow或fastparquet），执行pip install pyarrow即可完成安装。

2. 移除第二个DataFrame最后两列的实现说明 #

原代码里的df2.iloc[:, :-2]是正确写法，通过位置索引选取除最后两列外的所有列。但要注意：如果目标DataFrame列数少于2，这行代码会直接报错，建议加列数判断避免崩溃：

if len(df2.columns) >= 2:
    df2_modified = df2.iloc[:, :-2]
else:
    raise ValueError("第二个DataFrame列数不足2，无法执行移除最后两列操作")

3. 修复第9行无法运行的问题 #

原代码第9行（df2_modified = df2.iloc[:, :-2]）报错的常见原因及解决方法：

• DataFrame列数不足2：按上述方法加列数判断
• Parquet文件读取失败：比如路径错误、文件损坏，或未安装pyarrow依赖导致读取失败。可以在读取后加校验：

df1 = pd.read_parquet(file1_path)
df2 = pd.read_parquet(file2_path)
if df1.empty or df2.empty:
    raise ValueError("读取的DataFrame为空，请检查文件路径或内容")

4. 断言失败时的错误信息优化 #

原代码的异常处理已能打印错误信息和DataFrame，但可优化显示效果：用to_string()代替直接打印DataFrame，避免内容被截断；同时补充捕获其他可能的错误（文件找不到、空DataFrame等），让程序更健壮。

修正后的完整代码 #

import pandas as pd

def read_and_compare_parquet_files(file1_path, file2_path):
    try:
        # 读取Parquet文件，需确保已安装pyarrow/fastparquet依赖
        df1 = pd.read_parquet(file1_path)
        df2 = pd.read_parquet(file2_path)

        # 校验读取结果
        if df1.empty or df2.empty:
            raise ValueError("读取的DataFrame为空，请检查文件路径或内容完整性")

        # 移除第二个DataFrame最后两列，处理列数不足的情况
        if len(df2.columns) >= 2:
            df2_modified = df2.iloc[:, :-2]
        else:
            raise ValueError("第二个DataFrame列数小于2，无法执行移除最后两列操作")

        # 断言两个DataFrame是否完全一致
        assert df1.equals(df2_modified), "DataFrames内容不一致"

        return "DataFrames内容完全一致"

    except AssertionError as e:
        # 断言失败时打印详细信息
        print(f"断言错误: {e}")
        print("\n文件1对应的DataFrame:")
        print(df1.to_string())
        print("\n文件2修改后的DataFrame:")
        print(df2_modified.to_string())
        return "断言失败，已展示两个DataFrame内容"
    except (FileNotFoundError, ValueError) as e:
        # 处理文件读取和参数类错误
        print(f"错误: {e}")
        return f"操作失败: {str(e)}"
    except Exception as e:
        # 捕获其他未知错误
        print(f"未知错误: {str(e)}")
        return f"操作失败: {str(e)}"

# 示例使用，替换为实际文件路径
file1_path = '/path/to/file1.parquet'
file2_path = '/path/to/file2.parquet'

result = read_and_compare_parquet_files(file1_path, file2_path)
print(result)

内容的提问来源于stack exchange，提问作者Marc