np.column_stack偶发维度不匹配，如何用NA填充修正？

问题根源 #

np.column_stack要求所有输入数组的第一维度长度完全一致，偶尔报错是因为paths、file_names、hashes、filesizes这几个集合的元素数量不一致（比如部分文件处理时漏记录了文件大小等字段）。

解决方案一：填充NA统一长度（兼容原numpy写法） #

先找到所有数组的最大长度，将短数组用np.nan补全后再拼接：

import numpy as np
import pandas as pd

# 假设paths/file_names/hashes/filesizes为列表或一维numpy数组
input_arrays = [paths, file_names, hashes, filesizes]
max_length = max(len(arr) for arr in input_arrays)

# 补全每个数组到最大长度
padded_arrays = []
for arr in input_arrays:
    gap = max_length - len(arr)
    if isinstance(arr, np.ndarray):
        # numpy数组用pad补全
        padded = np.pad(arr, (0, gap), mode='constant', constant_values=np.nan)
    else:
        # 列表直接扩展补全
        padded = arr + [np.nan] * gap
    padded_arrays.append(padded)

# 拼接生成DataFrame
df = pd.DataFrame(np.column_stack(padded_arrays), 
                  columns=['path', 'file name', 'sha256', 'file size (MB)'])

解决方案二：直接用Pandas构造DataFrame（更简洁稳妥） #

Pandas构造DataFrame时会自动将长度不足的列用NaN填充，无需手动处理：

import pandas as pd

df = pd.DataFrame({
    'path': paths,
    'file name': file_names,
    'sha256': hashes,
    'file size (MB)': filesizes
})

这种方式完全避开了numpy的严格维度检查，代码更简洁，也能自动处理长度不一致的情况。

避免脚本重跑的优化 #

由于脚本运行时间长，建议在文件处理过程中定期保存中间结果，出错后可从断点继续：

import pickle

# 中间结果保存路径
temp_save_path = "file_process_temp.pkl"

# 启动时尝试加载中间结果
try:
    with open(temp_save_path, 'rb') as f:
        paths, file_names, hashes, filesizes = pickle.load(f)
        print("加载中间结果，继续处理")
except FileNotFoundError:
    paths, file_names, hashes, filesizes = [], [], [], []

# 处理文件的循环示例（替换成你的实际处理逻辑）
for idx, file_path in enumerate(target_files):
    # 你的文件处理逻辑：获取文件名、哈希、大小等
    # ...
    
    # 每处理1000个文件保存一次中间结果
    if (idx + 1) % 1000 == 0:
        with open(temp_save_path, 'wb') as f:
            pickle.dump([paths, file_names, hashes, filesizes], f)
        print(f"已保存第{idx+1}个文件的处理进度")

内容的提问来源于stack exchange，提问作者jangles