深度学习自编码器异常检测：多txt坐标文件处理与标准化

问题背景 #

拥有多份不同长度的txt坐标文件，格式示例如下：

X,Y
145.33334350585938,596.6666870117188
147.3572998046875,591.2614135742188
149.28125,586.875
151.3013153076172,581.3974609375

X,Y
146.55398559570312,609.2018432617188
146.55398559570312,607.8530883789062
146.55398559570312,605.5582275390625
146.55398559570312,603.2935180664062
147.29171752929688,601.7035522460938
148.74122619628906,600.2540283203125
150.29244995117188,598.7027587890625

需要将这些数据加载并预处理为统一形状+归一化的数组，作为自编码器异常检测模型的输入。现有实现方案存在操作繁琐、灵活性差的问题，以下是优化后的解决方案。

现有方案的不足 #

• Pandas方案：预先创建固定列数的DataFrame，通过拼接转置的方式整合数据，操作冗余且效率低，硬编码列数无法适配数据长度变化。
• Numpy方案：直接concatenate无法处理不同长度的序列，未解决形状统一的核心问题。

优化实现步骤与代码 #

1. 动态统计最大序列长度 #

遍历所有文件，获取最长的坐标序列长度，避免硬编码固定值。

2. 加载数据并统一形状 #

使用Numpy的np.pad函数，将短序列填充至最大长度（填充值设为0，符合示例需求）。

3. 特征归一化 #

针对X、Y坐标分别做归一化处理，适配自编码器的输入要求。

完整代码如下：

import numpy as np
import os

# 替换为你的数据路径
data_path = "your_data_directory"

# 第一步：统计所有文件的最大序列长度
file_list = [os.path.join(data_path, f) for f in os.listdir(data_path) if f.endswith('.txt')]
max_seq_len = 0

for file_path in file_list:
    # 加载文件，跳过表头，读取X、Y两列
    coords = np.loadtxt(file_path, skiprows=1, delimiter=',', usecols=(0, 1))
    if len(coords) > max_seq_len:
        max_seq_len = len(coords)

# 第二步：加载所有数据并统一形状
processed_samples = []
for file_path in file_list:
    coords = np.loadtxt(file_path, skiprows=1, delimiter=',', usecols=(0, 1))
    # 计算需要填充的行数，在序列末尾补0
    pad_num = max_seq_len - len(coords)
    padded_coords = np.pad(
        coords,
        pad_width=((0, pad_num), (0, 0)),  # 仅在行维度末尾补0，列维度不填充
        mode='constant',
        constant_values=0
    )
    processed_samples.append(padded_coords)

# 转换为三维数组：(样本数量, 最大序列长度, 特征数)
data_array = np.array(processed_samples)

# 第三步：归一化处理（以Min-Max归一化为例，可替换为Z-score）
# 对X、Y特征分别归一化
x_min, x_max = data_array[..., 0].min(), data_array[..., 0].max()
y_min, y_max = data_array[..., 1].min(), data_array[..., 1].max()

data_array[..., 0] = (data_array[..., 0] - x_min) / (x_max - x_min)
data_array[..., 1] = (data_array[..., 1] - y_min) / (y_max - y_min)

# 若使用Z-score归一化，替换为以下代码：
# x_mean, x_std = data_array[..., 0].mean(), data_array[..., 0].std()
# y_mean, y_std = data_array[..., 1].mean(), data_array[..., 1].std()
# data_array[..., 0] = (data_array[..., 0] - x_mean) / x_std
# data_array[..., 1] = (data_array[..., 1] - y_mean) / y_std

优化优势 #

• 动态适配数据长度：自动统计最大序列长度，无需硬编码，兼容数据更新。
• 高效简洁：用Numpy原生函数处理，比Pandas操作更高效，代码逻辑清晰。
• 针对性预处理：对X、Y特征分别归一化，符合坐标数据的特性，提升模型效果。

内容的提问来源于stack exchange，提问作者nanuuq