使用LSTM做天气预测时出现IndexError索引越界问题求助

索引越界错误原因与修复 #

你的IndexError是因为univariate_data函数对传入的end_index（比如TRAIN_SPLIT）未做边界校验，当i循环到end_index-1时，i+target_size超出了数据集的最大索引范围。

具体来说，你的数据集长度为4557（索引范围0~4556），当univariate_future_target=0时，i+target_size=i，若end_index设置大于len(dataset)-target_size（比如误设为4558），i会遍历到4557，此时访问dataset[4557]就会触发越界。

修正后的univariate_data函数 #

修改函数逻辑，对所有场景的end_index做边界限制，确保不会超出数据集有效范围：

def univariate_data(dataset, start_index, end_index, history_size, target_size):
    data = []
    labels = []

    start_index = start_index + history_size
    # 统一计算允许的最大end_index，避免越界
    max_end_index = len(dataset) - target_size
    if end_index is None:
        end_index = max_end_index
    else:
        end_index = min(end_index, max_end_index)
    
    # 防止起始位置超出有效范围导致无样本生成
    if start_index >= end_index:
        raise ValueError("训练/验证集起始位置超出有效范围，请检查history_size或TRAIN_SPLIT设置")
    
    for i in range(start_index, end_index):
        indices = range(i - history_size, i)
        data.append(np.reshape(dataset[indices], (history_size, 1)))
        labels.append(dataset[i + target_size])
    return np.array(data), np.array(labels)

空值与零值预处理方案 #

你的CSV存在空值和零值，这会导致数据集长度变化、模型训练效果受影响，需先完成预处理：

1. 读取并清洗单变量数据 #

假设你选择CSV中的某一列（如temperature）作为单变量输入：

import pandas as pd
import numpy as np

# 读取CSV文件
df = pd.read_csv('your_weather_data.csv')
# 提取目标列（替换为你实际使用的列名）
raw_uni_data = df['temperature'].values

# 处理空值：优先用前后值填充，也可选择删除或均值填充
processed_uni_data = pd.Series(raw_uni_data).fillna(method='ffill').fillna(method='bfill').values

# 处理零值：若零值为无效数据（如气温不可能为0），替换为NaN后填充
processed_uni_data[processed_uni_data == 0] = np.nan
processed_uni_data = pd.Series(processed_uni_data).fillna(method='ffill').values

# 检查处理后的数据长度
print(f"预处理后数据长度：{len(processed_uni_data)}")

2. 合理划分训练/验证集 #

基于处理后的数据集长度动态划分，避免硬编码数值：

# 用80%数据作为训练集，20%作为验证集
TRAIN_SPLIT = int(len(processed_uni_data) * 0.8)
univariate_past_history = 20
univariate_future_target = 0

# 生成训练和验证数据
x_train_uni, y_train_uni = univariate_data(processed_uni_data, 0, TRAIN_SPLIT,
                                           univariate_past_history,
                                           univariate_future_target)
x_val_uni, y_val_uni = univariate_data(processed_uni_data, TRAIN_SPLIT, None,
                                       univariate_past_history,
                                       univariate_future_target)

内容的提问来源于stack exchange，提问作者Shweta Kiran