如何逐个加载单份数据文件依次完成模型训练与测试？

不需要强制使用X_train[i][j], y_train[i][j]的二维索引形式，根据实际需求选方案即可：

• 如果单份文件体积较大、不需要留存每份数据的预处理结果，优先选流式逐份处理逻辑，内存占用更低，不需要提前维护全量数据的索引结构
• 如果需要留存每份文件的预处理结果做分片效果对比、错误样本回溯，可以把所有单份处理后的数据按文件存入列表，此时就可以用X_train[i][j]的形式取第i份文件里的第j个样本。

方案1：流式逐份处理（推荐，内存效率高） #

处理逻辑为读1份、预处理1份、训练/测试1份，处理完的无用数据会自动回收内存，适合大文件场景：

# 逐份训练流程
train_file_paths = [f"{idx}.txt" for idx in range(1, 11)] # 覆盖1.txt~10.txt
for file_path in train_file_paths:
    # 加载单份文件
    single_data = load_file(file_path)
    # 预处理单份数据
    X, y = preprocess_data(single_data, tokenizer)
    # 调用模型增量训练接口，注意不要重置模型权重
    model.train_on_batch(X, y) # 以Keras接口为例，PyTorch等其他框架替换为对应增量训练逻辑即可

# 逐份测试流程
test_file_paths = [f"{idx}.txt" for idx in range(11, 13)] # 覆盖11.txt、12.txt
for file_path in test_file_paths:
    single_data = load_file(file_path)
    X, y = preprocess_data(single_data, tokenizer)
    # 输出单份文件测试结果
    eval_loss, eval_acc = model.evaluate(X, y)
    print(f"测试文件{file_path}结果：损失值{eval_loss:.4f}，准确率{eval_acc:.4f}")

方案2：预加载全量单份数据（支持[i][j]索引） #

如果需要留存所有文件的预处理结果，就把每份处理后的数据存入列表，后续可通过索引灵活调用：

# 预加载并预处理所有训练文件
X_train = []
y_train = []
train_file_paths = [f"{idx}.txt" for idx in range(1, 11)]
for file_path in train_file_paths:
    single_data = load_file(file_path)
    X_single, y_single = preprocess_data(single_data, tokenizer)
    X_train.append(X_single)
    y_train.append(y_single)

# 逐份训练
for file_idx in range(len(X_train)):
    # X_train[file_idx] 对应第file_idx+1份文件的全部特征
    # X_train[file_idx][sample_idx] 对应第file_idx+1份文件里第sample_idx个样本的特征，也就是提到的[i][j]索引形式
    model.train_on_batch(X_train[file_idx], y_train[file_idx])

# 预加载并预处理所有测试文件
X_test = []
y_test = []
test_file_paths = [f"{idx}.txt" for idx in range(11, 13)]
for file_path in test_file_paths:
    single_data = load_file(file_path)
    X_single, y_single = preprocess_data(single_data, tokenizer)
    X_test.append(X_single)
    y_test.append(y_single)

# 逐份测试
for file_idx in range(len(X_test)):
    eval_loss, eval_acc = model.evaluate(X_test[file_idx], y_test[file_idx])
    print(f"第{file_idx+1}份测试集结果：损失值{eval_loss:.4f}，准确率{eval_acc:.4f}")

逐份迭代训练属于增量训练场景，调用训练接口前务必确认框架不会在每次训练时重新初始化模型权重，否则每训练一份新文件就会覆盖之前的训练成果，最终模型只会拟合最后一份10.txt的数据。

内容的提问来源于stack exchange，提问作者ryrie23