DL4J中1D CNN+LSTM配置异常：输入与标签维度匹配问题

网络配置代码 #

protected int[] cnnStrides = {1, 2};// Strides for each CNN layer
protected int[] cnnNeurons = {72, 36}; //cnn各层的神经元数量
protected int[] rnnNeurons={64,32};//rnn各层的神经元数量
int[] cnnKernelSizes = {3, 3}; // Kernel sizes for each CNN layer  
int[] cnnPaddings = {1,1}; // Paddings for each CNN layer

public MultiLayerConfiguration getNetConf() {
    DataType dataType = DataType.FLOAT;
    NeuralNetConfiguration.Builder nncBuilder = new NeuralNetConfiguration.Builder()
            .seed(System.currentTimeMillis())
            .weightInit(WeightInit.XAVIER)
            .optimizationAlgo(OptimizationAlgorithm.STOCHASTIC_GRADIENT_DESCENT)
            .updater(new Adam(lrSchedule))//(lrSchedule))
            //                .gradientNormalization(GradientNormalization.RenormalizeL2PerLayer)
            .dataType(dataType);

    nncBuilder.l1(l1);
    nncBuilder.l2(l2);

    NeuralNetConfiguration.ListBuilder listBuilder = nncBuilder.list();
    int nIn = featuresCount;//36
    int layerIndex = 0;
    final int cnnLayerCount = cnnNeurons.length;
   
    // Add CNN layers
    for (int i = 0; i < cnnLayerCount; i++) {
        listBuilder.layer(layerIndex, new Convolution1D.Builder()
                .kernelSize(cnnKernelSizes[i])
                .stride(cnnStrides[i])
                .padding(cnnPaddings[i])
                .nIn(nIn)
                .nOut(cnnNeurons[i])
                .activation(Activation.RELU)
                .build());
        
        nIn = cnnNeurons[i];
        ++layerIndex;
    }
    
    // Add RNN layers
    for (int i = 0; i < this.rnnNeurons.length; ++i) {
        listBuilder.layer(layerIndex, new LSTM.Builder()
                .dropOut(dropOut)
                .activation(Activation.SOFTSIGN)
                .nIn(nIn)
                .nOut(rnnNeurons[i])
                .build());

        nIn = rnnNeurons[i];
        ++layerIndex;

    }

    listBuilder.layer(layerIndex, new RnnOutputLayer.Builder(new LossMSE()).updater(new Adam(outLrSchedule))//
            .activation(Activation.IDENTITY).nIn(nIn).nOut(1).build());

    MultiLayerConfiguration conf = listBuilder.build();
    return conf;
}

异常信息 #

Exception in thread “main” java.lang.IllegalStateException: Sequence lengths do not match for RnnOutputLayer input and labels:Arrays should be rank 3 with shape [minibatch, size, sequenceLength] - mismatch on dimension 2 (sequence length) - input=[256, 32, 30] vs. label=[256, 1, 30]
at org.nd4j.common.base.Preconditions.throwStateEx(Preconditions.java:639)
at org.nd4j.common.base.Preconditions.checkState(Preconditions.java:337)
at org.deeplearning4j.nn.layers.recurrent.RnnOutputLayer.backpropGradient(RnnOutputLayer.java:59)
at org.deeplearning4j.nn.multilayer.MultiLayerNetwork.calcBackpropGradients(MultiLayerNetwork.java:1998)
at org.deeplearning4j.nn.multilayer.MultiLayerNetwork.computeGradientAndScore(MultiLayerNetwork.java:2813)
at org.deeplearning4j.nn.multilayer.MultiLayerNetwork.computeGradientAndScore(MultiLayerNetwork.java:2756)
at org.deeplearning4j.optimize.solvers.BaseOptimizer.gradientAndScore(BaseOptimizer.java:174)
at org.deeplearning4j.optimize.solvers.StochasticGradientDescent.optimize(StochasticGradientDescent.java:61)
at org.deeplearning4j.optimize.Solver.optimize(Solver.java:52)
at org.deeplearning4j.nn.multilayer.MultiLayerNetwork.fitHelper(MultiLayerNetwork.java:1767)
at org.deeplearning4j.nn.multilayer.MultiLayerNetwork.fit(MultiLayerNetwork.java:1688)
at com.cq.aifocusstocks.train.RnnPredictModel.train(RnnPredictModel.java:175)
at com.cq.aifocusstocks.train.CnnLstmRegPredictor.trainModel(CnnLstmRegPredictor.java:209)
at com.cq.aifocusstocks.train.TrainCnnLstmModel.main(TrainCnnLstmModel.java:15)

问题描述 #

异常提示RnnOutputLayer的输入与标签序列长度不匹配，但两者序列长度均为30，实际差异出现在维度1（输入形状为[256, 32, 30]，标签形状为[256, 1, 30]）。输出层的nIn为32，按道理标签应匹配输出形状，为何会要求与输入形状匹配？

原因分析 #

1. 异常提示文本误导：实际并非序列长度（维度2）不匹配，而是DL4J的RnnOutputLayer内部检查逻辑的提示描述有误，真实问题是数据维度顺序不符合框架预期。
2. DL4J RNN维度规则：DL4J中RNN相关层（包括RnnOutputLayer）默认要求输入数据的维度顺序为[minibatch_size, feature_size, sequence_length]，即第二个维度是特征数量，第三个维度是序列长度。若数据按[minibatch_size, sequence_length, feature_size]的常见格式准备，框架会错误地将序列长度解析为特征数、特征数解析为序列长度，导致维度检查不通过。
3. 输出层逻辑误解：RnnOutputLayer的作用是对序列的每个时间步输出预测结果，因此标签需要与输入的序列长度对齐（每个时间步对应一个标签），但特征维度应匹配输出层的nOut（此处为1）。你的标签形状[256,1,30]本身符合要求，问题出在输入数据的维度顺序或网络配置未明确输入类型。

解决方案 #

方案1：明确网络输入类型 #

在网络配置中添加输入类型声明，让DL4J自动处理维度适配：

// 在创建listBuilder后，添加以下代码
listBuilder.setInputType(InputType.recurrent(featuresCount));

这会告诉框架输入是递归（RNN）类型，特征数为featuresCount，避免维度解析错误。

方案2：调整数据维度顺序 #

如果数据是按[batch, sequence, feature]格式准备的，需将其转换为DL4J期望的[batch, feature, sequence]格式，可使用ND4J的transpose方法：

// 转换输入数据
INDArray input = originalInput.transpose(0, 2, 1);
// 转换标签数据
INDArray labels = originalLabels.transpose(0, 2, 1);

方案3：检查网络输出层配置 #

确认RnnOutputLayer的配置与任务匹配：如果任务是序列到单个值的预测（而非每个时间步都预测），则标签形状应为[256,1,1]，同时需要在输出层前添加RnnToFeedForwardPreProcessor将序列输出转换为单个值输出。

内容的提问来源于stack exchange，提问作者user25261821