Java中AirPlay服务端H264转BufferedImage解码问题求助

一、SPS/PPS提取与解码流程修正 #

AirPlay传输的H264数据为NAL单元流，每个NAL单元以3字节（0x000001）或4字节（0x00000001）起始码分隔。需先拆分NAL单元，识别SPS（NAL类型7）、PPS（NAL类型8）后添加至解码器，再处理帧数据。

核心修正点 #

1. 复用解码器实例：避免每次创建新H264Decoder，否则已添加的SPS/PPS会丢失。
2. 拆分NAL单元：从收到的byte[]中拆分出单个NAL单元，区分类型后处理。
3. 动态解析分辨率：从SPS中提取视频分辨率，避免硬编码导致的不匹配。

修正后代码示例 #

// 类成员变量，全局复用
private H264Decoder decoder = new H264Decoder();
private Picture outPic;
private boolean decoderInitialized = false;

@Override
public void onVideo(byte[] video) {
    try {
        videoFileChannel.write(ByteBuffer.wrap(video));
        
        // 拆分NAL单元
        List<ByteBuffer> nalUnits = splitNalUnits(ByteBuffer.wrap(video));
        
        for (ByteBuffer nal : nalUnits) {
            if (nal.remaining() < 5) continue;
            
            // 获取NAL单元类型（第5字节低5位）
            int nalType = nal.get(4) & 0x1F;
            
            switch (nalType) {
                case 7: // SPS
                    decoder.addSps(List.of(nal));
                    break;
                case 8: // PPS
                    decoder.addPps(List.of(nal));
                    break;
                case 1: // P帧
                case 5: // I帧
                    if (!decoderInitialized) {
                        // 从SPS解析分辨率，初始化输出Picture
                        SPS sps = SPSParser.parseSPS(decoder.getSpsList().get(0));
                        int width = sps.getPicWidthInMbs() * 16;
                        int height = sps.getPicHeightInMbs() * 16;
                        outPic = Picture.create(width, height, ColorSpace.YUV420);
                        decoderInitialized = true;
                    }
                    
                    if (outPic != null) {
                        // 清空输出缓冲区，解决画面残留
                        clearPicture(outPic);
                        
                        Picture decodedFrame = decoder.decodeFrame(nal, outPic.getData());
                        if (decodedFrame != null) {
                            BufferedImage img = AWTUtil.toBufferedImage(decodedFrame.createCompatible());
                            // 后续画面渲染逻辑...
                        }
                    }
                    break;
            }
        }
    } catch (IOException e) {
        e.printStackTrace();
    }
}

// 拆分NAL单元工具方法
private List<ByteBuffer> splitNalUnits(ByteBuffer data) {
    List<ByteBuffer> nalUnits = new ArrayList<>();
    byte[] buffer = new byte[data.remaining()];
    data.get(buffer);
    
    int startIdx = 0;
    int i = 0;
    while (i < buffer.length - 3) {
        // 匹配3字节起始码
        if (buffer[i] == 0 && buffer[i+1] == 0 && buffer[i+2] == 1) {
            addNalUnit(buffer, startIdx, i, nalUnits);
            startIdx = i + 3;
            i += 3;
        }
        // 匹配4字节起始码
        else if (i < buffer.length - 4 && buffer[i] == 0 && buffer[i+1] == 0 && buffer[i+2] == 0 && buffer[i+3] == 1) {
            addNalUnit(buffer, startIdx, i, nalUnits);
            startIdx = i + 4;
            i += 4;
        } else {
            i++;
        }
    }
    // 添加最后一个NAL单元
    if (startIdx < buffer.length) {
        nalUnits.add(ByteBuffer.wrap(buffer, startIdx, buffer.length - startIdx));
    }
    return nalUnits;
}

private void addNalUnit(byte[] buffer, int start, int end, List<ByteBuffer> units) {
    if (start != end) {
        units.add(ByteBuffer.wrap(buffer, start, end - start));
    }
}

// 清空Picture缓冲区，解决画面残留
private void clearPicture(Picture pic) {
    for (byte[] plane : pic.getData()) {
        Arrays.fill(plane, (byte) 0);
    }
}

二、画面异常修复 #

1. 画面变色问题 #

• 确认SPS中定义的色彩格式为YUV420，输出Picture的ColorSpace需与之匹配。
• 若AWTUtil.toBufferedImage转换异常，可手动实现YUV420到RGB的转换逻辑，避免依赖工具类的默认行为。

2. 画面残留问题 #

• 每次解码前调用clearPicture清空输出缓冲区，确保新帧数据完全覆盖旧数据。
• 确保解码器使用的输出缓冲区为独立实例，避免帧数据交叉污染。

三、额外注意事项 #

• 需处理AirPlay传输中可能出现的NAL单元边界不完整情况，添加长度校验避免数组越界。
• 首次收到SPS/PPS后再启动解码逻辑，避免空指针异常。
• 可打印NAL单元类型日志，验证SPS/PPS是否被正确识别。

内容的提问来源于stack exchange，提问作者LetsDuck