分段处理的文件转Base64编解码器出现文件损坏问题求助

核心问题根源 #

• Base64编码填充缺失：你使用了withoutPadding()，但Base64要求每3字节原始数据对应4个Base64字符，不足3字节的部分需要用=填充。分块编码时若块大小不是3的倍数，去掉填充会导致整个Base64字符串格式错位，解码时无法正确还原数据。
• 缓冲区残留数据未处理：fis.read(buf)返回的是实际读取的字节数，但你直接使用整个缓冲区进行编解码。当最后一次读取的字节数小于CHUNK_SIZE时，缓冲区里会残留上一次的无效数据，这部分数据被编解码后直接损坏文件内容。
• 解码分块不符合Base64规则：Base64文本以4字符为一组对应3字节原始数据，你用1024字节作为解码分块，无法保证每次读取的字符数是4的倍数，解码器会因格式错误解析出无效数据。

修复后的完整代码 #

import java.io.*;
import java.util.Base64;

public class FileConverter {
    // 编码分块选3的倍数，适配Base64 3字节→4字符的编码规则
    private static final int ENCODE_CHUNK_SIZE = 1020;
    // 解码分块选4的倍数，适配Base64 4字符→3字节的解码规则
    private static final int DECODE_CHUNK_SIZE = 1024;

    public static void encode(String path) {
        try (FileInputStream fis = new FileInputStream(path);
             FileOutputStream fos = new FileOutputStream("tmp.txt");
             OutputStreamWriter writer = new OutputStreamWriter(fos)) {

            Base64.Encoder encoder = Base64.getEncoder();
            byte[] buf = new byte[ENCODE_CHUNK_SIZE];
            int bytesRead;
            long totalBytes = new File(path).length();
            long processedBytes = 0;

            while ((bytesRead = fis.read(buf)) != -1) {
                // 仅编码实际读取到的字节，避免缓冲区残留数据干扰
                String base64Chunk = encoder.encodeToString(buf, 0, bytesRead);
                writer.write(base64Chunk);
                processedBytes += bytesRead;
                int progress = (int) ((processedBytes * 100) / totalBytes);
                System.out.print("\rProcessing: " + progress + "% ");
            }
            System.out.println("\n编码完成");
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    public static void decode(String outputPath) {
        try (FileInputStream fis = new FileInputStream("tmp.txt");
             InputStreamReader reader = new InputStreamReader(fis);
             FileOutputStream fos = new FileOutputStream(outputPath)) {

            Base64.Decoder decoder = Base64.getDecoder();
            char[] charBuf = new char[DECODE_CHUNK_SIZE];
            int charsRead;
            long totalChars = new File("tmp.txt").length();
            long processedChars = 0;

            while ((charsRead = reader.read(charBuf)) != -1) {
                // 仅解码实际读取到的字符，避免缓冲区残留数据干扰
                byte[] decodedBytes = decoder.decode(new String(charBuf, 0, charsRead));
                fos.write(decodedBytes);
                processedChars += charsRead;
                int progress = (int) ((processedChars * 100) / totalChars);
                System.out.print("\rProcessing: " + progress + "% ");
            }
            System.out.println("\n解码完成");
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    // 测试用主方法
    public static void main(String[] args) {
        encode("test.jpg");
        decode("test_decoded.jpg");
    }
}

关键修改说明 #

1. 调整分块大小规则：编码分块用3的倍数，解码分块用4的倍数，完全匹配Base64的编解码逻辑，避免格式错位。
2. 处理实际读取长度：无论编解码，都只使用read()返回的实际长度对应的缓冲区内容，彻底解决残留数据问题。
3. 用字符流处理Base64文本：Base64是纯文本格式，用InputStreamReader/OutputStreamWriter处理更合理，避免字节-字符转换的潜在问题。
4. 自动关闭流：使用try-with-resources语法，自动管理流资源，避免泄漏。

内容的提问来源于stack exchange，提问作者Gambit2505