Golang文件Base64编码时丢失1字节异常问题排查
问题产生原因
encoding/base64 包返回的base64.Encoder是带内部缓冲区的流式编码器:
- base64的编码规则是每3字节原始二进制数据转换为4字节Base64文本,当输入数据长度不是3的整数倍时,最后不足3字节的残片会暂存在编码器内部缓冲区,等待后续输入凑齐分组后再完成编码输出。
- 只有调用编码器的
Close()方法时,才会触发最终的补位填充逻辑,把缓冲区里剩余的残片编码完成后写入下层输出流,同时释放相关资源。
你给出的复现代码在io.Copy完成文件内容拷贝后,没有调用binval.Close()刷新缓冲区,直接读取输出缓冲区的内容,导致尾部最后一段编码结果滞留在编码器内部没有写出,自然无法体现两个文件末尾1字节的差异,才会出现两个不同文件输出末尾完全一致的异常。这个问题和Go版本无关,是API使用方式错误导致的。
修复方案
在完成数据写入编码器后、读取输出缓冲区内容前,显式调用编码器的Close()方法,刷新内部滞留的编码数据,同时处理关闭时可能返回的错误。
注意:不要图省事直接用
defer binval.Close()注册关闭逻辑,defer会在当前函数退出时才执行,此时你已经完成了输出缓冲区的读取,依然会出现缓冲未刷新的问题。
修正后的核心代码如下:
func b(name string) { f, err := os.Open(name) if err != nil { log.Fatal(err) } defer f.Close() buf := new(bytes.Buffer) binval := base64.NewEncoder(base64.StdEncoding, buf) if _, err := io.Copy(binval, f); err != nil { log.Fatal(err) } // 关闭编码器,强制刷新内部缓冲的剩余编码结果 if err := binval.Close(); err != nil { log.Fatal(err) } fmt.Printf("%s\n", buf.String()[buf.Len()-5:]) }
修正后重新运行代码,两个存在1字节差异的文件Base64编码末尾会出现符合预期的差异,不会再出现字节丢失的问题。
内容的提问来源于stack exchange,提问作者bodqhrohro
相关产品推荐
相关产品推荐

