Python流数据处理进程迁移后输出文件体积骤增问题排查

已知场景：Python进程将流数据文件转换为数据库可加载格式，迁移VM后输出从500MB增至2GB，视觉内容一致，已定位输入文件存在细微差异，以下是可能的根因及排查方法：

• 行尾格式不一致
  新旧输入文件的行尾可能分别使用LF（0x0a）和CRLF（0x0d0x0a），Python在文本模式读取时若未指定newline参数，可能会保留或转换行尾格式。单字节和双字节行尾的差异，在百万级行的文件中会直接导致体积翻倍甚至更多，视觉上完全无法区分。
  排查命令：

  # 查看旧输入文件行尾十六进制
  hexdump -C old_input.txt | head -10
  # 查看新输入文件行尾十六进制
  hexdump -C new_input.txt | head -10
  

• 字符编码识别偏差
  两台VM的Python默认编码可能不同，导致新环境将输入文件误识别为多字节编码（比如把UTF-8当成UTF-16），原本单字节存储的字符被转成双字节写入输出，直接让体积翻倍。
  排查命令：

  # 查看文件编码信息
  file -i old_input.txt
  file -i new_input.txt
  

  验证方法：在代码中显式指定编码（如open(file_path, 'r', encoding='utf-8')），重新处理后对比输出体积。

• 不可见空白字符冗余
  新输入文件中存在大量不可见的冗余空白（比如连续空格、TAB、空行），或者旧输入的空白被处理逻辑压缩过，但新输入的空白未被处理。这类差异视觉上无法察觉，但累积后会大幅增加输出体积。
  排查命令：

  # 显示文件中所有不可见字符（$=行尾，^I=TAB）
  cat -A old_input.txt | head -20
  cat -A new_input.txt | head -20
  # 对比两行差异
  diff -y --suppress-common-lines old_input.txt new_input.txt
  

• 结构化输出的字段格式变化
  如果输出是JSON、CSV等结构化格式，输入的细微差异可能触发序列化库的不同行为：比如旧输入的数值是整数类型，新输入是字符串类型，JSON序列化时会多一层引号；或者新输入的字段包含隐式控制字符，导致CSV输出时强制为字段添加引号，每个字段多2字节，海量字段累积后体积剧增。
  排查方法：对比新旧输出文件的十六进制片段，查看字段包裹符、字符长度的差异：

  hexdump -C old_output.txt | head -20
  hexdump -C new_output.txt | head -20
  

• 文件系统透明压缩差异
  旧VM的文件系统可能开启了透明压缩（比如GCP VM的Ext4压缩、ZFS压缩），导致旧输出文件的显示体积是压缩后的大小，而新VM未开启该功能，显示的是原始未压缩体积。
  排查方法：压缩新输出文件后对比体积：

  gzip -c new_output.txt | wc -c
  

  若压缩后的体积接近旧输出的500MB，说明是文件系统压缩差异导致的显示问题。

内容的提问来源于stack exchange，提问作者Barry Gibson