Text::CSV_XS误将最后一行注释解析为数据的技术问题咨询

问题现象 #

当CSV文件最后一行为仅含#的注释行时，Text::CSV_XS的csv函数会额外生成一条空数据记录，比如示例中出现的{ 'id' => '', 'name' => undef }，而非完全忽略该行。

原因说明 #

这是Text::CSV_XS 1.47版本的已知行为，并非你的操作错误。问题源于注释行的处理逻辑：当文件末尾的行仅包含comment_str指定的字符时，解析器会误将其识别为一条无字段的空数据行，结合headers模式就生成了空哈希记录。

解决方案 #

1. 升级Text::CSV_XS版本 #

该问题在1.50及以上版本中已被修复，执行以下命令升级即可：

cpanm Text::CSV_XS

2. 手动过滤空记录 #

若无法升级版本，可在加载CSV后手动过滤空数据行：

my $table = load_csv_file("test.csv");
# 过滤掉所有字段为空或undef的无效记录
$table = [ grep { defined $_->{id} && $_->{id} ne '' } @$table ];

也可以在csv函数中添加filter参数，在解析阶段直接过滤：

return csv (
  in               => $filename,
  sep_char         => '|',
  headers          => 'auto',
  allow_whitespace => 1,
  comment_str      => "#",
  filter           => sub {
    # 跳过无有效字段的行
    return scalar grep { defined $_ && $_ ne '' } @$_;
  }
);

验证结果 #

修改后运行脚本，输出将仅保留预期的{ 'id' => '42', 'name' => 'foo' }一条记录。

内容的提问来源于stack exchange，提问作者Jens