如何用Perl DateTime模块将大CSV日期时间转为MySQL DATETIME格式？

针对你要处理9GB超大CSV的需求，我整理了一套高效的Perl解决方案——既用到你指定的DateTime模块来保证日期时间转换的可靠性，又通过逐行读取避免一次性加载整个文件导致内存溢出的问题。

第一步：安装必要模块 #

首先得确保你有两个关键模块：DateTime（负责日期时间处理）和Text::CSV_XS（处理大CSV的高效工具，比纯Perl实现快N倍）。用cpanm一键安装：

cpanm DateTime Text::CSV_XS

如果需要直接插入MySQL，还要装DBD::mysql：

cpanm DBD::mysql

核心代码示例（生成处理后的CSV） #

下面的代码会逐行读取原CSV，合并DATE和TIME字段为MySQL兼容的DATETIME格式，同时输出新的CSV文件：

use strict;
use warnings;
use DateTime;
use Text::CSV_XS;

# 初始化CSV处理器，开启binary模式处理特殊字符，自动报错便于调试
my $csv = Text::CSV_XS->new({
    binary     => 1,
    auto_diag  => 1,
    sep_char   => ',',
    quote_char => '"',
});

# 打开输入输出文件（替换成你的文件名）
open my $in_fh, '<', 'original_large.csv' or die "打不开输入文件: $!";
open my $out_fh, '>', 'processed_for_mysql.csv' or die "打不开输出文件: $!";

# 处理表头：替换DATE和TIME为DATETIME字段
my $header = $csv->getline($in_fh);
my @new_header = grep { $_ ne 'DATE' && $_ ne 'TIME' } @$header;
unshift @new_header, 'DATETIME'; # 把新字段放在开头，也可以插入原位置
$csv->print($out_fh, \@new_header);
print $out_fh "\n";

# 逐行处理数据行
while (my $row = $csv->getline($in_fh)) {
    # 提取DATE和TIME字段（假设是前两列，根据你的CSV结构调整索引）
    my ($date_str, $time_str) = ($row->[0], $row->[1]);
    
    # 拆分DATE为年、月、日
    my ($year, $month, $day) = $date_str =~ /^(\d{4})(\d{2})(\d{2})$/;
    # 拆分TIME为时、分、秒
    my ($hour, $minute, $second) = split /:/, $time_str;
    
    # 用DateTime生成合法的日期时间对象，再格式化为MySQL DATETIME格式
    my $dt = DateTime->new(
        year      => $year,
        month     => $month,
        day       => $day,
        hour      => $hour,
        minute    => $minute,
        second    => $second,
        time_zone => 'UTC', # 根据你的数据时区调整，比如'local'
    );
    my $mysql_datetime = $dt->strftime('%Y-%m-%d %H:%M:%S');
    
    # 构造新行：合并后的DATETIME + 原表其他字段
    my @new_row = ($mysql_datetime);
    push @new_row, @$row[2..$#$row]; # 跳过原DATE和TIME列
    
    # 写入输出文件
    $csv->print($out_fh, \@new_row);
    print $out_fh "\n";
}

# 关闭文件句柄
close $in_fh;
close $out_fh;

print "处理完成！\n";

直接插入MySQL的优化方案 #

如果不需要生成中间CSV，可以直接把处理后的数据批量插入数据库，效率更高：

# 新增数据库连接部分
use DBI;
my $dbh = DBI->connect(
    "DBI:mysql:database=your_db_name;host=localhost",
    'your_username',
    'your_password',
    { RaiseError => 1, AutoCommit => 0 } # 关闭自动提交，批量提交提升速度
);

# 准备INSERT语句（根据你的表结构调整字段列表）
my $sth = $dbh->prepare(
    "INSERT INTO your_table (datetime_col, CRSPTM1, CRSPME1, CRSPLC1, ...) 
     VALUES (?, ?, ?, ?, ...)"
);

# 处理每行时执行插入，每1000行提交一次
while (my $row = $csv->getline($in_fh)) {
    # ... 前面的日期时间处理逻辑 ...
    $sth->execute($mysql_datetime, @$row[2..$#$row]);
    
    if ($. % 1000 == 0) {
        $dbh->commit;
        print "已提交第$.行数据\n";
    }
}
$dbh->commit; # 提交剩余未完成的行

# 清理资源
$sth->finish;
$dbh->disconnect;

关键注意点 #

1. 大文件处理：用Text::CSV_XS逐行读取，不会把9GB数据全塞进内存，避免内存溢出。
2. DateTime的可靠性：自动校验日期时间合法性（比如不会出现2月30日这种错误），比手动拼接字符串靠谱得多。
3. 时区问题：一定要根据你的数据实际时区设置time_zone参数，避免时区转换导致的时间偏差。
4. 测试先行：处理全量数据前，先拿一小段样本测试代码，确保逻辑正确再跑全量。

内容的提问来源于stack exchange，提问作者B.L.Sher