如何在IICS中处理并归档带时间戳的S3 CSV文件

1. 配置S3连接 #

• 在IICS的管理员模块创建S3类型连接，填入S3桶的访问密钥、密钥ID，指定对应区域（比如示例桶s3-abc-asia1对应亚太区域），测试连接确认可用。

2. 创建文件读取映射任务 #

• 新建映射任务，源端选择已配置的S3连接：
  • 设置文件路径为s3-abc-asia1/datalake/landing/，文件名用通配符匹配带时间戳的CSV：sample_file_*.csv
  • 配置CSV格式参数：指定逗号为分隔符，第一行作为表头，根据实际数据定义字段类型（日期、字符串、数值等）
• 目标端按需选择存储：若仅需归档，目标端仍选S3，路径设为归档目录，比如s3-abc-asia1/datalake/archive/

3. 实现文件归档逻辑 #

方式1：映射任务后会话命令 #

在映射任务中添加后会话命令，用AWS CLI完成文件移动：

aws s3 mv s3://s3-abc-asia1/datalake/landing/sample_file_*.csv s3://s3-abc-asia1/datalake/archive/ --exclude "*" --include "sample_file_*.csv"

注意：需确保IICS执行节点已安装AWS CLI并配置好权限凭证

方式2：任务流组合执行 #

创建任务流，先执行映射任务读取数据，再添加命令任务执行上述移动命令，或调用S3 API完成文件迁移。

4. 设置每日自动调度 #

• 在IICS调度器模块为映射任务/任务流创建调度计划：
  • 触发频率设为每日，指定执行时间（比如凌晨2点，确保前一日文件已生成）
  • 配置告警规则，任务失败时发送通知提醒

关键注意事项 #

• 精准匹配文件：利用IICS日期变量优化通配符，比如时间戳为DDMMYYYYHHMMSS格式时，可使用sample_file_${CurrentDate-1}_*.csv避免误读旧文件
• 避免归档覆盖：在归档路径下按日期生成子目录，比如s3-abc-asia1/datalake/archive/${CurrentDate}/，用IICS变量自动创建
• 权限校验：确保S3连接账号拥有landing目录读权限、archive目录写权限及文件移动权限

内容的提问来源于stack exchange，提问作者nithin