使用Data Pipeline同步MySQL到S3生成空文件致Athena报HIVE_CURSOR_ERROR

问题根源 #

你遇到的HIVE_CURSOR_ERROR: Unexpected end of input stream报错，确实是S3上的空文件直接导致的。Athena默认使用的TextInputFormat在读取空文件时，会因为没有可解析的输入流而抛出异常——它期望每个文件至少包含可解析的行数据（哪怕是表头），但空文件没有任何字节，直接触发了流结束的错误。

解决方案 #

1. 快速修复：修改Athena表的输入格式

更新你的外部表定义，用CombineHiveInputFormat替代默认的TextInputFormat。这个输入格式不仅能合并小文件提升查询性能，还能自动跳过空文件，避免解析错误。更新后的建表脚本如下：

CREATE EXTERNAL TABLE `test`(
  `col0` bigint, 
  `col1` bigint, 
  `col2` string, 
  `col3` string)
ROW FORMAT DELIMITED 
  FIELDS TERMINATED BY ',' 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.CombineHiveInputFormat'
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  's3://your-bucket/your-table-path/'
-- 如果迁移的文件带表头，添加这个属性跳过首行
TBLPROPERTIES (
  'skip.header.line.count'='1'
);

2. 长期根治：从Data Pipeline阻止空文件生成

既然空文件是MySQL迁移时生成的，我们可以在Pipeline里加逻辑，仅当有数据时才写入S3：

• 第一步：添加数据检查步骤：在抽取MySQL数据的环节后，新增一个SQL Activity执行SELECT COUNT(*) FROM your_source_table，把结果存到一个变量里。
• 第二步：条件触发写入：在写入S3的步骤中设置执行条件——只有当上述计数变量大于0时，才执行写入操作。这样当MySQL源表无数据时，就不会生成空文件。

3. 清理已存在的空文件

如果S3桶里已经积累了空文件，可以用AWS CLI快速删除：

# 先加--dryrun预览要删除的文件，确认无误后去掉该参数执行
aws s3 rm s3://your-bucket/your-table-path/ --recursive --exclude "*" --include "*.csv" --dryrun

记得替换成你的实际桶路径和文件后缀（比如你的迁移文件是.csv还是其他格式）。

额外提示 #

• 检查Data Pipeline的运行日志，确认空文件生成的具体场景：是MySQL源表确实无数据，还是迁移过程中出错导致写入空文件？如果是后者，需要排查Pipeline的抽取逻辑（比如SQL查询是否正确、权限是否足够）。
• 如果你用的是CSV格式，还要确保迁移生成的文件没有损坏的行（比如缺少分隔符），这也可能引发类似的解析错误。

内容的提问来源于stack exchange，提问作者Ramesh Gunasekaran