查询Glue表报Unable to create a source for reading table错误如何解决

1. 校验Catalog与表元数据映射 #

报错中显示的表路径为hive.stream-id.active_users，说明Flink引擎默认通过Hive Catalog读取Glue数据目录的表元数据，首先执行如下语句查看完整的表配置：

%flink.ssql(type=update)
DESCRIBE EXTENDED active_users;

重点核对两项内容：

• stream参数值是否和实际Kinesis数据流名称完全一致，注意Kinesis流名称区分大小写，仅填写流名称即可，无需填写完整ARN
• 确认Kinesis Analytics Studio运行的Flink版本和你使用的connector参数匹配，部分低版本Flink的Kinesis connector参数名存在差异，可能无法识别部分配置项

2. 移除不兼容的分区配置 #

你建表时添加了PARTITIONED BY (user_id)的配置，但Flink Kinesis connector的分区逻辑和Kinesis数据流的分片（Shard）绑定，不支持自定义表字段分区，该配置会直接导致source初始化失败，需要删除分区配置后重新建表。

3. 修正建表语句重试验证 #

使用如下简化后的建表语句替换原有语句，排除冗余配置影响：

%flink.ssql(type=update)
DROP TABLE IF EXISTS active_users;
CREATE TABLE active_users(
user_id varchar(120),
platform varchar(60),
event_time timestamp(3),
WATERMARK FOR event_time AS event_time - INTERVAL '5' SECOND
)
WITH (
'connector' = 'kinesis',
'stream' = '替换为你的真实Kinesis流名称',
'aws.region' = 'us-east-1',
'scan.stream.initpos' = 'LATEST',
'format' = 'json',
'json.timestamp-format.standard' = 'ISO-8601'
);

建表完成后执行查询验证：

%flink.ssql(type=update)
SELECT * FROM active_users LIMIT 10;

4. 验证流数据格式匹配性 #

如果上述操作后仍报错，大概率是Kinesis流中的JSON数据和你定义的表结构、时间戳格式不匹配，可以先创建简化的测试表验证流的连通性：

%flink.ssql(type=update)
DROP TABLE IF EXISTS test_kinesis_conn;
CREATE TABLE test_kinesis_conn(
payload STRING
)
WITH (
'connector' = 'kinesis',
'stream' = '替换为你的真实Kinesis流名称',
'aws.region' = 'us-east-1',
'scan.stream.initpos' = 'TRIM_HORIZON',
'format' = 'raw'
);

执行SELECT * FROM test_kinesis_conn LIMIT 5;，如果能正常返回数据，说明是原有表结构和JSON数据不匹配，调整字段类型、JSON解析参数即可。

内容的提问来源于stack exchange，提问作者JCLOUD