Spark-Phoenix连接日期列过滤SQL查询报错问题

我之前也踩过这个一模一样的坑！Spark和Phoenix交互时，日期过滤条件的类型转换逻辑会导致Phoenix抛出类型不匹配的错误，让我给你拆解下问题根源和解决办法：

问题根源 #

从你提供的错误日志能看到关键信息：

ERROR 203 (22005): Type mismatch. DATE and BIGINT for DATE_COLUMN_1 >= 2012

Spark会把to_date('2015-01-02')这种日期表达式转换成自1970-01-01以来的天数（比如16437），但在推送给Phoenix的时候，这个数值被错误解析成了算术表达式2015-01-02=2012，Phoenix把它当成了BIGINT类型，和你的DATE列类型不匹配，自然就报错了。

解决方案 #

下面是几个经过验证的有效解决办法，按优先级排序：

1. 直接使用Phoenix支持的日期字符串字面量 #

Phoenix原生支持'YYYY-MM-DD'格式的字符串作为DATE类型的过滤条件，不需要Spark做任何转换，直接把条件写进SQL即可：

Dataset<Row> selectResult = df.sparkSession().sql(" SELECT * FROM TABLE_1 WHERE DATE_COLUMN_1 BETWEEN '2015-01-02' AND '2016-12-30' ");

这个方法最简单有效，Spark会直接把字符串条件推送给Phoenix，Phoenix会自动将其解析为DATE类型进行比较，完全绕开了Spark的日期数值转换逻辑。

2. 手动通过Phoenix JDBC执行查询再转成DataFrame #

如果第一种方法不满足你的需求（比如需要动态生成日期条件），可以直接用Phoenix的JDBC连接执行查询，再将结果转换成Spark DataFrame：

// 初始化Phoenix JDBC连接
Properties props = new Properties();
Connection conn = DriverManager.getConnection("jdbc:phoenix:" + ZOOKEEPER_URL, props);

// 编写Phoenix原生SQL，使用TO_DATE函数处理日期
String phoenixSql = "SELECT * FROM TABLE_1 WHERE DATE_COLUMN_1 BETWEEN TO_DATE('2015-01-02') AND TO_DATE('2016-12-30')";
Statement stmt = conn.createStatement();
ResultSet rs = stmt.executeQuery(phoenixSql);

// 将ResultSet转换成Spark DataFrame
Dataset<Row> resultDf = sparkSession.read()
    .format("jdbc")
    .option("url", "jdbc:phoenix:" + ZOOKEEPER_URL)
    .option("dbtable", "(" + phoenixSql + ") AS temp_table")
    .load();

这种方式完全由Phoenix处理日期逻辑，避免了Spark和Phoenix之间的类型转换冲突。

3. 升级Spark-Phoenix连接器版本 #

有些旧版本的phoenix-spark连接器在DATE类型的推送过滤上存在BUG，升级到较新的稳定版本（比如phoenix-spark-4.14.0-HBase-1.2及以上）可能会修复这个问题，让Spark正确处理DATE类型的过滤条件推送。

验证建议 #

先优先尝试第一种方案，这是最快解决问题的方式，而且不需要改动太多代码。如果你的业务场景需要动态生成日期条件，再考虑第二种或第三种方案。

内容的提问来源于stack exchange，提问作者Shaikh Fairoz Ahmed