Python通过JDBC驱动连接CrateDB时连接卡住求助

我在Spark实现过程中尝试通过JDBC连接CrateDB，但连接无法建立，打印‘LOADING.....’后就卡住，无任何报错，无法对数据库进行读写操作。当前使用CrateDB版本为5.2.8，数据库在本地指定端口运行且可访问，无网络限制，同事电脑测试也出现相同问题。

用户使用的代码：

import jaydebeapi

print("LOADING.....")
conn = jaydebeapi.connect(
    "io.crate.client.jdbc.CrateDriver",
    "jdbc:crate://127.0.0.1:2000/",
    ["user", "password"],
    "/home/test/test/test/spark_demo/crate-jdbc-standalone-2.7.0.jar")

print("CONNECTED.....")
curs = conn.cursor()
curs.execute("SELECT * FROM doc.test LIMIT 5")
print("FETCHING.....")
result = curs.fetchall()
print(result)
curs.close()
conn.close()

排查方向与解决方案 #

1. 驱动版本不匹配 #

CrateDB 5.2.8需要对应版本的JDBC驱动，你当前使用的crate-jdbc-standalone-2.7.0.jar版本过低，和5.2.8版本的CrateDB存在兼容性冲突，这是卡住的核心原因之一。

• 解决：下载与CrateDB 5.2.8匹配的JDBC驱动（推荐5.2.x系列，比如5.2.8版本），替换代码中指定的Jar包路径。

2. Spark环境下类加载冲突 #

Jaydebeapi在Spark环境中直接加载驱动时，容易和Spark自身的类加载器产生冲突，导致驱动无法正常初始化。

• 解决：
  • 不要在代码中通过jaydebeapi指定Jar路径，改为在Spark提交任务时通过--jars参数显式引入驱动：

    spark-submit --jars /path/to/crate-jdbc-standalone-5.2.8.jar your_script.py
    

  • 代码中去掉Jaydebeapi连接时的Jar路径参数，让Spark类加载器管理驱动加载。

3. 连接URL格式兼容性问题 #

CrateDB 5.x版本对JDBC的兼容更偏向PostgreSQL协议，原有jdbc:crate://格式的URL在新版本中可能存在兼容性问题。

• 解决：切换为PostgreSQL兼容的URL格式，同时使用PostgreSQL驱动：

  conn = jaydebeapi.connect(
      "org.postgresql.Driver",
      "jdbc:postgresql://127.0.0.1:5432/doc?user=user&password=password",
      [],
      "/path/to/postgresql-42.6.0.jar"
  )
  

  注意：CrateDB默认开启5432端口的PostgreSQL兼容模式，确保该端口可正常访问。

4. 改用Spark原生JDBC API #

在Spark中直接使用jaydebeapi容易出现线程模型不匹配的阻塞问题，推荐使用Spark官方提供的JDBC读写API。

• 解决：使用Spark SQL的read.jdbc/write.jdbc方法：

  from pyspark.sql import SparkSession
  
  spark = SparkSession.builder.appName("CrateDBConnection").getOrCreate()
  
  # 读取CrateDB数据
  df = spark.read.format("jdbc") \
      .option("url", "jdbc:postgresql://127.0.0.1:5432/doc") \
      .option("dbtable", "test") \
      .option("user", "user") \
      .option("password", "password") \
      .option("driver", "org.postgresql.Driver") \
      .load()
  
  df.show(5)
  
  # 写入数据示例
  # df.write.format("jdbc") \
  #     .option("url", "jdbc:postgresql://127.0.0.1:5432/doc") \
  #     .option("dbtable", "test") \
  #     .option("user", "user") \
  #     .option("password", "password") \
  #     .option("driver", "org.postgresql.Driver") \
  #     .mode("append") \
  #     .save()
  

5. 开启驱动加载日志排查 #

如果以上方法无效，可开启JVM日志查看驱动加载的详细过程，定位卡住的具体环节：

• 在Spark提交命令中添加日志参数：

  spark-submit --jars /path/to/crate-jdbc-standalone-5.2.8.jar --driver-java-options "-Djava.util.logging.config.file=logging.properties" your_script.py
  

  其中logging.properties需配置日志级别为FINE，输出驱动加载的细节日志。

内容的提问来源于stack exchange，提问作者Anandu Balan