非Spark Java应用在Dataproc集群运行出现IV长度异常问题咨询

1. 是否可以在Spark集群中运行普通Java应用？ #

可以，主要有三种实现方式：

• 通过gcloud dataproc jobs submit spark提交，将普通Java程序作为Spark作业的Driver运行（cluster模式下Driver部署在集群节点，client模式下运行在本地提交端）
• 使用gcloud dataproc jobs submit hadoop，借助Hadoop的jar命令执行普通Java应用
• 直接SSH登录集群节点后，用java -jar命令本地执行（你已验证这种方式可行）

2. 本地SSH运行正常、Spark提交报错的原因分析 #

你遇到的java.security.InvalidAlgorithmParameterException: Expected IV length of 12 but was 16错误，核心是本地运行环境与Spark/YARN容器环境的加密配置、依赖或JVM参数不一致，具体排查方向如下：

(1) 加密套件与Teradata驱动配置差异 #

本地节点运行时，Teradata驱动使用的加密套件（如TLS版本、CipherSuite）和Spark容器中的配置可能不同：

• 检查DB_TERADATA.properties中的JDBC URL，确认是否包含encrypt=true、cryptoProtocolVersion、sslCipherSuites等参数。例如部分Teradata驱动在TLSv1.3下使用的IV长度为12，而TLSv1.2下为16，若Spark容器默认的SSL协议与本地不一致，就会触发该错误。
• 建议在JDBC URL中明确指定加密协议（如cryptoProtocolVersion=TLSv1.2），强制驱动使用一致的加密规则。

(2) 依赖jar包缺失或类路径差异 #

本地节点可能已预装Teradata连接所需的依赖jar（如terajdbc4.jar、tdgssconfig.jar），但你提交Spark作业时仅指定了TeradataConnection.jar，导致容器中缺少必要的加密相关依赖：

• 将所有Teradata依赖jar上传到GCS，然后在--jars参数中补充，示例：

  --jars=gs://jars/TeradataConnection.jar,gs://jars/terajdbc4.jar,gs://jars/tdgssconfig.jar
  

• 本地运行时可执行java -cp .:TeradataConnection.jar -verbose:class bin.TDQueryShell ...查看类加载日志，对比Spark作业中添加spark.driver.extraJavaOptions=-verbose:class后的日志，确认加密相关类的来源是否一致。

(3) JVM参数与环境变量差异 #

Spark作业运行时的JVM参数、环境变量可能和本地SSH会话不同：

• 本地运行时的JAVA_OPTS、JAVA_HOME可能包含特定加密配置，但Spark默认JVM参数未设置这些内容。可在Spark提交命令中通过--properties补充相关配置，示例：

  --properties=...,spark.driver.extraJavaOptions="-Djavax.net.ssl.trustStore=/path/to/truststore"
  

• 检查集群节点的JAVA_HOME与Spark容器中使用的JAVA_HOME是否一致，不同JDK版本的加密实现可能存在差异。

(4) 配置文件加载验证 #

虽然你用--files提交了DB_TERADATA.properties，但集群模式下该文件会被放到YARN工作目录，而非本地SSH的当前目录。可在程序中打印配置文件的实际加载路径（比如new File("DB_TERADATA.properties").getAbsolutePath()），确认是否正确读取到配置。

内容的提问来源于stack exchange，提问作者ironfreak