Databricks PySpark CrossValidator.fit()报TensorFlow未初始化错误

运行环境为Databricks Runtime 9.1 LTS（内置Spark 3.1.2、Scala 2.12），任务为餐厅评论情感分析入门NLP场景，已搭建包含多步标注处理、Logistic Regression模型的ML Pipeline，计划通过CrossValidator完成超参数调优。
核心现象如下：

• 不使用CrossValidator对象时，Logistic Regression模型可正常拟合数据，无报错
• 调用CrossValidator执行fit()时先触发pinned thread相关警告，随后抛出Tensorflow模型未初始化的错误
• 替换为TrainValidationSplit实现训练集/验证集拆分调优时，会触发完全一致的警告与错误
• 按照警告提示配置集群环境变量PYSPARK_PIN_THREAD=true开启pinned thread模式后，会抛出新的GatewayClient属性错误，无法运行
• 手动导入tensorflow、mlflow.tensorflow模块未解决问题
• 相关代码原本位于循环逻辑中，迭代不同初始Pipeline与目标模型组合为pipe_added后传入CrossValidator，调试时已简化为静态版本，复现结果一致

相关报错与代码 #

CrossValidator调用触发的初始警告：

/databricks/spark/python/pyspark/ml/util.py:92: UserWarning: CrossValidator_0c70efdbf04c 
fit call failed but some spark jobs may still running for unfinished trials. 
To address this issue, you should enable pyspark pinned thread mode.

初始抛出的核心错误：

IllegalArgumentException: requirement failed: Tensorflow model has not been initialized

CrossValidator相关代码：

pipe_added = Pipeline().setStages([pipe_sw_cstm, lr])

cv = CrossValidator(estimator = pipe_added,
                   estimatorParamMaps = lr_params,
                   evaluator = BinaryClassificationEvaluator(),
                   numFolds = 3,
                   seed = 31415
)

cvModel = cv.fit(train)

开启pinned thread模式后的报错：

AttributeError: 'GatewayClient' object has no attribute 'thread_connection'

按优先级从高到低操作即可：

• 第一步先给CrossValidator加串行参数验证根因：实例化CrossValidator时新增参数parallelism=1，强制所有参数组合、所有数据折的拟合任务串行执行。这个错误本质是交叉验证默认并行跑多组试验时，你Pipeline中pipe_sw_cstm阶段隐式依赖的Tensorflow组件（可能是自定义文本处理Transformer、嵌入层，或是预装NLP包内置的Tensorflow逻辑）默认使用全局图模式，跨Py4J线程调用时无法正确初始化模型句柄，串行执行可以直接避开多线程初始化冲突，改造成本最低。
• 不要在Databricks 9.1 LTS版本上开启PYSPARK_PIN_THREAD：该版本内置的Py4J组件版本较低，GatewayClient类本身没有实现thread_connection属性，开启后必然报属性错误，这个配置在Databricks Runtime 11.x及以上版本、对应Spark 3.2+版本才做了完整适配。
• 如果加parallelism=1后仍报错，检查pipe_sw_cstm中的自定义Transformer逻辑：所有涉及Tensorflow模型加载、初始化的代码，不要写在Transformer类的__init__构造方法中，要把初始化逻辑挪到_fit或_transform方法内部，保证每个执行任务加载模型时是独立初始化的，不会出现跨任务复用未初始化模型句柄的问题。
• 如果Pipeline中没有主动编写Tensorflow相关逻辑，检查集群第三方依赖：旧版本的Spark NLP、Databricks文本处理工具包在9.1 LTS版本上存在交叉验证时的Tensorflow初始化兼容bug，可选择升级集群到Databricks 10.4 LTS及以上稳定版本，或是降级对应NLP依赖到适配Spark 3.1的正式发布版本。

内容的提问来源于stack exchange，提问作者BtChevallier