PySpark用UDF后无法写入Hive表，求无需全节点装Numpy的方案

你遇到的这个问题其实挺常见的——自定义UDF处理Spark ML的Vector类型时，底层会依赖numpy来序列化/反序列化Vector对象，Worker节点没装numpy就会触发这个ImportError。除了给所有Worker装numpy，还有几个更省心的办法：

1. 用Spark内置函数替代自定义UDF（最推荐） #

Spark ML提供了现成的vector_to_array函数，可以直接把Vector类型转成数组，然后取第一个元素，完全不需要自己写UDF，也就绕开了numpy的依赖。修改你的代码如下：

from pyspark.ml.functions import vector_to_array
from pyspark.sql.types import FloatType

# 保留前面的初始化、读数据、模型转换步骤
out = model.transform(final_ads)
# 替换原来的UDF逻辑：先转数组，取第一个元素再转FloatType
out = out.withColumn("probability", vector_to_array("probability")[0].cast(FloatType())) \
         .drop('features').drop('rawPrediction')

这个方法的优势是完全依赖Spark原生API，不需要任何额外的Python依赖，而且性能比自定义UDF更好（内置函数在JVM端执行，避免了Python和JVM之间的序列化开销）。

2. 提交作业时打包numpy依赖（适合必须用UDF的场景） #

如果因为某些原因一定要用自定义UDF，可以把numpy打包成zip文件，在提交Spark作业时通过--py-files参数传递给所有Worker节点：

步骤： #

1. 从你的Python环境的site-packages目录里找到numpy文件夹，打包成zip
2. 提交作业时加上参数：

spark-submit --master yarn --deploy-mode client --py-files numpy.zip your_script_name.py

或者更彻底一点，把整个虚拟环境打包成zip，通过--archives参数传递，同时指定Worker使用虚拟环境里的Python：

spark-submit --master yarn --deploy-mode client \
  --archives venv.zip#venv \
  --conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./venv/bin/python \
  your_script_name.py

3. 排查Hive Warehouse Connector（HWC）的兼容性 #

有时候HWC版本和Spark版本不匹配，也会导致奇怪的序列化错误（比如错误信息里提到的_parse_datatype_json_string解析失败）。可以确认下你使用的HWC版本是否和Spark版本兼容——比如Spark 3.x需要使用HWC 2.x及以上版本，Spark 2.x则对应HWC 1.x。

为什么原来的UDF会触发numpy错误？ #

PySpark的VectorUDT（Vector类型的用户自定义类型）在Python端序列化/反序列化时，依赖numpy来处理数组和数值类型的转换。当Worker节点没有安装numpy时，Spark在尝试解析Vector对象就会抛出No module named numpy的错误。而用内置的vector_to_array函数是在JVM端完成转换，不需要Python端处理Vector的解析，自然就不会依赖numpy了。

内容的提问来源于stack exchange，提问作者alakesh mani