Whylogs v1.1.43在Spark集群（Python3.8/Scala2.11.8）无法生成Profile求助

一、Python/PySpark环境生成Profile报错处理 #

• 版本兼容性校验：Whylogs v1.1.43对Spark 2.3.0这类旧版本支持有限，建议核对官方兼容矩阵，尝试降级Whylogs到适配Spark 2.3的版本，同时确保版本和Python 3.8匹配。
• 依赖冲突排查：Spark 2.3.0自带的Jackson、Guava等库可能和Whylogs依赖冲突。提交任务时可通过排除冲突依赖解决：

  spark-submit --packages com.whylabs:whylogs-spark_2.11:0.1.1 --exclude-dependencies com.fasterxml.jackson.core:jackson-databind,com.google.guava:guava your_script.py
  

• 代码规范检查：确保生成Profile的代码适配Spark 2.3 API，比如使用基础写法测试：

  from whylogs.api.pyspark.experimental import collect_column_profiles
  
  # df为已加载的Spark DataFrame
  profile = collect_column_profiles(df)
  profile.to_pandas()
  

二、Scala环境无法生成Profile处理 #

• Jar包有效性验证：确认whylogs-spark_2.11-0.1.1.jar适配Spark 2.3.0和Scala 2.11.8，重新下载Jar包避免文件损坏，或直接从Maven仓库引入。
• Spark会话配置优化：初始化SparkSession时明确加载Jar包并分配足够内存：

  import org.apache.spark.sql.SparkSession
  
  val spark = SparkSession.builder()
    .appName("WhylogsTest")
    .config("spark.jars", "/path/to/whylogs-spark_2.11-0.1.1.jar")
    .config("spark.driver.memory", "4g")
    .config("spark.executor.memory", "4g")
    .getOrCreate()
  

• 基础代码测试：用最简代码排查是否为业务代码问题：

  import com.whylabs.spark.Whylogs
  
  val df = spark.range(100).selectExpr("id as col1", "id*2 as col2")
  val profile = Whylogs.profile(df)
  profile.show()
  

三、gradlew构建JNA错误处理 #

• 自定义临时目录：错误源于/tmp目录权限限制JNA映射共享对象，指定自定义临时目录并赋予权限：

  export JNA_TMPDIR=/path/to/your/custom/tmp
  chmod 777 /path/to/your/custom/tmp
  ./gradlew build
  

• 临时关闭SELinux：若为Linux系统，SELinux可能拦截操作，临时关闭后再构建：

  sudo setenforce 0
  

• Gradle配置调整：在build.gradle中添加JNA临时目录配置：

  tasks.withType(JavaExec) {
    systemProperty "jna.tmpdir", "/path/to/your/custom/tmp"
  }
  

内容的提问来源于stack exchange，提问作者Hans