如何禁用SparkNLP启动日志且不触发运行错误？

方法1：利用Python logging模块提前过滤日志 #

在调用sparknlp.start()前，直接通过Python的logging系统调整相关日志器的级别，无需改动SparkContext创建逻辑：

import logging

# 全局设置日志级别为ERROR，过滤WARN及以下日志
logging.basicConfig(level=logging.ERROR)

# 针对性过滤Spark、Py4J和SparkNLP的冗余日志
for logger_name in ["py4j", "org.apache.spark", "com.johnsnowlabs"]:
    logger = logging.getLogger(logger_name)
    logger.setLevel(logging.ERROR)

# 正常启动SparkNLP
from sparknlp import start
spark = start()

该方法不会触发JavaPackage调用错误，完全保留SparkNLP原生的初始化流程。

方法2：通过sparknlp.start()的配置参数传入日志设置 #

sparknlp.start()支持直接传入Spark配置参数，可借此指定日志配置文件，无需手动创建SparkContext：

1. 在当前工作目录创建log4j.properties文件，内容如下：

log4j.rootLogger=ERROR, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.Target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

# 单独屏蔽SparkNLP相关的低级别日志
log4j.logger.com.johnsnowlabs=ERROR

2. 在代码中启动SparkNLP时传入配置：

from sparknlp import start

spark = start(spark_config={
    "spark.driver.extraJavaOptions": "-Dlog4j.configuration=file:log4j.properties",
    "spark.executor.extraJavaOptions": "-Dlog4j.configuration=file:log4j.properties"
})

方法3：通过环境变量临时调整日志级别（无需修改代码） #

如果是终端运行脚本，可在启动前设置环境变量注入日志配置：

• Linux/macOS终端：

export SPARK_DRIVER_EXTRA_JAVA_OPTIONS="-Dlog4j.rootLogger=ERROR"
python your_sparknlp_script.py

• Windows命令行：

set SPARK_DRIVER_EXTRA_JAVA_OPTIONS=-Dlog4j.rootLogger=ERROR
python your_sparknlp_script.py

此方式完全不改动代码，仅在当前会话生效，不影响SparkNLP模型的正常运行。

内容的提问来源于stack exchange，提问作者user22219872