在Apache NiFi ExecuteScript处理器（Python）中输出日志到独立文件

因为NiFi的Jython版本不支持Python标准库的logging模块，下面提供几种可行的实现方式：

方法一：直接用Jython文件IO写日志 #

适合简单场景，快速实现，无需额外依赖：

from datetime import datetime

# 替换为你的日志文件路径，确保NiFi进程有写入权限
LOG_FILE = "/opt/nifi/logs/execute_script_custom.log"

def write_log(level, message):
    timestamp = datetime.now().strftime("%Y-%m-%d %H:%M:%S.%f")[:-3]
    log_line = f"[{timestamp}] [{level}] {message}\n"
    # 以追加模式打开文件，自动关闭资源
    with open(LOG_FILE, "a", encoding="utf-8") as f:
        f.write(log_line)

# 使用示例
write_log("INFO", "ExecuteScript开始处理FlowFile")
write_log("WARN", "FlowFile字段缺失，使用默认值")
write_log("ERROR", "数据解析失败，跳过当前FlowFile")

注意事项：

• 务必确认NiFi运行用户对目标目录有写入权限
• 若多个ExecuteScript实例共用同一日志文件，可能出现日志内容重叠，建议为每个实例配置独立日志文件

方法二：调用Java日志框架（推荐） #

利用Jython可以无缝调用Java API的特性，使用Java原生日志类实现，支持日志级别控制、线程安全：

import java.util.logging as jul

# 自定义日志器名称，后续可配合NiFi日志配置文件单独管理
LOGGER_NAME = "CustomExecuteScriptLogger"
LOG_FILE = "/opt/nifi/logs/execute_script_custom.log"

# 获取或创建日志器
logger = jul.Logger.getLogger(LOGGER_NAME)
logger.setLevel(jul.Level.INFO)

# 避免重复添加FileHandler
has_file_handler = False
for handler in logger.getHandlers():
    if isinstance(handler, jul.FileHandler):
        has_file_handler = True
        break

if not has_file_handler:
    # 创建文件处理器，开启追加模式
    file_handler = jul.FileHandler(LOG_FILE, append=True)
    # 设置日志格式
    formatter = jul.SimpleFormatter()
    file_handler.setFormatter(formatter)
    logger.addHandler(file_handler)

# 使用示例
logger.info("FlowFile处理完成，记录数：100")
logger.warning("检测到异常数据，已标记")
logger.severe("数据库连接失败，终止处理")

方法三：结合NiFi全局日志配置（生产环境推荐） #

如果需要统一管理日志格式、级别，可修改NiFi的logback.xml配置文件（通常在conf目录下），为自定义日志器单独配置输出文件：

1. 先添加自定义Appender：

<appender name="EXECUTE_SCRIPT_LOG" class="ch.qos.logback.core.FileAppender">
    <file>/opt/nifi/logs/execute_script_custom.log</file>
    <append>true</append>
    <encoder>
        <pattern>%date{yyyy-MM-dd HH:mm:ss.SSS} %level [%thread] %logger{36} - %msg%n</pattern>
    </encoder>
</appender>

2. 添加日志器关联Appender：

<logger name="CustomExecuteScriptLogger" level="INFO" additivity="false">
    <appender-ref ref="EXECUTE_SCRIPT_LOG"/>
</logger>

• additivity="false" 表示该日志器的日志不会再输出到默认的nifi-app.log
• 配置完成后重启NiFi生效，之后方法二中的日志器就会将日志输出到指定文件

内容的提问来源于stack exchange，提问作者Harshil Gupta