Apache NiFi无法写入FlowFile内容：执行ExecuteStreamCommand后报错求助

一、修正Python脚本核心错误 #

你的脚本存在两处关键问题，会导致输出异常甚至触发存储问题：

1. 输出逻辑错误：input_df.to_csv(path_file, index=False)中，path_file是从stdin读取的文件内容（而非文件路径），这里会把内容当成文件名去写入，而非输出处理后的CSV内容到stdout。正确写法应直接输出到标准输出：

   import pandas as pd
   import sys
   from io import StringIO
   
   try:
       # 从stdin读取输入数据
       input_content = sys.stdin.read()
       input_df = pd.read_csv(StringIO(input_content))
   
       # 注意：注释写的是用均值填充缺失值，但代码是删除缺失行，按需调整
       # 若要均值填充：input_df.fillna(input_df.mean(numeric_only=True), inplace=True)
       input_df.dropna(inplace=True)
   
       # 直接将处理后的数据输出到stdout，供NiFi捕获
       input_df.to_csv(sys.stdout, index=False)
   
   except Exception as e:
       sys.stderr.write(f"An error occurred: {str(e)}")
   

2. 注释与代码不符：注释标注“用列均值填充缺失值”，但实际代码是dropna删除缺失行，根据你的实际需求调整即可。

二、调整NiFi内容存储库归档配置 #

你之前修改的nifi.flow.configuration.archive.enabled是流配置归档参数，和报错提到的内容存储库归档无关，需修改nifi.properties中的以下参数：

• 若不需要内容归档，直接禁用：

  nifi.content.repository.archive.enabled=false
  

• 若需要归档，调大归档最大容量：

  nifi.content.repository.archive.max.size=10 GB
  

• 同时检查nifi.content.repository.directory.default对应目录所在磁盘的剩余空间，确保有足够存储容量。

三、优化ExecuteStreamCommand处理器配置 #

1. 确保Command Arguments设置正确，使用无缓冲输出避免NiFi等待：

   -u /path/to/your/script.py
   

   （-u参数让Python禁用输出缓冲，确保NiFi能及时获取脚本输出）
2. 将Redirect Error Stream设为true，脚本的错误输出会被捕获到FlowFile的stderr属性中，方便排查问题。

内容的提问来源于stack exchange，提问作者khawla baddar