Apache NiFi溯源配置咨询:仅禁内容存储留元数据及全禁用最佳实践
Apache NiFi Provenance 存储配置问题解答
一、能否单独禁用Provenance内容存储,仅保留元数据?
NiFi目前不支持拆分Provenance的内容存储与元数据存储——两者是绑定设计的,无法单独关闭流文件内容存储同时保留元数据。所有Provenance事件的内容和元数据会按照统一的存储策略处理。
二、完全禁用Provenance的最佳实践
若无需任何Provenance数据,以下是对几种方案的分析及推荐:
- 设置最大存储时间为0秒:可行,系统会立即清理生成的Provenance事件,但部分组件可能会短暂生成临时事件,随后被删除。
- 设置最大存储大小为0字节:可行,系统会拒绝存储任何Provenance事件,但仍可能存在极短暂的内存临时记录。
- 使用Volatile存储并设置缓冲区大小为0:这是最优方案。Volatile存储本身是内存级临时存储,缓冲区设为0后,不会保留任何Provenance数据,且完全避免磁盘IO开销,对NiFi性能影响最小。
补充替代方案(若需保留错误追踪元数据)
如果只是不需要存储流文件内容,但仍想保留错误相关的元数据,可以调整Provenance的事件级别为ERROR:仅记录流程出错时的事件,既满足错误追踪需求,又大幅减少存储的数据量(包括内容和元数据)。
内容的提问来源于stack exchange,提问作者BM100
相关产品推荐
相关产品推荐

