如何禁用AWS MSK Connect写入S3时自动创建的主题文件夹?
解决AWS MSK Connect S3 Sink自动创建主题文件夹的问题
要禁用S3路径下自动生成主题名称文件夹的功能,只需调整MSK Connect S3 Sink Connector的配置参数:
- 默认情况下,S3 Sink Connector的路径格式为
${topics.dir}/${topic},这就是folder1/folder2下自动出现topic1子文件夹的原因。 - 添加
path.format参数并设置为${topics.dir},就能让数据直接写入folder1/folder2路径,不再额外创建主题子文件夹。
修改后的配置示例:
topics.dir=folder1/folder2 topics=topic1 path.format=${topics.dir}
你也可以直接写死路径(比如path.format=folder1/folder2),效果完全一致。
注意:如果后续需要消费多个主题,这种配置会让不同主题的数据混合写入同一路径,需根据业务场景判断是否适用。
内容的提问来源于stack exchange,提问作者kzfid
相关产品推荐
相关产品推荐

