Apache NiFi如何通过avro.schema属性将CSV转为无Struct类型的Parquet文件

全String类型Parquet文件生成配置调整 #

你现有流程可以简化，不需要两次ConvertRecord和手动修改avro.schema属性，调整步骤如下：

1. 调整CSVReader控制器服务配置：

• 将「Schema Access Strategy」修改为Use String Fields From Header，该配置会直接将CSV所有字段识别为String类型，跳过类型推断，从根源避免Struct类型生成
• 其余配置（如分隔符、引号符、首行是否为表头）保持和原有CSV格式匹配即可

2. 调整ParquetRecordSetWriter控制器服务配置：

• 将「Schema Access Strategy」设置为Inherit Record Schema，直接继承CSVReader输出的全String类型Schema
• 将「Avro Schema Write Strategy」设置为Do Not Write Schema，避免额外的Schema元数据嵌入导致类型偏移

3. 简化后的处理器流程：

• GetFile读取CSV源文件
• 单次执行ConvertRecord：Reader选择调整后的CSVReader，Writer选择调整后的ParquetRecordSetWriter
• UpdateAttribute为文件名追加.parquet后缀
• PutFile输出最终Parquet文件

如果调整后依然存在Struct类型，可在ConvertRecord前新增ScriptedTransformRecord处理器，选择Groovy脚本引擎，填入如下处理逻辑：

def outputRecord = [:]
record.toMap().each { fieldName, fieldValue ->
    outputRecord[fieldName] = fieldValue == null ? "" : fieldValue.toString()
}
return outputRecord

该脚本会强制将所有字段值转换为String类型，完全覆盖推断的复合类型。

Windows系统下Parquet文件查看方法 #

除了PySpark外，你还可以用以下工具直接查看Parquet的Schema和数据：

• parquet-tools命令行工具：提前配置好Java运行环境，下载parquet-tools独立jar包，在CMD中执行java -jar parquet-tools.jar schema <parquet文件路径>即可直接输出Schema信息，执行java -jar parquet-tools.jar head <parquet文件路径>可查看前若干行数据
• VS Code扩展：安装Parquet Viewer扩展，安装完成后直接在VS Code中打开Parquet文件，即可可视化查看完整数据和Schema结构
• DBeaver数据库客户端：支持直接将Parquet文件作为数据源导入，导入后可在表结构页查看字段类型，也可直接查询全量数据

内容的提问来源于stack exchange，提问作者Vishal kashyap