Docker部署NiFi：Parquet文件导入DynamoDB配置求助

核心前提：必须配置Schema #

Parquet是强Schema依赖的列式存储格式，NiFi的ParquetReader必须通过Schema才能正确解析文件内容——不管是用Parquet内嵌的Schema，还是手动指定Avro Schema，缺一不可。以下是分步配置方案：

一、AvroSchemaRegistry 配置 #

直接用Inline Avro Schema解决当前单场景需求：

• 新建/编辑AvroSchemaRegistry控制器服务
• 在「Schema Text」中粘贴目标Parquet文件对应的Avro Schema。若不知道Schema，可通过命令导出：

  # 本地装parquet-tools或在Docker容器内执行
  parquet-tools schema s3://你的存储桶路径/目标文件.parquet
  

  复制导出的Schema内容粘贴到这里即可。

二、ParquetReader 配置 #

• 「Schema Registry」下拉选择你刚配置的AvroSchemaRegistry
• 「Record Reader Implementation」固定选ParquetRecordReader，其余保持默认

三、JsonRecordSetWriter 配置 #

• 「Schema Registry」关联同一个AvroSchemaRegistry（确保输出JSON的字段结构和输入Parquet一致）
• 「Record Writer Implementation」选JsonRecordSetWriter，可开启「Pretty Print JSON」方便调试

四、ConvertRecord 处理器配置 #

• 「Record Reader」选配置好的ParquetReader，「Record Writer」选JsonRecordSetWriter
• 后续添加UpdateAttribute处理器，补充PutDynamoDB所需属性：
  • 添加属性dynamodb.table.name，值为你的目标DynamoDB表名
  • 若主键值来自JSON字段，添加dynamodb.hash.key.value，用表达式语言取值，比如${record:value('/id')}

五、PutDynamoDB 配置 #

• 「Table Name」直接填表名，或引用${dynamodb.table.name}
• 「Record Reader」选JsonTreeReader（解析ConvertRecord输出的JSON流）
• 若DynamoDB字段与JSON字段名不匹配，在「Attribute Mapping」手动映射，示例：

  { "user_id": "${record:value('/userId')}" }
  

常见问题排查 #

• ParquetReader报错：检查Schema与Parquet内嵌Schema的字段类型、嵌套结构是否完全匹配
• ConvertRecord无输出：查看NiFi容器日志（docker logs <nifi容器ID>），排查Schema不匹配或文件权限问题
• PutDynamoDB报错：确认NiFi容器的IAM角色/Access Key拥有DynamoDB写入权限，且主键字段已正确赋值

内容的提问来源于stack exchange，提问作者yan439