Json Source Connector启动失败求助：Schema配置错误与输入文件推断异常

你遇到的核心问题是开启自动Schema生成后，Connector启动时找不到符合条件的JSON文件来推断Schema。我来一步步帮你排查解决：

错误原因明确 #

当你设置schema.generation.enabled=true时，Connector启动的第一步骤就是扫描input.path下的文件，根据文件内容自动生成Key和Value的Schema。如果这个目录下没有匹配input.file.pattern的文件，或者Connector进程没有权限访问这些文件，就会抛出这个错误。

排查与修复步骤 #

1. 确认输入文件已在指定路径 #

先检查你的JSON文件是否确实放到了/home/data/unprocessed目录：

ls -l /home/data/unprocessed

如果输出里看不到你的JSON文件，先把文件移动到该目录再重试。

2. 检查目录与文件权限 #

Confluent Connect进程通常以confluent用户运行，你需要确保这个用户能访问/home/data下的所有子目录和文件：

# 测试confluent用户是否能读取输入目录
sudo -u confluent ls /home/data/unprocessed

如果这条命令报错（比如权限拒绝），需要调整目录权限：

# 给目录添加通用读权限（也可以更严格地将confluent用户加入目录所属组）
chmod -R 755 /home/data

3. 验证文件匹配规则 #

你的配置里input.file.pattern=.*\.json是匹配所有.json后缀的文件，但注意这个匹配是大小写敏感的。如果你的文件后缀是.JSON（大写），需要修改配置：

input.file.pattern=.*\.(json|JSON)

4. 调整Connector启动顺序 #

Connector启动时会立即扫描输入目录，如果你是先启动Connector再放文件进去，就会触发这个错误。正确顺序是：

• 先把JSON文件放到/home/data/unprocessed
• 再执行Connector加载命令

5. 重新加载Connector #

完成上述检查后，先卸载旧配置再重新加载：

confluent local services connect connector unload json
confluent local services connect connector load json --config /home/jsonspooldir.properties

备选方案：手动指定Schema（无需自动生成） #

如果你不想依赖自动Schema生成，也可以手动定义Key和Value的Schema，这样即使输入目录没有文件，Connector也能启动。示例配置修改如下：

schema.generation.enabled=false
# 手动定义Key Schema（基于id字段）
key.schema={"type":"struct","fields":[{"name":"id","type":"int32"}]}
# 手动定义Value Schema，匹配你的JSON结构
value.schema={"type":"struct","fields":[{"name":"id","type":"int32"},{"name":"first_name","type":"string"},{"name":"last_name","type":"string"},{"name":"email","type":"string"},{"name":"gender","type":"string"}]}

按照上面的步骤操作，应该就能解决你的问题了。

内容的提问来源于stack exchange，提问作者sharon rogers