AWS MSK转GCP Pub/Sub连接器配置报错:gcp.credentials.json问题求助
解决AWS MSK到GCP Pub/Sub Lite连接器的凭证配置问题
针对你遇到的连接器配置错误,核心问题大概率出在gcp.credentials.json的格式上,以下是具体解决建议:
移除凭证字符串的外层双引号
你的配置中给凭证字符串加了双引号,Kafka Connect会将其当作字符串的一部分解析,直接导致JSON格式错误。修改后的配置应该是:gcp.credentials.json={"type":"service_account","project_id":"你的项目ID",...}确保JSON字符串转义完全正确
将ServiceAccount的JSON文件转为单行字符串时,必须转义所有内部的双引号(用\"代替"),同时移除所有换行符。例如原JSON中的:{ "type": "service_account", "project_id": "my-project" }要转为:
{\"type\":\"service_account\",\"project_id\":\"my-project\"}验证ServiceAccount权限
确认该ServiceAccount拥有Pub/Sub Lite主题的发布权限,至少需要pubsublite.topics.publish权限,或者直接赋予roles/pubsublite.editor角色。优先使用凭证文件路径(如果可行)
如果MSK Connect的工作节点能访问存储凭证文件的路径(比如通过挂载S3存储桶到本地目录),建议改用gcp.credentials.path=/path/to/your-service-account.json配置,避免内嵌字符串转义的繁琐和出错概率。校验JSON字符串合法性
用本地工具验证你的凭证字符串是否为合法JSON,比如执行:echo "你的凭证字符串" | jq .如果输出格式化后的JSON,说明格式合法;如果报错,就需要修正字符串中的语法错误。
内容的提问来源于stack exchange,提问作者Karen Kostanyan
相关产品推荐
相关产品推荐

