Cloud Data Fusion HTTP源插件用OAuth2 Client Credential调用Paylocity API求助

核心思路 #

Cloud Data Fusion的HTTP源插件默认OAuth2流程不支持Client Credentials授权类型，所以需要手动完成Token获取流程，再将Token注入到API请求的Authorization头中，分两步实现：

1. 调用Paylocity的Token URL获取Bearer Token
2. 将Token添加到目标API请求的HTTP头里

具体操作步骤 #

1. 用Groovy脚本预处理器获取Token #

在HTTP源插件的Preprocessor配置中，通过Groovy脚本完成Token获取与注入：

• 先在HTTP源属性中填写目标Paylocity API的URL（例如https://api.paylocity.com/v1/employees）
• 切换到Preprocessor标签，选择Groovy类型，粘贴以下脚本（替换你的Client ID、密钥和Token URL）：

import groovy.json.JsonSlurper

// 替换为你的实际信息
def clientId = "你的Client ID"
def clientSecret = "你的密钥"
def tokenUrl = "Paylocity的Token URL"

// 构造Basic Auth字符串
def authString = "${clientId}:${clientSecret}".bytes.encodeBase64().toString()
// 创建Token请求连接
def tokenConn = new URL(tokenUrl).openConnection()
tokenConn.setRequestMethod("POST")
tokenConn.setRequestProperty("Authorization", "Basic ${authString}")
tokenConn.setRequestProperty("Content-Type", "application/x-www-form-urlencoded")
tokenConn.setDoOutput(true)

// 发送Client Credentials请求
def postData = "grant_type=client_credentials"
def outputStream = new DataOutputStream(tokenConn.getOutputStream())
outputStream.writeBytes(postData)
outputStream.flush()
outputStream.close()

// 解析响应获取Token
def tokenResponse = new JsonSlurper().parse(tokenConn.getInputStream())
def accessToken = tokenResponse.access_token

// 将Token注入当前API请求头
request.headers.put("Authorization", "Bearer ${accessToken}")

2. 配置HTTP源的基础属性 #

• Authentication Type选择None（授权逻辑已通过脚本手动处理）
• 根据Paylocity API要求，添加必要的请求头（比如Accept: application/json）
• 按需配置分页、响应解析等参数（如果API返回结果需要分页处理）

3. 测试验证 #

保存配置后运行测试预览，确认是否能成功获取Token并拉取API数据。若出现权限报错，检查Client ID和密钥是否拥有目标API的访问权限。

替代方案：Python脚本节点前置处理 #

如果不熟悉Groovy，也可以在Pipeline中添加Python脚本节点提前获取Token：

1. 在Python脚本中完成Token获取逻辑，将Token存入Pipeline全局属性
2. 在HTTP源的请求头中引用该属性，例如Authorization: Bearer ${pipeline.token}

注意：需确保Python脚本节点环境已安装requests库。

内容的提问来源于stack exchange，提问作者Yoshitha P