如何在Pentaho Data Integration中动态生成年份批量获取API数据

核心思路 #

将Generate Rows步骤改为生成年份序列，通过变量替换动态拼接API请求URL，让转换自动遍历每一年的数据完成批量处理。

具体操作步骤 #

1. 重构Generate Rows步骤 #

• 不再直接写死带年份的URL，而是生成需要遍历的年份数据集：
  • 添加字段year，类型选择Integer
  • 若要获取连续年份（如2018-2023），在「值」栏填入范围表达式：2018..2023（PDI原生支持该语法生成连续数值）
  • 若为非连续年份，直接用逗号分隔指定：2018,2020,2023

2. 动态拼接API请求URL #

• 在Generate Rows之后添加Modified Java Script Value步骤，生成动态请求地址：
  • 定义新字段api_url，写入代码逻辑：

    var base_url = "https://your-api-domain.com/data?year=";
    api_url = base_url + year;
    

  • 也可使用Replace in string步骤：设置URL模板为https://your-api-domain.com/data?year=YYYY，将YYYY替换为year字段的值

3. 配置Rest Client步骤 #

• 将Rest Client的「URL」参数设置为${api_url}，直接引用动态生成的请求地址
• 保持Headers、认证信息等其他配置与单个年份运行时一致

4. 复用原有数据处理流程 #

• JSON input、Select values、Table output步骤的配置无需修改，沿用之前单个年份的解析、清洗、入库逻辑即可

5. 补充优化（可选） #

• 若API有限流规则，在Rest Client步骤后添加Delay步骤，设置固定延迟（如1000毫秒）避免请求过于频繁
• 如需断点续跑，在Table output前添加**Merge rows (diff)**步骤，对比已入库数据与新获取数据，仅插入未存在的记录

内容的提问来源于stack exchange，提问作者Agam Kurniawan