如何循环迭代tHiveInput执行HDFS文件中的SQL查询？

嘿，这个场景我之前做数据批处理的时候正好遇到过！要让tHiveInput跟着tHDFSInput读取的每行SQL循环执行，核心是把每行SQL转成迭代变量，再通过循环组件逐次触发执行。下面是一步步的实现方案：

1. 配置tHDFSInput读取SQL文件 #

• 在tHDFSInput的Schema里只定义一个字符串类型字段，比如命名为sql_query，用来存每行完整的SQL语句。
• 调整行分隔符为文件实际的换行符（默认\n，Windows格式可以设为\r\n），字段分隔符选一个不会在SQL里出现的特殊字符（比如~或|），确保整行内容都被读到sql_query字段中。

2. 用tFlowToIterate把SQL转为迭代上下文变量 #

• 把tHDFSInput的输出连接到tFlowToIterate组件。在tFlowToIterate的配置界面，将sql_query字段映射到一个上下文变量，比如context.current_sql。这一步会把每行SQL转化为迭代时可用的变量，每次迭代自动取一行的值。

3. 用tLoop组件实现循环迭代 #

• 连接tFlowToIterate到tLoop，在tLoop的设置里：
  • 选择**“Iterate over a list”**模式，然后在“List”输入框中填写(List<String>)globalMap.get("tFlowToIterate_1_DATA")（注意tFlowToIterate_1要和你的实际组件名称对应）。
  • 或者选**“Loop a number of times”**，循环次数设为(Integer)globalMap.get("tHDFSInput_1_NB_LINE")（同样要对应你的tHDFSInput组件名称），每次循环时从全局变量的列表中取对应索引的SQL语句。

4. 配置tHiveInput动态执行SQL #

• 在tLoop内部添加tHiveInput组件，连接tLoop到它。
• 在tHiveInput的查询配置中：
  • 一定要勾选**“Use dynamic query”**选项（这是关键！不勾的话只会执行一次初始SQL）。
  • 查询输入框填写context.current_sql（如果是用列表循环的方式，就写((List<String>)globalMap.get("tFlowToIterate_1_DATA")).get((Integer)globalMap.get("tLoop_1_CURRENT_ITERATION"))）。
  • 确认Hive连接配置和你的集群环境匹配，避免连接失败。

额外小贴士 #

• 如果你的SQL是DDL/DML语句（比如CREATE、INSERT），更推荐用tHiveRow组件，因为tHiveInput主要用于查询返回结果集，tHiveRow更适合执行无返回的SQL操作。
• 如果需要保存每次查询的结果，可以在tHiveInput后面加输出组件（比如tHDFSOutput、tFileOutputDelimited），还能通过上下文变量给输出文件加上迭代序号，防止结果被覆盖。

内容的提问来源于stack exchange，提问作者Tiffado