tdload作业变量文件中Select Statement被覆盖致过滤失效解决方法

问题场景 #

通过作业变量文件传参执行tdload命令实现数据导出，作业变量配置如下：

SelectStmt = 'select * from database.tablename where column1 > 100',
SourceTdpid = 'hostid',
SourceUserName =  'username',
SourceUserPassword = 'password'
SourceTable  = 'database.tablename',
FileWriterFileSizeMax = '10M',
TargetTextDelimiter = '|'
TargetFilename = "file.csv"
FileWriterQuotedData =  "Y"

按照SelectStmt中column1 > 100的过滤规则，预期仅返回39条符合条件的记录，实际导出文件包含该表全量数据。

排查解决步骤 #

• 优先排查参数优先级冲突：tdload作业中SourceTable参数优先级高于SelectStmt，当两个参数同时配置时，工具会直接读取SourceTable指定的全表数据，完全忽略SelectStmt中写的自定义查询和过滤条件，这是本次导出全量数据的核心原因。如果需要使用自定义SQL做过滤，直接删除配置中的SourceTable = 'database.tablename'行即可。
• 修正配置文件语法错误：当前配置存在多处格式问题，会导致参数解析异常，需逐一修复：
  1. SourceUserPassword = 'password'行尾缺失参数分隔逗号
  2. TargetTextDelimiter = '|'行尾缺失参数分隔逗号
  3. 字符串值统一使用单引号，避免单双引号混用导致的参数识别失败
     修正后的可正常运行配置参考：

  SelectStmt = 'select * from database.tablename where column1 > 100',
  SourceTdpid = 'hostid',
  SourceUserName =  'username',
  SourceUserPassword = 'password',
  FileWriterFileSizeMax = '10M',
  TargetTextDelimiter = '|',
  TargetFilename = 'file.csv',
  FileWriterQuotedData =  'Y'
  

• 执行前校验生效逻辑：重新运行作业时，添加调试参数启动（根据版本不同使用-v或--debug参数），查看启动日志中实际执行的拉数SQL，确认日志打印的语句带有column1 > 100过滤条件，没有被默认配置覆盖。
• 结果校验：作业运行完成后，先核对日志中打印的导出记录总数，和手动执行过滤SQL查询得到的39条结果数一致后，再打开导出文件核验内容即可。

内容的提问来源于stack exchange，提问作者krx