使用TPCH qgen工具生成随机查询时出现重复结果的问题求助
TPCH qgen生成重复SQL问题的解决办法
你遇到的问题根源是固定了随机种子参数-r 100:qgen的随机种子用于控制查询模板中动态参数的生成逻辑,相同种子+相同查询模板(-d指定的编号)会生成完全一致的SQL语句,所以循环中每次用同一个种子,输出自然重复。
解决办法很简单:给每次生成操作分配唯一的随机种子,确保同一模板的多次生成用不同种子。如果要生成2200条,对应TPCH的22个模板,每个模板需要生成100次,可使用如下脚本:
# 遍历22个TPCH查询模板,每个模板生成100条不同SQL,总计2200条 for query_id in $(seq 22); do for idx in $(seq 100); do # 用模板ID+循环序号组合成唯一种子,避免重复 seed=$((query_id * 1000 + idx)) ./qgen -d $query_id -s 1 -r $seed > outputfile/queries/${query_id}_${idx}.sql done done
也可以用系统随机数作为种子,比如把seed=$RANDOM替换上述seed的赋值,但用模板ID+序号的组合方式更可控,能确保不会出现重复种子的情况。
内容的提问来源于stack exchange,提问作者Feifei lee
相关产品推荐
相关产品推荐

