Clickhouse并行插入Parquet脚本报错：不支持位置选项，求解决

错误根源 #

你遇到的Positional options are not supported错误，核心问题是xargs用法完全错误：

• 你通过< $FILENAME把Parquet文件的二进制内容传给xargs，xargs会把这些二进制数据当成clickhouse-client的命令行位置参数，但ClickHouse客户端不接受这种未定义的位置参数，直接触发参数解析错误。
• 同时你用了-0参数（用于处理null分隔的输入），但这里输入的是普通文件名列表，参数完全不匹配，进一步加剧了混乱。

修复后的脚本方案 #

方案一：用xargs正确控制并行插入（推荐） #

通过xargs传递文件名而非文件内容，让每个并行进程独立处理一个文件：

#!/bin/bash
time ls /mnt/sdc/traces/part-*.snappy.parquet | xargs -P 6 -I {} bash -c 'echo {}; clickhouse-client --receive_timeout=100000 --query="INSERT INTO ethereum.traces FORMAT Parquet" < "{}"'

或者用ClickHouse原生file()函数读取文件，避免重定向：

#!/bin/bash
time ls /mnt/sdc/traces/part-*.snappy.parquet | xargs -P 6 -I {} bash -c 'echo {}; clickhouse-client --receive_timeout=100000 --query="INSERT INTO ethereum.traces SELECT * FROM file(\'{}\', Parquet)"'

方案二：用for循环+计数器控制并发 #

如果习惯用for循环，通过计数器限制同时运行的进程数：

#!/bin/bash
MAX_PROCS=6
count=0

time (
for FILENAME in /mnt/sdc/traces/part-*.snappy.parquet; do
    echo "$FILENAME"
    clickhouse-client --receive_timeout=100000 --query="INSERT INTO ethereum.traces FORMAT Parquet" < "$FILENAME" &
    
    ((count++))
    # 达到最大并发数时等待所有后台进程完成
    if ((count >= MAX_PROCS)); then
        wait
        count=0
    fi
done
# 等待最后一批未完成的进程
wait
)

关键注意事项 #

• 所有文件名变量要加双引号（"$FILENAME"），避免文件名含空格、特殊字符时出现解析错误。
• xargs -P 6控制最多同时运行6个插入进程，可根据服务器CPU、内存资源调整数值。

内容的提问来源于stack exchange，提问作者Noah Pravecek