如何避免bash/shell脚本中SQL查询返回的含空格字符串被拆分为数组多字段

问题根源 #

直接将mysql的查询输出赋值给数组时，bash默认会按任意空白字符（空格、制表符、换行）拆分内容，所以带空格的字段会被拆分为多个数组元素，导致索引错位。

最佳处理方案 #

核心思路是使用不会出现在业务字段中的特殊分隔符分割mysql输出的字段，再按该分隔符解析内容，完全规避空格拆分问题。该方案无需额外依赖，支持大数据量流式处理，适配docker cron的运行环境。

实现步骤 #

1. 调用mysql命令时指定罕见的ASCII分隔符（比如ASCII单元分隔符$'\x1F'，几乎不会出现在普通业务数据中），同时开启批量模式自动转义字段内的特殊字符。
2. 逐行读取查询结果，仅在读取时临时修改IFS（内部字段分隔符）为指定的分隔符，将每行内容拆分到数组中，不影响全局环境。

示例代码 #

# 数据库连接参数替换为实际配置
DBCONNECT="-u用户名 -p密码 -h数据库地址"
# 指定分隔符为ASCII单元分隔符，避免和业务字段内容冲突
FIELD_DELIMITER=$'\x1F'

# 执行查询，流式输出结果
mysql "$DBCONNECT" --database=uploads -N --batch --delimiter="$FIELD_DELIMITER" \
--execute="SELECT * FROM upload where upload_time>='2020-11-18 00:19:48';" |
while IFS="$FIELD_DELIMITER" read -r -a row; do
    # row数组中每个元素对应查询结果的一列，不会被空格拆分
    version=${row[0]}
    test_id=${row[1]}
    upload_time=${row[2]}
    parser_result=${row[3]}

    # 后续逻辑：比如插入到其他数据库，注意转义单引号避免SQL语法错误
    parser_result_escaped=${parser_result//\'/''}
    # mysql "$TARGET_DBCONFIG" --execute="INSERT INTO target_table VALUES ('$version', '$test_id', '$upload_time', '$parser_result_escaped');"

    # 测试输出验证
    echo "上传时间: $upload_time"
    echo "解析结果: $parser_result"
done

注意事项 #

• mysql的--batch参数会自动转义字段内的换行、制表符等特殊字符，不会打乱行结构，适合大数据量批量处理场景。
• 如果担心$'\x1F'出现在业务字段中，可替换为更罕见的ASCII控制字符，比如$'\x02'（文本起始符），不要用逗号、竖线等常见字符作为分隔符，容易和业务内容冲突。
• 插入数据库前对字段值做单引号转义（${var//\'/''}），避免字段内的单引号导致SQL语法错误。

内容的提问来源于stack exchange，提问作者Ashwini