Bash while循环批量解析域名IP出现\r、NXDOMAIN异常及优化咨询
问题根因定位
你调试时看到的所有异常输出,本质都来自两个叠加的问题:
- 源域名文件是Windows CRLF换行格式,不是Linux系统默认的LF换行,
read命令读取每行内容时,会把行尾残留的\r回车符当成域名的一部分。调试输出里的$'0-96.com\r'是Bash调试模式对带转义特殊字符的字符串的标准显示格式,不是read -r参数失效。 - 带
\r的无效域名传给host命令后根本无法完成DNS解析,返回的Host xxx not found: 3(NXDOMAIN)行,被你原来的awk '{print $5}'刚好切分到了3(NXDOMAIN)字段;你后续改成取$4也没解决,是因为硬编码取固定字段的逻辑本身就不兼容不同场景的host输出,遇到解析失败的行就会抓错内容。
问题修复步骤
- 先清洗源文件的换行符残留,两种可选方式
- 提前对源文件做格式转换,执行
dos2unix /home/domainsa/public_html/data/domains/$yesterday-domains.txt把CRLF换行转成LF格式; - 读循环里实时剥离行尾的
\r,在read命令后加一行处理:line=${line%$'\r'},不需要修改原文件就能过滤掉回车符。
- 提前对源文件做格式转换,执行
- 修正IP提取的逻辑,不要硬编码取固定字段:匹配
host返回的有效记录行做提取,比如host -4 "$line" | awk '/has address/ {print $4; exit}',遇到解析失败的域名直接输出空值,不会抓错NXDOMAIN的状态码。 - 所有传给
host的域名参数必须加双引号,避免特殊字符、残留符号导致的命令报错。
更高效的批量解析实现
你原来的串行循环跑上千个域名时,会因为单个DNS请求超时(通常2-5秒)累计等待非常久,调整为带并发控制的方案可以把速度提升数倍:
- 提前清洗域名列表:去掉所有
\r、空行、注释行,生成纯域名的标准输入流。 - 用
xargs的并发参数控制解析速度,建议设置并发数为10-20,既保证效率,也不会对本地DNS服务器造成过大压力。
优化后的参考脚本:
#!/bin/bash yesterday=$(date --date "1 days ago" +%F) domain_file="/home/domainsa/public_html/data/domains/$yesterday-domains.txt" # 清洗输入 + 10并发批量解析 tr -d '\r' < "$domain_file" \ | grep -v '^[[:space:]]*$' \ | grep -v '^[[:space:]]*#' \ | xargs -I {} -P 10 bash -c ' resolve_ip=$(host -4 "$1" 2>/dev/null | awk "/has address/ {print \$4; exit}") echo "$1 $resolve_ip" ' _ {}
注意:并发数不要设置过高,否则会触发公共DNS服务器的限流策略,导致大量域名解析失败。
内容的提问来源于stack exchange,提问作者Amit Singh
相关产品推荐
相关产品推荐

