You need to enable JavaScript to run this app. Bash while循环批量解析域名IP出现\r、NXDOMAIN异常及优化咨询
优惠活动
大模型
产品
解决方案
定价
更多

Bash while循环批量解析域名IP出现\r、NXDOMAIN异常及优化咨询

问题根因定位

你调试时看到的所有异常输出,本质都来自两个叠加的问题:

  1. 源域名文件是Windows CRLF换行格式,不是Linux系统默认的LF换行,read命令读取每行内容时,会把行尾残留的\r回车符当成域名的一部分。调试输出里的$'0-96.com\r'是Bash调试模式对带转义特殊字符的字符串的标准显示格式,不是read -r参数失效。
  2. 带\r的无效域名传给host命令后根本无法完成DNS解析,返回的Host xxx not found: 3(NXDOMAIN)行,被你原来的awk '{print $5}'刚好切分到了3(NXDOMAIN)字段;你后续改成取$4也没解决,是因为硬编码取固定字段的逻辑本身就不兼容不同场景的host输出,遇到解析失败的行就会抓错内容。
问题修复步骤
  • 先清洗源文件的换行符残留,两种可选方式
    • 提前对源文件做格式转换,执行dos2unix /home/domainsa/public_html/data/domains/$yesterday-domains.txt把CRLF换行转成LF格式;
    • 读循环里实时剥离行尾的\r,在read命令后加一行处理:line=${line%$'\r'},不需要修改原文件就能过滤掉回车符。
  • 修正IP提取的逻辑,不要硬编码取固定字段:匹配host返回的有效记录行做提取,比如host -4 "$line" | awk '/has address/ {print $4; exit}',遇到解析失败的域名直接输出空值,不会抓错NXDOMAIN的状态码。
  • 所有传给host的域名参数必须加双引号,避免特殊字符、残留符号导致的命令报错。
更高效的批量解析实现

你原来的串行循环跑上千个域名时,会因为单个DNS请求超时(通常2-5秒)累计等待非常久,调整为带并发控制的方案可以把速度提升数倍:

  1. 提前清洗域名列表:去掉所有\r、空行、注释行,生成纯域名的标准输入流。
  2. 用xargs的并发参数控制解析速度,建议设置并发数为10-20,既保证效率,也不会对本地DNS服务器造成过大压力。
    优化后的参考脚本:
#!/bin/bash
yesterday=$(date --date "1 days ago" +%F)
domain_file="/home/domainsa/public_html/data/domains/$yesterday-domains.txt"

# 清洗输入 + 10并发批量解析
tr -d '\r' < "$domain_file" \
  | grep -v '^[[:space:]]*$' \
  | grep -v '^[[:space:]]*#' \
  | xargs -I {} -P 10 bash -c '
      resolve_ip=$(host -4 "$1" 2>/dev/null | awk "/has address/ {print \$4; exit}")
      echo "$1 $resolve_ip"
    ' _ {}

注意:并发数不要设置过高,否则会触发公共DNS服务器的限流策略,导致大量域名解析失败。

内容的提问来源于stack exchange,提问作者Amit Singh

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.22 15:15:04