## 问题描述第3代DPU规格实例（例如通用型g3a/g3i、计算型c3a/c3i、内存型r3a/r3i）出现IO hang问题，实例挂载的磁盘出现IO操作长时间处于挂起或停滞状态，导致系统响应缓慢甚至无响应。 ## 问题原因由于不同版本的操作系统内核配置不一，部分内核可能导致第3代DPU规格实例（例如通用型g3a/g3i、计算型c3a/c3i、内存型r3a/r3i）磁盘出现不同的IO hang问题。 * **操作系统内核版本较老** 使用低版本内核的CentOS 7.x、Ubuntu 16.04、Ubuntu 18.04及Debian 9操作系统，在IO合并较多且深度较大时，有较低概率触发virtio_blk的缺陷，导致出现IO hang问题。[解决方案](https://www.volcengine.com/docs/6396/1131783#SQUm2GMR)。 * **WBT与block\-core相互阻塞** 使用部分内核版本的veLinux、CentOS、Ubuntu操作系统，在高负载场景下，有概率触发内核时序异常问题，进而引发WBT（Writeback Threads）与block\-core相互阻塞出现IO hang问题。[解决方案](https://www.volcengine.com/docs/6396/1131783#aKrXCWiM)。 :::tip 您可以使用VNC[登录目标实例](https://www.volcengine.com/docs/6396/67747)并执行`dmesg -T`命令，若回显包含下图红框标识内容，表示您实例的IO hang问题是由WBT与block\-core相互阻塞引起。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_46791d0f98990990186ac742544111e9.png =425x) ::: ## 解决方案 ### 操作系统内核版本较老平台为您提供了blk\-none工具，该工具会根据实例磁盘类型，将磁盘调度算法置为`none`或者`noop`避免该问题出现。 1. [登录目标实例](https://www.volcengine.com/docs/6396/81031)。 2. **（可选）** 手动调整磁盘调度算法，临时解决问题。 :::tip * 若由于业务限制暂不能重启实例时，您可以根据本步骤指引临时解决问题，但重启实例后配置将失效。 * 若可以重启实例，您可跳过本步骤执行步骤3，通过blk\-none工具，持久化解决问题。 ::: 1. 执行如下命令，查看磁盘信息。 ```Bash lsblk ``` 回显示例： ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_8950aaf3526c718465c989910cdf5b63.png =472x) 2. 手动为每个磁盘配置调度算法。 > 请将命令中``替换为上一步中查询获取的实际磁盘名，例如：vda。 ```Bash echo "none" > /sys/block//queue/scheduler ``` 3. 安装blk\-none工具，持久化解决问题。 1. 执行如下命令，通过安装blk\-none工具。 * 通过火山引擎内网安装 * **CentOS 7.x** ```Bash wget http://mirrors.ivolces.com/extra-tools/centos/7/rpms/blk-none-v1.0.1-1.ve1.x86_64.rpm yum install ./blk-none-v1.0.1-1.ve1.x86_64.rpm ``` * **Ubuntu 16.04/Ubuntu 18.04/Debian 9** ```Bash wget http://mirrors.ivolces.com/extra-tools/ubuntu/pool/main/b/blk-none/blk-none_1.0.1_amd64.deb apt install ./blk-none_1.0.1_amd64.deb ``` * 通过公网安装 * **CentOS 7.x** ```Bash wget https://blk-none.tos-cn-beijing.volces.com/blk-none-v1.0.1-1.ve1.x86_64.rpm yum install ./blk-none-v1.0.1-1.ve1.x86_64.rpm ``` * **Ubuntu 16.04/Ubuntu 18.04/Debian 9** ```Bash wget https://blk-none.tos-cn-beijing.volces.com/blk-none_1.0.1_amd64.deb apt install ./blk-none_1.0.1_amd64.deb ``` 2. [重启实例](https://www.volcengine.com/docs/6396/67753)，工具将在实例启动后自行生效并完成调整配置。 > 工具生效后，您挂载新的数据盘时无需再次重启实例，工具将自动调整新数据盘配置。 ### WBT与block\-core相互阻塞平台为您提供了bytedance\-iohung\-tools工具，该工具会检测当前操作系统是否存在IO hang问题；若存在，则通过更改`wbt_lat_usec`参数配置尝试规避WBT引发的IO hang问题。 :::tip bytedance\-iohung\-tools工具暂仅支持在如下操作系统中使用： ::: |操作系统 |发行版本 |内核版本 | |---|---|---| |veLinux |* veLinux 1.0 64 位|4.10.x ≤ 内核版本 ≤ 6.8.x |\ | |* veLinux 1.0 CentOS兼容版 64位 | | |CentOS |* CentOS 8.3 64 位|^^|\ | |* CentOS Stream 8 64 位 | | |Ubuntu |* Ubuntu 16.04 64 位|^^|\ | |* Ubuntu18.04 64 位| |\ | |* Ubuntu 20.04 64 位| |\ | |* Ubuntu 22.04 64 位| |\ | |* Ubuntu 24.04 64 位 | | |Debian |* Debian 10 64 位|^^|\ | |* Debian 11 64 位 | | 1. [登录目标实例](https://www.volcengine.com/docs/6396/81031)。 2. 执行如下命令，配置extra\-tools软件源。 ```mixin-react return ( /etc/apt/sources.list.d/extra-tools.list deb https://mirrors.ivolces.com/extra-tools/velinux orion main EOF \`\`\` * **veLinux 1.0 CentOS 兼容版** \`\`\`Bash cat << EOF > /etc/yum.repos.d/extra-tools.repo [extra-tools] name=extra-tools baseurl=https://mirrors.ivolces.com/extra-tools/velinux-centos/1/rpm gpgcheck=1 gpgkey=https://mirrors.ivolces.com/extra-tools/velinux-centos/GPG-KEY-system EOF \`\`\` `}> /etc/yum.repos.d/extra-tools.repo [extra-tools] name=extra-tools baseurl=https://mirrors.ivolces.com/extra-tools/centos/8/rpms gpgcheck=1 gpgkey=https://mirrors.ivolces.com/extra-tools/centos/GPG-KEY-system EOF \`\`\` `}> /etc/apt/sources.list.d/extra-tools.list deb https://mirrors.ivolces.com/extra-tools/ubuntu xenial main EOF \`\`\` * **Ubuntu 18.04** \`\`\`Bash wget -O - https://mirrors.ivolces.com/extra-tools/ubuntu/GPG-KEY-system | apt-key add - cat << EOF > /etc/apt/sources.list.d/extra-tools.list deb https://mirrors.ivolces.com/extra-tools/ubuntu bionic main EOF \`\`\` * **Ubuntu 20.04** \`\`\`Bash wget -O - https://mirrors.ivolces.com/extra-tools/ubuntu/GPG-KEY-system | apt-key add - cat << EOF > /etc/apt/sources.list.d/extra-tools.list deb https://mirrors.ivolces.com/extra-tools/ubuntu focal main EOF \`\`\` * **Ubuntu** ** 22.04** \`\`\`Bash wget -qO- https://mirrors.ivolces.com/extra-tools/ubuntu/GPG-KEY-system | sudo gpg --dearmor -o /etc/apt/keyrings/extra-tools.gpg echo "deb [signed-by=/etc/apt/keyrings/extra-tools.gpg] https://mirrors.ivolces.com/extra-tools/ubuntu jammy main" | sudo tee /etc/apt/sources.list.d/extra-tools.list \`\`\` * **Ubuntu 24.04** \`\`\`Bash wget -qO- https://mirrors.ivolces.com/extra-tools/ubuntu/GPG-KEY-system | sudo gpg --dearmor -o /etc/apt/keyrings/extra-tools.gpg echo "deb [signed-by=/etc/apt/keyrings/extra-tools.gpg] https://mirrors.ivolces.com/extra-tools/ubuntu noble main" | sudo tee /etc/apt/sources.list.d/extra-tools.list \`\`\` `}> /etc/apt/sources.list.d/extra-tools.list && apt-get update deb https://mirrors.ivolces.com/extra-tools/debian buster main EOF \`\`\` * **Debian 11** \`\`\`Bash wget -O - https://mirrors.ivolces.com/extra-tools/debian/GPG-KEY-system | apt-key add - cat << EOF > /etc/apt/sources.list.d/extra-tools.list && apt-get update deb https://mirrors.ivolces.com/extra-tools/debian bullseye main EOF \`\`\` `}>); ``` 3. 执行如下命令，更新软件源。 * **veLinux/Ubuntu/Debian** ```Bash apt-get update ``` * **veLinux CentOS 兼容版/CentOS/CentOS Stream** ```Bash yum makecache ``` 4. 执行如下命令，安装bytedance\-iohung\-tools工具。 * **veLinux/Ubuntu/Debian** ```Bash apt-get install -y bytedance-os-assistants ``` * **veLinux CentOS 兼容版/CentOS/CentOS Stream** ```Bash yum install -y bytedance-os-assistants ``` 5. 执行如下命令，确认工具运行情况。 ```Bash systemctl status bytedance-iohung-tools.service ``` 回显如下时，表示工具已安装并正常运行。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_ece33c7685bd546eae7e42231a17111e.png =716x) 6. **（可选）** 您还可以按需执行如下命令，删除已安装的bytedance\-iohung\-tools工具。 * **veLinux/Ubutun** ```Bash apt-get remove -y bytedance-os-assistants ``` * **veLinux CentOS 兼容版/CentOS/CentOS Stream** ```Bash yum remove -y bytedance-os-assistants ```

云服务器