如何在LXD容器中可靠运行Android模拟器及故障排查

摘要 #

在LXD容器中运行Android Studio内置的Android模拟器，初始目标为实现开发环境可复现、安全隔离与环境分离。当前观测到的异常包括：

• 模拟器可正常启动，但会规律性出现无响应卡死
• 模拟器卡死状态下，即使执行带--force参数的lxc stop $VMNAME命令，也无法正常停止对应LXD容器
• 容器内的systemd-shutdown进程即使传递-9终止信号也无法被终止，最终仅能通过强制重启主机解决
• 故障状态下主机自身也无法完成正常关机流程，需长按电源键强制断电
• 经验证，不启动Android模拟器时，LXD容器内的Android Studio可全程正常运行

当前主机与容器的操作系统均为Ubuntu 20.04，主机硬件为Dell XPS 13 9350。根据Android开发者官方文档《Android模拟器硬件加速配置》要求，需要安装qemu-kvm libvirt-bin ubuntu-vm-builder bridge-utils ia32-libs-multiarch依赖包，但多数软件包在Ubuntu 20.04的软件源中已不存在。

核心问询：如何针对上述故障开展系统性排查？

已尝试的配置操作 #

以下为从零搭建LXD容器环境的全流程步骤：

• 基础容器初始化：

VMNAME=flutter3
lxc launch ubuntu:20.04 $VMNAME
lxc exec $VMNAME -- apt update && lxc exec $VMNAME -- apt upgrade -y

• 编写lxc_x11.profile配置文件，内容如下：

config:
  environment.DISPLAY: :0
  environment.PULSE_SERVER: unix:/home/ubuntu/pulse-native
  user.user-data: |
    #cloud-config
    runcmd:
      - 'sed -i "s/; enable-shm = yes/enable-shm = no/g" /etc/pulse/client.conf'
    packages:
      - x11-apps
      - mesa-utils
      - pulseaudio
description: GUI LXD profile
devices:
  PASocket1:
    bind: container
    connect: unix:/run/user/1000/pulse/native
    listen: unix:/home/ubuntu/pulse-native
    security.gid: "1000"
    security.uid: "1000"
    uid: "1000"
    gid: "1000"
    mode: "0777"
    type: proxy
  X0:
    bind: container
    connect: unix:@/tmp/.X11-unix/X0
    listen: unix:@/tmp/.X11-unix/X0
    security.gid: "1000"
    security.uid: "1000"
    type: proxy
  mygpu:
    type: gpu
name: x11
used_by: []

• 为容器添加X11图形界面支持：

lxc profile create x11
cat lxc_x11.profile |lxc profile edit x11
lxc profile assign $VMNAME default,x11
lxc exec $VMNAME -- apt install -y x11-apps mesa-utils libxi6 pulseaudio pulseaudio-utils
lxc exec $VMNAME -- bash -c 'sed -i "s/; enable-shm = yes/enable-shm = no/g" /etc/pulse/client.conf'
lxc restart $VMNAME
lxc exec $VMNAME -- glxinfo -B
# 测试OpenGL加速：lxc exec $VMNAME -- sudo --user ubuntu glxgears

• 安装Flutter开发环境：

lxc exec $VMNAME -- sudo --u ubuntu -i
sudo snap install flutter --classic
sudo snap alias flutter.dart dart
sudo snap install android-studio --classic
android-studio  # 运行首次安装向导，接受所有默认配置后退出
flutter config --android-studio-dir /snap/android-studio/current/android-studio
flutter doctor --android-licenses
flutter channel dev
flutter upgrade
flutter doctor

• 在LXC容器中启用KVM嵌套虚拟化支持，安装安卓虚拟设备运行所需依赖：

cat /proc/cpuinfo |grep -c vmx  # 返回值大于0则CPU支持虚拟化
cat /sys/module/kvm_intel/parameters/nested  # 返回值为Y则已开启嵌套虚拟化
virt-host-validate  # 除IOMMU项外其余校验项应全部通过
lxc stop $VMNAME
lxc config device add $VMNAME kvm unix-char path=/dev/kvm
lxc start $VMNAME
lxc exec $VMNAME -- usermod -G kvm -a ubuntu
lxc exec $VMNAME -- ls -al /dev/kvm
lxc exec $VMNAME -- apt install -y libnss3 libxcomposite1

• 安装KVM相关组件：

lxc exec $VMNAME -- apt install -y qemu-kvm libvirt-clients libvirt-daemon-system bridge-utils virt-manager
lxc restart $VMNAME

排查逻辑框架 #

故障核心特征是SIGKILL信号无法终止进程，属于典型的内核态不可中断等待（D状态） 类死锁，排查顺序从底层硬件→虚拟化配置→设备直通→应用层依赖逐层递进，避免无目标操作。

分步骤排查指引 #

1. 基础虚拟化配置有效性校验 #

• 首先隔离LXD嵌套层的影响：在主机环境直接运行相同配置的Android模拟器，连续运行2小时以上。若主机直跑也出现同类卡死，说明故障与LXD配置无关，需优先排查主机KVM模块、Android模拟器镜像的兼容性问题；若主机直跑无异常，可锁定故障范围在LXD嵌套虚拟化的配置环节。
• 校验KVM设备的资源限制：执行lxc config show flutter3查看容器是否存在默认的CPU、内存配额限制。临时将容器资源调整为无限制（分配4核以上CPU、8G以上内存），重新启动模拟器观察卡死是否复现，排除内存超限触发的OOM死锁。
• 核对嵌套虚拟化参数：确认主机端kvm_intel模块的嵌套参数为持久化配置，避免主机重启后嵌套功能自动关闭导致KVM设备运行异常。

2. 直通设备死锁排查 #

• 定位D状态进程：当模拟器卡死、容器无法停止时，在主机端执行ps aux | grep qemu找到模拟器对应的QEMU进程，查看进程状态列是否为D。这类状态的进程因等待内核I/O操作无法被任何信号终止，是容器和主机卡死的直接诱因。
• GPU直通兼容性测试：当前配置将主机GPU直接透传给容器，Android模拟器默认使用GPU做OpenGL加速。Dell XPS 13 9350搭载的Intel HD 520核显，在Ubuntu 20.04开源驱动下，若容器内GPU内存映射权限未做隔离，极易触发驱动死锁。测试时临时移除容器的GPU直通配置，强制模拟器使用软件OpenGL渲染，连续运行观察故障是否复现。
• 文件系统异常测试：LXD默认的9p共享文件系统在高并发读写场景下易触发I/O死锁，而Android模拟器的AVD镜像目录默认存储在容器的9p挂载路径下。测试时将AVD镜像目录迁移到容器的本地ext4卷（非9p挂载）路径，重新配置模拟器使用该路径启动。

3. 依赖适配问题排查 #

• 解决Ubuntu 20.04下的软件包缺失问题：官方文档中提及的libvirt-bin在20.04版本已拆分为libvirt-daemon、libvirt-clients，ubuntu-vm-builder已停止维护，ia32-libs-multiarch已被lib32z1 lib32ncurses6 lib32stdc++6替代。安装上述替代包补齐32位运行库依赖，排除版本不匹配触发的异常。
• 规避组件冲突：当前配置在容器内同时安装了libvirt组件和Android模拟器，libvirt会默认接管主机KVM设备，与容器内直接调用/dev/kvm的Android模拟器产生设备权限冲突，触发资源抢占死锁。测试时临时卸载容器内的libvirt、virt-manager组件，仅保留运行模拟器必需的KVM访问权限。
• 模拟器配置适配：临时关闭AVD的「快照快速启动」特性，将模拟器系统镜像从最新的Android开发版切换到Android 11稳定版，排除模拟器自身内核的兼容问题。

4. 死锁根源定位 #

故障复现时不要强制重启主机，通过内核日志定位死锁位置：

• 在主机控制台执行echo t > /proc/sysrq-trigger，将所有内核任务的调用栈导出到/var/log/kern.log
• 查看日志中D状态QEMU进程的调用栈，确认死锁发生在KVM模块、GPU驱动还是9p文件系统层
• 针对定位到的死锁模块做版本适配：若为GPU驱动死锁，将Mesa驱动升级到20.3以上的稳定版本；若为KVM模块死锁，将主机内核升级到5.15以上的LTS版本。

内容的提问来源于stack exchange，提问作者bitinerant