Apache Drill在GCP Dataproc分布式模式下无法启动drillbit求助

第一步：查看Drillbit日志定位错误 #

• 直接查看Drill的启动日志和运行日志，这是排查启动失败的核心依据：
  • 执行命令查看启动日志：cat /opt/drill/log/drillbit.out
  • 执行命令查看详细运行日志：tail -n 50 /opt/drill/log/drillbit.log
    日志中会明确记录端口占用、配置错误、权限不足等具体失败原因。

第二步：检查端口占用情况 #

Drillbit默认占用8047（UI端口）、31010（数据端口）、31011（控制端口），若这些端口被其他进程占用，会导致启动失败：

• 检查端口占用状态：netstat -tulpn | grep -E '8047|31010|31011'
• 若端口被占用，可选择停止占用进程，或修改/opt/drill/conf/drill-override.conf中的端口配置：

  drill.exec: {
    cluster-id: "drill_cluster",
    zk.connect: "<ZK节点IP集合>",
    http.port: 8048,
    user.port: 31012,
    control.port: 31013
  }
  

第三步：验证ZooKeeper连接配置 #

确保所有节点的drill-override.conf中zk.connect参数指向集群全部ZooKeeper节点（Dataproc集群默认主节点和工作节点均运行ZooKeeper），示例配置：

drill.exec.zk.connect: "master-ip:2181,worker1-ip:2181,worker2-ip:2181"

• 可在每个节点执行zkCli.sh -server <ZK节点IP>:2181测试连接，输入ls /查看ZooKeeper根节点是否存在Drill相关路径。

第四步：检查文件权限 #

Drill运行用户需对/opt/drill目录拥有读写权限，默认Dataproc集群中Drill以drill用户运行：

• 查看目录权限：ls -ld /opt/drill 和 ls -l /opt/drill/log
• 若权限不足，执行命令修正：sudo chown -R drill:drill /opt/drill

第五步：清理残留PID文件后重试 #

PID文件存在但进程未运行时，先删除残留PID文件再重新启动：

• 删除PID文件：rm /opt/drill/drillbit.pid
• 重新启动Drillbit：bin/drillbit.sh start
• 再次检查状态：bin/drillbit.sh status

第六步：验证Java环境兼容性 #

Drill要求Java 8或Java 11版本，检查当前节点Java版本：

• 执行命令：java -version
• 若版本不符，安装对应版本Java，并在/opt/drill/conf/drill-env.sh中配置正确的JAVA_HOME：

  export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64
  

内容的提问来源于stack exchange，提问作者Vigneswaran.s