Google Cloud Composer 2.1.8中pandas.read_html()报html5lib缺失错误及Dataproc安装疑问

问题原因 #

pandas.read_html() 解析HTML表格时依赖 html5lib 库，Dataproc默认集群环境未预装该库，且作业调度时可能因节点环境不一致导致偶尔出现依赖缺失，从而抛出ImportError。

解决方法 #

1. 用Dataproc初始化动作批量安装（推荐） #

初始化动作会在集群启动时给所有节点统一安装依赖，从根源上避免环境不一致问题：

• 编写shell脚本install_html5lib.sh：

  #!/bin/bash
  pip install html5lib
  

• 将脚本上传到Google Cloud Storage（GCS），比如gs://your-bucket/scripts/install_html5lib.sh
• 在Airflow的集群创建或作业提交Operator中，指定初始化动作路径：

  # 示例：创建集群时绑定初始化动作
  create_cluster = DataprocClusterCreateOperator(
      task_id='create_dataproc_cluster',
      cluster_name='your-cluster-name',
      init_actions_uris=['gs://your-bucket/scripts/install_html5lib.sh'],
      # 其他集群配置参数...
  )
  

2. 代码内动态安装（应急方案） #

如果无法修改集群初始化配置，可在代码开头加入自动安装逻辑（需注意节点权限和网络稳定性）：

import subprocess
import sys

# 检测并自动安装html5lib
try:
    import html5lib
except ImportError:
    subprocess.check_call([sys.executable, "-m", "pip", "install", "html5lib"])
    import html5lib

# 原有业务代码
bq_client = bigquery.Client()
df = pd.DataFrame()

for page in range(1,100):
    url = "my url"
    html = requests.get(url).content
    df_list = pd.read_html(html)
    df = pd.concat([df, df_list[-1]], ignore_index = True)

3. 自定义Dataproc镜像（长期方案） #

若作业频繁依赖该库，可制作包含html5lib的自定义镜像，后续创建集群直接复用：

• 基于官方Dataproc镜像，在Dockerfile中添加RUN pip install html5lib
• 构建镜像并推送到Google Container Registry（GCR）
• 在Airflow创建集群时，通过image_uri参数指定自定义镜像地址

补充说明 #

偶尔失败的核心原因是集群节点环境不统一，优先选择初始化动作或自定义镜像方案，确保所有节点都预装依赖，彻底避免随机报错。

内容的提问来源于stack exchange，提问作者Sara