ADLS Gen2容器文件元数据提取代码运行停滞无输出的问题求助

环境信息 #

• Azure SDK 版本：5.0.0
• Databricks 集群版本：12.2 LTS
• Python 版本：3.x

问题描述 #

我现在需要提取ADLS Gen2中所有容器内文件的元数据，但代码已经运行了6小时却没有返回数据，也看不到新的元数据提取打印日志。目前集群内存占用50%，CPU仅用10%，程序还在持续运行但完全没有进展反馈。

以下是我使用的代码：

def list_container_metadata(self, skiped_containers, batch_size=1000000):
    containers = self.blob_service_client.list_containers(include_metadata=True)
    for container in containers:
        # skip the processed container
        if container['name'] in skiped_containers:
            print(f"Container  {container['name']}  Already Processed!")
            continue

        print("\nCONTAINER: ", container['name'])
        self.container_client = self.blob_service_client.get_container_client(container['name'])
        blob_list = self.list_blobs()

        container_data = []
        for blob in blob_list:
            container_data.append((
                self.storage_name,
                container['name'],
                blob.name,
                blob.last_modified,
                blob.size
            ))

            if len(container_data) % 100000 == 0:
                print("BATCH SIZE:", len(container_data))

            if len(container_data) % batch_size == 0:
                yield container_data
                container_data = []

        # Yield any remaining data
        if container_data:
            yield container_data
        else:
            yield [(self.storage_name, container['name'], "", "", -1)]

可能的问题分析与优化建议 #

1. list_blobs() 方法的潜在瓶颈

你代码里调用的self.list_blobs()没有给出具体实现，但如果是默认的container_client.list_blobs()且没设置分页参数，ADLS Gen2在存储大量文件时，这个方法会惰性加载所有blob，可能在后台默默遍历但没有进度反馈，导致你看不到打印。

建议给list_blobs()加上分页和进度打印：

def list_blobs(self):
    # 显式设置分页大小，避免一次性加载过多数据
    blob_iter = self.container_client.list_blobs(results_per_page=1000)
    page_count = 0
    for blob_page in blob_iter.by_page():
        page_count +=1
        print(f"Processing blob page {page_count} for container {self.container_client.container_name}")
        for blob in blob_page:
            yield blob

2. 缺乏细粒度的进度反馈

当前代码只有在每10万条blob时才打印BATCH SIZE，如果某个容器里的blob数量不足10万，或者卡在某个blob的元数据获取上，你完全看不到中间进度。建议在遍历每个blob时（或者每1000条）就打印简单进度，比如：

blob_counter = 0
for blob in blob_list:
    blob_counter +=1
    container_data.append((
        self.storage_name,
        container['name'],
        blob.name,
        blob.last_modified,
        blob.size
    ))

    # 每1000条blob打印一次进度，方便追踪
    if blob_counter % 1000 == 0:
        print(f"Processed {blob_counter} blobs in container {container['name']}")
    
    if len(container_data) % 100000 == 0:
        print("BATCH SIZE:", len(container_data))
    
    # ... 原有批量yield逻辑

3. 低CPU占用的核心原因

CPU仅用10%说明代码大部分时间都在等待网络IO（从ADLS Gen2拉取元数据），而非本地计算。可以尝试这些优化：

• 开启并发请求：用ThreadPoolExecutor并行获取blob元数据，注意控制并发数避免触发Azure限流
• 增大results_per_page：一次性拉取更多页的blob元数据，减少网络请求次数
• 添加异常捕获：如果某个容器存在权限异常，SDK可能默默重试不报错，建议加捕获：

try:
    blob_list = self.list_blobs()
except Exception as e:
    print(f"Failed to list blobs in container {container['name']}: {str(e)}")
    continue

4. Databricks集群的适配问题

在Databricks上运行还要注意：

• 节点类型匹配：如果是CPU密集型节点但任务是IO密集型，会浪费资源，建议用存储优化型节点
• 日志输出延迟：Databricks的print输出可能有延迟，建议把进度日志写入DBFS或Databricks日志系统
• 检查任务状态：在Spark UI里查看执行栈，确定是卡在容器遍历还是blob遍历

5. 批量大小的合理性

当前batch_size=1000000（100万条）可能过大，虽然用了生成器，但大容器下会缓存大量数据，影响遍历效率。建议根据集群内存调整，比如降到20万或50万。

临时调试方案 #

如果程序还在运行，你可以先这样定位卡在哪一步：

1. 查看Databricks的Spark UI，看当前任务的执行栈，确定是容器遍历还是blob遍历卡住
2. 在关键步骤加更详细日志，比如容器遍历后打印Found container: {container['name']}，blob列表加载后打印Total blobs to process: {len(list(blob_list))}（注意这个会一次性加载所有blob，仅适合调试）
3. 先测试单个小容器，验证代码是否能正常输出元数据，排除大容器的影响

备注：内容来源于stack exchange，提问作者AyoubH