如何优化Azure存储表全量实体查询的读取性能？

针对你全量读取400万+实体慢的问题，以下是几个实用的优化方向，附具体代码示例：

1. 并行查询不同分区（最有效） #

Azure表存储的PartitionKey是天然的并行单元，你可以先获取所有唯一的PartitionKey，再用多线程并行查询每个分区的数据，避免单线程串行请求的瓶颈。

代码示例： #

from pandas import DataFrame
from azure.cosmosdb.table.tableservice import TableService
from concurrent.futures import ThreadPoolExecutor
import pandas as pd

def load_sparse_data(self) -> DataFrame:
    # 获取所有唯一的PartitionKey
    partition_keys = set()
    next_token = None
    while True:
        entities = self.table_service.query_entities(
            self.ats.SPARSE_TABLE,
            select='PartitionKey',
            next_token=next_token
        )
        for entity in entities:
            partition_keys.add(entity['PartitionKey'])
        next_token = entities.x_ms_continuation_token
        if not next_token:
            break

    # 并行查询每个分区的数据
    def query_partition(pk):
        entities = self.table_service.query_entities(
            self.ats.SPARSE_TABLE,
            filter=f"PartitionKey eq '{pk}'"
        )
        return pd.DataFrame(list(entities))

    with ThreadPoolExecutor(max_workers=10) as executor:
        dfs = list(executor.map(query_partition, partition_keys))

    # 合并所有分区数据
    sparse_df = pd.concat(dfs, ignore_index=True)
    sparse_df.drop(['PartitionKey', 'RowKey', 'Timestamp', 'etag'], inplace=True, axis=1)
    return sparse_df

2. 调整查询页面大小，减少请求次数 #

默认情况下，query_entities每次返回的结果页大小较小（通常1000条），通过设置max_results参数增大页大小（最大支持10000条），能大幅减少HTTP请求次数，提升整体速度。

代码示例： #

from pandas import DataFrame
from azure.cosmosdb.table.tableservice import TableService
import pandas as pd

def load_sparse_data(self) -> DataFrame:
    sparse_entities = []
    next_token = None
    page_size = 10000
    while True:
        batch = self.table_service.query_entities(
            self.ats.SPARSE_TABLE,
            max_results=page_size,
            next_token=next_token
        )
        sparse_entities.extend(list(batch))
        next_token = batch.x_ms_continuation_token
        if not next_token:
            break
    sparse_df = pd.DataFrame(sparse_entities)
    sparse_df.drop(['PartitionKey', 'RowKey', 'Timestamp', 'etag'], inplace=True, axis=1)
    return sparse_df

3. 先导出到Blob存储再读取 #

如果数据不是实时更新的，可先将表数据导出到Blob存储的Parquet或CSV文件（Parquet格式比CSV读写效率更高），再用Pandas直接读取Blob中的文件，速度会接近你本地读CSV的效率。

代码示例（读取Blob中的Parquet文件）： #

import pandas as pd
from azure.storage.blob import BlobServiceClient

def load_from_blob(self) -> DataFrame:
    blob_service_client = BlobServiceClient.from_connection_string(self.connection_string)
    blob_client = blob_service_client.get_blob_client(container="your-container", blob="table-data.parquet")
    # 直接读取Parquet到DataFrame
    with blob_client.open_read() as f:
        df = pd.read_parquet(f)
    return df

4. 升级到更高效的SDK #

你当前使用的azure.cosmosdb.table是旧版SDK，微软现在推荐使用azure-data-tables或azure-storage-table新版SDK，这些SDK在性能和并发支持上有明显优化。

代码示例（使用azure-data-tables）： #

from pandas import DataFrame
from azure.data.tables import TableServiceClient
import pandas as pd

def load_sparse_data(self) -> DataFrame:
    table_service_client = TableServiceClient.from_connection_string(self.connection_string)
    table_client = table_service_client.get_table_client(table_name=self.ats.SPARSE_TABLE)
    
    sparse_entities = []
    # 新版SDK的list_entities支持分页，性能更优
    for entity in table_client.list_entities(results_per_page=10000):
        sparse_entities.append(entity)
    
    sparse_df = pd.DataFrame(sparse_entities)
    sparse_df.drop(['PartitionKey', 'RowKey', 'Timestamp', 'etag'], inplace=True, axis=1)
    return sparse_df

内容的提问来源于stack exchange，提问作者Jiren