如何加速xbbg.blp.bdp查询并解决批量返回结果不全问题

一、拆分请求方法（解决返回不全问题） #

BBG的bdp接口对单次请求的标的数量有隐性限制，大批次请求也容易因网络波动丢包，导致返回结果不完整。拆分请求是将大标的列表拆成小批次逐一查询，再合并结果，能有效解决该问题。

实现代码 #

from xbbg import blp
import pandas as pd

def split_tickers(ticker_list, chunk_size):
    """将标的列表拆分为指定大小的子批次"""
    for idx in range(0, len(ticker_list), chunk_size):
        yield ticker_list[idx:idx + chunk_size]

# 替换为你的标的列表和字段列表
deal_list = ["AAPL US Equity", "MSFT US Equity", "AMZN US Equity", ...]
flds_list = ["PX_LAST", "VOLUME", "PE_RATIO"]

# 建议批次大小设为20-50，可根据实际情况调整
chunk_size = 30
all_results = []

# 逐批次查询并收集结果
for ticker_chunk in split_tickers(deal_list, chunk_size):
    chunk_df = blp.bdp(tickers=ticker_chunk, flds=flds_list)
    all_results.append(chunk_df)

# 合并所有批次结果
final_result = pd.concat(all_results, axis=0)

二、并行查询加速（解决逐个查询速度慢问题） #

在拆分请求的基础上，用多进程并行处理各个批次，能大幅提升查询效率。注意不要设置过多进程，避免触发BBG的请求频率限制。

实现代码 #

from xbbg import blp
import pandas as pd
from concurrent.futures import ProcessPoolExecutor

def split_tickers(ticker_list, chunk_size):
    for idx in range(0, len(ticker_list), chunk_size):
        yield ticker_list[idx:idx + chunk_size]

def query_batch(ticker_chunk):
    """单个批次的查询函数，内置重试逻辑"""
    retry_count = 2
    for _ in range(retry_count + 1):
        try:
            result = blp.bdp(tickers=ticker_chunk, flds=flds_list)
            # 检查返回数量是否匹配，避免漏查
            if len(result) == len(ticker_chunk):
                return result
        except Exception as e:
            print(f"批次查询失败，重试中: {str(e)}")
    print(f"批次查询最终失败: {ticker_chunk}")
    return pd.DataFrame()

# 替换为你的标的和字段
deal_list = ["AAPL US Equity", "MSFT US Equity", ...]
flds_list = ["PX_LAST", "VOLUME"]
chunk_size = 30
ticker_chunks = list(split_tickers(deal_list, chunk_size))

# 并行处理，max_workers建议设为4-8，根据机器性能和BBG许可调整
with ProcessPoolExecutor(max_workers=6) as executor:
    batch_results = list(executor.map(query_batch, ticker_chunks))

# 合并结果
final_df = pd.concat(batch_results, axis=0)

注意事项 #

• 批次大小和并行进程数需要配合调整，避免请求过于密集被BBG限流
• 重试逻辑可根据实际情况调整次数，确保关键标的查询成功
• 优先使用多进程而非多线程，BBG API在多线程场景下可能存在线程安全问题

内容的提问来源于stack exchange，提问作者zbai