Python AWS QLDB Driver实际查询耗时远超内部统计值问题咨询

问题背景 #

使用Python AWS QLDB Driver查询账本时，发现实际总耗时约为QLDB内部统计的ProcessingTimeMilliseconds的两倍，相关代码与执行结果如下：

驱动配置 #

qldb_driver = QldbDriver(
    ledger_name, retry_config=retry_config, region_name=region_name)

def get_all_test_statement(table_name:str):
    return f"SELECT * FROM {table_name}"

执行器函数 #

def test_get_all(transaction_executor, statement):
    docs = []
    processing_time_milliseconds = 0

    start = datetime.now(timezone.utc)
    cursor = transaction_executor.execute_statement(statement)

    for doc in cursor:
        docs.append(doc)
        timing_information = cursor.get_timing_information()
        processing_time_milliseconds += timing_information.get('ProcessingTimeMilliseconds')

    end = datetime.now(timezone.utc)

    print("qldb timing", processing_time_milliseconds)
    print("actual timing", (end - start).total_seconds())

    return docs

执行代码 #

s = get_all_test_statement("test_table")

docs = qldb_driver.execute_lambda(
    lambda executor: test_get_all(executor, s)
)

执行结果 #

qldb timing 3.42126
actual timing 7.341538

额外开销的核心原因 #

QLDB的ProcessingTimeMilliseconds仅统计服务端内部处理查询的时间，实际耗时包含以下未被统计的开销：

1. 网络传输延迟

   • 数据从QLDB服务端到客户端的往返传输时间，包括TCP连接维护、数据包序列化/反序列化、跨区域网络跳转（如果客户端和账本不在同一区域）。

2. 客户端处理开销

   • 循环遍历cursor并将文档追加到列表的内存操作，数据量较大时列表扩容和对象拷贝会占用额外时间。
   • 循环内频繁调用cursor.get_timing_information()，该方法每次调用都会解析服务端返回的元数据，产生重复计算开销。

3. 事务管理开销

   • execute_lambda会自动处理事务的开启、提交/回滚逻辑，包括事务上下文创建、状态同步等流程，这些步骤的耗时未被QLDB内部统计覆盖。

4. 重试机制的隐性开销

   • 即使未触发重试，驱动的retry_config会预先执行重试策略检查、状态记录等逻辑，带来微小但累积的开销。

优化措施 #

1. 减少客户端处理开销 #

• 拆分计时逻辑：区分查询执行和客户端遍历的耗时，精准定位瓶颈：

  def test_get_all(transaction_executor, statement):
      docs = []
      processing_time_milliseconds = 0
  
      # 仅统计execute_statement的耗时
      start_execute = datetime.now(timezone.utc)
      cursor = transaction_executor.execute_statement(statement)
      end_execute = datetime.now(timezone.utc)
      print("execute_statement耗时", (end_execute - start_execute).total_seconds())
  
      # 单独统计遍历耗时，循环外一次性获取计时信息
      start_iter = datetime.now(timezone.utc)
      timing_information = cursor.get_timing_information()
      processing_time_milliseconds = timing_information.get('ProcessingTimeMilliseconds')
      for doc in cursor:
          docs.append(doc)
      end_iter = datetime.now(timezone.utc)
      print("遍历cursor耗时", (end_iter - start_iter).total_seconds())
  
      print("qldb timing", processing_time_milliseconds)
      print("total actual timing", (end_iter - start_execute).total_seconds())
      return docs
  

• 避免重复调用元数据接口：timing_information是针对整个查询的统计值，无需在循环内重复获取。

2. 优化网络传输 #

• 同区域部署：确保客户端与QLDB账本在同一AWS区域，消除跨区域网络延迟。
• 投影查询：避免使用SELECT *，只查询业务需要的字段，减少传输的数据量：

  def get_all_test_statement(table_name:str):
      return f"SELECT id, required_field1, required_field2 FROM {table_name}"
  

3. 调整驱动与事务配置 #

• 简化重试策略：如果业务场景不需要复杂重试，调整retry_config减少重试检查的开销，例如降低重试次数或缩短间隔。
• 批量事务优化：如果是批量查询场景，合并多个查询到单个事务中，减少事务开启/提交的次数。

4. 客户端内存优化 #

• 使用生成器替代列表存储结果，避免一次性加载所有数据到内存，减少内存操作开销：

  def test_get_all(transaction_executor, statement):
      cursor = transaction_executor.execute_statement(statement)
      yield from cursor  # 直接返回生成器，无需存储到列表
  

内容的提问来源于stack exchange，提问作者rustruss