基于HEALPix-alchemy的锥状搜索查询效率优化问询

问题背景 #

我尝试用HEALPix-alchemy实现目录的锥状搜索，搭建了以下模型：

from sqlalchemy import Column, Integer, String, ForeignKey
from sqlalchemy.orm import relationship, mapped_column
from sqlalchemy.ext.declarative import Base
from healpix_alchemy import Tile, Point

class Field(Base):
    """
    Represents a collection of FieldTiles making up the area of interest.
    """
    id = Column(Integer, primary_key=True, autoincrement=True)
    tiles = relationship(lambda: FieldTile, order_by="FieldTile.id")


class FieldTile(Base):
    """
    A HEALPix tile that is a component of the Field being selected.
    """
    id = Column(ForeignKey(Field.id), primary_key=True)
    hpx = Column(Tile, index=True)
    pk = Column(Integer, primary_key=True, autoincrement=True)


class Source(Base):
    """
    Represents a source and its location.
    """

    id = mapped_column(Integer, primary_key=True, index=True, autoincrement=True)
    name = Column(String, unique=True)
    Heal_Pix_Position = Column(Point, index=True, nullable=False)

流程是：先通过CDSHealpix获取锥范围内的HEALPix单元，用MOCpy构建Multi Order Coverage map，再通过HEALPix-alchemy提取tiles填充到Field表。

当前执行的查询效率极低：

query = db.query(Source).filter(FieldTile.hpx.contains(Source.Heal_Pix_Position)).all()

原因是该查询需要遍历目录中每个源，检查是否包含在某个FieldTile内。需要修改为遍历每个tile，返回其包含的源。

优化方案 #

方案一：数据库层面JOIN关联查询（推荐）

利用数据库JOIN直接关联FieldTile和Source，依托已创建的索引批量过滤，避免全表扫描Source：

# 替换为你的目标Field ID
target_field_id = 1

# 直接获取目标Field覆盖范围内的所有源
query = (
    db.query(Source)
    .join(FieldTile, FieldTile.hpx.contains(Source.Heal_Pix_Position))
    .filter(FieldTile.id == target_field_id)
    .all()
)

如果需要按tile分组，返回每个tile对应的源集合：

from sqlalchemy import func

target_field_id = 1
# 按tile的主键分组，聚合每个tile包含的源ID
tile_source_groups = (
    db.query(FieldTile.pk, func.array_agg(Source.id))
    .join(Source, FieldTile.hpx.contains(Source.Heal_Pix_Position))
    .filter(FieldTile.id == target_field_id)
    .group_by(FieldTile.pk)
    .all()
)

方案二：显式遍历tile查询

若需要在Python层面逐个处理tile，先获取目标Field的所有tile，再逐个查询对应源：

target_field_id = 1
# 先获取目标Field下的所有HEALPix tile
target_tiles = db.query(FieldTile.pk, FieldTile.hpx).filter(FieldTile.id == target_field_id).all()

# 遍历每个tile，查询包含的源
tile_sources = []
for tile_pk, tile_hpx in target_tiles:
    sources_in_tile = db.query(Source).filter(tile_hpx.contains(Source.Heal_Pix_Position)).all()
    tile_sources.append({
        "tile_pk": tile_pk,
        "sources": sources_in_tile
    })

额外优化建议 #

• 确认FieldTile.hpx和Source.Heal_Pix_Position的索引已正确创建：HEALPix-alchemy的Tile和Point类型会自动生成空间索引，可通过数据库工具（如PostgreSQL的\d fieldtile、\d source命令）验证索引存在。
• 优先使用方案一的JOIN查询：数据库层面的关联操作比Python遍历更高效，尤其在tile数量较多时。

内容的提问来源于stack exchange，提问作者jm22b