如何使用CKAN API通过特定字段筛选特定数据集？Package Search API无效

以下是几种可行的解决方案，按推荐优先级排序：

1. 扩展Package Search API（推荐） #

CKAN的搜索功能基于Solr，你可以通过自定义插件扩展搜索逻辑，将自定义字段纳入搜索索引和筛选条件：

• 首先修改Solr的schema.xml，把你的自定义字段添加为可搜索、可过滤的字段（比如定义为string或text类型，设置indexed="true"、stored="true"）。
• 编写CKAN插件，实现IPackageController接口的before_search方法，从请求参数中提取自定义字段的筛选条件，将其转换为Solr可识别的查询语句，加入到搜索参数中。
• 示例代码片段（插件内）：

  def before_search(self, search_params):
      # 从请求中获取自定义字段筛选参数
      custom_filter = search_params.get('extras', {}).get('custom_field')
      if custom_filter:
          # 将筛选条件加入Solr的fq参数
          fq = search_params.get('fq', '')
          if fq:
              fq += ' AND '
          fq += f'custom_field:"{custom_filter}"'
          search_params['fq'] = fq
      return search_params
  

• 重启CKAN和Solr后，调用Package Search API时通过extras参数传入自定义字段筛选条件即可。

2. 自定义API端点 #

如果扩展搜索API太复杂，可以直接写插件新增一个API接口，直接查询CKAN数据库获取符合条件的数据集：

• 编写插件实现IActions接口，定义一个新的action（比如package_search_by_custom_field）。
• 在action函数中，使用SQLAlchemy直接查询CKAN的数据库表（比如package表或存储自定义字段的package_extra表），根据自定义字段的值过滤结果。
• 示例代码片段：

  def package_search_by_custom_field(context, data_dict):
      model = context['model']
      custom_value = data_dict.get('custom_value')
      # 查询package_extra中匹配自定义字段的记录，关联到package表
      query = model.Session.query(model.Package) \
          .join(model.PackageExtra) \
          .filter(model.PackageExtra.key == 'your_custom_field') \
          .filter(model.PackageExtra.value == custom_value)
      packages = [pkg.as_dict() for pkg in query.all()]
      return {'result': packages}
  

• 注册该action后，即可通过/api/3/action/package_search_by_custom_field接口调用筛选。

3. 利用Datastore API（适用于字段关联资源的场景） #

如果你的自定义字段是数据集资源的一部分，且已同步到CKAN Datastore：

• 调用datastore_search接口，通过filters参数筛选包含目标字段值的资源记录。
• 从返回结果中提取package_id字段，再调用package_show接口获取对应的数据集详情。
• 示例请求：

  curl "https://your-ckan-domain/api/3/action/datastore_search?resource_id=RESOURCE_ID&filters={\"your_custom_field\":\"target_value\"}"
  

4. 客户端后过滤（应急方案） #

如果以上方法都无法快速落地，可以先通过Package Search API获取一个较宽泛的数据集结果集，然后在客户端代码中遍历结果，根据自定义字段的值进行二次筛选。

• 注意：该方法仅适用于数据集数量较少的场景，大量数据下会导致性能问题。

5. 配置Facet字段后使用fq参数 #

如果你的自定义字段已经被配置为CKAN的facet字段：

• 直接在Package Search API请求中使用fq参数（Solr过滤查询），格式为fq=your_custom_field:target_value。
• 前提是该字段已被正确加入Solr索引并配置为可分面。

内容的提问来源于stack exchange，提问作者CoderOj