Wikidata多语言标签SPARQL查询性能优化问题咨询

我需要查询Wikidata实体及其多语言标签，但查询标签时性能极差。我的基础查询（查找3个关联Unicode字符的生命形式）耗时约200ms：

SELECT ?lifeform ?unicode_character WHERE {
  ?lifeform wdt:P31 wd:Q16521;
            wdt:P487 ?unicode_character.
}
LIMIT 3

我希望为结果添加英语（en）、德语（de）、西班牙语（es）、法语（fr）4种语言的标签，仅补充信息，不改变结果数量或范围。预期结果格式如下：

我尝试了两种方案：

1. 多OPTIONAL语句查询，可运行但耗时近7000ms：

SELECT ?lifeform ?unicode_character ?label_en ?label_de ?label_fr ?label_es WHERE {
  ?lifeform wdt:P31 wd:Q16521;
            wdt:P487 ?unicode_character.
  
  OPTIONAL { ?lifeform rdfs:label ?label_en filter (lang(?label_en) = "en"). }
  OPTIONAL { ?lifeform rdfs:label ?label_de filter (lang(?label_de) = "de"). }
  OPTIONAL { ?lifeform rdfs:label ?label_fr filter (lang(?label_fr) = "fr"). }
  OPTIONAL { ?lifeform rdfs:label ?label_es filter (lang(?label_es) = "es"). }
}
LIMIT 3

2. 多变量+FILTER语句查询，无法终止（减少语言数量可运行）：

PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema#>

SELECT ?lifeform ?unicode_character ?label_en ?label_de ?label_fr ?label_es WHERE {
  ?lifeform wdt:P31 wd:Q16521;
            wdt:P487 ?unicode_character.
  ?lifeform rdfs:label ?label_en, ?label_de, ?label_fr, ?label_es.
  FILTER(
    ((LANG(?label_de)) = "de") && 
    ((LANG(?label_en)) = "en") &&
    ((LANG(?label_fr)) = "fr") &&
    ((LANG(?label_es)) = "es"))
}
LIMIT 3

仅为3个实体补充标签就导致性能大幅下降，而查询其他附加信息（如图片、父分类）无此问题。未来我需扩展查询规模（如10个实体、10种语言），因此寻求通用优化方案，而非临时解决办法。

我的问题：

1. 为何添加标签查询后性能骤降？
2. 如何更高效地查询多语言标签？

1. 性能骤降的原因 #

• 标签数据的规模与索引特性：Wikidata中每个实体的rdfs:label数据量极大，单实体可能有几十甚至上百种语言的标签。基础查询仅涉及结构化属性（wdt:P31、wdt:P487），这类属性有专门的索引优化，查询效率极高；而rdfs:label属于非结构化文本属性，索引方式不同，多OPTIONAL查询会为每个语言单独扫描标签数据集，多次IO操作叠加导致耗时剧增。
• 第二种方案的笛卡尔积爆炸：多变量+FILTER的写法会先生成所有标签的笛卡尔积（每个实体的4个标签变量会匹配所有可能的标签组合），再通过FILTER筛选符合语言条件的结果。对于有大量标签的实体，这个笛卡尔积的规模会指数级增长，直接导致查询无法终止。

2. 高效查询多语言标签的通用方案 #

方案一：使用GROUP BY+GROUP_CONCAT配合语言筛选（推荐） #

通过一次匹配所有标签，再按语言分组提取对应标签，避免多次OPTIONAL的重复扫描：

SELECT ?lifeform ?unicode_character
       (GROUP_CONCAT(?en_label; separator="") AS ?label_en)
       (GROUP_CONCAT(?de_label; separator="") AS ?label_de)
       (GROUP_CONCAT(?fr_label; separator="") AS ?label_fr)
       (GROUP_CONCAT(?es_label; separator="") AS ?label_es)
WHERE {
  ?lifeform wdt:P31 wd:Q16521;
            wdt:P487 ?unicode_character.
  # 一次匹配所有标签，避免多次扫描
  ?lifeform rdfs:label ?label.
  # 用BIND为不同语言的标签分配变量
  BIND(IF(LANG(?label) = "en", ?label, "") AS ?en_label)
  BIND(IF(LANG(?label) = "de", ?label, "") AS ?de_label)
  BIND(IF(LANG(?label) = "fr", ?label, "") AS ?label_fr)
  BIND(IF(LANG(?label) = "es", ?label, "") AS ?es_label)
}
GROUP BY ?lifeform ?unicode_character
LIMIT 3

这种写法只扫描一次标签数据集，通过BIND和GROUP_CONCAT聚合出对应语言的标签，性能远优于多OPTIONAL写法，且扩展到更多语言时只需增加对应的BIND和GROUP_CONCAT即可。

方案二：利用Wikidata的标签服务（更适合大规模查询） #

Wikidata提供了专门优化的标签查询服务，通过wikibase:label前缀简化查询，直接调用预构建的标签索引：

PREFIX wikibase: <http://wikiba.se/ontology#>
SELECT ?lifeform ?unicode_character
       ?lifeformLabel ?lifeform_deLabel ?lifeform_frLabel ?lifeform_esLabel
WHERE {
  ?lifeform wdt:P31 wd:Q16521;
            wdt:P487 ?unicode_character.
  # 调用标签服务，指定需要的语言
  SERVICE wikibase:label {
    bd:serviceParam wikibase:language "en,de,fr,es".
  }
}
LIMIT 3

该服务会自动生成对应语言的标签变量（如?lifeform_deLabel对应德语标签），无需手动编写匹配逻辑，性能最优，尤其适合扩展到多种语言和大量实体的场景。

方案三：提前筛选语言减少数据量 #

如果不需要所有标签，可先通过FILTER限定语言范围，缩小后续处理的数据量：

SELECT ?lifeform ?unicode_character ?label_en ?label_de ?label_fr ?label_es
WHERE {
  ?lifeform wdt:P31 wd:Q16521;
            wdt:P487 ?unicode_character.
  # 先筛选出需要的语言标签，再进行OPTIONAL匹配
  ?lifeform rdfs:label ?label.
  FILTER(LANG(?label) IN ("en", "de", "fr", "es"))
  OPTIONAL { ?lifeform rdfs:label ?label_en FILTER(LANG(?label_en) = "en") }
  OPTIONAL { ?lifeform rdfs:label ?label_de FILTER(LANG(?label_de) = "de") }
  OPTIONAL { ?lifeform rdfs:label ?label_fr FILTER(LANG(?label_fr) = "fr") }
  OPTIONAL { ?lifeform rdfs:label ?label_es FILTER(LANG(?label_es) = "es") }
}
GROUP BY ?lifeform ?unicode_character ?label_en ?label_de ?label_fr ?label_es
LIMIT 3

这种写法比原始的多OPTIONAL写法性能有所提升，但效率不如前两种方案。

内容的提问来源于stack exchange，提问作者Kaligule