如何使用SPARQL查询ONS邮政编码数据并导入SQL Server？

一、编写SPARQL查询（数据+元数据） #

1. 获取邮政编码核心数据 #

ONS的邮政编码数据存储在指定图中，查询时必须用GRAPH子句锁定目标图，否则会遍历全库导致无结果或超时。以下是基础查询，可按需扩展字段：

PREFIX ons: <http://statistics.data.gov.uk/def/postcode/>
PREFIX geo: <http://www.w3.org/2003/01/geo/wgs84_pos#>

SELECT ?postcode ?district ?ward ?latitude ?longitude
WHERE {
  GRAPH <http://statistics.data.gov.uk/graph/postcodes> {
    ?postcode a ons:Postcode;
              ons:district ?district;
              ons:ward ?ward;
              geo:lat ?latitude;
              geo:long ?longitude.
    # 可选：添加过滤条件缩小范围，比如筛选特定行政区
    # FILTER(CONTAINS(?district, "London"))
  }
}
LIMIT 100 # 先小批量测试验证结果

说明：PREFIX用于简化URI前缀，SELECT指定要提取的字段，GRAPH确保只查询目标数据图，避免无关数据干扰。

2. 获取元数据（字段定义、数据集信息） #

元数据图存储了数据集描述、字段含义等信息，查询示例：

PREFIX dcat: <http://www.w3.org/ns/dcat#>
PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema#>

SELECT ?datasetTitle ?description ?fieldName ?fieldDesc
WHERE {
  GRAPH <http://statistics.data.gov.uk/graph/postcodes/metadata> {
    ?dataset dcat:title ?datasetTitle;
             dcat:description ?description;
             dcat:distribution ?dist.
    ?dist dcat:structure ?structure.
    ?structure rdfs:label ?fieldName;
               rdfs:comment ?fieldDesc.
  }
}

二、Azure Data Factory 配置排查与正确步骤 #

之前无输出大概率是未指定GRAPH或查询语法错误，按以下步骤调整：

• 1. 新建SPARQL链接服务：端点填写https://statistics.data.gov.uk/sparql，无需身份验证（ONS的SPARQL服务公开可访问）。
• 2. 新建SPARQL数据集：在查询编辑器中粘贴测试查询，点击「预览数据」确认能获取结果（如果预览失败，先在ONS的SPARQL网页控制台验证查询有效性）。
• 3. 配置复制活动：源选择SPARQL数据集，目标选择SQL Server数据集，手动调整字段类型映射（比如邮政编码设为VARCHAR(8)，经纬度设为FLOAT）。
• 4. 批量拉取优化：数据量较大时，用OFFSET+LIMIT分页，比如查询中添加OFFSET 100 LIMIT 100，结合ADF循环活动实现全量拉取。

三、常见问题排查 #

• 无输出：先在ONS的SPARQL网页控制台测试查询，确认语法正确且有结果，再排查ADF链接服务的网络连通性。
• 超时：缩小单次查询的数据量，用分页；只提取需要的字段，避免查询冗余数据。
• 数据类型不匹配：在ADF字段映射中手动调整，将RDF字符串类型映射到SQL的VARCHAR，数值类型映射到FLOAT或DECIMAL。

内容的提问来源于stack exchange，提问作者user23487178