Azure存储容器中250个JSON文件重复数据检测方案咨询

核心思路 #

检测跨文件的重复JSON对象，核心是通过标准化JSON对象 + 哈希值比对实现：

1. 对每个JSON对象做标准化处理（固定键的顺序，避免因键顺序不同导致的误判）
2. 为标准化后的对象生成唯一哈希值（如SHA-256）
3. 统计哈希值的出现次数，次数大于1的即为重复对象，再回溯定位原始对象位置

具体实现方法与工具建议 #

一、本地处理方案（适合有足够本地存储资源的场景） #

1. 自定义Python脚本

直接读取Azure存储中的Blob，逐对象处理并记录哈希：

import json
import hashlib
from azure.storage.blob import BlobServiceClient

def generate_json_hash(json_obj):
    # 标准化JSON：固定键排序后序列化，确保相同内容生成一致哈希
    normalized_json = json.dumps(json_obj, sort_keys=True, ensure_ascii=False).encode('utf-8')
    return hashlib.sha256(normalized_json).hexdigest()

# 初始化Azure Blob客户端
storage_conn_str = "你的存储账户连接字符串"
container_name = "目标容器名"
blob_service_client = BlobServiceClient.from_connection_string(storage_conn_str)
container_client = blob_service_client.get_container_client(container_name)

# 存储哈希与对应对象位置（文件名+索引）
hash_records = {}

# 遍历所有Blob文件
for blob in container_client.list_blobs():
    blob_client = container_client.get_blob_client(blob.name)
    # 流式读取Blob内容并解析JSON列表
    with blob_client.download_blob() as stream:
        json_content = stream.readall().decode('utf-8')
        json_objects = json.loads(json_content)
        
        for idx, obj in enumerate(json_objects):
            obj_hash = generate_json_hash(obj)
            location = f"{blob.name}[{idx}]"
            if obj_hash in hash_records:
                hash_records[obj_hash].append(location)
            else:
                hash_records[obj_hash] = [location]

# 输出重复对象信息
for obj_hash, locations in hash_records.items():
    if len(locations) > 1:
        print(f"重复对象哈希: {obj_hash}")
        print(f"出现位置: {', '.join(locations)}\n")

2. 命令行工具组合（jq + 哈希工具）

先通过Azure CLI批量下载Blob到本地，再用jq标准化JSON，结合哈希工具统计重复：

# 1. 批量下载Azure存储容器中的文件到本地
az storage blob download-batch -d ./local_json_files -s <容器名> --account-name <存储账户名>

# 2. 遍历文件生成标准化JSON的哈希，统计重复
for file in ./local_json_files/*.json; do
  # jq将每个JSON对象标准化（键排序），逐行输出
  jq -c '.[][] | sort_keys' "$file" | while read -r normalized_obj; do
    # 生成SHA256哈希并关联文件名
    echo "$(echo -n "$normalized_obj" | sha256sum | awk '{print $1}') $file"
  done
done | sort | uniq -d -w 64

注：uniq -d -w 64表示仅对比前64位（SHA256哈希长度），输出重复的哈希及对应文件。

二、Azure云端处理方案（适合大数据量，避免本地存储压力） #

1. Azure Databricks（Spark）

利用Spark的分布式计算能力处理60GB数据，效率更高：

from pyspark.sql import SparkSession
from pyspark.sql.functions import sha2, to_json, udf
from pyspark.sql.types import StringType
import json

spark = SparkSession.builder.appName("JSONDuplicateCheck").getOrCreate()

# 读取Azure Blob存储中的JSON文件
df = spark.read.json("wasbs://<容器名>@<存储账户名>.blob.core.windows.net/*.json")

# 定义UDF：标准化JSON对象（键排序）
def normalize_json(obj):
    sorted_obj = json.dumps(obj.asDict(), sort_keys=True)
    return sorted_obj

normalize_udf = udf(normalize_json, StringType())

# 生成标准化JSON的哈希值
df = df.withColumn("normalized_json", normalize_udf(df))
df = df.withColumn("obj_hash", sha2(df["normalized_json"], 256))

# 统计哈希出现次数，筛选重复项
duplicate_hashes = df.groupBy("obj_hash").count().filter("count > 1")

# 关联原始数据，查看重复对象详情
result = df.join(duplicate_hashes, on="obj_hash", how="inner")
result.select("obj_hash", "count", *df.columns).show(truncate=False)

2. Azure Functions + 存储服务

通过函数触发处理每个Blob，将哈希值存入Azure Table Storage，最后查询重复记录：

• 编写Blob触发的Function，每次处理一个JSON文件，逐对象生成哈希并写入Table Storage（分区键用哈希前缀，行键用哈希+位置）
• 处理完成后，查询Table Storage中同一哈希对应的多条记录，即为重复对象

关键注意事项 #

• 哈希冲突：SHA-256冲突概率极低，若需绝对准确，可在发现重复哈希后，二次比对原始JSON对象内容
• 内存优化：处理大文件时，务必采用流式读取，避免一次性加载全部数据到内存
• 成本控制：云端处理需关注计算资源成本（如Databricks集群时长、Functions执行次数）

内容的提问来源于stack exchange，提问作者Pramod Shivaprasad