如何将Python返回的JSON字符串快速转为ECL数据集？

方法1：直接在ECL中解析JSON字符串 #

ECL的JSON模块支持直接解析字符串，完全不需要先将JSON写入文件。你可以把Python获取到的JSON字符串直接传递给ECL，用JSON.Parse函数解析成对应结构的ECL数据集。

示例代码 #

假设Python中获取的JSON字符串如下：

json_str = '''[
    {"id": 1, "name": "Alice", "age": 30},
    {"id": 2, "name": "Bob", "age": 25}
]'''

在ECL中直接解析该字符串：

IMPORT JSON;

// 定义匹配JSON结构的ECL记录类型
Person := RECORD
    INTEGER id;
    STRING name;
    INTEGER age;
END;

// 直接传入JSON字符串解析为数据集
person_ds := JSON.Parse(json_str, Person);

// 输出验证结果
OUTPUT(person_ds);

如果是通过HPCC Systems的Python客户端和ECL集群交互，直接把Python中的json_str传入ECL脚本执行即可，全程无需落地文件。

方法2：Python预处理后生成ECL执行脚本 #

如果需要在Python侧先处理JSON数据，可以先将字符串解析为Python字典/列表，再动态生成对应的ECL记录类型和数据集加载代码，直接提交到ECL集群运行。

示例代码 #

import json
from hpccsystems.thor import ThorConnection

# Python中获取的JSON字符串
json_str = '''[
    {"id": 1, "name": "Alice", "age": 30},
    {"id": 2, "name": "Bob", "age": 25}
]'''

# 解析JSON为Python对象
json_data = json.loads(json_str)

# 动态生成ECL记录类型代码
def generate_ecl_record(json_list):
    if not json_list:
        return ""
    sample = json_list[0]
    fields = []
    for key, value in sample.items():
        if isinstance(value, int):
            ecl_type = "INTEGER"
        elif isinstance(value, str):
            ecl_type = "STRING"
        elif isinstance(value, float):
            ecl_type = "REAL"
        elif isinstance(value, bool):
            ecl_type = "BOOLEAN"
        else:
            ecl_type = "STRING"  # 复杂类型可按需扩展
        fields.append(f"{ecl_type} {key};")
    return f"Person := RECORD\n    {'\n    '.join(fields)}\nEND;"

# 拼接完整ECL脚本
ecl_record_def = generate_ecl_record(json_data)
escaped_json = json_str.replace("'", "\\'")  # 转义单引号避免语法错误
ecl_script = f'''
IMPORT JSON;
{ecl_record_def}
person_ds := JSON.Parse('{escaped_json}', Person);
OUTPUT(person_ds);
'''

# 提交到HPCC集群执行（需提前配置连接信息）
conn = ThorConnection(host="your_hpcc_host", port=8010)
execution_result = conn.submit_ecl(ecl_script)
print(execution_result)

核心注意事项 #

• 跳过文件落地：ECL的JSON.Parse原生支持字符串输入，这是最快捷的方式，无需额外IO操作。
• 类型匹配：确保ECL记录类型的字段类型和JSON中的数据类型严格对应，避免解析失败。
• 交互场景：通过HPCC Python客户端可实现Python与ECL集群的无缝数据传递，全程无中间文件。

内容的提问来源于stack exchange，提问作者George Triarhos