Python中正确转换含\uxxx、表情、LaTeX的字符串为JSON/dict

一、问题根源 #

这类解析报错通常来自两个点：

• Emoji属于Unicode可打印字符，但部分JSON解析器在严格模式下会误判；
• LaTeX公式里的特殊字符（如\、{}）未正确转义，和JSON的转义规则冲突，导致解析器无法识别。

二、分步解决方案 #

1. 预处理字符串：统一编码+针对性转义 #

先处理JSON冲突字符，同时保留Emoji的正确编码：

import re

def preprocess_string(s):
    # 转义JSON核心特殊字符
    escape_map = {
        '\\': '\\\\',
        '"': '\\"',
        '\b': '\\b',
        '\f': '\\f',
        '\n': '\\n',
        '\r': '\\r',
        '\t': '\\t'
    }
    for char, escaped_char in escape_map.items():
        s = s.replace(char, escaped_char)
    # 保留LaTeX的$标记（作为公式标识，不影响JSON解析）
    return s

2. 用标准库json配合strict=False解析 #

json.loads的strict=False参数会跳过对非ASCII控制字符的严格检查，兼容Emoji的解析：

import json

processed_str = preprocess_string(X)
try:
    result_dict = json.loads(processed_str, strict=False)
    print(result_dict)
except json.JSONDecodeError as e:
    print(f"解码错误：{e}")

3. 第三方库demjson兼容非标准JSON #

如果标准库无法处理过于“不规范”的字符串，用demjson可以更好兼容：

import demjson

# 先安装依赖：pip install demjson
try:
    result_dict = demjson.decode(X)
    print(result_dict)
except demjson.JSONDecodeError as e:
    print(f"解码错误：{e}")

4. LaTeX公式特殊处理（避免转义混乱） #

如果LaTeX的\导致转义冲突，先用占位符替换公式，解析后再恢复：

def replace_latex(s):
    # 匹配$包裹的LaTeX公式
    latex_pattern = re.compile(r'\$(.*?)\$')
    latex_matches = latex_pattern.findall(s)
    # 替换为占位符
    for i, match in enumerate(latex_matches):
        s = s.replace(f'${match}$', f'__LATEX_{i}__')
    return s, latex_matches

def restore_latex(s, latex_matches):
    # 恢复占位符为原LaTeX公式
    for i, match in enumerate(latex_matches):
        s = s.replace(f'__LATEX_{i}__', f'${match}$')
    return s

# 使用示例
X_with_placeholder, latex_matches = replace_latex(X)
processed_str = preprocess_string(X_with_placeholder)
result_dict = json.loads(processed_str, strict=False)

# 遍历字典恢复LaTeX
for key, value in result_dict.items():
    if isinstance(value, str):
        result_dict[key] = restore_latex(value, latex_matches)

三、关键注意事项 #

• 若字符串本身不是合法JSON结构（比如引号缺失、括号不匹配），任何解析方法都会报错，需先修正结构问题；
• 确保代码文件和运行环境均为UTF-8编码，避免Emoji出现乱码。

内容的提问来源于stack exchange，提问作者Deshwal