使用Python和Scrapy将爬取的带标识文本转换为JSON变量或移除标识

当然可以搞定！针对你这个需求，有两种实用的处理方式，要么在爬取阶段就把带[Name]这类标识的字符串转成结构化的键值对，要么用Scrapy的Pipeline统一处理，我给你详细拆解：

方案一：在Spider中直接处理（适合单字段/单Spider场景） #

如果你的爬取逻辑只针对这一个页面或字段，直接在Spider里处理提取到的列表就行。假设你原本是这样提取用户数据的：

user_data = response.xpath('//p/text()').getall()

那你可以遍历这个列表，拆分标识和对应的值，转成字典：

user_data_dict = {}
for entry in user_data:
    # 先去掉字符串首尾的空格
    cleaned_entry = entry.strip()
    # 按第一个']'拆分标识和内容
    if ']' in cleaned_entry:
        key_part, value_part = cleaned_entry.split(']', 1)
        # 提取标识里的键名（比如从[Name]拿到Name）
        key = key_part.strip()[1:]  # 去掉开头的[
        # 提取对应的值并清理空格
        value = value_part.strip()
        user_data_dict[key] = value

# 把结构化后的字典存入Item
item['UserData'] = user_data_dict

这样生成JSON时，UserData字段就会变成清晰的键值对，比如：

"UserData": {
    "Name": "Gustavo Spínola Amaral Melo",
    "City": "Governador Valadares",
    "State": "MG"
}

方案二：用Item Pipeline统一处理（适合多Spider/多字段场景） #

如果你的项目里有多个Spider需要处理类似格式的字段，用Pipeline统一处理会更高效。

首先在项目的pipelines.py里创建一个处理类：

from itemadapter import ItemAdapter

class CleanUserDataPipeline:
    def process_item(self, item, spider):
        adapter = ItemAdapter(item)
        # 获取UserData字段的列表（默认空列表避免报错）
        user_data_list = adapter.get('UserData', [])
        
        if isinstance(user_data_list, list):
            user_data_dict = {}
            for entry in user_data_list:
                cleaned_entry = entry.strip()
                if ']' in cleaned_entry:
                    key_section, value_section = cleaned_entry.split(']', 1)
                    # 提取键名，去掉前后的[]
                    key = key_section.strip().strip('[]')
                    value = value_section.strip()
                    user_data_dict[key] = value
            # 替换原字段为结构化字典
            adapter['UserData'] = user_data_dict
        
        return item

然后在settings.py里启用这个Pipeline：

ITEM_PIPELINES = {
    # 这里替换成你的项目名称
    'your_project_name.pipelines.CleanUserDataPipeline': 300,
}

数字300是Pipeline的执行优先级，数值越小越先执行，你可以根据自己的其他Pipeline调整。

可选：只移除标识，保留值列表 #

如果你不需要结构化的键值对，只想去掉[Name]这类标识，只保留内容，处理会更简单：

cleaned_values = []
for entry in user_data:
    cleaned_entry = entry.strip()
    if ']' in cleaned_entry:
        _, value_part = cleaned_entry.split(']', 1)
        cleaned_values.append(value_part.strip())

item['UserData'] = cleaned_values

最终UserData会变成：

"UserData": [
    "Gustavo Spínola Amaral Melo",
    "Governador Valadares",
    "MG"
]

内容的提问来源于stack exchange，提问作者Henzel