Python+BERT清洗Excel数值列：连字符“-”无法去除问题求助

问题原因 #

strip()方法仅能移除字符串首尾的指定字符（默认是空白字符），如果单元格中的“-”是单独的值，或者位于字符串中间，strip()自然无法生效。以下是几种针对性的解决方案：

方案1：替换单独的“-”缺失值标记 #

如果“-”是用来标记缺失值的，直接用replace()替换为缺失值或指定数值：

import pandas as pd

# 读取Excel文件
df = pd.read_excel("your_data.xlsx")

# 筛选可能存在字符串型数值的列（按需调整）
numeric_candidate_cols = df.select_dtypes(include=['object']).columns

# 将单独的“-”替换为NaN，后续可转数值类型
for col in numeric_candidate_cols:
    df[col] = df[col].replace('-', pd.NA)

# 批量转换为数值类型，无法转换的会设为NaN
df[numeric_candidate_cols] = df[numeric_candidate_cols].apply(pd.to_numeric, errors='coerce')

方案2：移除字符串中所有“-”字符 #

如果数值列中是带“-”的字符串（如"123-456"），需要彻底移除所有“-”再转数值：

# 针对目标列移除所有“-”并转换为数值
df['target_numeric_col'] = df['target_numeric_col'].str.replace('-', '', regex=False).apply(pd.to_numeric, errors='coerce')

方案3：BERT预处理阶段嵌入清洗逻辑 #

如果是在BERT模型的文本预处理环节遇到该问题，可在归一化步骤中加入替换：

from transformers import BertTokenizer

tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')

def clean_for_bert(text):
    if isinstance(text, str):
        # 移除所有“-”，或仅替换单独的“-”为空字符串
        return text.replace('-', '') if text.strip() == '-' else text.replace('-', '')
    return str(text)  # 非字符串类型转文本后处理

# 对目标列执行预处理
df['processed_col'] = df['target_col'].apply(clean_for_bert)

# 后续BERT编码流程
encoded_inputs = tokenizer(
    df['processed_col'].tolist(),
    padding=True,
    truncation=True,
    return_tensors='pt'
)

注意事项 #

• 确认“-”的字符类型：是半角-还是全角－，替换时要使用对应字符
• 若存在负数（如"-123"），需避免误替换，可通过判断字符串是否仅含“-”或“-”后接数字来区分处理

内容的提问来源于stack exchange，提问作者Edgar Teran