R语言中Unicode字符导致字符串提取替换失败求助

问题场景 #

使用R处理字符串时，尝试提取姓名和年份信息，但最后三行输出异常，无法得到预期结果，怀疑是Unicode字符<U+FEFF>（字节顺序标记BOM）干扰了处理流程。

原实现代码 #

# Extract
y$Extract <- gsub(".*[_]{2}([^_]+)[_].*", "\\1", gsub('\n','_', y$Var))

测试数据 #

# Data
y <- structure(list(Var = c("


El sector turístico en Mexico: análisis de la incidencia de la pandemia de la Covid-19 en el margen bruto, y propuesta de mejora para los hoteles 5 estrellas ubicados en la provincia de Taco, cantón Taco, parroquia GX

                    <U+FEFF> 
                



Cabezas Vásquez, Dayanna Gabriela
 (UNAM - TEC, 2022-07-01)

La presencia del Coronavirus sin duda ha provocado desestabilización en uno de los sectores más perjudicados, que es el hotelero, ya que cuando hubo la pandemia, en Ecuador y en todo el mundo, se tomaron medidas de ...

", 
"


Análisis de costos y rentabilidad años 2018 al 2020 para industrias manufactureras de tamaño grande con mayores ingresos orientados a mercados regionales, subsector elaboración de productos alimenticios y bebidas en Mexico

                    <U+FEFF> 
                



Albarracín Cedeño, Madelaine Nicole
 (ITAM - CAS, 2022-06-01)

El presente trabajo de titulación se enfoca en analizar los costos y rentabilidad de los años 2018  al  2020  para  industrias  manufactureras  de  tamaño  grande  con  mayores  ingresos orientados a mercados regionales, ...

", 
"


Plan de negocios para la implementación de una empresa de asesoría de bodas ubicada en el Distrito Mexicano

                    <U+FEFF> 
                



Andrade Totoy, Gabriela Abigail
 (ITAM, 2022-06-01)

Este trabajo tiene como objetivo la realización de un plan de negocios dentro del mundo de la planificación de bodas y el asesoramiento que se podría brindar dentro de la cuidad de  Mexico.  Dentro  de  este  trabajo  se  ...

", 
"


Diseño de un sistema de gestión de la calidad basado en la norma Iso 9001:2008 para los procesos relacionados con el cliente en la empresa la Competencia S.A.

                    <U+FEFF> 
                


Cadena Echeverría, Jaime Luis Hermel* (TEC, 2014)

En el presente trabajo se ha diseñado la documentación requerida para un sistema de
gestión de la calidad basado en la Norma ISO 9001:2008 de los procesos relacionados con
el cliente de la empresa La Competencia S.A., ...

", 
"


Diseño e implementación de un modelo de marketing basado en estrategias para un crecimiento continuo, con innovación y financiamiento para la Empresa Jocotours Cia. Ltda., en el Distrito Mexicano para el año 2015

                    <U+FEFF> 
                


Sánchez García, Roberto  Carlos* (TEC, 2015)

La empresa Jocotours fue creada en el año 2010 con el propósito de mejorar el turismo de su organización relacionada Fundación de Conservación Jocotoco, una entidad que se dedica a la conservación de las aves amenazadas ...

", 
"


Plan de negocios para la explotación técnica, ecónomica y ecológica de una mina de agregados pétreos en la parroquia de Chilos

                    <U+FEFF> 
                


Autor desconocido (TEC / 2011, 2011-03)

El presente trabajo de disertación de desenvuelve como un proyecto de gestión de riesgos y salud ocupacional de la TEC, el cual abarca la implementación, desarrollo, manteniemiento y control del sistema de gestión de ...

"
)), row.names = c(NA, -6L), class = "data.frame")

问题原因 #

1. BOM字符干扰：<U+FEFF>是实际的Unicode字节顺序标记字符，原代码未处理该字符，导致替换换行后的字符串结构异常。
2. 正则依赖不稳定：原代码依赖将所有换行替换为下划线，通过匹配__和_之间的内容提取信息，但不同行的换行数量不一致（最后三行<U+FEFF>后的换行更少），导致正则无法匹配目标内容。

解决方案 #

步骤1：移除BOM字符 #

先清理字符串中的<U+FEFF>字符，使用其Unicode编码\ufeff进行匹配移除：

# 移除BOM字符
y$clean_var <- gsub("\ufeff", "", y$Var)

步骤2：优化正则提取逻辑 #

直接匹配目标内容的结构（姓名行 + 包含年份的括号行），无需依赖换行替换，提升稳定性：

# 提取姓名和年份
y$Extract <- gsub(".*\\n+([^\\n]+)\\s*\\([^,]+,\\s*([0-9-]+)\\).*", "\\1 - \\2", y$clean_var)

完整代码 #

# 移除BOM字符并提取目标内容
y$clean_var <- gsub("\ufeff", "", y$Var)
y$Extract <- gsub(".*\\n+([^\\n]+)\\s*\\([^,]+,\\s*([0-9-]+)\\).*", "\\1 - \\2", y$clean_var)

# 查看结果
print(y$Extract)

输出结果 #

[1] "Cabezas Vásquez, Dayanna Gabriela - 2022-07-01"
[2] "Albarracín Cedeño, Madelaine Nicole - 2022-06-01"
[3] "Andrade Totoy, Gabriela Abigail - 2022-06-01"
[4] "Cadena Echeverría, Jaime Luis Hermel* - 2014"
[5] "Sánchez García, Roberto  Carlos* - 2015"
[6] "Autor desconocido - 2011-03"

内容的提问来源于stack exchange，提问作者user007