处理Pandas DataFrame中土耳其字符capitalize时的未知字符异常

问题背景 #

处理包含土耳其语城市名称的DataFrame时，使用str.capitalize()执行首字母大写、其余小写操作后，土耳其语特殊字符İ被转换为异常的i̇（由字母i和组合变音点组成的双字符序列），导致unicodedata.name()报错：

unicodedata.name("i̇")
# TypeError: name() argument 1 must be a unicode character, not str

这是因为Python默认字符串方法遵循通用Unicode规则，不匹配土耳其语的特殊大小写映射逻辑。

解决方案 #

方案1：自定义土耳其语专属转换函数（推荐，无外部依赖） #

手动实现符合土耳其语规则的大小写映射，避免默认方法的错误转换：

def turkish_capitalize(s):
    # 土耳其语大写转小写的特殊映射
    upper_to_lower = {
        'İ': 'i',
        'I': 'ı',
        'Ş': 'ş',
        'Ğ': 'ğ',
        'Ü': 'ü',
        'Ö': 'ö',
        'Ç': 'ç'
    }
    # 先将字符串按土耳其规则转全小写
    lower_str = ''.join([upper_to_lower.get(char, char.lower()) for char in s])
    # 处理首字母大写（反向映射小写转大写）
    if not lower_str:
        return lower_str
    first_char = lower_str[0]
    lower_to_upper = {
        'i': 'İ',
        'ı': 'I'
    }
    capitalized_first = lower_to_upper.get(first_char, first_char.upper())
    return capitalized_first + lower_str[1:]

# 应用到DataFrame的City列
data['City'] = data['City'].apply(turkish_capitalize)

执行后，İSTANBUL会被转换为İstanbul，BALIKESİR转换为Balıkesir，完全符合土耳其语拼写规范，不会出现异常字符。

方案2：利用locale模块（依赖系统语言环境） #

如果系统已安装土耳其语locale，可以通过locale模块实现规范转换：

import locale
import pandas as pd

# 设置土耳其语环境（Linux/macOS用'tr_TR.UTF-8'，Windows用'Turkish_Turkey.1254'或对应UTF-8版本）
try:
    locale.setlocale(locale.LC_ALL, 'tr_TR.UTF-8')
except locale.Error:
    print("系统未安装土耳其语locale，请尝试方案1")

def locale_based_capitalize(s):
    # 按土耳其语规则转小写
    lower_s = locale.strxfrm(s).lower()
    # 首字母大写
    return lower_s[0].upper() + lower_s[1:]

data['City'] = data['City'].apply(locale_based_capitalize)

注意：该方法依赖系统locale支持，不同操作系统的locale名称可能有差异，兼容性不如方案1。

问题根源 #

Python默认的str.capitalize()遵循通用Unicode大小写映射，将土耳其语的İ（U+0130）转换为i（U+0069）加组合变音点̇（U+0307）的双字符序列，这不符合土耳其语的拼写规则——土耳其语中İ的标准小写为单个字符i，而普通I的小写为ı（U+0131）。

内容的提问来源于stack exchange，提问作者ARAT