Python中执行awk脚本触发TypeError，寻求解决或替代方案

错误原因 #

你遇到的TypeError是因为代码里的filename是已打开的文件对象（_io.TextIOWrapper类型），但subprocess.run的命令参数需要的是文件路径字符串（str/bytes/os.PathLike类型），两者类型不匹配导致报错。

解决方法 #

方法1：修复原awk调用 #

• 确保filename传入的是文件路径字符串，而非打开的文件对象。
• 用with语句管理输出文件，避免资源泄漏，修改后的代码：

with open(ndfile, 'w') as out_file:
    subprocess.run(['awk', '-F', ',', '!seen[$1]++', filename], stdout=out_file)

方法2：纯Python实现去重（无需awk/subprocess） #

如果不想依赖外部工具，直接用Python实现按第一列去重的逻辑，更稳定且跨平台：

seen_columns = set()
# 同时读写文件，高效处理
with open(filename, 'r', encoding='utf-8') as in_file, open(ndfile, 'w', encoding='utf-8') as out_file:
    for line in in_file:
        stripped_line = line.strip()
        if not stripped_line:
            continue
        # 分割第一列，兼容无逗号的行
        first_col = stripped_line.split(',')[0] if ',' in stripped_line else stripped_line
        if first_col not in seen_columns:
            seen_columns.add(first_col)
            out_file.write(line)

这段代码会保留第一列首次出现的行，跳过后续重复的行，完全无需外部工具调用。

内容的提问来源于stack exchange，提问作者Jordan Mersha