如何批量删除与重命名多个CSV文件的列

Got it, let's tackle this batch CSV processing task. You've got two distinct CSV formats to handle: one with 5 columns (Date, Open, High, Low, Close) where you need to strip out the middle three columns, and another with just Date and Close that might only need consistency checks (like standardizing date formats if needed). Below are practical, actionable solutions using Python (most flexible) and command-line tools (for quick Unix/macOS workflows).

1. Python + Pandas 方案（跨平台、易扩展） #

Pandas is perfect for this kind of structured data manipulation—it’s easy to read, modify, and save CSVs in bulk.

准备工作 #

• Install pandas first:

  pip install pandas
  

• Move all your target CSV files into a single folder to simplify batch processing.

核心代码实现 #

import pandas as pd
import os

# 替换成你的CSV文件所在文件夹路径
input_dir = "./your_csv_files"
# 处理后文件的输出文件夹（自动创建）
output_dir = "./processed_csvs"

os.makedirs(output_dir, exist_ok=True)

# 遍历文件夹里的所有CSV文件
for filename in os.listdir(input_dir):
    if not filename.endswith(".csv"):
        continue  # 跳过非CSV文件
    
    file_path = os.path.join(input_dir, filename)
    print(f"Processing {filename}...")
    
    # 读取CSV文件
    df = pd.read_csv(file_path)
    current_cols = set(df.columns)
    
    # 处理5列格式的文件：保留Date和Close，删除其余列
    if current_cols == {"Date", "Open", "High", "Low", "Close"}:
        df_processed = df[["Date", "Close"]]
        # 可选：统一日期格式（比如转为YYYY-MM-DD）
        # df_processed["Date"] = pd.to_datetime(df_processed["Date"]).dt.strftime("%Y-%m-%d")
    
    # 处理2列格式的文件：按需重命名/格式化（示例：统一列名大小写）
    elif current_cols == {"Date", "Close"}:
        df_processed = df.rename(columns=str.title)  # 把列名转成首字母大写（可选）
        # 同样可选：统一日期格式
        # df_processed["Date"] = pd.to_datetime(df_processed["Date"]).dt.strftime("%Y-%m-%d")
    
    # 处理不符合格式的文件
    else:
        print(f"Skipping {filename}: Unexpected columns found - {df.columns}")
        continue
    
    # 保存处理后的文件（添加前缀避免覆盖原文件）
    output_path = os.path.join(output_dir, f"processed_{filename}")
    df_processed.to_csv(output_path, index=False)
    print(f"Successfully saved to {output_path}")

print("All valid files processed!")

关键细节说明 #

• 列筛选：直接选择需要保留的列（df[["Date", "Close"]]）比删除列更高效、直观。
• 日期统一：如果你的两种文件使用不同日期格式（比如YYYY/MM/DD vs MM/DD/YYYY），取消注释代码里的日期格式化行，Pandas会自动识别并转换。
• 安全输出：给处理后的文件加processed_前缀，避免误删原文件。

2. 命令行（Awk）方案（Unix/macOS 快速处理） #

If you prefer command-line tools and don’t want to use Python, awk is a lightweight option for text manipulation.

批量处理脚本 #

# 创建输出文件夹
mkdir -p processed_csvs

# 遍历当前文件夹下的所有CSV
for file in *.csv; do
    # 统计第一行的逗号数量，判断列数（5列有4个逗号，2列有1个逗号）
    col_count=$(head -n 1 "$file" | tr -cd ',' | wc -c)
    
    if [ $col_count -eq 4 ]; then
        # 处理5列文件：保留第1和第5列
        awk -F ',' '{print $1","$5}' "$file" > "processed_csvs/processed_$file"
    elif [ $col_count -eq 1 ]; then
        # 处理2列文件：直接复制（如需重命名列，可修改这里）
        cp "$file" "processed_csvs/processed_$file"
    else
        echo "Skipping $file: Unexpected column count"
    fi
done

内容的提问来源于stack exchange，提问作者Maxi