如何批量读取文件夹内csv文件逐个处理后保存到目标文件夹

你当前通过RStudio运行的bash终端可直接执行如下逻辑，无需管理员权限：

步骤1：提前调整路径变量 #

先将后续代码里的三个路径替换为你自己的实际路径：

• SRC_DIR：存放300多个待处理csv文件的源文件夹路径
• DEST_DIR：保存预处理后结果的目标文件夹路径
• SCRIPT_PATH：你的cleaning_script.py文件完整路径，若脚本在当前工作目录可直接写文件名

步骤2：执行批量处理循环 #

# 按你的实际情况修改以下三个路径
SRC_DIR="/d/data/source_csv"  # 示例对应Windows路径 D:\data\source_csv
DEST_DIR="/d/data/processed_csv"
SCRIPT_PATH="/d/scripts/cleaning_script.py"

# 自动创建目标文件夹，若文件夹已存在也不会报错
mkdir -p "$DEST_DIR"

# 遍历所有csv文件逐个处理
for csv_file in "$SRC_DIR"/*.csv
do
  # 提取不带路径的原始文件名
  filename=$(basename "$csv_file")
  # 按你之前的命名规则生成结果文件名：results_原文件名
  output_file="$DEST_DIR/results_$filename"
  # 执行预处理脚本
  python3 "$SCRIPT_PATH" "$csv_file" "$output_file"
done

路径填写注意事项 #

• Windows路径在bash环境下需要转换格式：比如C:\用户\文档\csv要写成/c/用户/文档/csv，盘符号改为小写，反斜杠全部换成正斜杠
• 如果所有文件、脚本都在当前终端的工作目录下，可直接把SRC_DIR设为.，SCRIPT_PATH直接写cleaning_script.py即可

内容的提问来源于stack exchange，提问作者AneesBaqir