Snowflake中使用COPY INTO导出TXT文件末尾出现空白行，求解决方案

针对Snowflake中COPY INTO生成TXT文件末尾出现空白行的问题，以下是两种可行的解决方案：

方案1：通过字符串拼接控制行分隔符（推荐） #

Snowflake默认会在最后一行记录后添加配置的RECORD_DELIMITER，导致末尾出现空白行。通过手动拼接所有行内容，可以完全控制分隔符的位置，避免多余空白行。

操作步骤： #

1. 调整文件格式：创建一个使用特殊记录分隔符的文件格式（确保该字符不会出现在你的数据中），避免Snowflake自动拆分已拼接好的行：

CREATE OR REPLACE FILE FORMAT "DB"."SCH".FF_PIPE_PUBLISH_NO_TRAIL 
WITH COMPRESSION = 'NONE' 
FIELD_DELIMITER = '|' 
RECORD_DELIMITER = '\x00' -- 使用空字符作为记录分隔符，确保不拆分行
FIELD_OPTIONALLY_ENCLOSED_BY = 'NONE' 
TRIM_SPACE = FALSE 
ERROR_ON_COLUMN_COUNT_MISMATCH = TRUE 
ESCAPE = 'NONE' 
EMPTY_FIELD_AS_NULL = FALSE 
ESCAPE_UNENCLOSED_FIELD = 'NONE' 
DATE_FORMAT = 'AUTO' 
TIMESTAMP_FORMAT = 'AUTO' 
NULL_IF = ();

2. 修改COPY INTO查询：用CONCAT_WS拼接每行的所有字段（匹配你的|分隔符），再用LISTAGG将所有行用\r\n连接，最后输出单个字符串：

COPY INTO @DB.SCH.EXT_FILE_STAGE/new/2024-10-08/text_20241009.txt 
FROM (
  SELECT LISTAGG(CONCAT_WS('|', col1, col2, col3, ...), '\r\n') AS full_content 
  FROM DB.SCH.FILE_VW
) 
file_format = (format_name = DB.SCH.FF_PIPE_PUBLISH_NO_TRAIL) 
OVERWRITE = TRUE 
SINGLE = TRUE 
MAX_FILE_SIZE=4900000000 
HEADER=FALSE;

注意：将col1, col2, col3, ...替换为视图FILE_VW中的实际字段列表，保证字段顺序与原输出一致。

方案2：生成后去除末尾空白行 #

如果无法修改原查询逻辑，可以在文件生成后，通过存储过程读取并清理末尾的空白行：

创建清理存储过程： #

CREATE OR REPLACE PROCEDURE REMOVE_TRAILING_BLANK_LINE(stage_path VARCHAR)
RETURNS VARCHAR
LANGUAGE JAVASCRIPT
AS
$$
  // 读取目标文件内容
  const getStmt = snowflake.createStatement({
    sqlText: "SELECT GET_FILE_CONTENTS(:1) AS file_content",
    binds: [stage_path]
  });
  const getResult = getStmt.execute();
  getResult.next();
  let content = getResult.getColumnValue(1);
  
  // 移除末尾的换行符（兼容\r\n和\n格式）
  content = content.replace(/(\r\n|\n)$/, '');
  
  // 将清理后的内容写入临时文件并上传到临时阶段
  const tempStage = "@DB.SCH.EXT_FILE_STAGE/temp/";
  const tempFilePath = "/tmp/cleaned_file.txt";
  
  const fs = require('fs');
  fs.writeFileSync(tempFilePath, content);
  
  const putStmt = snowflake.createStatement({
    sqlText: "PUT FILE://" + tempFilePath + " :1 AUTO_COMPRESS=FALSE OVERWRITE=TRUE",
    binds: [tempStage]
  });
  putStmt.execute();
  
  // 替换原文件
  const mvStmt = snowflake.createStatement({
    sqlText: "ALTER STAGE @DB.SCH.EXT_FILE_STAGE MOVE :1 TO :2 OVERWRITE=TRUE",
    binds: [tempStage + "cleaned_file.txt", stage_path]
  });
  mvStmt.execute();
  
  return `已成功移除文件 ${stage_path} 末尾的空白行`;
$$;

调用存储过程： #

CALL REMOVE_TRAILING_BLANK_LINE('@DB.SCH.EXT_FILE_STAGE/new/2024-10-08/text_20241009.txt');

内容的提问来源于stack exchange，提问作者Mohit