如何用BigQuery或Linux命令将.txt文件分隔符从,改为Ç？

Unix/Linux 命令方案 #

直接用sed命令就能快速替换所有逗号为Ç，命令如下：

sed 's/,/Ç/g' fileids.txt > new_fileids.txt

如果终端输入Ç有问题，也可以用UTF-8十六进制编码替代（Ç的UTF-8编码是\xC3\x87）：

sed 's/,/\xC3\x87/g' fileids.txt > new_fileids.txt

执行后会生成替换好的新文件new_fileids.txt，原文件不会被修改。

BigQuery 方案 #

如果要通过BigQuery处理，需要分三步操作：

1. 导入文件到临时表：把fileids.txt上传到Google Cloud Storage（GCS），或者直接通过BigQuery控制台导入到临时表（比如mydataset.temp_fileids），导入时指定分隔符为逗号。
2. 导出带新分隔符的文件：用EXPORT DATA语句导出数据，指定分隔符为Ç：

EXPORT DATA
OPTIONS(
  uri='gs://your_bucket_path/new_fileids_*.txt',
  format='CSV',
  field_delimiter='Ç',
  header=True,
  overwrite=True
) AS
SELECT FILENAME, FILEID FROM mydataset.temp_fileids;

3. 下载文件：从GCS下载生成的目标文件即可。

如果不想用EXPORT，也可以在查询结果里直接拼接字符串，再复制或导出结果：

SELECT CONCAT(FILENAME, 'Ç', FILEID) AS line FROM mydataset.temp_fileids

内容的提问来源于stack exchange，提问作者sai