如何实现SQLite3数据库的类cat行为以对接GNU Parallel?
实现SQLite数据行的类cat输出并对接GNU Parallel
步骤1:确认目标表名
SQLite需要指定具体表才能查询数据,先运行以下命令查看数据库内的所有表:
sqlite3 somefile.db ".tables"
记下你要导出数据的表名(假设为target_table)。
步骤2:导出数据行(类cat效果)
使用sqlite3命令行工具,通过参数控制输出格式,直接导出每行数据:
sqlite3 -separator $'\t' -header no somefile.db "SELECT col1, col2, col3 FROM target_table;"
参数说明:
-separator $'\t':用制表符分隔列(避免和JSON/文本内容里的逗号冲突,可换成|等无冲突字符)-header no:不输出表头,只导出纯数据行- 替换
col1, col2, col3为你实际的列名(对应text、text、json类型的三列),如果要导出所有列,可写SELECT * FROM target_table;
步骤3:管道对接GNU Parallel
直接将上述命令的输出传给parallel,和处理CSV的逻辑一致:
sqlite3 -separator $'\t' -header no somefile.db "SELECT col1, col2, col3 FROM target_table;" | parallel do_something
进阶:按列拆分参数给处理脚本
如果do_something需要接收三个列作为独立参数,添加--colsep指定分隔符:
sqlite3 -separator $'\t' -header no somefile.db "SELECT col1, col2, col3 FROM target_table;" | parallel --colsep '\t' do_something {}
处理含换行的JSON字段
如果JSON字段包含换行符,会导致parallel误拆分任务,改用null字符分隔行:
sqlite3 -separator $'\t' -header no -newline $'\0' somefile.db "SELECT col1, col2, col3 FROM target_table;" | parallel -0 do_something
简化命令(别名)
如果常用这个操作,可给命令设置别名,接近你想要的cat_in_sqllite3效果:
alias cat_sqlite3='sqlite3 -separator $'\t' -header no'
之后即可用:
cat_sqlite3 somefile.db "SELECT col1, col2, col3 FROM target_table;" | parallel do_something
内容的提问来源于stack exchange,提问作者AJW
相关产品推荐
相关产品推荐

