如何将含单引号字段的逗号分隔CSV文件插入TDengine？

针对你提到的CSV格式（逗号分隔、时间戳/字符串字段用单引号包裹），以下是几种高效的批量插入方法：

1. 使用官方工具taosimport（推荐，大文件首选） #

TDengine自带的taosimport是专门的批量数据导入工具，效率远高于单条INSERT，完美适配你的CSV格式。

操作步骤： #

• 准备CSV文件：比如data.csv内容示例：

  '2024-05-20 12:00:00',10.2,219,0.32,'sensor_001'
  '2024-05-20 12:00:01',11.5,220,0.35,'sensor_001'

• 创建导入配置文件（比如import.cfg），关键配置要匹配你的CSV格式：

  [import]
  host = localhost
  port = 6030
  user = root
  password = taosdata
  db = 你的数据库名
  table = d1001
  type = csv
  path = ./data.csv
  field = ts,col1,col2,col3,tag1  # 对应表的字段/标签顺序
  hasHeader = false  # 如果CSV首行是表头设为true
  quote = '  # 指定字段包裹符为单引号
  

• 执行导入命令：

  taosimport -c import.cfg
  

2. Python客户端批量导入（适合自定义数据处理） #

如果需要在导入前做数据清洗或转换，用Python脚本更灵活：

操作步骤： #

• 先安装TDengine Python客户端：

  pip install taospy
  

• 编写导入脚本：

  import taos
  import csv
  
  # 连接TDengine
  conn = taos.connect(host="localhost", user="root", password="taosdata", database="你的数据库名")
  cursor = conn.cursor()
  
  # 读取CSV并批量拼接INSERT语句
  batch_size = 1000  # 每1000条批量插入一次
  rows = []
  with open('data.csv', 'r') as f:
      reader = csv.reader(f, quotechar="'")  # 指定单引号为字段包裹符
      for row in reader:
          # 按表字段类型转换数据
          ts = row[0]
          col1 = float(row[1])
          col2 = int(row[2])
          col3 = float(row[3])
          rows.append(f"('{ts}', {col1}, {col2}, {col3})")
          
          # 达到批次大小就执行插入
          if len(rows) >= batch_size:
              sql = f"INSERT INTO d1001 VALUES {','.join(rows)}"
              cursor.execute(sql)
              conn.commit()
              rows = []
      # 插入剩余数据
      if rows:
          sql = f"INSERT INTO d1001 VALUES {','.join(rows)}"
          cursor.execute(sql)
          conn.commit()
  
  # 关闭连接
  cursor.close()
  conn.close()
  

3. 使用LOAD DATA SQL语句（部分客户端支持） #

部分TDengine兼容的SQL客户端（如taos shell）支持直接通过SQL加载本地CSV：

LOAD DATA LOCAL INFILE './data.csv' INTO TABLE d1001 
FIELDS TERMINATED BY ',' 
ENCLOSED BY "'" 
LINES TERMINATED BY '\n';

注意：该功能需确认你的TDengine版本是否支持，部分版本需开启相关配置。

内容的提问来源于stack exchange，提问作者guodong-taos