如何避免向Memgraph导入大型CSV数据集时出现超时错误？

• 用批量操作替代逐行循环
  逐行for循环的核心问题是频繁的IO操作（读文件或写数据库），每次操作都会产生额外开销。换成批量处理能大幅提升效率，比如每1000-10000条数据作为一个批次处理：
  如果用pandas分块读写：

  import pandas as pd
  from sqlalchemy import create_engine
  
  # 初始化数据库连接
  engine = create_engine('your_db_connection_string')
  # 分块读取CSV，每块10000条
  for chunk in pd.read_csv('large_data.csv', chunksize=10000):
      # 批量写入数据库
      chunk.to_sql('target_table', engine, if_exists='append', index=False)
  

  如果用原生csv模块攒批次：

  import csv
  
  batch_size = 10000
  batch = []
  with open('large_data.csv', 'r', encoding='utf-8') as f:
      reader = csv.DictReader(f)
      for row in reader:
          batch.append(tuple(row.values()))
          if len(batch) >= batch_size:
              # 批量插入数据库
              your_db_cursor.executemany(
                  "INSERT INTO target_table (col1, col2, col3) VALUES (%s, %s, %s)",
                  batch
              )
              your_db_connection.commit()
              batch = []
      # 处理最后一批剩余数据
      if batch:
          your_db_cursor.executemany(
              "INSERT INTO target_table (col1, col2, col3) VALUES (%s, %s, %s)",
              batch
          )
          your_db_connection.commit()
  

• 优化CSV读取逻辑
  避免用纯Python逐行解析文本，优先用内置的csv模块或者pandas这类经过C优化的库——它们的底层实现比手动写循环快得多。如果需要做数据清洗，尽量在批量层面处理，减少对每行的重复字符串操作。

• 利用数据库原生导入工具（如果是导入数据库）
  数据库原生的导入命令是效率最高的方式，比任何Python循环都快：

  • MySQL用LOAD DATA INFILE：

    LOAD DATA INFILE '/path/to/large_data.csv'
    INTO TABLE target_table
    FIELDS TERMINATED BY ',' ENCLOSED BY '"'
    LINES TERMINATED BY '\n'
    IGNORE 1 ROWS; -- 跳过表头行
    

  • PostgreSQL用COPY：

    COPY target_table FROM '/path/to/large_data.csv'
    WITH (FORMAT csv, HEADER true, DELIMITER ',', ENCODING 'utf8');
    

  可以在Python里通过数据库游标直接执行这些命令，注意提前配置好文件权限和数据库参数。

• 数据库层面的额外优化

  • 导入前关闭自动提交，改成批量提交，减少事务开销。
  • 临时禁用目标表的索引、外键约束，导入完成后再重新启用——每次插入都更新索引会大幅拖慢速度。

内容的提问来源于stack exchange，提问作者KWriter