向Tarantool上传大规模数据集的最优方案及插入慢问题排查

首先定位性能瓶颈根因 #

• 配置未生效导致内存不足：Tarantool的box.cfg{}仅支持首次启动时传入静态配置参数，memtx_memory属于静态参数，你分两次调用box.cfg设置的3*268435456（768M）并未生效，从box.slab.info的输出可见当前quota_size仅为默认的256M，且items_used_ratio已达97.42%，内存分配瓶颈直接拖慢写入速度。
• 单条插入的事务开销：当前两种写入方案都是单条提交，默认wal_mode=write配置下，每次事务都需要等待WAL日志刷盘完成才返回，单条提交的QPS上限完全匹配磁盘随机写IOPS，机械盘通常就是每秒几十次，和你测得的63次完全吻合。
• 额外开销：单条同步调用还会产生大量网络往返开销，进一步拉低性能。

优化方案 #

第一步：修正配置 #

将所有box.cfg参数合并为一次调用，重启Tarantool进程生效，示例配置：

box.cfg{
  memtx_max_tuple_size = 100 * 1048576,
  memtx_memory = 3 * 268435456,
  -- 可选配置：开启WAL批量刷盘，降低刷盘频率，允许最多0.1秒的数据丢失风险
  wal_fsync_delay = 0.1
}

重启后执行box.slab.info确认quota_size达到768M，items_used_ratio警告消失。

第二步：改用批量写入方案 #

方案1：存储过程批量插入（性能最优）

在Tarantool中创建批量插入的存储过程：

function batch_insert(space_name, tuples)
  local space = box.space[space_name]
  box.begin()
  for _, tuple in ipairs(tuples) do
    space:insert(tuple)
  end
  box.commit()
  return true
end

C#侧通过progaudi.tarantool的Call方法，一次打包1000~5000条记录作为参数调用该存储过程，可把网络开销和事务开销降到最低。

方案2：SQL批量插入

如果需要用SQL写入，可使用批量INSERT语法，单条SQL中携带多个值组：

INSERT INTO 你的表名 VALUES (?, ?, ?), (?, ?, ?), ... -- 一次携带几百个值组

不要单条SQL插入单条记录。

临时提速方案（初始导入场景适用） #

如果是初始导入数据，允许临时关闭WAL日志，可临时修改wal_mode = 'none'，导入完成后改回原有配置，写入速度可提升数十倍。

内容的提问来源于stack exchange，提问作者Adam Łepkowski