本地Docker部署DynamoDB批量存海量手机号数据遇连接拒绝错误

可能的原因及对应解决方案 #

1. Node.js HTTP连接池耗尽 #

Node.js默认HTTP/HTTPS连接池最大并发数为5，高频连续调用send()会占满所有连接，后续请求无法建立新连接，触发ECONNREFUSED。

解决方法：
初始化DynamoDB客户端时显式增大连接池并开启长连接复用：

// DynamoDB客户端配置示例
import { DynamoDBClient } from "@aws-sdk/client-dynamodb";
import { DocumentClient } from "@aws-sdk/lib-dynamodb";
import https from 'https';

const dynamoClient = new DynamoDBClient({
  endpoint: 'http://localhost:8000',
  region: 'local',
  maxAttempts: 3,
  httpOptions: {
    agent: new https.Agent({
      maxSockets: 50, // 根据业务量调整，比如50或更高
      keepAlive: true, // 开启长连接复用减少连接开销
    }),
    timeout: 5000, // 设置超时避免请求挂起占用连接
  },
});

// DocumentClient初始化
const docClient = new DocumentClient({ client: dynamoClient });

2. Docker容器资源不足 #

本地DynamoDB容器内存/CPU分配过少时，处理一定量写入请求后会因资源耗尽拒绝新连接。

解决方法：

• 先查看容器资源使用情况：

docker stats <你的DynamoDB容器ID/名称>

• 重新启动容器时增加资源限制：

docker run -d -p 8000:8000 --name dynamodb-local -m 2g -c 2 amazon/dynamodb-local

（-m 2g分配2GB内存，-c 2分配2个CPU核心，可根据本地机器配置调整）

3. 单条数据误用BatchWriteCommand #

你当前用BatchWriteCommand仅写入单条数据，完全浪费了批量接口的设计初衷，额外的协议开销会加速连接池耗尽。

优化代码（单条写入）：

import { PutCommand } from "@aws-sdk/lib-dynamodb";

async saveData(saveItem: listUser) {
  const command = new PutCommand({
    TableName: this.userTableName,
    Item: saveItem,
  });
  const output = await this.dynamoClient.getDocumentClient().send(command);
  return output.$metadata.httpStatusCode;
}

如果是海量数据导入，建议攒满25条（DynamoDB BatchWrite单批次上限）再批量发送，减少请求次数：

import { BatchWriteCommand } from "@aws-sdk/lib-dynamodb";

async batchSaveData(items: listUser[]) {
  // 按25条一组拆分数据
  const batches = [];
  for (let i = 0; i < items.length; i += 25) {
    batches.push(items.slice(i, i + 25));
  }

  const results = [];
  for (const batch of batches) {
    const input = {
      RequestItems: {
        [this.userTableName]: batch.map(item => ({
          PutRequest: { Item: item }
        }))
      }
    };
    const output = await this.dynamoClient.getDocumentClient().send(new BatchWriteCommand(input));
    results.push(output);
    
    // 处理未写入的项（DynamoDB可能返回未处理项，需重试）
    if (Object.keys(output.UnprocessedItems).length > 0) {
      await new Promise(resolve => setTimeout(resolve, 100)); // 延迟100ms重试
      const retryOutput = await this.dynamoClient.getDocumentClient().send(
        new BatchWriteCommand({ RequestItems: output.UnprocessedItems })
      );
      results.push(retryOutput);
    }
  }
  return results;
}

4. 客户端重试策略不合理 #

默认重试策略可能在短时间内发起大量重试请求，压垮本地DynamoDB容器。

解决方法：
调整为自适应重试策略，增加重试间隔：

const dynamoClient = new DynamoDBClient({
  endpoint: 'http://localhost:8000',
  region: 'local',
  retryMode: 'adaptive', // 自适应重试，避免短时间内大量请求
  maxAttempts: 3,
  retryDelayBase: 100, // 初始重试间隔100ms
});

5. 容器崩溃导致连接中断 #

如果DynamoDB容器因资源耗尽崩溃，会直接导致连接拒绝。如需持久化数据，启动容器时挂载本地目录避免数据丢失：

docker run -d -p 8000:8000 --name dynamodb-local -v ./dynamodb-data:/data -m 2g amazon/dynamodb-local -dbPath /data

内容的提问来源于stack exchange，提问作者Xintz