DynamoDB ScanFilter的IN操作符报错及多值过滤需求

场景描述 #

我的DynamoDB表以DeptId为哈希键（HASH），OrgId为排序键（RANGE），一个部门可分配给多个组织。需求是获取前1000条满足DeptId过滤条件且Status字段值为A、C、M的记录。

场景复现步骤 #

Docker建表命令 #

docker run -d -p 8000:8000 --name "sam-dynamodb" amazon/dynamodb-local 
aws configure set region us-east-1
aws dynamodb create-table --table-name OrgDepts --attribute-definitions AttributeName=DeptId,AttributeType=S AttributeName=OrgId,AttributeType=S --key-schema AttributeName=DeptId,KeyType=HASH AttributeName=OrgId,KeyType=RANGE --billing-mode PAY_PER_REQUEST --endpoint-url http://localhost:8000
aws dynamodb list-tables --endpoint-url http://localhost:8000

示例数据 #

[
  {
    "DeptId": {"S": "Dept-1"},
    "OrgId": {"S": "Org-1"},
    "Status": {"S": "A"}
  },
  {
    "DeptId": {"S": "Dept-1"},
    "OrgId": {"S": "Org-2"},
    "Status": {"S": "C"}
  },
  {
    "DeptId": {"S": "Dept-1"},
    "OrgId": {"S": "Org-3"},
    "Status": {"S": "M"}
  },
  {
    "DeptId": {"S": "Dept-1"},
    "OrgId": {"S": "Org-4"},
    "Status": {"S": "I"}
  },
  {
    "DeptId": {"S": "Dept-1"},
    "OrgId": {"S": "Org-5"},
    "Status": {"S": "X"}
  }
]

现有C#代码 #

const int limit = 1000;
var result = new List<OrgDepts>();
var filter = new ScanFilter();

filter.AddCondition("Status", ScanOperator.In, new List<string> {"A", "C", "M"});
filter.AddCondition("DeptId", ScanOperator.Equal, "Dept-1");            

var scanConfig = new ScanOperationConfig
{
    Filter = filter,
    Limit = limit
};

var response = _context.FromScanAsync<OrgDepts>(scanConfig, _config);

do
{
    result.AddRange(await response.GetNextSetAsync(cancellationToken));
} while (response.IsDone == false && result.Count < limit);

报错信息 #

执行result.AddRange(await response.GetNextSetAsync(cancellationToken));时出现错误：

One or more parameter values were invalid: ComparisonOperator IN is not valid for SS AttributeValue type

我判断报错原因是Status字段不是集合类型（SS），而是普通字符串类型（S）。现在需要解决的问题是：仅传入哈希键的情况下，如何过滤普通字符串列的多个值，获取前1000条记录？因为未使用排序键，无法用Query操作。另外，我发现用filter.AddCondition("Status", ScanOperator.Equal, "A");能返回第一条记录，有没有办法把C和M也包含进来，实现OR逻辑？

方案1：用ScanOperator.Or组合多个Equal条件 #

因为Status是普通字符串类型，In操作符仅支持集合类型属性，所以可以通过ScanOperator.Or把多个Equal条件组合起来，实现OR逻辑：

const int limit = 1000;
var result = new List<OrgDepts>();

// 构建Status的多个Equal条件
var statusConditions = new List<ScanCondition>
{
    new ScanCondition("Status", ScanOperator.Equal, "A"),
    new ScanCondition("Status", ScanOperator.Equal, "C"),
    new ScanCondition("Status", ScanOperator.Equal, "M")
};

var filter = new ScanFilter();
// 添加DeptId的过滤条件
filter.AddCondition("DeptId", ScanOperator.Equal, "Dept-1");
// 把Status的多个条件用OR组合
filter.AddCondition(statusConditions, ScanOperator.Or);

var scanConfig = new ScanOperationConfig
{
    Filter = filter,
    Limit = limit
};

var response = _context.FromScanAsync<OrgDepts>(scanConfig, _config);

do
{
    result.AddRange(await response.GetNextSetAsync(cancellationToken));
} while (!response.IsDone && result.Count < limit);

方案2：使用表达式过滤器（推荐） #

如果用的是较新版本的AWS SDK for .NET，建议改用FilterExpression，这种方式更灵活，也符合DynamoDB最佳实践：

const int limit = 1000;
var result = new List<OrgDepts>();

var scanConfig = new ScanOperationConfig
{
    FilterExpression = "DeptId = :deptId AND (Status = :statusA OR Status = :statusC OR Status = :statusM)",
    ExpressionAttributeValues = new Dictionary<string, AttributeValue>
    {
        {":deptId", new AttributeValue {S = "Dept-1"}},
        {":statusA", new AttributeValue {S = "A"}},
        {":statusC", new AttributeValue {S = "C"}},
        {":statusM", new AttributeValue {S = "M"}}
    },
    Limit = limit
};

var response = _context.FromScanAsync<OrgDepts>(scanConfig, _config);

do
{
    result.AddRange(await response.GetNextSetAsync(cancellationToken));
} while (!response.IsDone && result.Count < limit);

补充说明 #

• 关于In操作符报错：DynamoDB的In仅适用于集合类型属性（比如SS字符串集合），普通字符串类型只能通过多个Equal+Or实现类似逻辑。
• 性能优化建议：Scan操作会遍历全表（或指定分段），数据量大时性能较差。如果这个查询是高频操作，建议创建全局二级索引（GSI），比如以DeptId为哈希键、Status为排序键，这样就能用Query操作高效获取数据，避免全表扫描。

内容的提问来源于stack exchange，提问作者user007