基于Delphi Sydney合并Firebird 2.5数据库的高效实现方案

核心实现思路 #

不用逐个字段定义或创建实体类型，直接结合Firebird原生MERGE语句与FireDAC组件的动态SQL能力，就能高效完成同结构表的无重复数据合并，支持逐表批量处理，适配每日增量迁移需求。

具体实现步骤 #

1. 自动获取表字段列表
   通过查询Firebird系统表，动态获取目标表的所有字段，避免硬编码字段名：

function GetTableFields(ADBConn: TFDConnection; const TableName: string): string;
var
  FDQry: TFDQuery;
begin
  Result := '';
  FDQry := TFDQuery.Create(nil);
  try
    FDQry.Connection := ADBConn;
    // 从Firebird系统表读取字段名，按原始顺序排列
    FDQry.SQL.Text := 'SELECT RDB$FIELD_NAME FROM RDB$RELATION_FIELDS ' +
                      'WHERE RDB$RELATION_NAME = :TableName ' +
                      'ORDER BY RDB$FIELD_POSITION';
    FDQry.ParamByName('TableName').AsString := UpperCase(TableName);
    FDQry.Open;
    while not FDQry.Eof do
    begin
      if Result <> '' then Result := Result + ', ';
      Result := Result + Trim(FDQry.FieldByName('RDB$FIELD_NAME').AsString);
      FDQry.Next;
    end;
  finally
    FDQry.Free;
  end;
end;

2. 动态生成MERGE语句完成合并
   利用Firebird的MERGE语法实现“存在则跳过，不存在则插入”，无需逐条处理数据：

procedure MergeSingleTable(FDQryTarget: TFDQuery; FDQrySource: TFDQuery; const TableName: string);
var
  FieldList: string;
  MergeSQL: string;
begin
  FieldList := GetTableFields(FDQryTarget.Connection, TableName);
  
  // 替换ON条件中的主键字段为你表的实际唯一标识（比如ID、CODE等）
  MergeSQL := 'MERGE INTO ' + TableName + ' T ' +
              'USING (SELECT ' + FieldList + ' FROM ' + TableName + ') S ' +
              'ON (T.ID = S.ID) ' +
              'WHEN NOT MATCHED THEN INSERT (' + FieldList + ') ' +
              'VALUES (' + FieldList + ')';

  // 场景1：两个库可直接跨库访问（需Firebird配置支持）
  FDQryTarget.Connection.ExecSQL(MergeSQL);

  // 场景2：无法跨库直接访问时，先过滤增量数据再批量插入
  // FDQrySource.SQL.Text := 'SELECT ' + FieldList + ' FROM ' + TableName + 
  //                         ' WHERE ID NOT IN (SELECT ID FROM ' + TableName + ')';
  // FDQrySource.Open;
  // FDQryTarget.Connection.StartTransaction;
  // try
  //   FDQrySource.CopyTo(FDQryTarget, ctAppend, True); // True自动跳过重复
  //   FDQryTarget.Connection.Commit;
  // except
  //   FDQryTarget.Connection.Rollback;
  //   raise;
  // end;
end;

3. 批量遍历表执行每日迁移
   维护需要合并的表名列表，循环调用合并方法即可：

procedure DailyDataMergeTask;
var
  MergeTables: TStringList;
  I: Integer;
begin
  MergeTables := TStringList.Create;
  try
    // 添加需要合并的表名
    MergeTables.Add('CUSTOMERS');
    MergeTables.Add('ORDERS');
    MergeTables.Add('PRODUCTS');

    for I := 0 to MergeTables.Count - 1 do
    begin
      MergeSingleTable(FDQryDatabase, FDQuerySource, MergeTables[I]);
    end;
  finally
    MergeTables.Free;
  end;
end;

关键注意事项 #

• 唯一约束依赖：MERGE语句的ON条件必须对应表的主键或唯一索引，否则无法准确判断重复数据。
• 性能优化：17000条数据属于小批量，MERGE语句比逐条插入效率高数倍；若后续数据量增大，可添加分页逻辑分批次处理。
• 事务控制：合并单表时开启事务，避免中途出错导致数据不一致。
• 跨库权限：如果两个Firebird库在同一服务器，可通过AT子句直接访问（如SELECT * FROM TABLE AT 'D:\SOURCE.FDB'），需确保数据库用户有对应访问权限。

内容的提问来源于stack exchange，提问作者Wellington Telles Cunha