C# ASP.NET Core动态结构文本数据解析及存储方案咨询

一、先解决可变空格问题：文本标准化预处理 #

不管后续用什么解析逻辑，先统一处理杂乱空白字符，减少干扰：

• 将连续的空格、制表符、换行符替换为单个空格
• 去除每行首尾的空白字符
• 注意：如果值本身包含空格（如"New York"），后续解析要区分「分隔用空格」和「值内空格」

代码示例：

string rawText = "Name  Alice Smith\nAge  25   City  New York";
// 标准化空白字符
string cleanedText = Regex.Replace(rawText, @"\s+", " ").Trim();
// 按行拆分（如果是多行文本）
string[] lines = cleanedText.Split('\n').Select(l => l.Trim()).Where(l => !string.IsNullOrEmpty(l)).ToArray();

二、动态列/键值解析的核心策略 #

1. 基于「键-值」模式的正则解析（适配值含空格的场景） #

假设文本是类似键1 值1 键2 值2的模式，且键是无空格的单词，值可以包含空格：
用正则匹配「键 + 空格 + 值」的组合，直到遇到下一个键或行尾，精准提取键值对。

代码示例：

var regex = new Regex(@"(\w+)\s+(.+?)(?=\s+\w+|$)", RegexOptions.Compiled);
var parsedData = new Dictionary<string, string>();

foreach (var line in lines)
{
    var matches = regex.Matches(line);
    foreach (Match match in matches)
    {
        string key = match.Groups[1].Value.Trim();
        string value = match.Groups[2].Value.Trim();
        // 避免重复键，可根据需求覆盖或跳过
        if (!parsedData.ContainsKey(key))
            parsedData[key] = value;
    }
}

• 正则说明：(\w+)匹配键（字母/数字/下划线），(.+?)非贪婪匹配值，(?=\s+\w+|$)正向预查，确保值在遇到下一个键或行尾时停止。

2. 适配带分隔符的文本（如果存在） #

如果文本里有明确的分隔符（如冒号:、等号=），优先按分隔符拆分，再清理空格：

// 示例文本："Name: Alice Smith Age=25 City : New York"
foreach (var line in lines)
{
    // 按分隔符拆分，支持冒号/等号
    var keyValuePairs = line.Split(new[] { ':', '=' }, StringSplitOptions.RemoveEmptyEntries)
                            .Select(s => s.Trim())
                            .ToArray();
    // 两两分组为键值对
    for (int i = 0; i < keyValuePairs.Length; i += 2)
    {
        if (i + 1 < keyValuePairs.Length)
            parsedData[keyValuePairs[i]] = keyValuePairs[i + 1];
    }
}

3. 极端无规则文本的处理 #

如果文本完全没有固定模式（如自由段落），可以：

• 预设常见实体规则（如年龄、邮箱、手机号、日期），用正则匹配提取
• 结合轻量NLP工具（如Microsoft.Extensions.AI）识别实体，但需注意性能和复杂度

三、动态数据的存储与操作 #

无需预定义模型，用以下方式存储和操作解析后的数据：

1. 内存中动态操作 #

用Dictionary<string, object>或ExpandoObject存储，支持动态添加/修改字段：

// 转换为可动态操作的对象
dynamic dynamicData = new ExpandoObject();
foreach (var kv in parsedData)
{
    ((IDictionary<string, object>)dynamicData)[kv.Key] = kv.Value;
}
// 直接访问字段
Console.WriteLine(dynamicData.Name);

2. 持久化存储方案 #

关系型数据库（如SQL Server）

将动态数据序列化为JSON，存储到JSON类型列：

// 实体类
public class UploadedTextData
{
    public int Id { get; set; }
    public DateTime UploadTime { get; set; } = DateTime.Now;
    public Dictionary<string, object> DynamicContent { get; set; } = new();
}

// EF Core配置JSON列
protected override void OnModelCreating(ModelBuilder modelBuilder)
{
    modelBuilder.Entity<UploadedTextData>()
        .Property(t => t.DynamicContent)
        .HasColumnType("json")
        .HasConversion(
            v => JsonSerializer.Serialize(v, new JsonSerializerOptions { WriteIndented = false }),
            v => JsonSerializer.Deserialize<Dictionary<string, object>>(v, null));
}

NoSQL数据库（如MongoDB）

直接存储为BSON文档，天然支持动态结构，无需额外序列化：

// MongoDB实体类（不需要固定字段）
public class UploadedTextData
{
    public ObjectId Id { get; set; }
    public DateTime UploadTime { get; set; } = DateTime.Now;
    public Dictionary<string, object> DynamicContent { get; set; } = new();
}

// 插入示例
var collection = mongoDatabase.GetCollection<UploadedTextData>("UploadedData");
await collection.InsertOneAsync(new UploadedTextData { DynamicContent = parsedData.ToDictionary(kv => kv.Key, kv => (object)kv.Value) });

四、优化与容错建议 #

• 正则预编译：用RegexOptions.Compiled编译常用正则，提升重复解析性能
• 错误处理：解析失败时保留原始文本，记录日志，避免丢失数据
• 自定义规则支持：允许用户上传时指定分隔符、键的匹配规则，增强灵活性
• 性能优化：大文本解析时采用流式处理，避免一次性加载全部内容

内容的提问来源于stack exchange，提问作者Adnan ali