PowerBI技巧：如何导出含列质量信息的表头

一、先加载采样数据（避免内存溢出） #

直接全量加载触发内存错误时，优先通过采样缩小数据集体积，以下两种方法适配不同需求：

方法1：快速加载前N行 #

连接数据源后，替换默认加载代码为M语言实现：

let
    Source = Sql.Database("服务器地址", "数据库名"),
    TargetTable = Source{[Schema="dbo",Item="目标表名"]}[Data],
    // 仅加载前1000行，可根据内存情况调整数值
    SampledData = Table.FirstN(TargetTable, 1000)
in
    SampledData

方法2：SQL随机采样（更具代表性） #

利用你熟悉的SQL直接在数据源端采样，Power Query仅加载采样结果：

SELECT TOP 10 PERCENT * FROM dbo.目标表名 ORDER BY NEWID()

二、自动生成列质量分析报告（M代码批量实现） #

基于采样数据，用M代码自动遍历所有列计算核心质量指标，无需手动逐个分析：

let
    Source = SampledData,
    ColumnNames = Table.ColumnNames(Source),
    // 批量计算每列的质量参数
    ColumnQualityList = List.Transform(ColumnNames, (col) =>
        let
            ColumnData = Table.Column(Source, col),
            TotalRows = List.Count(ColumnData),
            NullCount = List.Count(List.Select(ColumnData, each _ = null)),
            NullPercentage = Number.Round(NullCount/TotalRows*100, 2),
            UniqueCount = List.Count(List.Distinct(ColumnData)),
            UniquePercentage = Number.Round(UniqueCount/TotalRows*100, 2),
            DataType = Value.Type(ColumnData{0})
        in
            [
                列名 = col,
                数据类型 = DataType,
                总行数 = TotalRows,
                空值数量 = NullCount,
                空值占比(%) = NullPercentage,
                唯一值数量 = UniqueCount,
                唯一值占比(%) = UniquePercentage
            ]
    ),
    ColumnQualityTable = Table.FromRecords(ColumnQualityList),
    // 按空值占比降序排序，快速识别无效列
    SortedTable = Table.Sort(ColumnQualityTable,{{"空值占比(%)", Order.Descending}})
in
    SortedTable

执行后会生成结构化表格，直观展示每列的健康状况。

三、导出列质量报告 #

生成质量表格后：

1. 点击关闭并上载，将表格加载到Power BI数据模型
2. 可直接在报表视图做可视化分析，或右键表格选择导出数据，保存为CSV/Excel文件用于后续列相关性判断

四、进阶：SQL端预分析（零内存占用） #

若数据集超大到采样都有压力，直接在SQL端计算列质量，再导入结果到Power BI：

SELECT 
    c.name AS 列名,
    ty.name AS 数据类型,
    COUNT(*) AS 总行数,
    SUM(CASE WHEN c.name IS NULL THEN 1 ELSE 0 END) AS 空值数量,
    ROUND(SUM(CASE WHEN c.name IS NULL THEN 1 ELSE 0 END)*100.0/COUNT(*),2) AS 空值占比(%),
    COUNT(DISTINCT c.name) AS 唯一值数量
FROM sys.columns c
JOIN sys.tables t ON c.object_id = t.object_id
JOIN sys.types ty ON c.system_type_id = ty.system_type_id
WHERE t.name = '目标表名'
GROUP BY c.name, ty.name

五、列相关性与关系判断建议 #

• 先剔除空值占比过高（如>90%）的列，此类列无分析价值
• 唯一值占比100%的列，大概率是主键/唯一标识，可作为表间关联候选键
• 用M代码批量测试列关联有效性：

// 示例：测试两个表的列关联匹配率
let
    Table1 = 采样后的表1,
    Table2 = 采样后的表2,
    TestJoin = Table.NestedJoin(Table1, {"主键列1"}, Table2, {"外键列2"}, "关联结果", JoinKind.LeftOuter),
    MatchRate = Number.Round(List.Count(List.Select(TestJoin[关联结果], each Table.RowCount(_)>0))/Table.RowCount(Table1)*100,2)
in
    MatchRate

内容的提问来源于stack exchange，提问作者user8788429