Power BI加载大小超10GB的TXT文件的替代方案咨询

下面是经过实测的3种可落地方案，按实现成本从低到高排序：

方案1：Power BI Desktop本地清洗后发布（成本最低，推荐优先尝试） #

• 不需要提前转换CSV，直接打开Power BI Desktop，通过 获取数据>文本/CSV 选择你的TXT文件，在Power Query编辑器阶段完成数据清洗：直接删除不需要的字段、过滤无效行、转换数据类型，从源头减少最终加载的数据量。
• TXT为非压缩格式，导入到Power BI的VertiPaq引擎后会做高比例压缩，10GB的原始TXT清洗后压缩后的数据集通常只有2~5GB，完全符合Power BI Pro许可证10GB的数据集发布上限，Premium许可证最高支持400GB数据集，无压力。
• 如果清洗后数据集仍超出许可上限，开启增量刷新配置，按时间维度只同步新增数据，不需要全量加载历史数据即可正常使用。

方案2：导入中间数据库后直连（适合定期更新的数据集） #

如果你的TXT是会持续新增的业务数据，推荐先导入结构化存储后用DirectQuery模式连接：

• 本地环境可以选择SQL Server Express、PostgreSQL这类免费数据库，导入TXT时做分区存储，Power BI用DirectQuery模式连接，全量数据保留在数据库中，不需要加载到Power BI数据集，没有体积限制。
• 云环境可以将TXT上传到对象存储，直接用Power BI对应的对象存储连接器查询数据，无需全量同步到Power BI服务。

方案3：拆分TXT后批量合并加载（适合无数据库资源的场景） #

如果暂时没有可用的数据库资源，可以通过本地工具拆分大TXT：

• Windows可以用PowerShell的Get-Content命令拆分，Linux/macOS直接用内置split命令，按行/按固定大小把10GB TXT拆分为多个1GB以内的小文件，统一存放到同一个文件夹。
• 打开Power BI Desktop，通过 获取数据>从文件夹 选择存储拆分后文件的文件夹，Power Query会自动批量合并所有小文件的内容，和加载单文件的逻辑完全一致，无需手动做合并处理。

内容的提问来源于stack exchange，提问作者Thanzii