如何在Python中合并多表Tableau Hyper文件？

核心思路 #

直接用Tableau官方提供的tableauhyperapi操作Hyper文件，通过复制源Hyper中的表到目标Hyper文件，彻底跳过CSV转换环节，大幅提升处理效率。

步骤实现 #

1. 安装依赖 #

先安装官方的Hyper API库：

pip install tableauhyperapi

2. 完整代码实现 #

from tableauhyperapi import HyperProcess, Connection, Telemetry, TableDefinition

def merge_hyper_files(source_hyper_paths, target_hyper_path):
    # 启动Hyper后台进程
    with HyperProcess(telemetry=Telemetry.DO_NOT_SEND_USAGE_DATA_TO_TABLEAU) as hyper:
        # 创建并连接到目标Hyper文件
        with Connection(endpoint=hyper.endpoint, database=target_hyper_path) as target_conn:
            for idx, source_path in enumerate(source_hyper_paths):
                # 连接到当前源Hyper文件
                with Connection(endpoint=hyper.endpoint, database=source_path) as source_conn:
                    # 获取源文件里的所有表名
                    table_names = source_conn.catalog.get_table_names("public")
                    for table_name in table_names:
                        # 读取源表的结构定义
                        source_table = source_conn.catalog.get_table_definition(table_name)
                        # 检查目标文件是否已有同名表，没有则创建结构
                        if not target_conn.catalog.has_table(table_name):
                            target_conn.catalog.create_table(source_table)
                        # 直接复制源表数据到目标表
                        target_conn.execute_command(
                            f"INSERT INTO {table_name} SELECT * FROM EXTERNAL '{source_path}'.{table_name}"
                        )
                    print(f"已合并源文件：{source_path}")
    print(f"所有文件合并完成，结果路径：{target_hyper_path}")

# 实际调用示例
if __name__ == "__main__":
    # 替换成你的源Hyper文件列表
    source_files = [
        "./data/source1.hyper",
        "./data/source2.hyper",
        "./data/source3.hyper"
    ]
    # 替换成目标文件路径
    target_file = "./data/merged_all.hyper"
    merge_hyper_files(source_files, target_file)

3. 关键注意事项 #

• 性能优势：官方API直接操作Hyper的底层存储，比CSV转换快3-10倍，大文件场景下差距更明显
• 表结构兼容：如果源文件存在同名但结构不同的表，代码会抛出SQL错误，需提前统一表结构，或者给表名加前缀区分（比如给每个源表加source_1_、source_2_前缀）
• 资源占用：处理超大型文件时，建议增加Hyper进程的内存分配，可在启动HyperProcess时添加参数parameters={"memory_limit": "8G"}

4. 处理同名异表的修改示例 #

如果需要保留不同结构的同名表，可修改代码给表名加源文件标识：

# 在遍历源文件的循环内修改表名逻辑
table_prefix = f"src_{idx}_"
new_table_name = TableDefinition(f"public.{table_prefix}{table_name.name}")
# 创建新表并复制数据
target_conn.catalog.create_table(new_table_name)
target_conn.execute_command(
    f"INSERT INTO {new_table_name} SELECT * FROM EXTERNAL '{source_path}'.{table_name}"
)

内容的提问来源于stack exchange，提问作者Nick S