如何通过Polars或PyArrow创建并更新Iceberg表？含写入实操

以下是两种实用的实现方式，均通过PyArrow作为中间格式（Polars暂不直接支持Iceberg写入）：

方案一：PyIceberg + PyArrow（推荐生产环境使用） #

PyIceberg是Apache Iceberg官方的Python库，支持完整的Iceberg特性（快照、时间旅行、Schema演进等），对本地存储和对象存储（S3、OSS等）的适配更完善。

步骤 #

1. 安装依赖包

pip install polars pyiceberg pyarrow s3fs  # s3fs仅针对S3类对象存储场景

2. 代码实现

import polars as pl
from pyiceberg.catalog import load_catalog
from pyiceberg.schema import Schema
from pyiceberg.types import IntegerType, IntegerField

# 1. 准备Polars DataFrame
df = pl.DataFrame({'x': [1, 2, 3]})

# 2. 转换为PyArrow Table（Iceberg依赖Arrow格式）
arrow_table = df.to_arrow()

# 3. 加载Catalog（本地文件系统示例）
# 如果是对象存储，比如S3，可配置type="s3"并指定相关凭证参数
catalog = load_catalog(
    "local_catalog",
    type="file",
    warehouse="/your/local/iceberg-warehouse"
)

# 4. 定义表Schema（也可从Arrow表自动推断）
# 自动推断方式：
# from pyiceberg.io.pyarrow import schema_from_pyarrow
# schema = schema_from_pyarrow(arrow_table.schema)
schema = Schema([IntegerField("x", IntegerType())])

# 5. 创建或加载目标Iceberg表
# 若表已存在，改用 catalog.load_table("default.test_table")
table = catalog.create_table(
    namespace="default",
    name="test_table",
    schema=schema
)

# 6. 写入数据
table.append(arrow_table)

方案二：PyArrow原生Iceberg支持（适合快速测试） #

PyArrow 15.0.0及以上版本原生支持Iceberg写入，无需额外安装PyIceberg，轻量便捷。

步骤 #

1. 安装依赖包

pip install polars pyarrow

2. 代码实现

import polars as pl
import pyarrow as pa
import pyarrow.dataset as ds
from pyarrow._dataset import IcebergWriteOptions

# 1. 准备Polars DataFrame
df = pl.DataFrame({'x': [1, 2, 3]})
arrow_table = df.to_arrow()

# 2. 写入Iceberg表（本地路径示例）
# 对象存储场景直接替换路径为"s3://bucket/path/to/table"，需提前配置凭证
ds.write_dataset(
    arrow_table,
    base_dir="/your/local/iceberg-table",
    format="iceberg",
    partitioning=None,  # 按需设置分区字段，比如 ["x"]
    write_options=IcebergWriteOptions(table_name="test_table")
)

方案对比 #

• PyIceberg: 功能完整，支持复杂表管理操作，生产环境首选；
• PyArrow: 轻量快速，适合原型验证，但Iceberg高级特性支持有限。

注意事项 #

• 写入对象存储时，需提前配置对应存储的访问凭证（如S3的AWS密钥环境变量）；
• 后续写入数据时，Schema需与表结构匹配，或通过PyIceberg的Schema演进功能修改表结构；
• Polars读取Iceberg表可直接使用pl.read_iceberg()方法，无需额外转换。

内容的提问来源于stack exchange，提问作者MYK