如何在Parquet文件中保留Markdown格式？

问题描述 #

我在MongoDB集合中有一个名为markdown的列，内容如下：

Title

**Section 1**

Introduction

**Section 2**

Paragraph 1

**Section 3**

Paragraph 2

**Section 4**

Conclusion

## Background / Description

**Hypothesis**: Hypothesis

## Project Goals

* Goal 1
* Goal 2
* Goal 3

但使用pyarrow将其转换为Parquet文件中的列后，内容变为：

'\n\nTitle\n\n**Section 1**\n\nIntroductiont\n\n**Section 2**\n\nParagraph 1\n\n**Section 3**\n\nParagraph 2\n\n**Section 4**\n\nConclusion\n\n## Background / Description\n\n**Hypothesis**Hypothesis\n\n## Project Goals\n\n* Goal 1\n* Goal 2\n* Goal 3\n

将该内容保存为md文件后显示异常，完全失去了Markdown格式的意义。请问是否有方法在Parquet文件中保留Markdown格式？

补充说明：我使用以下代码将MongoDB文档转换为Parquet文件：

# pa = pyarrow lib, pq = parquet from pyarrow lib
bson_data = list(db[MONGO_COLLECTION].find())
logging.info(f"{len(bson_data)} documents found.")

df = pd.DataFrame(bson_data)
table = pa.Table.from_pandas(df)
pq.write_table(table, "/tmp/output.parquet")
logging.info("Conversion to parquet completed successfully.")

问题分析与解决方法 #

Parquet本身是列式存储格式，不会主动修改文本内容，你看到的\n转义字符只是Python字符串的控制台显示形式，并非实际存储的内容。但转换后内容出现的Introductiont（多了字符t）、**Hypothesis**Hypothesis（丢失冒号和空格）属于数据损坏，大概率出在读取或转换环节，而非Parquet的问题。

1. 先验证MongoDB读取的原始数据

先检查从MongoDB读取的bson_data中，markdown字段的原始内容是否正确，排除数据源或读取逻辑的问题：

print(bson_data[0]['markdown'])

如果此处内容已经异常，需要排查MongoDB查询语句是否存在字段投影错误、编码兼容问题。

2. 显式指定字符串类型避免隐式转换

Pandas和PyArrow默认支持字符串存储，但显式指定类型能避免潜在的隐式转换问题：

# 转换DataFrame后强制指定markdown列为字符串类型
df['markdown'] = df['markdown'].astype(str)

# 或者创建Arrow Table时指定schema
schema = pa.schema([
    # 按实际需求定义其他字段
    ('markdown', pa.string())
])
table = pa.Table.from_pandas(df, schema=schema)
pq.write_table(table, "/tmp/output.parquet")

3. 读取Parquet时正确还原内容

从Parquet读取数据后，直接提取字段内容写入.md文件，不要保留Python的转义表示：

table = pq.read_table("/tmp/output.parquet")
df = table.to_pandas()

# 写入md文件时指定UTF-8编码
with open("output.md", "w", encoding="utf-8") as f:
    f.write(df['markdown'].iloc[0])

4. 全程统一编码格式

确保数据读取、转换、写入全流程使用UTF-8编码，避免因编码不一致导致的字符错乱。

核心结论 #

Parquet完全支持存储Markdown格式的文本，只要保证数据在MongoDB读取、Parquet转换、文件还原的全流程中内容未被篡改，就能完整保留Markdown格式。你遇到的异常本质是中间环节的数据损坏，而非Parquet不兼容Markdown。

内容的提问来源于stack exchange，提问作者g1wonwon