如何将Blob数据插入Snowflake？遇数据类型映射错误求解决方案

Snowflake没有原生BLOB类型，但可通过以下两种方式完整存储二进制数据：

方案1：源端转Base64编码存储为VARCHAR(MAX) #

Cerner基于Oracle生态，UTL_RAW.CAST_TO_VARCHAR2会因VARCHAR2长度限制截断数据，改用支持大对象的Base64编码方式：

• Cerner查询语句：

SELECT UTL_ENCODE.BASE64_ENCODE(blob_contents) AS blob_base64 FROM ce_blob;

该语句返回CLOB类型，需在Python中完整读取内容，避免截断。

• Snowflake表结构：

CREATE OR REPLACE TABLE BLOB_TABLE (blob_data VARCHAR(MAX));

• Python插入代码：

# 从Cerner游标读取数据并处理CLOB
processed_blob = []
for row in cerner_cursor:
    # 读取CLOB完整内容
    base64_str = row['BLOB_BASE64'].read()
    processed_blob.append((base64_str,))

# 批量插入Snowflake
snowflake_query = "INSERT INTO BLOB_TABLE VALUES (?)"
snowflake_cursor.executemany(snowflake_query, processed_blob)

方案2：Python读取完整LOB后转二进制存入BINARY类型 #

通过Python驱动完整读取Cerner的LOB对象，转为二进制后插入Snowflake的BINARY列：

• Snowflake表结构：

CREATE OR REPLACE TABLE BLOB_TABLE (blob_data BINARY);

• Python处理与插入代码：

# 读取Cerner的LOB数据
cerner_cursor.execute("SELECT blob_contents FROM ce_blob")
blob_list = []
for row in cerner_cursor:
    lob_obj = row[0]
    # 完整读取LOB内容为二进制
    full_blob = lob_obj.read()
    blob_list.append((full_blob,))

# 批量插入Snowflake
snowflake_query = "INSERT INTO BLOB_TABLE VALUES (?)"
snowflake_cursor.executemany(snowflake_query, blob_list)

关键说明 #

• 若Blob数据超过8MB（Snowflake BINARY类型上限），优先用Base64编码存入VARCHAR(MAX)（支持约16MB原始数据，编码后约21MB）。
• 必须调用LOB对象的read()方法获取完整内容，直接传递LOB对象会触发类型映射错误。
• Snowflake中还原Base64编码的数据可使用：

SELECT BASE64_DECODE_BINARY(blob_data) AS original_blob FROM BLOB_TABLE;

内容的提问来源于stack exchange，提问作者Vyom Raj