KSH脚本过大无法执行求助：Oracle数据插入脚本报错

我碰到过好几个类似的场景——当脚本大到几十MB级别时，直接用here-doc喂给sqlplus很容易触发各种限制（比如shell的输入缓冲区、sqlplus的解析内存上限）。下面给你几个实用的解决办法，按优先级排序：

1. 拆分SQL脚本为小文件，分批执行 #

这是最直接也最稳妥的方案，完全避开大脚本的限制：

• 把原脚本里的INSERT语句拆分到多个小文件中，比如每个文件控制在10MB左右，或者按插入行数拆分（比如每1000条INSERT一个文件）
• 修改你的KSH脚本，循环调用sqlplus执行这些小文件：

#!/bin/ksh
# 假设拆分后的SQL文件命名为insert_part_1.sql、insert_part_2.sql...
for sql_file in insert_part_*.sql; do
    $ORACLE_HOME/bin/sqlplus -s USER/PasWoRd@10.10.10.10:1234/oraSID @$sql_file
    # 可选：如果某批执行失败，直接终止脚本并提示
    if [ $? -ne 0 ]; then
        echo "执行$sql_file失败，终止脚本"
        exit 1
    fi
done

每次让sqlplus只处理一个小文件，从根源上避免大脚本带来的问题。

2. 改用SQL*Loader批量导入 #

如果你的数据是结构化的（比如从CSV/文本文件导出的内容），SQL*Loader是Oracle官方推荐的批量导入工具，不仅完全没有脚本大小限制，导入效率也比一堆INSERT语句高几个量级：

• 先把要插入的数据整理成规范的文本文件（比如每行对应一条记录，字段用逗号/制表符分隔）
• 编写一个控制文件（.ctl），定义数据格式、目标表字段映射规则
• 在KSH脚本中调用sqlldr执行导入：

#!/bin/ksh
$ORACLE_HOME/bin/sqlldr USER/PasWoRd@10.10.10.10:1234/oraSID control=load_data.ctl log=load_result.log bad=bad_records.log

这个方案适合大量数据的长期导入需求，比手写INSERT脚本靠谱得多。

3. 调整SQLPlus参数（临时应急方案） #

如果不想拆分脚本，可以尝试调整sqlplus的内存相关参数，但这个方法的效果有限，仅适合脚本接近临界值的情况：

• 在sqlplus会话开头添加参数设置，增大处理长内容的缓冲区：

$ORACLE_HOME/bin/sqlplus -s << LABEL1
USER/PasWoRd@10.10.10.10:1234/oraSID
-- 增大长字符串处理长度、批量数组大小
SET LONG 100000000
SET ARRAYSIZE 1000
-- 你的变量定义和INSERT语句
LABEL1

不过当脚本过大时，这种调整可能还是突破不了限制，只能作为临时应急手段。

4. 绕过Shell Here-doc限制 #

部分版本的ksh对here-doc的最大长度有默认限制，你可以把SQL内容写入临时文件，再让sqlplus直接读取文件，绕过shell的输入缓冲区限制：

#!/bin/ksh
# 将SQL内容写入临时文件
cat > temp_insert.sql << LABEL1
-- 你的变量定义和INSERT语句
LABEL1
# 执行临时文件
$ORACLE_HOME/bin/sqlplus -s USER/PasWoRd@10.10.10.10:1234/oraSID @temp_insert.sql
# 执行完成后删除临时文件
rm -f temp_insert.sql

这个方法有时候能解决here-doc带来的长度问题，因为sqlplus直接读取文件内容，而非通过shell管道传递。

总结一下，优先选择拆分脚本或SQL*Loader方案，这两个是长期可靠的解决办法；临时应急可以尝试调整参数或临时文件的方式。

内容的提问来源于stack exchange，提问作者Luis Bauluz del Río