Streamlit应用上传DataFrame至MongoDB Atlas时无报错终止求助

1. MongoDB连接配置错误 #

你的MongoDB连接字符串中<Password>是占位符，必须替换为MongoDB Atlas账号的真实密码。若密码包含@、$等特殊字符，需进行URL编码（例如@替换为%40）。未正确配置密码会导致连接失败，直接终止进程且无可见报错。

2. Streamlit按钮状态丢失 #

Streamlit每次交互都会重新运行整个脚本，你将Upload to MongoDB按钮嵌套在if st.button('Scrape'):代码块内，点击Upload按钮时，Scrape按钮的状态重置，tweets_df会变为未定义，操作空数据会导致应用崩溃。

修复代码：

# Scrape Twitter data
if st.button('Scrape'):
    tweets_df = scrape_twitter_data(hashtag, start_date, end_date, max_tweets)
    st.session_state['tweets_df'] = tweets_df  # 保存数据到会话状态
    st.write(tweets_df)

# Upload data to MongoDB
if 'tweets_df' in st.session_state:
    if st.button('Upload to MongoDB'):
        upload_to_mongodb(st.session_state['tweets_df'])
        st.success('Data uploaded to MongoDB.')
        st.write(pd.DataFrame(list(test.find())))

3. 未捕获MongoDB操作异常 #

当前代码无异常捕获机制，插入数据时若出现数据类型不兼容、网络超时等问题，会直接终止应用而无报错提示。添加异常捕获：

def upload_to_mongodb(data):
    try:
        # 处理MongoDB不兼容的数据类型（如datetime）
        data = data.copy()
        for col in data.select_dtypes(include=['datetime64']).columns:
            data[col] = data[col].dt.strftime('%Y-%m-%d %H:%M:%S')
        
        result = test.insert_many(data.to_dict('records'))
        st.write(f'{len(result.inserted_ids)} documents uploaded to MongoDB')
        return result
    except Exception as e:
        st.error(f"上传失败: {str(e)}")
        return None

4. MongoDB Atlas IP白名单限制 #

确保MongoDB Atlas集群的IP白名单已添加当前运行Streamlit应用的环境IP：本地运行需添加你的公网IP；云端部署需添加对应服务商的IP段（测试阶段可临时允许所有IP，生产环境禁用）。IP未授权会导致连接被拒绝，进程终止。

5. 大数据量插入超时 #

若max_tweets设置过大，批量插入大量数据可能触发网络超时，建议分批次插入：

def upload_to_mongodb(data, batch_size=100):
    try:
        records = data.to_dict('records')
        total = len(records)
        inserted = 0
        for i in range(0, total, batch_size):
            batch = records[i:i+batch_size]
            result = test.insert_many(batch)
            inserted += len(result.inserted_ids)
        st.write(f'{inserted}/{total} documents uploaded to MongoDB')
        return inserted
    except Exception as e:
        st.error(f"上传失败: {str(e)}")
        return None

内容的提问来源于stack exchange，提问作者PriyabrataDS