如何在Pandas中为指定列的相对URL批量补全主域名生成完整链接?
pandas 批量为CSV中的相对URL添加域名前缀
在现有代码的DataFrame生成完成后、导出操作执行前,对link和image_link列批量拼接域名前缀即可实现需求,以下是具体实现方案。
最简实现(适配标准相对路径场景)
如果确认原数据中两列的值全部是不带域名的相对路径,可直接用pandas的字符串向量化操作批量拼接,处理效率最高:
# 定义统一域名前缀 domain = "https://www.example.com" # 对两列批量拼接,同时清理路径前后无效空格 df['link'] = domain + df['link'].astype(str).str.strip() df['image_link'] = domain + df['image_link'].astype(str).str.strip()
鲁棒性增强实现(兼容异常数据场景)
如果原数据可能存在空值、已经带http前缀的完整URL、路径开头缺斜杠的情况,可增加自定义判断逻辑避免生成无效URL:
domain = "https://www.example.com" def complete_url(raw_url): # 处理空值,返回空字符串避免拼接报错 if pd.isna(raw_url): return "" url = str(raw_url).strip() # 已带协议头的完整URL直接保留 if url.startswith(('http://', 'https://')): return url # 统一补全路径开头的斜杠 if not url.startswith('/'): url = f"/{url}" # 拼接时去掉域名末尾多余的斜杠,避免出现双斜杠问题 return domain.rstrip('/') + url # 批量应用到目标列 df['link'] = df['link'].apply(complete_url) df['image_link'] = df['image_link'].apply(complete_url)
整合后的完整可运行代码
import xlsxwriter import pandas as pd # 配置域名前缀常量 DOMAIN = "https://www.example.com" # 读取源文件并提取目标列 ed = pd.read_csv('/home/google_files/google_file.csv') df = pd.DataFrame(ed[['id', 'title', 'description', 'product_type', 'link', 'image_link', 'condition', 'availability','price', 'brand', 'gtin','mpn']]) # 定义URL补全函数 def complete_url(raw_url): if pd.isna(raw_url): return "" url = str(raw_url).strip() if url.startswith(('http://', 'https://')): return url if not url.startswith('/'): url = f"/{url}" return DOMAIN.rstrip('/') + url # 批量处理URL列 df['link'] = df['link'].apply(complete_url) df['image_link'] = df['image_link'].apply(complete_url) # 导出为CSV df.to_csv('/home/csv/google_files/connexity_file.csv', index=False) # 导出为Excel toxl = pd.ExcelWriter('/home/csv/google_files/conn_file.xlsx') df.to_excel(toxl, index = False) toxl.save()
注意事项
- 字符串向量化操作比逐行循环处理效率高,处理大文件时优先使用这类方式
- 空值处理可以避免生成
https://www.example.com/nan这类无效URL - 斜杠统一处理可以避免拼接出现
https://www.example.com//test/xxx这类格式错误的链接
内容的提问来源于stack exchange,提问作者robothead
相关产品推荐
相关产品推荐

