DataFrame列赋值异常：仅修改前59000条，求原因及优化方案

问题现象 #

想要修改DataFrame中CT_feat7列里所有大于70的值，运行以下循环代码后，仅修改到索引59180处，后续数据未被处理，只能通过额外的while循环手动处理剩余部分：

for index,j in enumerate(df['CT_feat7']):
  if j>70:
    df.loc[index,'CT_feat7'] = 11+random.random()

后续补处理的代码：

i,j = 59180,2
while i <= 99195:
  if df.loc[i,'CT_feat7']>70:
    df.loc[i,'CT_feat7'] = j
    j+=0.1
    if j>12:
      j=2
  i+=1

原因解释 #

出现遍历提前终止的核心原因：

• 你用enumerate(df['CT_feat7'])遍历的是**CT_feat7列的初始副本/视图**，当通过df.loc修改DataFrame时，底层数据的内存结构可能发生变化，导致原迭代器提前耗尽。
• pandas是面向矢量化设计的框架，单循环遍历并实时修改的操作会触发频繁的内存重新分配，不仅效率极低，还可能破坏迭代器的遍历逻辑，导致遍历提前停止。
• 另外，enumerate生成的是从0开始的位置序号，而df.loc[index]是按标签索引，这种混合使用位置序号和标签索引的方式本身就存在风险，一旦索引不连续就会直接出错。

更优实现方法 #

直接使用pandas的矢量化操作，完全避免循环，既解决遍历不完整的问题，又能大幅提升运行效率：

方案1：生成11-12之间的随机数替换 #

如果需求是把大于70的值替换为11到12之间的随机数，用numpy生成批量随机值直接赋值：

import numpy as np
# 筛选出需要修改的行
mask = df['CT_feat7'] > 70
# 生成对应数量的随机值并赋值
df.loc[mask, 'CT_feat7'] = 11 + np.random.rand(mask.sum())

方案2：生成循环递增序列替换（如2→2.1→…→12→2→…） #

如果需求是像补处理代码那样，生成从2开始每次加0.1、到12后重置为2的循环序列，同样用矢量化方式生成序列后赋值：

import numpy as np
mask = df['CT_feat7'] > 70
replace_count = mask.sum()
# 生成基础序列：2,2.1,...,12
base_seq = np.arange(2, 12.1, 0.1)
# 重复基础序列足够多次，取前replace_count个值
replace_values = np.tile(base_seq, replace_count // len(base_seq) + 1)[:replace_count]
# 批量赋值
df.loc[mask, 'CT_feat7'] = replace_values

为什么矢量化更好 #

• 避免了循环带来的迭代器异常、索引不匹配等问题，确保所有符合条件的行都被处理。
• 运行速度比循环快几个数量级，尤其是数据量较大时（比如你这里近10万行数据）。
• 代码更简洁易读，逻辑清晰，便于维护。

内容的提问来源于stack exchange，提问作者Shasi Kumar