Python分析用输入数据过滤及大数据压缩处理技术问询

嘿，我来帮你搞定这两个Python数据处理的问题——先从输入数据过滤说起，再拆解那个针对大数据集的斜率压缩需求，都是日常分析里很实用的技巧。

根据数据类型和规模，有几种常用的过滤方式：

• 列表推导式（最常用的轻量方案）
  这是Python里最顺手的过滤方式，代码简洁易读，适合小型到中型数据集。比如过滤掉非正数：

  raw_data = [2, -3, 4, 0, 6, -1]
  filtered_data = [x for x in raw_data if x > 0]
  # 结果: [2, 4, 6]
  

  还能加复杂条件，比如过滤字符串列表里长度大于3的元素：

  str_data = ["apple", "cat", "banana", "dog"]
  filtered_str = [s for s in str_data if len(s) > 3]
  

• filter()函数 + lambda/自定义函数
  如果你需要复用过滤逻辑，或者想让代码更模块化，可以用filter()。比如：

  def is_positive(x):
      return x > 0
  
  # 用自定义函数过滤
  filtered_data = list(filter(is_positive, raw_data))
  # 或者用lambda简化成一行
  filtered_data = list(filter(lambda x: x > 0, raw_data))
  

• Pandas过滤结构化数据
  如果是处理CSV、DataFrame这类结构化大数据集，Pandas的布尔索引效率更高，还能组合多条件：

  import pandas as pd
  
  df = pd.DataFrame({
      "value": [2, -3, 4, 0, 6, -1],
      "category": ["A", "B", "A", "C", "A", "B"]
  })
  # 过滤value>0且category为"A"的行
  filtered_df = df[(df["value"] > 0) & (df["category"] == "A")]
  

先明确需求：把连续正斜率（递增）的点合并成局部最大值，连续负斜率（递减）的点合并成局部最小值，同时记录每个合并点对应的原始数据点数量。比如你给的例子[2,3,4,6,4,1]，压缩后应该是[(2, 1), (6, 4), (1, 3)]——其中(2,1)是初始点，(6,4)代表从2到6的4个递增点，(1,3)代表从6到1的3个递减点。

实现思路 #

1. 先处理边界情况：空数据或单个点直接返回，避免报错。
2. 初始化变量：跟踪当前斜率方向、累计点数、当前段的极值点。
3. 遍历数据，对比每个点和前一个点的斜率符号：
   • 斜率方向不变（包括平点），就累加计数。
   • 斜率方向改变，就把当前段的极值点和计数存入结果，然后重置计数和斜率方向。
4. 遍历结束后，把最后一段的结果加入列表。

Python代码实现 #

def compress_by_slope(data):
    if not data:
        return []
    if len(data) == 1:
        return [(data[0], 1)]
    
    # 初始化：保留第一个点作为起始
    compressed = [(data[0], 1)]
    prev_val = data[0]
    count = 1
    prev_slope = None  # None: 初始状态, 1: 正斜率, -1: 负斜率, 0: 平
    
    for val in data[1:]:
        # 计算当前斜率的符号
        if val > prev_val:
            curr_slope = 1
        elif val < prev_val:
            curr_slope = -1
        else:
            curr_slope = 0  # 平点默认归为前一个方向，可按需调整
        
        # 第一次计算斜率，初始化状态
        if prev_slope is None:
            prev_slope = curr_slope
            count += 1
        else:
            # 斜率方向不变（或平点），继续累加
            if curr_slope == prev_slope or curr_slope == 0:
                count += 1
            else:
                # 斜率改变，存入当前段的极值点和计数
                compressed.append((prev_val, count))
                # 重置计数（当前点和前一个点是新段的前两个点）
                count = 2
                prev_slope = curr_slope
        
        prev_val = val
    
    # 把最后一段的结果加入
    compressed.append((prev_val, count))
    return compressed

# 测试你的例子
raw_data = [2, 3, 4, 6, 4, 1]
print(compress_by_slope(raw_data))
# 输出: [(2, 1), (6, 4), (1, 3)]

额外说明 #

• 平点处理：代码里把平点（斜率为0）归为前一个斜率方向，如果你需要单独合并平段，可以修改curr_slope == 0的判断逻辑，比如单独作为一种斜率方向。
• 效率：这个方法是O(n)时间复杂度，只需要遍历一次数据，非常适合大数据集的处理，不会占用过多内存。
• 二维数据适配：如果是处理(x,y)坐标点，只需要把斜率计算改成(y_curr - y_prev)/(x_curr - x_prev)的符号即可，逻辑完全通用。

内容的提问来源于stack exchange，提问作者chansen