在数据分析工作中，我们经常需要从原始数据集中提取特定子集，进行计算，然后将结果合并。例如，根据不同的条件（如 regions 和 n）筛选数据，计算特定指标（如 length），再将这些结果通过 merge 操作组合起来。这种方法虽然能达到目的，但在实际操作中往往面临以下问题：
- 代码冗长且重复： 每次筛选和计算都需要单独的代码块，当需要处理的组合条件增多时，代码量会急剧膨胀。
- 效率低下： 频繁创建中间 DataFrame 并执行 merge 操作，尤其是在处理百万级别甚至更大数据量时，会带来显著的性能开销。
- 可读性差： 大量的筛选和合并逻辑使得代码难以理解，增加了维护成本。
- 易出错： 重复的代码模式更容易引入复制粘贴错误，导致结果不准确。
以下是原始问题中展示的示例代码片段，它清晰地体现了这种重复性：
# 原始的重复筛选和合并操作示例
df_cap_N90 = df_stats[(df_stats['N'] == 90) & (df_stats['regions'] == 'captured')].drop(columns=['regions', 'N'])
df_cap_N50 = df_stats[(df_stats['N'] == 50) & (df_stats['regions'] == 'captured')].drop(columns=['regions', 'N'])
df_all_N50 = df_stats[(df_stats['N'] == 50) & (df_stats['regions'] == 'all') ].drop(columns=['regions', 'N'])
df_summ_cap_N50_all_N50 = pd.merge(df_cap_N50, df_all_N50, on='enzyme', how='inner', suffixes=('_cap_N50', '_all_N50'))
df_summ_cap_N50_all_N50['cap_N50_all_N50'] = (df_summ_cap_N50_all_N50['length_cap_N50'] -
df_summ_cap_N50_all_N50['length_all_N50'])
df_summ_cap_N90_all_N50 = pd.merge(df_cap_N90, df_all_N50, on='enzyme', how='inner', suffixes=('_cap_N90', '_all_N50'))
df_summ_cap_N90_all_N50['cap_N90_all_N50'] = df_summ_cap_N90_all_N50['length_cap_N90'] - df_summ_cap_N90_all_N50['length_all_N50']
df_summ = pd.merge(df_summ_cap_N50_all_N50.drop(columns=['length_cap_N50', 'length_all_N50']),
df_summ_cap_N90_all_N50.drop(columns=['length_cap_N90', 'length_all_N50']),
on='enzyme', how='inner') Pandas pivot 函数：数据重塑的利器
为了解决上述问题，Pandas 提供了 pivot 函数，它能够将“长格式”数据（即多个变量的值存储在同一列中，通过其他列标识其类型）转换为“宽格式”数据（即每个变量类型拥有独立的列）。这种重塑操作能极大地简化后续的计算逻辑。
pivot 函数的核心参数包括：
- index: 用于创建新 DataFrame 的行索引的列。
- columns: 用于创建新 DataFrame 的列索引的列（可以是一个列表，生成多级列索引）。
- values: 用于填充新 DataFrame 单元格的值的列。
首先，我们加载并查看原始数据：
import io
import pandas as pd
TESTDATA="""
enzyme regions N length
AaaI all 10 238045
AaaI all 20 170393
AaaI all 30 131782
AaaI all 40 103790
AaaI all 50 81246
AaaI all 60 62469
AaaI all 70 46080
AaaI all 80 31340
AaaI all 90 17188
AaaI captured 10 292735
AaaI captured 20 229824
AaaI captured 30 193605
AaaI captured 40 163710
AaaI captured 50 138271
AaaI captured 60 116122
AaaI captured 70 95615
AaaI captured 80 73317
AaaI captured 90 50316
AagI all 10 88337
AagI all 20 19144
AagI all 30 11030
AagI all 40 8093
AagI all 50 6394
AagI all 60 4991
AagI all 70 3813
AagI all 80 2759
AagI all 90 1666
AagI captured 10 34463
AagI captured 20 19220
AagI captured 30 15389
AagI captured 40 12818
AagI captured 50 10923
AagI captured 60 9261
AagI captured 70 7753
AagI captured 80 6201
AagI captured 90 4495
"""
df_stats = pd.read_csv(io.StringIO(TESTDATA), sep='\s+')
print("原始数据 df_stats 头部：")
print(df_stats.head()) 输出：
PIA
全面的AI聚合平台，一站式访问所有顶级AI模型
226
查看详情
原始数据 df_stats 头部： enzyme regions N length 0 AaaI all 10 238045 1 AaaI all 20 170393 2 AaaI all 30 131782 3 AaaI all 40 103790 4 AaaI all 50 81246使用 pivot 重塑数据
为了进行 cap_N50_all_N50 和 cap_N90_all_N50 的计算，我们只需要 N 为 50 和 90 的数据。首先筛选出这些数据，然后使用 pivot 进行重塑。
# 筛选出 N 为 50 或 90 的数据，这是后续计算所需
filtered_df = df_stats.loc[df_stats["N"].isin([50, 90])]
# 使用 pivot 重塑数据
# index='enzyme' 将 enzyme 作为新的行索引
# columns=['regions', 'N'] 将 regions 和 N 的组合作为新的列索引（多级列）
# values='length' 将 length 列的值填充到新的单元格中
pivoted_df = filtered_df.pivot(index="enzyme", columns=["regions", "N"], values="length")
print("\n重塑后的 pivoted_df 头部：")
print(pivoted_df.head()) 输出：
PIA
全面的AI聚合平台，一站式访问所有顶级AI模型
226
查看详情
重塑后的 pivoted_df 头部： regions all captured N 50 90 50 90 enzyme AaaI 81246 17188 138271 50316 AagI 6394 1666 10923 4495
可以看到，pivoted_df 现在是一个宽格式的 DataFrame，enzyme 作为行索引，regions 和 N 的组合作为多级列索引。所有需要进行计算的值都已排列在同一行中，使得后续操作变得非常直接。
基于重塑数据的统计计算数据重塑完成后，复杂的跨列计算就变得异常简单。我们可以直接通过列名访问数据，并利用 Pandas 的内置方法进行高效的向量化操作。
# 进行统计计算
# 从 'captured' 区域的 N50/N90 值中减去 'all' 区域的 N50 值
# pivoted_df["captured"] 选取所有 'captured' 区域的列（N50, N90）
# pivoted_df[("all", 50)] 选取 'all' 区域的 N50 列
# .sub() 方法执行减法，axis=0 表示按行对齐索引进行操作
result_df = (pivoted_df["captured"]
.sub(pivoted_df[("all", 50)], axis=0)
.add_prefix("cap_N") # 为列添加前缀 'cap_N'
.add_suffix("_all_N50") # 为列添加后缀 '_all_N50'
.reset_index()) # 将 enzyme 索引重置为普通列
print("\n最终结果 result_df：")
print(result_df) 输出：
PIA
全面的AI聚合平台，一站式访问所有顶级AI模型
226
查看详情
最终结果 result_df： N enzyme cap_N50_all_N50 cap_N90_all_N50 0 AaaI 57025 -30930 1 AagI 4529 -1899
通过上述代码，我们仅用了几行简洁的代码就实现了与原始冗长代码相同的结果，并且逻辑更加清晰。
优化效果与优势与原始的重复筛选和合并方法相比，使用 pivot 进行数据聚合和计算带来了显著的优势：
- 代码简洁性： 将多步骤的筛选、合并和计算整合为少数几行代码，大大减少了代码量。
- 执行效率： pivot 操作在底层经过高度优化，且避免了多次创建中间 DataFrame 和执行昂贵的 merge 操作，这对于处理大数据集时性能提升尤为明显。
- 可读性与可维护性： 代码逻辑更加集中和直观，易于理解和后续修改。当需要添加新的计算组合时，只需在 pivot 后的 DataFrame 上进行简单的列操作即可。
- 灵活性： 这种模式便于扩展。如果需要计算更多 N 值或 regions 类型的组合，只需调整 filtered_df 的筛选条件和后续的列操作即可。
- pivot 与 pivot_table 的选择： pivot 函数要求 index 和 columns 参数的组合必须是唯一的，否则会报错。如果存在重复的 index/columns 组合，并且需要对 values 进行聚合（如求和、平均值等），则应使用功能更强大的 pivot_table 函数，它允许指定聚合函数 aggfunc。在本例中，enzyme、regions 和 N 的组合是唯一的，因此 pivot 适用。
- 缺失值处理： 如果某些 index/columns 组合在原始数据中不存在，pivot 操作会在新生成的 DataFrame 中填充 NaN。在进行后续计算前，可能需要使用 fillna() 等方法处理这些缺失值。
- 性能考量： 尽管 pivot 效率高，但对于拥有极大量唯一 columns
以上就是Pandas 数据聚合优化：利用 Pivot 提升效率与代码简洁性的详细内容，更多请关注知识资源分享宝库其它相关文章！
相关标签： 大数据 ai 聚合函数 排列 red pandas 变量类型 Length 数据分析 大家都在看： Python怎么获取CPU核心数_os与multiprocessing获取CPU核心数 python如何计算列表的长度_python使用len()函数获取列表长度 python pandas如何对某一列进行计数_pandas对dataframe列进行值计数的方法 python中sorted()函数和列表的sort()方法有什么不同？ python中怎么给函数设置默认参数_Python函数默认参数设置方法
发表评论:
◎欢迎参与讨论，请在这里发表您的看法、交流您的观点。