Pandas数据透视：将月度数据汇总为季度和年度列（数据.月度.透视.汇总.季度...）

Pandas数据透视：将月度数据汇总为季度和年度列

本教程详细介绍了如何使用Pandas高效地将DataFrame中按YYYYMM格式存储的月度数据汇总为季度和年度数据。通过数据重塑（melt）、字符串操作提取日期信息、自定义映射和分组聚合（groupby），最终将汇总结果以宽格式（新列）呈现，避免了手动硬编码列名的繁琐。

在数据分析场景中，我们经常会遇到需要将细粒度的时间序列数据（如月度数据）聚合到更粗粒度的周期（如季度或年度）的需求。当这些月度数据以列的形式存储在pandas dataframe中时，传统的逐列求和方法会非常低效且难以维护。本教程将提供一个通用且灵活的解决方案，利用pandas的强大功能自动化这一过程。

1. 问题描述与原始数据结构

假设我们有一个Pandas DataFrame，其中包含按YYYYMM格式命名的列，每列代表一个特定月份的数值数据。DataFrame的索引通常是某种标识符（例如，产品ID、区域代码等）。

原始DataFrame示例：

   201003  201004  201005  201006  201007  201008
ID
A      10      11      14      22      10      19
B      14      19      20      22      26      11

我们的目标是将这些月度数据汇总为季度和年度数据，并将结果作为新的列添加到DataFrame中（或生成新的汇总DataFrame），例如生成2010Q2、2010Q3、2010Annual等列。

2. 解决方案步骤

为了实现这一目标，我们将采用以下步骤：

2.1 导入必要的库并准备示例数据

首先，导入Pandas库并创建与问题描述相符的示例DataFrame。

import pandas as pd

# 原始数据示例
data = {
    '201003': [10, 14],
    '201004': [11, 19],
    '201005': [14, 20],
    '201006': [22, 22],
    '201007': [10, 26],
    '201008': [19, 11]
}
df_original = pd.DataFrame(data, index=['A', 'B'])

# 确保索引有名称，便于后续melt操作
df_original.index.name = 'ID'

print("原始DataFrame:")
print(df_original)

2.2 数据重塑：将列转换为行 (df.melt())

这是解决问题的关键一步。df.melt()函数可以将DataFrame从宽格式（多个数据列）转换为长格式（数据列被“融化”到行中）。这样，每个月度值都将成为一行，并且其对应的YYYYMM列名将作为新列中的值。

Teleporthq

一体化AI网站生成器，能够快速设计和部署静态网站

182 查看详情 Teleporthq

# 将月份列转换为行，同时保留ID列作为标识符
df_melted = df_original.reset_index().melt(
    id_vars='ID',          # 指定作为标识符的列
    var_name='YYYYMM',     # 新的列名，用于存放原月份列名
    value_name='Value'     # 新的列名，用于存放原月份列的值
)

print("\n步骤2.2: 数据重塑后的DataFrame (部分):")
print(df_melted.head())

说明：

df_original.reset_index(): 将原始DataFrame的索引（'ID'）转换为普通列，以便在melt操作中保留。
id_vars='ID': 指定哪些列作为标识符列（不被融化）。
var_name='YYYYMM': 指定新列的名称，该列将包含原始DataFrame中被融化的列名（即YYYYMM字符串）。
value_name='Value': 指定新列的名称，该列将包含原始DataFrame中被融化的列的值。

2.3 提取年份和月份信息

在长格式DataFrame中，YYYYMM列包含了我们需要的所有日期信息。我们可以使用字符串切片来轻松提取年份和月份。

df_melted['Year'] = df_melted['YYYYMM'].str[:4]  # 提取前4位作为年份
df_melted['Month'] = df_melted['YYYYMM'].str[4:] # 提取后2位作为月份

print("\n步骤2.3: 提取年份和月份后的DataFrame (部分):")
print(df_melted.head())

2.4 映射月份到季度

为了计算季度总和，我们需要将每个月份映射到其对应的季度。这可以通过创建一个字典映射并使用df.map()方法来实现。

month_quarter_map = {
    '01': 1, '02': 1, '03': 1,
    '04': 2, '05': 2, '06': 2,
    '07': 3, '08': 3, '09': 3,
    '10': 4, '11': 4, '12': 4
}
df_melted['Quarter'] = df_melted['Month'].map(month_quarter_map)

print("\n步骤2.4: 映射月份到季度后的DataFrame (部分):")
print(df_melted.head())

2.5 计算季度和年度总和

现在，数据已经准备好进行聚合。我们可以使用groupby()方法按ID、Year和Quarter（或仅Year）进行分组，然后对Value列求和。

# 计算季度总和：按ID、年份和季度分组，并对'Value'列求和
quarterly_sums = df_melted.groupby(['ID', 'Year', 'Quarter'])['Value'].sum().reset_index()

print("\n步骤2.5: 季度总和结果:")
print(quarterly_sums)

# 计算年度总和：按ID和年份分组，并对'Value'列求和
annual_sums = df_melted.groupby(['ID', 'Year'])['Value'].sum().reset_index()

print("\n步骤2.5: 年度总和结果:")
print(annual_sums)

2.6 将汇总结果重塑为宽格式列

为了将季度和年度总和作为新的列添加到DataFrame中，我们可以使用pivot_table()或unstack()方法将长格式的聚合结果转换回宽格式。

# 季度总和宽格式
quarterly_wide = quarterly_sums.pivot_table(
    index='ID',
    columns=['Year', 'Quarter'],
    values='Value'
).fillna(0) # 填充可能缺失的季度数据，例如某些ID在特定季度没有数据

# 优化列名，使其更具可读性，例如 '2010Q1'
quarterly_wide.columns = [f"{year}Q{quarter}" for year, quarter in quarterly_wide.columns]

print("\n步骤2.6: 季度总和 (宽格式

以上就是Pandas数据透视：将月度数据汇总为季度和年度列的详细内容，更多请关注知识资源分享宝库其它相关文章！

相关标签：编码 yy pandas 标识符字符串数据结构切片 map 数据分析自动化大家都在看： Python怎么编写一个装饰器_Python装饰器原理与实战开发深度学习文本处理：XLNet编码TypeError及Tokenizer配置指南 Python怎么使用async/await_Python异步编程async/await入门 PyInstaller打包程序如何管理非代码依赖文件 Python 中使用 len() 函数交换列表元素：代码风格与可读性