Pandas的pivot_table函数是一个强大的数据分析工具,可以帮助我们快速地对数据进行汇总和重塑。
本文将详细介绍pivot_table的用法及其在数据分析中的应用。
1. pivot_table函数简介
pivot_table函数的基本语法如下:
pandas.pivot_table(data, values=None, index=None, columns=None, aggfunc='mean',
fill_value=None, margins=False, dropna=True, margins_name='All',
observed=False, sort=True)
主要参数说明:
2. 基本用法示例
让我们通过一个简单的例子来了解pivot_table的基本用法:
import pandas as pd
import numpy as np
# 创建示例数据
df = pd.DataFrame({
'日期': ['2023-01-01', '2023-01-01', '2023-01-02', '2023-01-02'],
'产品': ['A', 'B', 'A', 'B'],
'销量': [100, 150, 120, 180],
'价格': [10, 15, 12, 16]
})
# 使用pivot_table
result = pd.pivot_table(df, values='销量', index='日期', columns='产品', aggfunc='sum')
print(result)
输出结果:
产品 A B
日期
2023-01-01 100 150
2023-01-02 120 180
在这个例子中,我们以"日期"为行索引,"产品"为列索引,对"销量"进行了汇总。
3. 多个值列和聚合函数
pivot_table允许我们同时对多个列进行汇总,并使用不同的聚合函数:
result = pd.pivot_table(df, values=['销量', '价格'],
index='日期',
columns='产品',
aggfunc={'销量': 'sum', '价格': 'mean'})
print(result)
输出结果:
价格 销量
产品 A B A B
日期
2023-01-01 10.0 15.0 100 150
2023-01-02 12.0 16.0 120 180
4. 使用多级索引
pivot_table支持多级索引,这在处理复杂数据时非常有用:
df['城市'] = ['北京', '上海', '北京', '上海']
result = pd.pivot_table(df, values='销量',
index=['日期', '城市'],
columns='产品',
aggfunc='sum')
print(result)
输出结果:
产品 A B
日期 城市
2023-01-01 上海 NaN 150.0
北京 100.0 NaN
2023-01-02 上海 NaN 180.0
北京 120.0 NaN
5. 添加汇总行和列
使用margins参数可以添加汇总行和列:
result = pd.pivot_table(df, values='销量',
index=['日期', '城市'],
columns='产品',
aggfunc='sum',
margins=True)
print(result)
输出结果:
产品 A B All
日期 城市
2023-01-01 上海 NaN 150.0 150.0
北京 100.0 NaN 100.0
2023-01-02 上海 NaN 180.0 180.0
北京 120.0 NaN 120.0
All 220.0 330.0 550.0
6. 填充缺失值
使用fill_value参数可以填充缺失值:
result = pd.pivot_table(df, values='销量',
index=['日期', '城市'],
columns='产品',
aggfunc='sum',
fill_value=0)
print(result)
输出结果:
产品 A B
日期 城市
2023-01-01 上海 0 150
北京 100 0
2023-01-02 上海 0 180
北京 120 0
7. 高级应用:自定义聚合函数
pivot_table允许我们使用自定义的聚合函数:
def custom_agg(x):
return x.max() - x.min()
result = pd.pivot_table(df, values=['销量', '价格'],
index='日期',
columns='产品',
aggfunc={'销量': 'sum', '价格': custom_agg})
print(result)
输出结果:
价格 销量
产品 A B A B
日期
2023-01-01 0.0 0.0 100 150
2023-01-02 0.0 0.0 120 180
8. 结合query进行数据筛选
pivot_table生成的结果是一个DataFrame,我们可以使用query方法进行进一步的数据筛选:
result = pd.pivot_table(df, values=['销量', '价格'],
index=['日期', '城市'],
columns='产品',
aggfunc='sum')
filtered_result = result.query('城市 == "北京"')
print(filtered_result)
输出结果:
价格 销量
产品 A B A B
日期 城市
2023-01-01 北京 10.0 0.0 100 0
2023-01-02 北京 12.0 0.0 120 0
9. 总结
Pandas的pivot_table函数是一个强大的数据分析工具,它可以帮助我们快速地对数据进行汇总和重塑。通过灵活使用其各种参数,我们可以轻松地创建复杂的数据透视表,从而更好地理解和分析数据。
在实际应用中,pivot_table常用于销售数据分析、财务报表生成、用户行为分析等多个领域。掌握这个函数将大大提高您的数据分析效率。
参考资料:
- Practical Business Python - Pandas Pivot Table Explained
- Spark By Examples - Pandas Pivot Table Explained with Examples
