pandas中groupby分组获取最大值所在行的多种实现方式
本文介绍在pandas中如何获取groupby分组后最大值所在的行。通过示例DataFrame,演示了使用apply过滤、transform匹配索引、idxmax以及先排序后取首行四种方法。针对多行并列最大值的情况,重点解析了idxmax仅返回第一行的特性及排序法的替代方案,并探讨了扩展至中间值等场景的思路。
pandas获取groupby分组里最大值所在的行方法
参考如下DataFrame数据,我们需要按照Mt列进行分组,并提取出每组中Count值最大的那一行记录。
import pandas as pd
df = pd.DataFrame({'Sp':['a','b','c','d','e','f'], 'Mt':['s1', 's1', 's2','s2','s2','s3'], 'Value':[1,2,3,4,5,6], 'Count':[3,2,5,10,10,6]})
df
| Count | Mt | Sp | Value | |
|---|---|---|---|---|
| 0 | 3 | s1 | a | 1 |
| 1 | 2 | s1 | b | 2 |
| 2 | 5 | s2 | c | 3 |
| 3 | 10 | s2 | d | 4 |
| 4 | 10 | s2 | e | 5 |
| 5 | 6 | s3 | f | 6 |
方法1:在分组中过滤出Count最大的行
df.groupby('Mt').apply(lambda t: t[t.Count==t.Count.max()])
| Count | Mt | Sp | Value | ||
|---|---|---|---|---|---|
| Mt | |||||
| s1 | 0 | 3 | s1 | a | 1 |
| s2 | 3 | 10 | s2 | d | 4 |
| 4 | 10 | s2 | e | 5 | |
| s3 | 5 | 6 | s3 | f | 6 |
方法2:利用transform获取原DataFrame的索引,进而过滤出符合条件的行。
print df.groupby(['Mt'])['Count'].agg(max) idx=df.groupby(['Mt'])['Count'].transform(max) print idx idx1 = idx == df['Count'] print idx1 df[idx1]
Mt s1 3 s2 10 s3 6 Name: Count, dtype: int64 0 3 1 3 2 10 3 10 4 10 5 6 dtype: int64 0 True 1 False 2 False 3 True 4 True 5 True dtype: bool
| Count | Mt | Sp | Value | |
|---|---|---|---|---|
| 0 | 3 | s1 | a | 1 |
| 3 | 10 | s2 | d | 4 |
| 4 | 10 | s2 | e | 5 |
| 5 | 6 | s3 | f | 6 |
上述方法存在一个潜在问题:如果某组中第3、4行的Count值均为最大值,结果将返回多行。若业务需求仅要求返回其中一行,该如何处理?
方法3:使用idxmax(在旧版本pandas中对应argmax)。
idx = df.groupby('Mt')['Count'].idxmax()
print idx
df.iloc[idx] Mt s1 0 s2 3 s3 5 Name: Count, dtype: int64
| Count | Mt | Sp | Value | |
|---|---|---|---|---|
| 0 | 3 | s1 | a | 1 |
| 3 | 10 | s2 | d | 4 |
| 5 | 6 | s3 | f | 6 |
df.iloc[df.groupby(['Mt']).apply(lambda x: x['Count'].idxmax())]
| Count | Mt | Sp | Value | |
|---|---|---|---|---|
| 0 | 3 | s1 | a | 1 |
| 3 | 10 | s2 | d | 4 |
| 5 | 6 | s3 | f | 6 |
def using_apply(df):
return (df.groupby('Mt').apply(lambda subf: subf['Value'][subf['Count'].idxmax()]))
def using_idxmax_loc(df):
idx = df.groupby('Mt')['Count'].idxmax()
return df.loc[idx, ['Mt', 'Value']]
print using_apply(df)
using_idxmax_loc(df)
Mt s1 1 s2 4 s3 6 dtype: int64
| Mt | Value | |
|---|---|---|
| 0 | s1 | 1 |
| 3 | s2 | 4 |
| 5 | s3 | 6 |
方法4:先对数据进行排序,然后从每组中取出第一条记录。
df.sort('Count', ascending=False).groupby('Mt', as_index=False).first()
| Mt | Count | Sp | Value | |
|---|---|---|---|---|
| 0 | s1 | 3 | a | 1 |
| 1 | s2 | 10 | d | 4 |
| 2 | s3 | 6 | f | 6 |
那么,如果需求不是提取最大值所在的行,而是提取中间值(如中位数)所在的行,该如何处理?
整体思路与上述方法类似,但具体实现可能需要调整。例如,方法1和方法2需要修改求最大值的算法,而方法3则需要自定义一个返回索引的逻辑。无论如何,groupby操作后的每个分组本质上都是一个DataFrame。
以上关于pandas获取groupby分组里最大值所在行的方法分享完毕,希望能对大家有所帮助。
本站声明
本文内容仅供参考,不代表本站观点。转载或引用请注明出处。如发现内容问题,请通过联系我们页面反馈。













