pandas多重索引MultiIndex中精准定位指定行的方法

在pandas多重索引（MultiIndex）中选定指定索引的行

在使用pandas处理类似groupby的多重索引场景时，我们经常需要针对多个层级（level）中的特定索引值执行操作。此时，首要任务是从DataFrame中准确提取出对应索引的行数据。对于单层索引，我们可以直接通过df.loc[index]轻松实现；但在多重索引中，虽然思路相似，却存在一些容易踩坑的细节，本文将对此进行记录与说明。

1 索引有序的情况

1.1 构建测试数据

首先，我们需要创建一个用于测试的DataFrame对象。

df = pd.DataFrame({'class':['A','A','A','B','B','B','C','C'],
   'id':['a','b','c','a','b','c','a','b'],
   'value':[1,2,3,4,5,6,7,8]})

该DataFrame的具体内容如下图所示：

1.2 配置多重索引

使用set_index方法将指定列设置为多重索引。

df = df.set_index(['class','id'])

设置索引后的数据效果如下：

1.3 利用切片筛选特定索引

此处继续使用loc方法来进行定位操作。

df.loc[('A',slice(None)),:]

各参数的具体含义解释如下：

在loc[(a,b),c]语法中，第一个参数是一个元组，代表索引的内容。其中，a对应level0（第一层索引）的值，b对应level1（第二层索引）的值。

由于df是一个DataFrame对象，因此必须通过c来指定需要选择的列。

这里的‘A'表示我们要筛选class列为A类的数据。

slice(None)是Python中的切片操作，在此处用于匹配任意id值。请注意，这里不能使用简写的‘:'来代表任意索引，必须使用slice(None)。

最后的‘:'用于选择DataFrame中的所有列。

执行上述代码后的结果如下：

同理，如果希望仅保留id为‘a'的数据，可以使用以下代码：

df.loc[(slice(None),'a'),:]

2 索引无序的情况

前文的示例中，索引列为数字或字母，属于有序索引。接下来我们探讨当索引列为中文等无序数据时的处理方式。

2.1 构建无序测试数据

df2 = pd.DataFrame({'课程':['语文','语文','数学','数学'],'得分':['最高','最低','最高','最低'],'分值':[90,50,100,60]})
df2 = df2.set_index(['课程','得分'])

2.2 尝试对无序索引进行切片选择

df2.loc[('语文',slice(None)),:]

如果我们执行与前文相同的操作，系统会提示错误：

UnsortedIndexError: 'MultiIndex Slicing requires the index to be fully lexsorted tuple len (2), lexsort depth (0)'

这是因为当前的索引无法进行字典序排序。pandas官方文档指出：如果你尝试对一个未完全按字典序排序（not fully lexsorted）的对象进行索引，将会引发此错误。

我们可以通过调用df2.index.is_lexsorted()来检查当前索引是否有序，

In[1]: df2.index.is_lexsorted()
out[1]: False

接下来，我们尝试对Index进行排序（排序时需指定level中的索引名称）。

2.3 对索引排序后再进行切片选择

df2 = df2.sort_index(level='课程')

df2.loc[('语文',slice(None)),:]

经过排序处理后，我们得到了预期的结果。

参考文献：pandas-docs-MultiIndex / Advanced Indexing

以上关于在pandas多重索引MultiIndex中选定指定索引行的方法分享完毕，希望能对大家有所帮助。