Python Pandas多列重复数据去重实战

阿橙

发布时间：2026-10-13 | 5人浏览过

原创

本文介绍如何利用Python的Pandas库对DataFrame进行多属性重复数据去重。通过duplicated方法生成布尔序列识别重复行，再结合drop_duplicates方法移除重复数据。示例展示了如何指定特定列（如state）进行去重判断，并保留了非重复行的完整数据，适用于数据清洗场景。

在Python中，使用pandas模块处理重复数据去重主要包含以下两个关键步骤：

第一步，调用DataFrame对象的duplicated方法。该方法会返回一个布尔类型的Series对象，用于标识每一行是否存在重复值。若某行没有重复，对应值为False；若存在重复，则显示为True。

第二步，使用DataFrame的drop_duplicates方法。此方法的作用是返回一个新的DataFrame，其中已移除了所有被识别为重复的行。

注意事项：

当duplicated和drop_duplicates方法未指定任何参数时，默认会对DataFrame中的所有列进行组合判断。若需针对特定列进行去重，可在方法中传入指定的列名列表。例如，执行frame.drop_duplicates(['state'])时，系统将仅依据'state'列的值来判断并移除重复项。

具体操作实例如下：

>>> import pandas as pd 
>>> data={'state':[1,1,2,2],'pop':['a','b','c','d']} 
>>> frame=pd.DataFrame(data) 
>>> frame 
 pop state 
0 a  1 
1 b  1 
2 c  2 
3 d  2 
>>> IsDuplicated=frame.duplicated() 
>>> print IsDuplicated 
0 False 
1 False 
2 False 
3 False 
dtype: bool 
>>> frame=frame.drop_duplicates(['state']) 
>>> frame 
 pop state 
0 a  1 
2 c  2 
>>> IsDuplicated=frame.duplicated(['state']) 
>>> print IsDuplicated 
0 False 
2 False 
dtype: bool 
>>>

以上关于Python利用Pandas进行多属性重复数据去重的示例分享完毕，希望能为读者提供有效的参考，欢迎继续支持本站获取更多技术内容。