Pandas处理AB BA类型双向重复数据框的清洗方法

问题背景与核心逻辑

从STRING-db等生物信息数据库下载的数据常包含成对的相互作用关系。若蛋白A与蛋白B存在互作，系统往往会分别以Symbol1和Symbol2交换位置写入两条记录。这种跨列的双向重复会导致标准的drop_duplicates()失效，因为两行在横向比对时被判定为完全不同。解决该问题的核心在于将无序对转换为有序对，构建唯一的行级特征标识。

第1步：利用字符串比较生成归一化临时列

目的：将无序配对转为单向标准格式，消除方向差异。 入口：逐行遍历数据框。 动作：依据Python字符串字典序规则（逐位比对字符编码），将两列内容按字母先后排列后拼接为新的字符串。 参数：设置axis=1触发逐行计算，使用lambda匿名函数控制拼接逻辑。 可观察的完成状态：数据框新增temp列，且每行内容均稳定呈现为“较小字符串-较大字符串”格式（例如始终显示为Pdcl2-Gnai3）。

df.loc[:, "temp"] = df.apply(
    lambda x: f"{x[0]}-{x[1]}" if x[0] > x[1] else f"{x[1]}-{x[0]}", 
    axis=1
)

第2步：基于新列执行唯一性过滤

目的：过滤反向记录，保留每组关系的唯一实例。 入口：drop_duplicates()方法。 动作：关闭全列比对机制，改为仅校验指定列的哈希一致性。 参数：subset="temp"限定比对范围，确保其他原始列不参与重复判断。 可观察的完成状态：表格总行数显著减少，相同组合仅保留首次出现的原始行，未改变各列内部的数据分布顺序。

第3步：删除辅助列恢复原始表结构

目的：还原数据表初始字段，交付干净的双列结果集。 入口：drop()方法。 动作：定位并卸载临时构建的标识列。 参数：columns="temp"指定移除目标。 可观察的完成状态：返回纯净的Symbol1与Symbol2双列数据框，无中间辅助字段残留。可通过链式调用一步达成：

df_unique = df.drop_duplicates(subset="temp").drop(columns="temp")

总结与运行注意事项

以上就是Pandas处理AB BA类型双向重复数据框的详细内容，更多关于Pandas高效去重与数据清洗的资料请关注本站其它相关文章！