Python列表去重的5种常见方法实例

Miles

发布时间：2026-10-15 | 6人浏览过

原创

本文详细介绍Python中列表去重的5种常见方法，包括for循环、列表推导式、set()函数、字典键值法以及删除重复数据法。重点分析各方法对原列表顺序的影响及保持顺序的解决方案，并附带NumPy二维数组去重示例，帮助开发者根据实际需求选择最优方案。

前言

在Python的实际开发中，列表去重是一项高频且基础的核心操作。

本文总结了5种常用的列表去重实现方式。

一、使用for循环实现列表去重

该方法在去重的同时，能够保持原列表的元素顺序不变。

# for循环实现列表去重
list1 = ['a', 'b', 1, 3, 9, 9, 'a']
list2 = []
for l1 in list1:
    if l1 not in list2:
        list2.append(l1)
print(list2)

运行结果：['a', 'b', 1, 3, 9]

二、使用列表推导式去重

此方法同样能在去重后保持原列表的顺序。

# 使用列表推导式去重
list1 = ['a', 'b', 1, 3, 9, 9, 'a']
res = []
[res.append(i) for i in list1 if i not in res]
print(res)

运行结果：['a', 'b', 1, 3, 9]

三、使用集合转换函数set()实现列表去重

其核心原理在于：集合（set）中的元素具有唯一性，不允许重复。

# set()列表去重
list1 = ['a', 'b', 1, 3, 9, 9, 'a']
list2 = list(set(list1))
print(list2)

运行结果：[1, 3, 9, 'b', 'a']

需要注意的是，使用set()函数进行去重后，元素顺序会发生改变（通常按哈希值排序），导致原列表顺序丢失。

若需恢复原顺序，有以下两种解决方案：

第一种方案：利用sort()方法。

# # 第一种方法，sort()
list1 = ['a', 'b', 1, 3, 9, 9, 'a']
list2 = list(set(list1))
list2.sort(key=list1.index)
print(list2)

运行结果：['a', 'b', 1, 3, 9]

注意：sort()方法直接修改原列表，没有返回值，属于原地排序。

第二种方案：利用sorted()内置函数。

# 第二种方法，sored()
list1 = ['a', 'b', 1, 3, 9, 9, 'a']
list2 = sorted(list(set(list1)), key=list1.index)
print(list2)

运行结果：['a', 'b', 1, 3, 9]

注意：Python内置的sorted()函数会返回一个新的列表，而不会修改原始列表。

四、使用新建字典方式实现列表去重

其原理基于：字典的“键”（key）必须是唯一的，不允许重复。

该方法在去重后，能够保持原列表的顺序。

# 使用新建字典实现列表去重
list1 = ['a', 'b', 1, 3, 9, 9, 'a']
dic = {}
dic = dic.fromkeys(list1).keys()
print(list(dic))

运行结果：['a', 'b', 1, 3, 9]

五、删除列表中存在重复的数据

前四种方法的核心逻辑是“保留一个，删除其余重复项”。

而本方法则是“只要存在重复，一个都不保留”，仅保留唯一出现的元素。

# 删除存在重复的值，不保留
list1 = ['a', 'b', 1, 3, 9, 9, 'a']
list2 = [i for i in list1 if list1.count(i) == 1]
print(list2)

运行结果：['b', 1, 3]

以上即为列表去重的5种主要方法，开发者可根据具体业务需求选择合适的方式。

附：Python 二维数组元素去重 np.unique()函数的使用

### 4.2 元素去重
# 4.2.1 一维数组去重
a = np.array([1, 2, 3, 4, 5, 5, 7, 3, 2, 2, 8, 8])
print('去重前：', a)
b = np.unique(a)
print('去重后：', b)
# 4.2.2 二维数组去重
c = np.array(((1, 2), (3, 4), (5, 6), (1, 3), (3, 4), (7, 6)))
print('去重前：', c)
# 方法一：利用set,set是无序不重复集合(推荐)
s = set() #创建空集合
for t in c:
    s.add(tuple(t)) #将数组转为元祖tuple，保证不被修改；再把元祖加入到集合中，完成去重
g = np.array(list(s)) # 将集合转换为列表，最后转为二维数组
print('去重后：', g)
# 合起来写
print('方法一去重后：', np.array(list(set(tuple(t) for t in c))))
# 方法二：转换为虚数
r, i = np.split(c, (1, ), axis=1)
print(r)
print(i)
x = r + i * 1j
# x = c[:, 0] + c[:, 1] * 1j
print('转换成虚数：', x) # 变成一维数组，可使用np.unique()
print('虚数去重后：', np.unique(x))
print(np.unique(x, return_index=True, return_counts=True))
# return_index=True表示返回另一个参数，这个参数也是一个数组，
# array([0, 3, 1, 2, 5]表示去重后的每个元素在去重前的数组中的位置/下标
# return_counts=True表示返回各元素出现的频次
idx = np.unique(x, return_index=True)[1]
# 第[1]列的数组正是return_index=True返回的内容：在c中的位置/下标
print('二维数组去重：\n', c[idx]) #提取这些下标所在的元素
# 结果：
# 去重前： [1 2 3 4 5 5 7 3 2 2 8 8]
# 去重后： [1 2 3 4 5 7 8]
# 去重前： [[1 2]
#  [3 4]
#  [5 6]
#  [1 3]
#  [3 4]
#  [7 6]]
# 去重后： [[1 2]
#  [1 3]
#  [5 6]
#  [7 6]
#  [3 4]]
# 方法一去重后： [[1 2]
#  [1 3]
#  [5 6]
#  [7 6]
#  [3 4]]
# [[1]
#  [3]
#  [5]
#  [1]
#  [3]
#  [7]]
# [[2]
#  [4]
#  [6]
#  [3]
#  [4]
#  [6]]
# 转换成虚数： [[1.+2.j]
#  [3.+4.j]
#  [5.+6.j]
#  [1.+3.j]
#  [3.+4.j]
#  [7.+6.j]]
# 虚数去重后： [1.+2.j 1.+3.j 3.+4.j 5.+6.j 7.+6.j]
# (array([1.+2.j, 1.+3.j, 3.+4.j, 5.+6.j, 7.+6.j]), array([0, 3, 1, 2, 5], dtype=int64), array([1, 1, 2, 1, 1], dtype=int64))
# 二维数组去重：
#  [[1 2]
#  [1 3]
#  [3 4]
#  [5 6]
#  [7 6]]