python对大量数据去重_python对数据去重处理

2022-10-27 08:15:16

我们在数据处理时,经常需要用到对重复数据进行过滤处理。 对数据去重有两种处理方式,如下:

1、对重复数据去重,并且会自动排序

使用函数 set

#列表去重

list_a = [6, 6, 5, 1, 2, 2, 3, 4, 4, 4, 6, 7, 8, 8, 8, 10]#仅去重

list_aa =set(list_a)print(list_aa)

结果如下:

946642-20181011155210168-2015359488.png

细心的小伙伴就会发现,不仅去重了,还对数据进行了重新排序。

2、对数据去重不改变原有顺序

#列表去重

list_a = [6, 6, 5, 1, 2, 2, 3, 4, 4, 4, 6, 7, 8, 8, 8, 10]#排序保持原来顺序

list_ab =list(set(list_a))

list_ab.sort(key=list_a.index)print(list_ab)

结果如下:

946642-20181011155502050-416357241.png

对数据进行了去重,但是没有改变原有数据的顺序。

list.sort()函数是对列表进行排序处理, 通过key值指定排序的方式。 这样顺序就不会变化了。

  • 作者:weixin_39755824
  • 原文链接:https://blog.csdn.net/weixin_39755824/article/details/109928192
    更新时间:2022-10-27 08:15:16