python简单的实现文件内容去重

文件去重

这里主要用的是set()函数，特别地，set中的元素是无序的，并且重复元素在set中自动被过滤。

测试文本为   data.txt

具体代码如下：

// 文件去重
#!/usr/bin/env python 
#-*- coding:utf-8-*-
# 
# author  g7y12
#

file_list=[]  #创建一个空列表
defout_file():
    #file_2=open_file()
    file="data.txt"    #打开需要去重的文件withopen(file,"r", encoding="utf-8")as f:
        file_2= f.readlines()for filein file_2:
            file_list.append(file)
        out_file1=set(file_list)    #set()函数可以自动过滤掉重复元素
        last_out_file=list(out_file1)for outin last_out_file:withopen("result.txt","a+",encoding="utf-8")as f:   #去重后文件写入文件里
                f.write(out+"\n")print(out)if __name__=="__main__":out_file()

   运行后结果

小结：set()去重后，元素顺序变了，如果文件不考虑去重后的顺序的话，可以用此种方法，简单快捷