基于pandas的数据清洗

2023-03-26 20:57:50

        假设我们有一份不完整的DataFrame类型的数据,我们在使用它之前要对其进行数据的清洗。

        使用pandas我们可以有两种方式来实现对数据的清洗

先假设我们存在下面一组不完整的数据:

import numpy as np
import pandas as pd
from pandas import DataFrame,Series
df=DataFrame(data=np.random.randint(0,100,(12,10)))
df.iloc[3,3]=None
df.iloc[1,7]=None
df.iloc[6,6]=None
df.iloc[8,9]=None
df.iloc[3,9]=None

1.删除缺失值所在的行(一般情况下删除行,特殊情况下也可以删除列)  

方法①:

首先用isnull()函数返回df所有数据哪些为空(返回布尔型),再用any()函数检测行或列中是否存在True

在用loc()函数与index属性得到缺失值所在行,把他删去即可。

# any用来检测行或列中是否存在True
df.isnull().any(axis=1)
df.loc[df.isnull().any(axis=1)].index
df.drop(labels=df.loc[df.isnull().any(axis=1)].index,axis=0) #可以指定inplace=True

方法②:

与①同理,只需把isnull()改为notnull(),把any()改为all()即可。

df.notnull().all(axis=1)
df.loc[df.notnull().all(axis=1)]

方法③:

最简单的方法,直接用dropna()函数指定行或列删除即可。

df.dropna(axis=0)

2.将缺失值进行填充

        一般情况下我们直接将缺失值所在行删除,如果在特殊情况下删除所有缺失行造成的成本过大(比如10行数据中有6行存在缺失值),我们可以将缺失值进行合理化的填充。

使用fillna()函数可以帮助我们把缺失值进行填充

df.fillna(method='ffill',axis=1) #将缺失值所在行向前填充
df.fillna(method='bfill',axis=1) #将缺失值所在行向后填充
df.fillna(method='ffill',axis=0) #将缺失值所在列向前填充
df.fillna(method='bfill',axis=0) #将缺失值所在列向后填充
  • 作者:Windy.Zhhh
  • 原文链接:https://blog.csdn.net/qq_60926106/article/details/125677442
    更新时间:2023-03-26 20:57:50