Python Pandas定位缺失值具体位置与数量的方法
在使用Pandas处理数据时,isnull()生成的布尔矩阵难以直观识别缺失位置。本文介绍通过df.isnull().any()筛选含缺失值的列,并结合df[df.isnull().values==True]直接过滤出包含NaN的行,从而精准定位缺失数据的具体行列位置并辅助统计数量,提升数据清洗效率。
问题描述:
在Python Pandas中,判断数据缺失通常使用isnull()函数。然而,该函数返回的是覆盖整个数据集的True/False布尔矩阵。面对庞大的DataFrame数据,这种全量输出很难让人一眼看出具体哪些位置缺失、缺失数据的总量以及确切的行列坐标。
首先,针对包含缺失值的数据集,示例如下所示:
import pandas as pd import numpy as np df = pd.DataFrame(np.random.randn(10,6)) # Make a few areas have NaN values df.iloc[1:3,1] = np.nan df.iloc[5,3] = np.nan df.iloc[7:9,5] = np.nan
0 1 2 3 4 5 0 0.520113 0.884000 1.260966 -0.236597 0.312972 -0.196281 1 -0.837552 NaN 0.143017 0.862355 0.346550 0.842952 2 -0.452595 NaN -0.420790 0.456215 1.203459 0.527425 3 0.317503 -0.917042 1.780938 -1.584102 0.432745 0.389797 4 -0.722852 1.704820 -0.113821 -1.466458 0.083002 0.011722 5 -0.622851 -0.251935 -1.498837 NaN 1.098323 0.273814 6 0.329585 0.075312 -0.690209 -3.807924 0.489317 -0.841368 7 -1.123433 -1.187496 1.868894 -2.046456 -0.949718 NaN 8 1.133880 -0.110447 0.050385 -1.158387 0.188222 NaN 9 -0.513741 1.196259 0.704537 0.982395 -0.585040 -1.693810
执行df.isnull()后,将产生如下布尔矩阵结果:
0 1 2 3 4 5 0 False False False False False False 1 False True False False False False 2 False True False False False False 3 False False False False False False 4 False False False False False False 5 False False False True False False 6 False False False False False False 7 False False False False False True 8 False False False False False True 9 False False False False False False
若使用df.isnull().any(),则可以判断出哪些“列”中存在缺失值:
0 False 1 True 2 False 3 True 4 False 5 True dtype: bool
针对上述问题,可以采用如下方式解决:
df[df.isnull().values==True]
Out[126]: 0 1 2 3 4 5 1 1.090872 NaN -0.287612 -0.239234 -0.589897 1.849413 2 -1.384721 NaN -0.158293 0.011798 -0.564906 -0.607121 5 -0.477590 -2.696239 0.312837 NaN 0.404196 -0.797050 7 0.369665 -0.268898 -0.344523 -0.094436 0.214753 NaN 8 -0.114483 -0.842322 0.164269 -0.812866 -0.601757 NaN
通过特定逻辑仅显示存在缺失值的行列,即可清晰确定缺失值的具体位置。
以上这篇Python Pandas找到缺失值的位置方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持本站。
本站声明
本文内容仅供参考,不代表本站观点。转载或引用请注明出处。如发现内容问题,请通过联系我们页面反馈。













