数据清洗--DataFrame中的空值处理

大数据和云计算 专栏收录该内容
39 篇文章 0 订阅

数据清洗是一项复杂且繁琐的工作,同时也是整个数据分析过程中最为重要的环节。

在python中空值被显示为NaN。首先,我们要构造一个包含NaN的DataFrame对象。

>>> import numpy as np
>>> import pandas as pd
>>> from pandas import Series,DataFrame
>>> from numpy import nan as NaN
>>> data = DataFrame([[12,'man','13865626962'],[19,'woman',NaN],[17,NaN,NaN],[NaN,NaN,NaN]],columns=['age','sex','phone'])
>>> data
    age    sex        phone
0  12.0    man  13865626962
1  19.0  woman          NaN
2  17.0    NaN          NaN
3   NaN    NaN          NaN

删除NaN

删除NaN所在的行

删除表中全部为NaN的行

>>> data.dropna(axis=0, how='all')
    age    sex        phone
0  12.0    man  13865626962
1  19.0  woman          NaN
2  17.0    NaN          NaN

删除表中任何含有NaN的行

>>> data.dropna(axis=0, how='any')
    age  sex        phone
0  12.0  man  13865626962

删除NaN所在的列

删除表中全部为NaN的列

>>> data.dropna(axis=1, how='all')
    age    sex        phone
0  12.0    man  13865626962
1  19.0  woman          NaN
2  17.0    NaN          NaN
3   NaN    NaN          NaN

删除表中任何含有NaN的列

>>> data.dropna(axis=1, how='any')
Empty DataFrame
Columns: []
Index: [0, 1, 2, 3]

注意:axis 就是”轴,数轴“的意思,对应多维数组里的”维“。此处作者的例子是二维数组,所以,axis的值对应表示:0轴(行),1轴(列)。

填充NaN

如果不想过滤(去除)数据,我们可以选择使用fillna()方法填充NaN,这里,作者使用数值’0’替代NaN,来填充DataFrame。

>>> data.fillna(0)
    age    sex        phone
0  12.0    man  13865626962
1  19.0  woman            0
2  17.0      0            0
3   0.0      0            0

我们还可以通过字典来填充,以实现对不同的列填充不同的值。

>>> data.fillna({'sex':233,'phone':666})
    age    sex        phone
0  12.0    man  13865626962
1  19.0  woman          666
2  17.0    233          666
3   NaN    233          666

参考资料:

  • 14
    点赞
  • 0
    评论
  • 41
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

相关推荐
©️2020 CSDN 皮肤主题: 技术工厂 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值