pandas 处理缺失值[dropna、drop、fillna]

墨氲 2018-09-22 18:37:18

分类专栏: Python数据处理及可视化 文章标签: Python pandas

版权

面对缺失值三种处理方法:

option 1: 去掉含有缺失值的样本(行)

option 2:将含有缺失值的列(特征向量)去掉

option 3:将缺失值用某些值填充(0,平均值,中值等)

对于dropna和fillna,dataframe和series都有,在这主要讲datafame的

对于option1:

使用DataFrame.dropna(axis=0, how='any', thresh=None, subset=None, inplace=False)

参数说明:

axis:

axis=0: 删除包含缺失值的行

axis=1: 删除包含缺失值的列

how: 与axis配合使用

how='any’ :只要有缺失值出现,就删除该行货列

how='all’: 所有的值都缺失,才删除行或列

thresh: axis中至少有thresh个非缺失值,否则删除

比如 axis=0,thresh=10:标识如果该行中非缺失值的数量小于10,将删除改行

subset: list

在哪些列中查看是否有缺失值

inplace: 是否在原数据上操作。如果为真,返回None否则返回新的copy,去掉了缺失值

建议在使用时将全部的缺省参数都写上,便于快速理解

————————————————

版权声明:本文为CSDN博主「墨氲」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。

原文链接:https://blog.csdn.net/dss_dssssd/article/details/82814673

(0)

相关推荐

  • 数据清洗(一)丨处理缺失数据

    其实数据分析中80%的时间都是在数据清理部分,而为什么要进行数据清洗呢? 因为在实际生产环境中,存在大量"脏"数据 ✔ 不完整数据:缺少感兴趣属性,感兴趣属性缺少部分属性值. ✔ ...

  • Pandas 数据处理:空值清洗、替换填充、级联与合并拼接

    针对空值的处理,首先要来了解一下空值的类型: 一.pandas中的None  和  NaN 有什么区别? type(None)     --类型是  NoneType 空的对象类型 type(NaN) ...

  • 5-Pandas数据处理

    处理缺失数据 None None是Python自带的,其类型为python object.因此,None不能参与到任何计算中 np.nan(NaN) np.nan是浮点类型,能参与到计算中.但计算的结 ...

  • pandas删除空数据行及列dropna()

    Babyzpj 0.0722018.08.13 10:18:30字数 99阅读 45,603 import pandas as pd # 删除含有空数据的全部行 df4 = pd.read_csv(' ...

  • Python Pandas缺失值处理

    在一些数据分析业务中,数据缺失是我们经常遇见的问题,缺失值会导致数据质量的下降,从而影响模型预测的准确性,这对于机器学习和数据挖掘影响尤为严重.因此妥善的处理缺失值能够使模型预测更为准确和有效. 为什 ...

  • 什么是Numpy?与Pandas的差异!

    Pandas和Numpy想必大家都听说过,一个是数值计算的扩展包,一个是做数据处理的,那么它们之间有何区别呢?我们通过这篇文章来看看吧. 什么是Numpy? Numpy系统是Python的一种开源的数 ...

  • U.S. birth and fertility rates drop to another record low, CDC says

    U.S. birth and fertility rates in 2020 dropped to another record low as births fell for the sixth co ...

  • Pandas和Series有何关联?Python入门分享!

    想必大家都知道pandas,它是基于Numpy的一种工具,可以解决数据分析任务,也是Python学习过程中经常会用到的工具.而Series是pandas中最基本的对象,类似一种一维数组,那么Panda ...

  • 利用python tushare pandas进行财报分析

    一.财报分析 大家在购买股票的时候,已经不只是凭感觉去买了,基本上都会对一个股票进行深入的分析. 毕竟购买股票还是一项风险性较高的投资,需要在较为熟悉以后才能去开展,不能蛮干,钱也都不是天上掉下来的. ...

  • 财务数据分析神器Pandas:数据提取

    财务数据分析神器Pandas:数据提取

  • 从列表或字典创建Pandas的DataFrame对象的方法

    介绍 每当我使用pandas进行分析时,我的第一个目标是使用众多可用选项中的一个将数据导入Pandas的DataFrame . 对于绝大多数情况下,我使用的 read_excel , read_csv ...

  • 太强大了!一款可以像操作Excel一样玩Pandas的可视化神器来了!

    来源:程序员Github 大家好,我是Stitin涛哥! Pandas这个库对Python来说太重要啦!因为它的出现,让Python进行数据分析如虎添翼,作为Python里面最最牛逼的库之一,它在数据 ...