pandas每天一题-题目5:统计空值数量也有多种实现方式
这是一个关于 pandas 从基础到进阶的练习题系列,来源于 github 上的 guipsamora/pandas_exercises 。这个项目从基础到进阶,可以检验你有多么了解 pandas。
我会挑选一些题目,并且提供比原题库更多的解决方法以及更详尽的解析。
计划每天更新一期,希望各位小伙伴先自行思考,再查看答案。如果对你有帮助,记得转发推荐给你的好友!
上期文章:pandas每天一题-题目4:原来查找top n记录也有这种方式
后台回复'数据',可以下载本题数据集
如下数据:
数据描述:
此数据是订单明细表。一个订单会包含很多明细项,表中每个样本(每一行)表示一个明细项
order_id 列存在重复
quantity 是明细项数量
需求:请列出每一列的缺失值、缺失百分比。
下面是答案了
方式1
df.info()
df.info() 可以列出数据集整体信息
但是这个信息太杂乱,并不适合本需求
方式2
首先我们知道 Series(一列) 有 isna 方法,返回每个单元格是否为空:
df['item_price'].isna()
返回结果仍然是一个 Series(一列)
Python 中 True 是1,False 是0
只需要这基础上求和,即可得到 na 的数量:
df['item_price'].isna().sum()
因此,只需要遍历每一列做同样的步骤即可:
df.apply( lambda col: col.isna().sum(), axis=0)
行1:df.apply 用于遍历行或列
行3:参数 axis=0 ,遍历列
行2:因此,col 参数为每一列(Series)
现在,很容易整理成表格:
na_count = df.apply(
lambda col: col.isna().sum(),
axis=0)
na_count.name = 'na数量'
na_percents= na_count / len(df)
na_percents.name = 'na占比'
pd.concat([na_count,na_percents],axis=1)
行4:Series 有一个 name 属性,当他转成表格时(DataFrame),这个值就会成为列名
行6:上一步结果除以记录数,即可得到占比
行9:把2个 Series 合并,因为是横向合并,设置参数 axis=1
方式3
上一步用到 concat 稍显复杂,有没有常规操作就能做到?
首先,一个列可以直接转成表格:
na_count = df.apply( lambda col: col.isna().sum(), axis=0)
na_count.to_frame('na数量')
行5:Series.to_frame 即可转 DataFrame,第一个参数还可以设置列名
有了表格,接下来就简单多了:
na_count = df.apply(
lambda col: col.isna().sum(),
axis=0)
res = na_count.to_frame('na数量')
res['占比'] = res['na数量'] / len(df)
res
行6:常规操作,不存在的列名赋值,表示新增列