大家好，我是Python之眼。

今天来跟大家分享 Pandas 的一些常用知识点，文章内容由公众号读者 Peter 创作。

如果你用 Python 做数据分析，必然会绕不过 Pandas 的使用，实际上， Python 也是由于 numpy、pandas 等数据科学库的出现，才开始在数据科学领域实现了快速的发展，因此，学好 Pandas 有很重要的现实意义。

本文总结自己经常使用的pandas操作方法：

创建DataFrame数据
查看数据相关信息
查看头尾文件
花样取数
切片取数
常见函数使用

首先，导入包

import pandas as pdimport numpy as np

01 创建DataFrame数据

方式1：通过字典直接创建

df1 = pd.DataFrame({    'name':['小明','小红','小孙','王小','关宇','刘蓓','张菲'],    'age':[20,18,27,20,28,18,25],    'sex':['男','女','男','男','男','女','女'],    'score':[669,570,642,590,601,619,701],    'address':['北京','深圳','广州','武汉','深圳','广州','长沙']})df1

数据如下图：

方式2：通过本地数据读取

从本地文件中读取进来。现在本地有一个文件：学生信息.xlsx直接通过pd.read_excel()读进来：

df2 = pd.read_excel('学生信息.xlsx')df2

可以看到效果和上面是一样的

02 数据探索

查看数据shape

shape表示数据是由多少行和列组成：

df1.shape  # (7,5)

查看字段属性名称

df1.columns

查看属性的数据类型

df1.dtypes

可以看到只有两种数据类型：int64和object

查看数据是否缺失

df1.isnull() # 如果缺失显示为True，否则显示False

df1.isnull().sum() # 统计缺失值的个数。一个True计数一次

结果显示：本次数据是没有缺失值的

查看数据行索引

df1.index

查看数据描述信息

df1.describe

查看数据统计值

统计值信息只会显示类型为数值型的数据统计值信息：

df1.describe()

统计值的结果包含：个数count、均值mean、方差std、最值min\max、四分位数25%、中位数50%、四分之三分位数75%。

03 查看头尾文件

通过head和tail方法能够快速查看数据的头尾文件。

head

df1.head()   # 默认是查看前5行数据df1.head(3)  # 指定显示的行数

tail

df1.tail() # 默认尾部5行df1.tail(3) # 指定尾部3行数据

04 花样取数

从pandas的DataFrame数据框中取出我们想要的数据，然后进行处理

取出某个字段的数据

我们取出name这列的数据：

name = df1['name']name# 结果0    小明1    小红2    小孙3    王小4    关宇5    刘蓓6    张菲Name: name, dtype: object

取出多个字段的数据

比如我们取出name和age列的数据：

name_age = df1[['name','age']]  name_age# 结果  name age0 小明 201 小红 182 小孙 273 王小 204 关宇 285 刘蓓 186 张菲 25

根据字段类型选择数据

比如，我们想选择字段类型为int64的数据，通过查看的字段数据类型显示：age和score都是int64类型

1、选择单个数据类型

# 1、选择单个数据类型df1.select_dtypes(include='int64')# 结果  age score0 20 6691 18 5702 27 6423 20 5904 28 6015 18 6196 25 701

2、同时选择多个类型

df1.select_dtypes(include=['int64','object'])# 结果  name  age sex score address0 小明  20  男 669    北京1 小红  18  女 570    深圳2 小孙  27  男 642    广州3 王小  20  男 590    武汉4 关宇  28  男 601    深圳5 刘蓓  18  女 619    广州6 张菲  25  女 701    长沙

因为数据中只有int64,object，所以我们全部选出来了。

3、选择排除某些数据类型之外的数据：

# 选择除了int64类型之外的数据# 排除name和score字段之外的数据df1.select_dtypes(exclude='int64') # 结果  name sex address0 小明 男   北京1 小红 女   深圳2 小孙 男   广州3 王小 男   武汉4 关宇 男   深圳5 刘蓓 女   广州6 张菲 女   长沙

根据数值大小取数

1、直接通过判断大小来取数：

df1[df1['age'] == 20]  # 年龄等于20df1[df1['age'] != 20]  # 年龄不等于20df1[df1['age'] >= 20]  # 年龄大于等于20

2、多个判断条件连用

第一次使用上面的方法报错：关键词是ambiguous。判断条件很让pandas混淆，改成下面的写法成功解决：

df1[(df1['age'] >= 20) & (df1['age'] < 27)]

根据字符串取数

1、通过单个条件取数

# 1、单条数据df1[df1['name'] == '小明']  # 结果  name  age sex  score address0 小明  20  男   669   北京

2、通过多个条件取数

选择姓名是小明，或者年龄大于25的数据

df1[(df1['name'] == '小明') | (df1['age'] > 25)]# 结果  name  age sex  score address0 小明  20  男  669   北京2 小孙  27  男  642   广州4 关宇  28  男  601   深圳

3、字符串的开始、结尾、包含函数

str.startswith(string)
str.endswith(string)
str.contains(string)

# 1、取出以“小”开头的姓名df1[df1['name'].str.startswith('小')]  # name以'小'开头# 结果 name  age sex  score address0 小明 20 男    669 北京1 小红 18 女    570 深圳2 小孙 27 男    642 广州

# 以“关”开始df1[df1['name'].str.startswith('关')]# 结果 name  age sex  score address4 关宇 28 男    601 深圳

# 3、以“菲”结尾df1[df1['name'].str.endswith('菲')]# 结果  name  age sex  score address6 张菲  25  女   701   长沙

# 取出包含“小”的数据：不管小是在开头，还是结尾都会被选出来df1[df1['name'].str.contains('小')]# 结果  name  age sex  score address0 小明  20  男  669  北京1 小红  18  女  570  深圳2 小孙  27  男  642  广州3 王小  20  男  590  武汉

上面的王小不是小开头，但是包含小，所以也被选出来。

4、字符串取反操作

取反符号是波浪线：~

下面的例子是：取出名字name中不包含小的数据，只有3个人名字中没有小字。

# 取出不包含小的数据df1[~df1['name'].str.contains('小')]# 结果  name  age sex  score address4 关宇  28  男  601   深圳5 刘蓓  18  女  619   广州6 张菲  25  女  701   长沙

05 切片取数

切片是Python中存在的概念，在pandas中同样可以使用。切片中存在3个概念：start、stop、step

start：起始索引，包含
stop：结束索引，不包含
step：步长，可正可负；

写法为：[start:stop:step]

如果大家在学习中遇到困难，想找一个python学习交流环境，可以加入我们一起学习，关注小编，并私信“01”即可领取python学习资料，会节约很多时间，减少很多遇到的难题。

步长为正数

1、通过下面的3个案例说明：起始索引默认从0开始，步长默认是1

2、指定起始索引，不指定结束索引，表示一直取到数据末尾

df1[4:]  # 从索引4开始取到末尾# 结果  name  age sex  score address4 关宇  28  男  601   深圳5 刘蓓  18  女  619   广州6 张菲  25  女  701   长沙

3、改变步长的值

df1[0:4:2]  # 改变步长：每隔2个值取一行数据# 结果  name  age sex  score address0 小明  20  男   669   北京2 小孙  27  男   642   广州

上面的例子不指定起始索引：

df1[:4:2]  # 默认从0开始

4、只指定步长

df1[::2]   # 从头到尾，步长为2# 结果  name  age sex  score address0 小明  20  男   669   北京2 小孙  27  男  642   广州4 关宇  28  男  601   深圳6 张菲  25  女  701   长沙

步长为负数

1、步长为-1，默认是倒序输出结果

df1[::-1]  # 倒序输出# 结果   name  age sex  score address6  张菲   25 女    701  长沙5  刘蓓   18 女    619  广州4  关宇   28 男    601  深圳3  王小   20 男    590  武汉2  小孙   27 男    642  广州1  小红   18 女    570  深圳0  小明   20 男    669  北京

2、步长为负，指定起始和终止索引，起始索引大于终止索引

df1[4:0:-1]  name  age sex  score address4 关宇  28  男   601   深圳3 王小  20  男   590   武汉2 小孙  27  男   642   广州1 小红  18  女   570   深圳

3、起始和终止索引为负数

df1[-1:-5:-1]  # 最后一行记录索引为-1，不包含索引为-5的数据 name  age sex  score address6 张菲 25 女    701  长沙5 刘蓓 18 女    619  广州4 关宇 28 男    601  深圳3 王小 20 男    590  武汉

06 常用函数

统计元素个数

很多时候我们需要统计某个列中每个元素出现的个数，相当于是做词频统计，使用：value_counts()方法，具体案例为：

⚠️：新数据中df1增加了一列：班级class，后续有作用

比如我们想统计每个城市出现了多少次：

# 统计中每个城市各出现了多少次address = df1['address'].value_counts()address

结果自动是降序排列的Series类型数据

索引重置

索引重置使用reset_index()：

address_new = address.reset_index()address_new

还比如我们想从数据中单独取出sex='男'的数据：

fale = df1[df1['sex'] == '男']fale

我们观察到数据前面的索引还是原来的，但是我们希望的是从0开始显示，比较符合我们的习惯：

fale_1 = fale.reset_index()fale_1

出现的结果中索引是我们想要的结果，但是出现了一列新的数据，就是原来的索引构成的数据，这不是我们想要的数据，需要去除：

fale_1 = fale.reset_index(drop=True) # 加上参数即可解决fale_1

属性重命名

使用的是rename函数，传入columsn参数：

address_new = address_new.rename(columns={'index':'address',                                         'address':'number'                                        })address_new

groupby使用

groupby主要是实现分组统计的功能：

1、比如我们想统计男女各自的总分

# 统计男女的总成绩：sumsex_score = df1.groupby('sex')['score'].sum()sex_score

2、求男女各自的平均分mean

# 统计男女的平均成绩：meansex_score = df1.groupby('sex')['score'].mean()sex_score

3、根据男女性别sex、班级class求总分

# 先根据性别、班级求总分sex_class = df1.groupby(['sex','class'])['score'].sum()sex_class

一行代码实现上面的功能：

# 一行代码实现df1.groupby(['sex','class'])['score'].sum().reset_index()

apply函数

还是上面的df1数据集：

1、需求1：我们想将性别中的男变成1，女变成0

# 1、改变：男-1，女-0df2 = df1.copy()  # 生成一个副本df2['sex'] = df2['sex'].apply(lambda x: 1 if x=='男' else 0)  # 通过匿名函数解决df2

我们还可以自定义一个函数来实现：

#  自定义函数def apply_sex(x):    return 1 if x == '男' else 0df3 = df1.copy()  # 生成一个副本df3df3['sex'] = df3['sex'].apply(apply_sex)  # 通过自定义函数解决df3

2、还比如我们想给每个城市的后面加上一个“市”，变成北京市、深圳市等：

# 2、给每个城市加上一个字：市，变成北京市、深圳市等df4 = df1.copy()df4['address'] = df4['address'].apply(lambda x: x + '市')df4

总结

本文中从pandas中DataFrame数据的创建，常见数据信息的探索，再到如何从数据框中获取到我们指定的数据，最后介绍了笔者常用的处理数据的方法，希望对入门或者对不熟悉pandas的朋友有所帮助。Pandas真的是十分强大，学好之后会大大节省我们处理数据的时间。

最后多说一句，小编是一名python开发工程师，这里有我自己整理了一套最新的python系统学习教程，包括从基础的python脚本到web开发、爬虫、数据分析、数据可视化、机器学习等。想要这些资料的可以关注小编，并在后台私信小编：“01”即可领取。

入门Pandas不可不知的技巧