（附代码）Pandas必会的方法汇总，用Python做数据分析更加如鱼得水！

编者荐语用Python做数据分析光是掌握numpy和matplotlib可不够，Pandas是必须要掌握的一个重点，numpy虽然能够帮我们处理处理数值型数据，但是这还不够，很多时候，我们的数据除了数值之外，还有字符串，还有时间序列等。转载自 | AI算法与图像处理今天来分享一些Pandas必会的用法，让你的数据分析水平更上一层楼。

一、Pandas两大数据结构的创建序号方法说明1pd.Series(对象,index=[ ])创建Series。对象可以是列表\ndarray、字典以及DataFrame中的某一行或某一列2pd.DataFrame(data,columns = [ ],index = [ ])创建DataFrame。columns和index为指定的列、行索引，并按照顺序排列举例：用pandas创建数据表：df = pd.DataFrame({'id':[1001,1002,1003,1004,1005,1006],'date':pd.date_range('20130102', periods=6),'city':['Beijing ', 'SH', ' guangzhou ', 'Shenzhen', 'shanghai', 'BEIJING '],'age':[23,44,54,32,34,32],'category':['100-A','100-B','110-A','110-C','210-A','130-F'],'price':[1200,np.nan,2133,5433,np.nan,4432]},columns =['id','date','city','category','age','price'])二、DataFrame常见方法序号方法说明1df.head()查询数据的前五行2df.tail()查询数据的末尾5行3pandas.qcut()基于秩或基于样本分位数将变量离散化为等大小桶4pandas.cut()基于分位数的离散化函数5pandas.date_range()返回一个时间索引6df.apply()沿相应轴应用函数7Series.value_counts()返回不同数据的计数值8df.reset_index()重新设置index，参数drop = True时会丢弃原来的索引，设置新的从0开始的索引，常与groupby()一起用举例：重新索引df_inner.reset_index()三、数据索引序号方法说明1.values将DataFrame转换为ndarray二维数组2.append(idx)连接另一个Index对象，产生新的Index对象3.insert(loc,e)在loc位置增加一个元素4.delete(loc)删除loc位置处的元素5.union(idx)计算并集6.intersection(idx)计算交集7.diff(idx)计算差集，产生新的Index对象8.reindex(index, columns ,fill_value, method, limit, copy )改变、重排Series和DataFrame索引，会创建一个新对象，如果某个索引值当前不存在，就引入缺失值。9.drop()删除Series和DataFrame指定行或列索引。10.loc[行标签，列标签]通过标签查询指定的数据，第一个值为行标签，第二值为列标签。11df.iloc[行位置，列位置]通过默认生成的数字索引查询指定的数据。举例：按索引提取单行的数值df_inner.loc[3]四、DataFrame选取和重新组合数据的方法序号方法说明1df[val]从DataFrame选取单列或一组列；在特殊情况下比较便利：布尔型数组（过滤行）、切片（行切片）、或布尔型DataFrame（根据条件设置值）2df.loc[val]通过标签，选取DataFrame的单个行或一组行3df.loc[：,val]通过标签，选取单列或列子集4df.1oc[val1,val2]通过标签，同时选取行和列5df.iloc[where]通过整数位置，从DataFrame选取单个行或行子集6df.iloc[where_i,where_j]通过整数位置，同时选取行和列7df.at[1abel_i,1abel_j]通过行和列标签，选取单一的标量8df.iat[i,j]通过行和列的位置（整数），选取单一的标量9reindex通过标签选取行或列10get_value通过行和列标签选取单一值11set_value通过行和列标签选取单一值举例：使用iloc按位置区域提取数据df_inner.iloc[:3,:2] #冒号前后的数字不再是索引的标签名称，而是数据所在的位置，从0开始，前三行，前两列。五、排序序号函数说明1.sort_index(axis=0, ascending=True)根据指定轴索引的值进行排序2Series.sort_values(axis=0, ascending=True)只能根据0轴的值排序。3DataFrame.sort_values(by, axis=0, ascending=True)参数by为axis轴上的某个索引或索引列表。举例：按照索引列排序df_inner.sort_index()六、相关分析和统计分析序号方法说明1.idxmin()计算数据最小值所在位置的索引（自定义索引）2.idxmax()计算数据最大值所在位置的索引（自定义索引）3.argmin()计算数据最小值所在位置的索引位置（自动索引）4.argmax()计算数据最大值所在位置的索引位置（自动索引）5.describe()针对各列的多个统计汇总，用统计学指标快速描述数据的概要6.sum()计算各列数据的和7.count()非NaN值的数量8.mean( )计算数据的算术平均值9.median()计算算术中位数10.var()计算数据的方差11.std()计算数据的标准差12.corr()计算相关系数矩阵13.cov()计算协方差矩阵14.corrwith()利用DataFrame的corrwith方法，可以计算其列或行跟另一个Series或DataFrame之间的相关系数。15.min()计算数据的最小值16.max()计算数据的最大值17.diff()计算一阶差分，对时间序列很有效18.mode()计算众数，返回频数最高的那（几）个19.mean()计算均值20.quantile()计算分位数（0到1）21.isin()用于判断矢量化集合的成员资格，可用于过滤Series中或DataFrame列中数据的子集22.unique()返回一个Series中的唯一值组成的数组。23.value_counts()计算一个Series中各值出现的频率。举例：判断city列的值是否为北京df_inner['city'].isin(['beijing'])七、分组的方法序号方法说明1DataFrame.groupby()分组函数2pandas.cut()根据数据分析对象的特征，按照一定的数值指标，把数据分析对象划分为不同的区间部分来进行研究，以揭示其内在的联系和规律性。举例：.groupby用法group_by_name=salaries.groupby('name')print(type(group_by_name))输出结果为：<class 'pandas.core.groupby.DataFrameGroupBy'>八、读写文本格式数据的方法序号方法说明1read_csv从文件、URL、文件型对象中加载带分隔符的数据。默认分隔符为逗号2read_table从文件、URL、文件型对象中加载带分隔符的数据。默认分隔符为制表符（t）3read_ fwf读取定宽列格式数据（也就是说，没有分隔符）4read_clipboard读取剪贴板中的数据，可以看做read_table的剪贴板版。再将网页转换为表格时很有用5read_excel从ExcelXLS或XLSXfile 读取表格数据6read_hdf读取pandas写的HDF5文件7read_html读取HTML文档中的所有表格8read_json读取JSON字符串中的数据9read_msgpack二进制格式编码的pandas数据10read_pickle读取Python pickle格式中存储的任意对象11read_sas读取存储于SAS系统自定义存储格式的SAS数据集12read_sql读取SQL 查询结果为pandas的DataFrame13read_stata读取Stata文件格式的数据集14read_feather读取 Feather二进制文件格式举例：导入CSV或者xlsx文件df = pd.DataFrame(pd.read_csv('name.csv',header=1))df = pd.DataFrame(pd.read_excel('name.xlsx'))九、处理缺失数据序号方法说明1.fillna(value,method,limit,inplace)填充缺失值2.dropna()删除缺失数据3.info()查看数据的信息，包括每个字段的名称、非空数量、字段的数据类型4.isnull()返回一个同样长度的值为布尔型的对象（Series或DataFrame），表示哪些值是缺失的举例：查看数据表基本信息（维度、列名称、数据格式等等）df.info()十、数据转换序号方法说明1.replace(old, new)用新的数据替换老的数据，如果希望一次性替换多个值，old和new可以是列表。默认会返回一个新的对象，传入inplace=True可以对现有对象进行就地修改。2.duplicated()判断各行是否是重复行，返回一个布尔型Series。3.drop_duplicates()删除重复行，返回删除后的DataFrame对象。举例：删除后出现的重复值：df['city'].drop_duplicates()结语文章中总结的是都是一些Pandas常用的方法，至于一些基础的概念还需要你学到Pandas的时候去理解，例如Series是什么？DataFrame是什么？如果你已经清楚了Pandas的这些基础东西之后，搭配上文章中的这些方法，那你用Pandas去做数据处理和分析必然会游刃有余。END双一流大学研究生团队创建，专注于目标检测与深度学习，希望可以将分享变成一种习惯！点赞三连，支持一下吧↓