ML之FE：基于BigMartSales数据集利用Featuretools工具(1个dataframe表结构切为2个Entity表结构)实现自动特征工程之详细攻略

相关文章
ML之FE：基于BigMartSales数据集利用Featuretools工具(1个dataframe表结构切为2个Entity表结构)实现自动特征工程之详细攻略
ML之FE：基于BigMartSales数据集利用Featuretools工具(1个dataframe表结构切为2个Entity表结构)实现自动特征工程之详细攻略实现

基于BigMartSales数据集利用Featuretools工具(1个dataframe表结构切为2个Entity表结构)实现自动特征工程之详细攻略

设计思路

输出结果

1、结果输出

2、FE后的字段

Item_Identifier	Item_Weight	Item_Fat_Content	Item_Visibility	Item_Type	Item_MRP
Outlet_Identifier	Outlet_Establishment_Year	Outlet_Size	Outlet_Location_Type	Outlet_Type	id

3、衍生字段案例具体实现过程

T1、选择的基字段(1个)

['id','Item_Identifier','Item_Weight','Outlet_Identifier','Outlet_Establishment_Year', 'Outlet_Size']

(1)、生成的所有衍生字段

id	Item_Identifier	Item_Weight
	Outlet_Identifier	outlet.Outlet_Establishment_Year	outlet.Outlet_Size
outlet.COUNT(bigmart)	outlet.MODE(bigmart.Item_Identifier)	outlet.NUM_UNIQUE(bigmart.Item_Identifier)
	outlet.MAX(bigmart.Item_Weight)	outlet.MEAN(bigmart.Item_Weight)	outlet.MIN(bigmart.Item_Weight)
	outlet.SKEW(bigmart.Item_Weight)	outlet.STD(bigmart.Item_Weight)	outlet.SUM(bigmart.Item_Weight)

(2)、父衍生字段—outlet.COUNT(bigmart)

outlet.COUNT(bigmart)字段意义：是根据Outlet_Identifier字段内10个子类别的整体个数，分别进行填充设计。
outlet.COUNT(bigmart)字段内容：根据该字段的下拉列表可知，标记为1550的个数有4650个，是因为在Outlet_Identifier字段内，OUT035、OUT046、OUT049三个子类别均有1550个，所以，以上结果比较巧。

(3)、子衍生字段的具体字段分析

outlet.MODE(bigmart.Item_Identifier) 字段的分析过程

T2、选择的基字段(2个)

['Item_Identifier','Item_Weight','Item_Fat_Content','Outlet_Identifier','Outlet_Establishment_Year', 'Outlet_Size']

id	Item_Identifier	Item_Weight	Item_Fat_Content
	Outlet_Identifier	outlet.Outlet_Establishment_Year	outlet.Outlet_Size
outlet.COUNT(bigmart)	outlet.MODE(bigmart.Item_Identifier)	outlet.NUM_UNIQUE(bigmart.Item_Identifier)
outlet.MAX(bigmart.Item_Fat_Content)	outlet.MEAN(bigmart.Item_Fat_Content)	outlet.MIN(bigmart.Item_Fat_Content)	outlet.SKEW(bigmart.Item_Fat_Content)	outlet.STD(bigmart.Item_Fat_Content)	outlet.SUM(bigmart.Item_Fat_Content)
outlet.MAX(bigmart.Item_Weight)	outlet.MEAN(bigmart.Item_Weight)	outlet.MIN(bigmart.Item_Weight)	outlet.SKEW(bigmart.Item_Weight)	outlet.STD(bigmart.Item_Weight)	outlet.SUM(bigmart.Item_Weight)

核心代码

#2.2、特征衍生
#(1)、创建一个实体集EntitySet：实体集是一种包含多个数据帧及其之间关系的结构。
ftES = ft.EntitySet(id = 'sales') 

#(2)、规范化实体集：
ftES.normalize_entity(base_entity_id='bigmart',
                    new_entity_id='outlet',
                    index = 'Outlet_Identifier',
                    additional_variables = ['Outlet_Establishment_Year', 'Outlet_Size',
#                                             'Outlet_Location_Type', 'Outlet_Type',
                                            ])

#(3)、利用dfs函数自动创建新特征并输出
feature_matrix, feature_names = ft.dfs(entityset=ftES,target_entity = 'bigmart',
                                       max_depth = 2,
#                                        verbose = 1, n_jobs = -1,
                                       )
print('feature_names: \n',len(feature_names),feature_names)
print('feature_matrix:',feature_matrix.shape,type(feature_matrix),'\n',feature_matrix.iloc[:,:10].head())
feature_matrix.to_csv('%sfeature_matrix.csv'%date)

feature_matrix = feature_matrix.reindex(index=data_all['id'])       # reindex()函数，重新把列/行根据columns/index参数指定字段顺序整理一遍
feature_matrix = feature_matrix.reset_index()                       # reset_index()函数，重新设置dataframe的index，范围为0~len（df）
feature_matrix.to_csv('%sfeature_matrix2reset_index01.csv'%date)