pandas高阶应用

1、时间序列相关操作

pd的date_range中的基本时间序列频率

2、三种透视图操作方法

import pandas as pd
import numpy as np

v = [1, 2, 3, 3, 3]
a = pd.DataFrame({'v': v})
d = [2 , 4, 4, 5, 4]
a['d'] = d
c = ['c' , 'h', 'd', 'e',  'c']
a['c'] = c
a.head()
####a的数据状况为：
	v	d	c
0	1	2	c
1	2	4	h
2	3	4	d
3	3	5	e
4	3	4	c

# df用两个列进行分组groupby
a.groupby(['v','d'])['c'].count()
### 分组结果为：
v  d
1  2    1
2  4    1
3  4    2
   5    1
Name: c, dtype: int64

将上步得到的数据行列转换：v列的值做index, d列的值做columns，将数据对应填入

以下为三种操作方法

2.1 crosstab

cpd = pd.crosstab(a['v'], a['d'], a['c'], aggfunc='count')
cpd
## 结果为:
d	2	4	5
v			
1	1.0	NaN	NaN
2	NaN	1.0	NaN
3	NaN	2.0	1.0
# 将上步所得结果空值填充为0
cpb.fillna(0,inplace=True)

2.2 pivot_tabel

a.groupby(['v', 'd'], as_index=False)['c'].count().pivot_table(
    index=['v'],
    columns=['d'],
    values='c',
    aggfunc='count').fillna(0)
## 结果为：
d	2	4	5
v			
1	1.0	0.0	0.0
2	0.0	1.0	0.0
3	0.0	1.0	1.0

2.3 pivot

a.groupby(['v', 'd'], as_index=False)['c'].count()
## 结果为：
	v	d	c
0	1	2	1
1	2	4	1
2	3	4	2
3	3	5	1

a.groupby(['v', 'd'], as_index=False)['c'].count().pivot("v","d","c").fillna(0)
### 结果为：

d	2	4	5
v			
1	1.0	0.0	0.0
2	0.0	1.0	0.0
3	0.0	2.0	1.0

3、groupby后接各种便利操作

3.1 groupby本体

for ind,data in a.groupby(['v','d']):
    print(ind,data)

3.2 groupby--agg

a.groupby(['v','d']).agg({"c":["count"]}) 
# 哪些列所需的函数操作只需要列为key, 函数作为value，或value list
# 结果为：
		c
count
v	d	
1	2	1
2	4	1
3	4	2
5	1

# 常用的函数有：count,min,max,median,mean,sum,cumsum

3.3 groupby--transform

transform可使groupby的结果去索引化一一填充，作用类似a.groupby(['v', 'd'], as_index=False)['c'].count()

a.groupby(['v','d'])['c'].transform('count')
## 结果为:
0    1
1    1
2    2
3    1
4    2
Name: c, dtype: int64

4、apply

def func(x):
    if x=="c":
        x = 3
    elif x=="d":
        x = 4
    elif x=="e":
        x = 5
    else:
        x = 6
    return x

a['c'].apply(func)

## 结果为：
0    3
1    6
2    4
3    5
4    3

a['c'].apply(lambda x: 1 if x=="c" else 0)

5、多个sheet写入excel

pd.ExcelWriter(path) as fp:
    df1.to_excel(fp,sheet_name="")
    df2.to_excel(fp,sheet_name="")
    df3.to_excel(fp,sheet_name="")

6、大数据加速处理Tips

6.1 分块读取

def get_df(file):
    mylist = list()
    for chunk in pd.read_csv(file,sep=',',chunksize=1000000):
        mylist.append(chunk)
    temp_df = pd.concat(mylist,axis=0)
    del mylist
    return temp_df

6.2 swifter--针对apply的加速包

# Swifter可以检查你的函数是否可以向量化，如果可以，就使用向量化计算
# 直接在apply在前面加上swifter就行
df.swifter.apply()

6.3 category

Pandas中有一种特殊的数据类型叫做category。它表示的是一个类别，一般用在统计分类中，比如性别，血型，分类，级别等等。

1. Categories是从数据中推断出来的。
2. Categories是没有大小顺序的。

会比原始数据类型占用的内存少。

但是category数据类型后续操作不方便，比如填充空值就会报错，可将其转化成对应的code

.astype('category').cat.codes---->直接将series分类后映射成数值。

6.4 glob--读取批量数据

glob包，这个包将一次处理多个csv文件。可以使用data/*. CSV模式来获取data文件夹中的所有csv文件。

pandas没有本地的glob支持，因此我们需要循环读取文件。

import glob
all_files = glob.glob('data/*.csv')
dfs = []
for fname in all_files:
    dfs.append(pd.read_csv(fname, parse_dates=['Date']))
df = pd.concat(dfs, axis=0)
dfsum = df.groupby(df['Date'].dt.year).sum()

6.5 Vaex

1. Vaex 是一个开源的DataFrame库(类似于Pandas)，对和你硬盘空间一样大小的表格数据集，它可以有效进行可视化、探索、分析甚至进行实践机器学习。
2. Vaex 采用内存映射、高效的核外算法和延迟计算等概念。

1. Vaex 要求将CSV转换为HDF5格式，才能看到Vaex的优点。

HDF5是一种全新的分层数据格式产品，由数据格式规范和支持库实现组成。
HDF5旨在解决较旧的HDF产品的一些限制，满足现代系统和应用需求。
HDF5文件以分层结构组织，其中包含两个主要结构：组和数据集。
HDF5 group：分组结构包含零个或多个组或数据集的实例，以及支持元数据(metadata)。
HDF5 dataset：数据元素的多维数组，以及支持元数据。
但HDF5文件会比较大

import glob
import vaex

# csv_files = glob.glob('csv_files/*.csv')
csv_files = glob.glob('train.csv')
for i, csv_file in enumerate(csv_files, 1):
    for j, dv in enumerate(vaex.from_csv(csv_file, convert=True, chunk_size=5_000_000), 1):
        print('Exporting %d %s to hdf5 part %d' % (i, csv_file, j))
        dv.export_hdf5(f'hdf5_files/analysis_{i:02}_{j:02}.hdf5')
dv = vaex.open('hdf5_files/*.hdf5')
### Vaex实际上并没有读取文件，因为延迟加载。###
quantile = dv.percentile_approx('col1', 10)
dv['col1_plus_col2'] = dv.col1 + dv.col2
dv['col1_binary'] = dv.col1> dv.percentile_approx（'col1'，10）