Python数据分析：Pandas与NumPy结合，实现高效数值计算，提升数据分析效率的最佳实践
目前小编的借调任务已经完成，借调到其他组完成了自己的工作，有需要的同学可以看下相关的文章：Python（Flask）+ React && Golang（Gin）+ Vue(Element)，然后小编认为可以回到原来的组继续phper的工作，没想到，刚做完支持工作，现在又被借调到了Python项目部RolePlay数据组，目前的情况是需要做数据分析并培训相关人员，所以小编不得已又开始了紧张的复习工作已经培训文档得撰写工作，有需要的小伙伴自取。
前面已经给他们培训过Flask框架的相关知识，现在做数据分的话，个人认为技术点不难，但是比较繁复，所以需要培训NumPy和Pandas组件无论是NumPy还是Pandas，个人经验：只要掌握好了key、value、Indexes(索引)，以及对象，这个就是很简单的一个东西。
NumPy：
1.强大的n维数组结构
2.线性代数、傅里叶变换和随机数特征
3.速度：基于NumPy的算法要比纯Python快10到100倍（甚至更快），并且使用的内存更少
属性：
ndarray.ndim：数组的维数，在Python中叫做rank
ndarray.shape： 数组的维数。它是一组长度由数组维数(ndim)决定的数字。例如，长度为n的一维数组的形状是n，而n行m列的数组的形状shape是(n,m)。
ndarray.size：数组中所有元素的数量。
ndarray.dtype：数组中元素的类型，如numpy.int32、numpy.int16或numpy.float64。
ndarray.itemsize：数组中每个元素的大小，以字节为单位
ndarray.data：用于存储数组元素的缓冲。通常我们只需要通过下标来访问元素，而不需要访问缓冲区。
指定维度：
初始化：2表示数组数据维度，3表示单一维度的数据个数；
data = np.random.randn(2, 3)
输出data： array([[-0.2047, 0.4789, -0.5194],[-0.5557, 1.9658, 1.3934]])数据获取：数据计算：data * 10
输出：array([[ -2.0471, 4.7894, -5.1944],[ -5.5573, 19.6578, 13.9341]])数据计算: data + data
输出：array([[-0.4094, 0.9579, -1.0389],[-1.1115, 3.9316, 2.7868]])函数：
函数：shape（一个表示各维度大小的元组）
data.shape
输出： (2, 3)函数：dtype（一个用于说明数组数据类型的对象）：
data.dtype
输出： dtype('float64')唯一化以及其它的集合逻辑
names = np.array(['Bob', 'Joe', 'Will', 'Bob', 'Will', 'Joe', 'Joe'])np.unique(names)
输出：array(['Bob', 'Joe', 'Will'],dtype='<U4')ints = np.array([3, 3, 3, 2, 2, 1, 1, 4, 4])
np.unique(ints)
输出array([1, 2, 3, 4]) 创建：
创建一维数组：
data1 = [6, 7.5, 8, 0, 1]
arr1 = np.array(data1)
输出：array([ 6. , 7.5, 8. , 0. , 1. ])创建二维数组：
data2 = [[1, 2, 3, 4], [5, 6, 7, 8]]
arr2 = np.array(data2)
输出：array([[1, 2, 3, 4],[5, 6, 7, 8]])zeros和ones分别可以创建指定长度或形状的全0或全1数组
np.zeros(10)
输出：array([ 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.])np.zeros((3, 6))
输出array([[ 0., 0., 0., 0., 0., 0.],[ 0., 0., 0., 0., 0., 0.],[ 0., 0., 0., 0., 0., 0.]])np.empty((2, 3, 2))
输出：array([[[ 0., 0.],[ 0., 0.],[ 0., 0.]],[[ 0., 0.],[ 0., 0.],[ 0., 0.]]])
创建递增数组：
np.arange(15)
输出：array([ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14]) 切片（左包括，右开放）：
arr = np.arange(10)
输出：array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])arr[5]
输出：5切片：arr[5:8]
输出：array([5, 6, 7])修改：arr[5:8] = 12
输出 array([ 0, 1, 2, 3, 4, 12, 12, 12, 8, 9])切片修改值，会影响到原数组
arr_slice = arr[5:8]
输出：array([12, 12, 12])arr_slice[1] = 12345
输出：array([ 0, 1, 2, 3, 4, 12, 12345, 12, 8, 9])索引：
布尔型索引：
names = np.array(['Bob', 'Joe', 'Will', 'Bob', 'Will', 'Joe', 'Joe'])data = np.random.randn(7, 4)
输出：array([[ 0.0929, 0.2817, 0.769 , 1.2464],[ 1.0072, -1.2962, 0.275 , 0.2289],[ 1.3529, 0.8864, -2.0016, -0.3718],[ 1.669 , -0.4386, -0.5397, 0.477 ],[ 3.2489, -1.0212, -0.5771, 0.1241],[ 0.3026, 0.5238, 0.0009, 1.3438],[-0.7135, -0.8312, -2.3702, -1.8608]])names == 'Bob'
输出：array([ True, False, False, True, False, False, False], dtype=bool)data[names == 'Bob']
输出：array([[ 0.0929, 0.2817, 0.769 , 1.2464],[ 1.669 , -0.4386, -0.5397, 0.477 ]])子集索引：
arr = np.empty((8, 4))for i in range(8):arr[i] = i输出：array([[ 0., 0., 0., 0.],[ 1., 1., 1., 1.],[ 2., 2., 2., 2.],[ 3., 3., 3., 3.],[ 4., 4., 4., 4.],[ 5., 5., 5., 5.],[ 6., 6., 6., 6.],[ 7., 7., 7., 7.]])arr[[4, 3, 0, 6]]
输出：array([[ 4., 4., 4., 4.],[ 3., 3., 3., 3.],[ 0., 0., 0., 0.],[ 6., 6., 6., 6.]])arr[[-3, -5, -7]]
输出：array([[ 5., 5., 5., 5.],[ 3., 3., 3., 3.],[ 1., 1., 1., 1.]]) 数组转置和轴对换：
arr = np.arange(15).reshape((3, 5))
输出：array([[ 0, 1, 2, 3, 4],[ 5, 6, 7, 8, 9],[10, 11, 12, 13, 14]])arr.T
输出：array([[ 0, 5, 10],[ 1, 6, 11],[ 2, 7, 12],[ 3, 8, 13],[ 4, 9, 14]])排序：
arr = np.random.randn(6)
输出：array([ 0.6095, -0.4938, 1.24 , -0.1357, 1.43 , -0.8469])arr.sort()
输出：array([-0.8469, -0.4938, -0.1357, 0.6095, 1.24 , 1.43 ])
Pandas：
Pandas提供了快速便捷处理结构化数据的大量数据结构和函数。
Series 该结构能够存储各种数据类型，比如字符数、整数、浮点数、Python 对象等，Series 用 name 和 index 属性来描述 数据值。Series 是一维数据结构，因此其维数不可以改变。
DataFrame 表格型数据结构，DataFrame 是一种二维表格型数据的结构，既有行索引，也有列索引。行索引是 index，列索引是 columns。在创建该结构时，可以指定相应的索引值。
Panel 可以理解为DataFrame的容器。
默认索引从(从0开始)：
obj = pd.Series([4, 7, -5, 3])
输出：
0 4
1 7
2 -5
3 3
dtype: int64输出value值：
obj.values
输出：array([ 4, 7, -5, 3])输出索引：
obj.index
输出：Index([ 0, 1, 2, 3])指定索引（使用index指定）：
obj2 = pd.Series([4, 7, -5, 3], index=['d', 'b', 'a', 'c'])
输出：
d 4
b 7
a -5
c 3
dtype: int64输出index值：
obj2.index
输出：Index(['d', 'b', 'a', 'c'], dtype='object')指定输出：
obj2['a']
输出： -5修改值：
obj2['d'] = 6
obj2[['c', 'a', 'd']]
输出：
c 3
a -5
d 6
dtype: int64指定输出：
obj2[obj2 > 0]
输出：
d 6
b 7
c 3
dtype: int64计算：
obj2 * 2
输出
d 12
b 14
a -10
c 6
dtype: int64判断：
'b' in obj2
输出: True'e' in obj2
输出: False缺失值补全：
sdata = {'Ohio': 35000, 'Texas': 71000, 'Oregon': 16000, 'Utah': 5000}
obj3 = pd.Series(sdata)输出：
Ohio 35000
Oregon 16000
Texas 71000
Utah 5000
dtype: int64states = ['California', 'Ohio', 'Oregon', 'Texas']
obj4 = pd.Series(sdata, index=states)输出
California NaN
Ohio 35000.0
Oregon 16000.0
Texas 71000.0
dtype: float64pd.isnull(obj4)
输出：
California True
Ohio False
Oregon False
Texas False
dtype: boolpd.notnull(obj4)
输出：
California False
Ohio True
Oregon True
Texas True
dtype: bool DataFrame：
data = {'state': ['Ohio', 'Ohio', 'Ohio', 'Nevada', 'Nevada', 'Nevada'],'year': [2000, 2001, 2002, 2001, 2002, 2003],'pop': [1.5, 1.7, 3.6, 2.4, 2.9, 3.2]}
frame = pd.DataFrame(data)
输出：pop state year
0 1.5 Ohio 2000
1 1.7 Ohio 2001
2 3.6 Ohio 2002
3 2.4 Nevada 2001
4 2.9 Nevada 2002
5 3.2 Nevada 2003输出前五行：
frame.head()
输出：pop state year
0 1.5 Ohio 2000
1 1.7 Ohio 2001
2 3.6 Ohio 2002
3 2.4 Nevada 2001
4 2.9 Nevada 2002缺失值补全：
frame2 = pd.DataFrame(data, columns=['year', 'state', 'pop', 'debt'],'five', 'six'])
输出：year state pop debt
one 2000 Ohio 1.5 NaN
two 2001 Ohio 1.7 NaN
three 2002 Ohio 3.6 NaN
four 2001 Nevada 2.4 NaN
five 2002 Nevada 2.9 NaN
six 2003 Nevada 3.2 NaN取值：
frame2['state']
输出：
one Ohio
two Ohio
three Ohio
four Nevada
five Nevada
six Nevada
Name: state, dtype: object取值：
frame2.year
输出：
one 2000
two 2001
three 2002
four 2001
five 2002
six 2003
Name: year, dtype: int64取值:
frame2.loc['three']
输出:
year 2002
state Ohio
pop 3.6
debt NaN
Name: three, dtype: object赋值:
frame2['debt'] = 16.5
输出: year state pop debt
one 2000 Ohio 1.5 16.5
two 2001 Ohio 1.7 16.5
three 2002 Ohio 3.6 16.5
four 2001 Nevada 2.4 16.5
five 2002 Nevada 2.9 16.5
six 2003 Nevada 3.2 16.5赋值：
val = pd.Series([-1.2, -1.5, -1.7], index=['two', 'four', 'five'])
frame2['debt'] = val
输出: year state pop debt
one 2000 Ohio 1.5 NaN
two 2001 Ohio 1.7 -1.2
three 2002 Ohio 3.6 NaN
four 2001 Nevada 2.4 -1.5
five 2002 Nevada 2.9 -1.7
six 2003 Nevada 3.2 NaN缺值补全：
pop = {'Nevada': {2001: 2.4, 2002: 2.9},'Ohio': {2000: 1.5, 2001: 1.7, 2002: 3.6}}
frame3 = pd.DataFrame(pop)
输出: Nevada Ohio
2000 NaN 1.5
2001 2.4 1.7
2002 2.9 3.6行列置换：frame3.T
输出: 2000 2001 2002
Nevada NaN 2.4 2.9
Ohio 1.5 1.7 3.6设置值,自动补全：
pd.DataFrame(pop, index=[2001, 2002, 2003])
输出: Nevada Ohio
2001 2.4 1.7
2002 2.9 3.6
2003 NaN NaN设置索引：
obj = pd.Series([4.5, 7.2, -5.3, 3.6], index=['d', 'b', 'a', 'c'])
输出：
d 4.5
b 7.2
a -5.3
c 3.6
dtype: float64设置值,自动补全:
obj2 = obj.reindex(['a', 'b', 'c', 'd', 'e'])
输出:
a -5.3
b 7.2
c 3.6
d 4.5
e NaN
dtype: float64根据前面一个值补全：
obj3 = pd.Series(['blue', 'purple', 'yellow'], index=[0, 2, 4])
输出:
0 blue
2 purple
4 yellow
dtype: objectobj3.reindex(range(6), method='ffill')
输出:
0 blue
1 blue
2 purple
3 purple
4 yellow
5 yellow
dtype: object删除指定值：
obj = pd.Series(np.arange(5.), index=['a', 'b', 'c', 'd', 'e'])
输出:
a 0.0
b 1.0
c 2.0
d 3.0
e 4.0
dtype: float64删除c以及对应值：
new_obj = obj.drop('c')
输出:
a 0.0
b 1.0
d 3.0
e 4.0
dtype: float64删除d以及对应值、删除c以及对应值：
obj.drop(['d', 'c'])
输出:
a 0.0
b 1.0
e 4.0
dtype: float64索引选取和过滤：
obj = pd.Series(np.arange(4.), index=['a', 'b', 'c', 'd'])
输出:
a 0.0
b 1.0
c 2.0
d 3.0
dtype: float64obj['b']
输出: 1.0obj[1]
输出: 1.0obj[2:4]
输出:
c 2.0
d 3.0
dtype: float64obj[['b', 'a', 'd']]
输出:
b 1.0
a 0.0
d 3.0
dtype: float64obj[[1, 3]]
输出:
b 1.0
d 3.0
dtype: float64obj[obj < 2]
输出:
a 0.0
b 1.0
dtype: float64 用loc和iloc进行选取
data = pd.DataFrame(np.arange(16).reshape((4, 4)),index=['Ohio', 'Colorado', 'Utah', 'New York'],columns=['one', 'two', 'three', 'four'])
输出： one two three four
Ohio 0 1 2 3
Colorado 4 5 6 7
Utah 8 9 10 11
New York 12 13 14 15data.loc['Colorado', ['two', 'three']]
输出:
two 5
three 6
Name: Colorado, dtype: int64data.iloc[2, [3, 0, 1]]
输出:
four 11
one 8
two 9
Name: Utah, dtype: int64data.loc[:'Utah', 'two']
输出:
Ohio 0
Colorado 5
Utah 9
Name: two, dtype: int64data.iloc[:, :3][data.three > 5]
输出: one two three
Colorado 0 5 6
Utah 8 9 10
New York 12 13 14运算：
s1 = pd.Series([7.3, -2.5, 3.4, 1.5], index=['a', 'c', 'd', 'e'])
输出:
a 7.3
c -2.5
d 3.4
e 1.5
dtype: float64s2 = pd.Series([-2.1, 3.6, -1.5, 4, 3.1],index=['a', 'c', 'e', 'f', 'g'])
输出:
a -2.1
c 3.6
e -1.5
f 4.0
g 3.1
dtype: float64s1 + s2
输出:
a 5.2
c 1.1
d NaN
e 0.0
f NaN
g NaN
dtype: float64 排序和排名：
obj = pd.Series(range(4), index=['d', 'a', 'b', 'c'])
obj.sort_index()
输出:
a 1
b 2
c 3
d 0
dtype: int64frame = pd.DataFrame(np.arange(8).reshape((2, 4)),index=['three', 'one'],columns=['d', 'a', 'b', 'c'])
frame.sort_index()
输出: d a b c
one 4 5 6 7
three 0 1 2 3带有重复标签的轴索引：
obj = pd.Series(range(5), index=['a', 'a', 'b', 'b', 'c'])
输出:
a 0
a 1
b 2
b 3
c 4
dtype: int64obj.index.is_unique
输出：False自计算：
In [230]: df = pd.DataFrame([[1.4, np.nan], [7.1, -4.5],[np.nan, np.nan], [0.75, -1.3]],index=['a', 'b', 'c', 'd'],columns=['one', 'two'])
输出: one two
a 1.40 NaN
b 7.10 -4.5
c NaN NaN
d 0.75 -1.3df.sum()
输出:
one 9.25
two -5.80
dtype: float64唯一值、值计数以及成员资格：
obj = pd.Series(['c', 'a', 'd', 'a', 'a', 'b', 'b', 'c', 'c'])
obj.value_counts()
输出:
c 3
a 3
b 2
d 1
dtype: int64基础讲解到此为止：代码示例中还增加了统计图的输出，大家可以拷贝下来到自己的机器上跑一边，多动动手就知道是什么意思了
代码示例：
# pandas和numpy常常结合在一起使用，导入numpy库
import numpy as np
# 导入pandas库
import pandas as pd
# 引入库matplotlib
import matplotlib.pyplot as plot# 统计数据图（Display the image）;
# plot.title(设置名字需要是英文)# kind类型
# 'line'：线形图，这是默认的图表类型。
# 'bar'：条形图，垂直条形。
# 'barh'：水平条形图。
# 'hist'：直方图，用于展示数据分布。
# 'box'：箱形图，用于显示数据的五数概括和异常值。
# 'kde' 或 'density'：核密度估计图，用于估计连续随机变量的概率密度函数。
# 'area'：区域图，显示随时间变化的数据趋势。
# 'pie'：饼图，用于显示比例或组成。
# 'scatter'：散点图，用于查看两个变量之间的关系。
# 'hexbin'：六边形箱图，用于表示两个变量的分布密度。
# 'hist2d'：二维直方图，类似于 hexbin，但使用矩形箱。
# 'contour' 或 'contourf'：等高线图，用于显示三维数据的等高线。
# 'polar'：极坐标图，适用于极坐标系中的数据。S12 = pd.DataFrame({"name":['toms',"jays"],'age':[12,21]})
S12.plot(kind='pie', x='name', y='age')
plot.title("name-age")
plot.show()#透视表
s17 = pd.DataFrame({'Year': ['2019', '2019', '2020', '2020'],'Quarter': ['Q1', 'Q2', 'Q1', 'Q2'],'Product': ['A', 'B', 'A', 'B'],'Sales': [100, 200, 150, 250]})#源数据
# Year Quarter Product Sales
# 0 2019 Q1 A 100
# 1 2019 Q2 B 200
# 2 2020 Q1 A 150
# 3 2020 Q2 B 250# 创建透视表（index表示key，colums表示统计维度，values表示value，aggfunc: 聚合函数，用于处理重复的数据。常见的有sum、mean、count等）
pivot_table = s17.pivot_table(index='Year', columns='Quarter', values='Sales', aggfunc='sum')
# 打印透视表
print(f"透视表行维度:\n{pivot_table}")# 透视表
# Quarter Q1 Q2
# Year
# 2019 100 200
# 2020 150 250# 计算交叉表（pd.crosstab，与piovt_table统计维度是列，cross_table统计维度是行，根据需求选择使用）
s18 = pd.DataFrame({'Sex': ['M', 'F', 'M', 'F', 'M', 'F', 'M', 'F'],'Smoker': ['Yes', 'No', 'Yes', 'No', 'Yes', 'No', 'No', 'Yes'],'HeartDisease': ['Yes', 'No', 'Yes', 'No', 'Yes', 'Yes', 'No', 'No']
})
print(f"透视表列表:\n{s18}")# Sex Smoker HeartDisease
# 0 M Yes Yes
# 1 F No No
# 2 M Yes Yes
# 3 F No No
# 4 M Yes Yes
# 5 F No Yes
# 6 M No No
# 7 F Yes Nos19 = pd.crosstab(s18['Sex'], s18['Smoker'], margins=True)
print(f"透视表列统计:\n{s19}")# Smoker No Yes All
# Sex
# F 1 1 2
# M 2 2 4
# All 3 3 6