使用聚类（K-means）分析方法对骑手进行分类标签定义
什么是聚类分析
聚类分析的目标就是在相似的基础上收集数据来分类，属于无监督学习。就是通过行为数据，通过算法将相似的人群聚集在一起，形成不带标签的人群簇。再人为的对人群簇进行分析，寻找特征标签。
一、数据构建
根据骑手的行为数据，可以从 日均活跃时长、工作日/非工作日、高峰期/平峰期、白天/夜间、骑手年龄等 可能存在喜好偏差的行为数据，进行数据构建。
#基础包导入（有很多无关的，懒的删除了，哈哈哈
from sklearn.datasets import load_iris
import xgboost as xgb
from xgboost import plot_importance
from matplotlib import pyplot as plt
from sklearn.model_selection import train_test_split
import pandas as pd
import numpy as np
from sklearn.metrics import accuracy_score
import seaborn as sns
import matplotlib
#指定默认字体
matplotlib.rcParams['font.sans-serif'] = ['SimHei']
matplotlib.rcParams['font.family']='sans-serif'
#解决负号'-'显示为方块的问题
matplotlib.rcParams['axes.unicode_minus'] = False
from pyhive import hive
import os
def presto_read_sql_df(sql):
conn=prestodb.dbapi.connect(
host=os.environ['PRESTO_HOST'],
port=os.environ['PRESTO_PORT'],
user=os.environ['JUPYTER_HADOOP_USER'],
password=os.environ['HADOOP_USER_PASSWORD'],
catalog='hive')
cur = conn.cursor()
cur.execute(sql)
query_result = cur.fetchall()
colnames = [part[0] for part in cur.description]
raw = pd.DataFrame(query_result, columns=colnames,dtype=np.float64)
return raw
def hive_read_sql_df(sql):
conn = hive.connect(
host=os.environ['PYHIVE_HOST'],
port=os.environ['PYHIVE_PORT'],
username=os.environ['JUPYTER_HADOOP_USER'],
password=os.environ['HADOOP_USER_PASSWORD'],
auth='LDAP',
configuration={'mapreduce.job.queuename': os.environ['JUPYTER_HADOOP_QUEUE'],
'hive.resultset.use.unique.column.names':'false'})
raw = pd.read_sql_query(sql,conn)
return raw#数据读取（可以用hive，也可以直接读取文件
df = hive_read_sql_df("""
select
*
from XXX
""")
df.to_csv('XXXXX.csv',encoding='gbk',sep=',',index = False)#从文件读取数据
# 路径调整
# print(os.getcwd())
# os.chdir('/home/')
# print(os.getcwd())
data = pd.read_csv('XXXXXX.csv',encoding='gbk')
#可能会存在部分缺失值导致后续运行报错，先将缺失值进行剔除
df = data
df.describe() #数据预览
print(df.isnull().any()) #缺失值判断
df.dropna(inplace=True) #删除缺失值
print(df.isnull().any()) #缺失值判断
df.describe() #数据预览
# df = df.query("main_city_tsh_rate > 0.15") #数据筛选
# df = df.drop('age',axis=1) #删除无关列
_id = df['_id'] #先将dri_id单独存储,在分类后再加回去
td = df.drop('_id',axis=1) #删除_id列#数据标准化，避免数据的量纲对分类产生权重影响，对数据进行标准化
使用Z分数标准化数据：Z分数_百度百科
#数据标准化处理——z分数： x = (x - x.mean()) /x.std()
td.tsh_avg = (td.tsh_avg -td.tsh_avg.mean()) / td.tsh_avg.std() 二、超参数K值回归
K，即K-means聚类产生的结果数，k-means不会自主决定聚类的结果数，需要人为的指定。人为指定通常存在一些误判，可通过手肘法、轮廓系数法进行回归计算，从而选择最优的超参数K。
2.1手肘法
（由于我的数据量比较大，且有倾向性的希望结果在6-14之间，所以K的范围选择6-14，也可根据自己的需求定义范围）
# '利用SSE选择k' 选择斜率最小的点作为K
from sklearn.cluster import KMeans
from sklearn.metrics import silhouette_score
# '利用SSE选择k'
SSE = [] # 存放每次结果的误差平方和
for k in range(6, 15):
estimator = KMeans(n_clusters = k,max_iter = 10000,random_state = 10)
estimator = estimator.fit(x)
SSE.append(estimator.inertia_)
print(k)
X = range(6, 15)
plt.xlabel('k')
plt.ylabel('SSE')
plt.plot(X, SSE, 'o-')
plt.show()
K=10，拐点不是非常显著，但基于我的业务需求，倾向将K定义为10
2.2轮廓系数法：
# 选择最高点作为K
Scores = [] # 存放轮廓系数
from sklearn.cluster import KMeans
from sklearn.metrics import silhouette_score
for k in range(6, 15):
estimator = KMeans(n_clusters = k,max_iter = 10000,random_state = 10)
estimator = estimator.fit(x)
Scores.append(silhouette_score(x, estimator.labels_, metric='euclidean'))
print(k )
X = range(6, 15)
plt.xlabel('k')
plt.ylabel('轮廓系数')
plt.plot(X, Scores, 'o-')
这个方法数据量大时巨慢，结果没跑出来（大家可以自己尝试下,选择方法可以参考下图，选择K=3，即轮廓系数最大值，理论可参考原文
2.3Gap Statistic 法：
具体可大家再深入，我内网环境没安装成功
from gap_statistic import OptimalK
def gap_statistic_K(data, range_K, pro_num):
K = np.arange(1, range_K)
optimalK = OptimalK(n_jobs=1, parallel_backend='joblib')
n_clusters = optimalK(data, cluster_array=K)
# Gap values plot
plt.plot(optimalK.gap_df.n_clusters, optimalK.gap_df.gap_value, linewidth=3)
plt.scatter(optimalK.gap_df[optimalK.gap_df.n_clusters == n_clusters].n_clusters,
optimalK.gap_df[optimalK.gap_df.n_clusters == n_clusters].gap_value, s=250, c='r')
plt.grid(True)
plt.xlabel('Cluster Count')
plt.ylabel('Gap Value')
plt.title('Gap Values by Cluster Count')
plt.savefig(f'/Users/cecilia/Desktop/K_图片/{pro_num}_gap_values_K.jpg')
plt.cla()
# plt.show()
return n_clusters
三、聚类方法——K-means
n_clusters = 10 ，即结果为10类
from sklearn.cluster import KMeans
kmeans = KMeans(n_clusters = 10,max_iter = 10000,random_state = 10) #构建模型
y = kmeans.fit(td)
# y = kmeans.fit(x)
label_pred = y.labels_#获取聚类标签
df['_type'] = label_pred
df.to_csv('result_v4.csv',encoding='gbk',sep=',',index = False) ##先将结果保存下来
dri_type_cnt = df.groupby('_type').count()._id
# 画图，plt.bar()可以画柱状图
for i in range(len(dri_type_cnt)):
plt.bar(i, dri_type_cnt[i])
# 设置图片名称
plt.title("各簇人数")
# 设置x轴标签名
plt.xlabel("簇标签")
# 设置y轴标签名
plt.ylabel("人数")
# 显示
plt.show()
dri_type_mean = df.groupby('dri_type').mean()
dri_type_mean.to_csv('group_mean_v5.csv',encoding='gbk',sep=',',index = False) ##根据均值寻找人群簇特征 k-means会将人群分为10类，根据每个特征值，可以对人群进行标签定义 
四、聚类结果白盒化
因为算法实现的可解释性较差理解成本高，且容易受特征波动有较大变化;基于用户显著性特征对类群进行白盒规则化。
即根据人群的特征，将人群标签的定义规则进行明确，根据明确的规则，对人群进行直接的标签划分，便于数据的产出和标签的稳定。（此处可根据人群簇的特征值作为参考，也可结合业务的体感进行判断，或者数据分布进行去尾、去头等，无绝对准确的规则，更多的是业务体感）
