【Python】SVM实现数据分类案例(包含参数优化)

系统 143 0

这是一篇机器学习岗位的笔试题,题目大概就是:
给定了数据特征和数据标签(二分类),使用机器学习算法对数据进行分类,并优化两个重要的参数,计算AUC指标,画出参数优化和AUC指标变化图。

本文选择的是SVM(支持向量机)来实现这一过程,SVM是非常强大、灵活的有监督学习的算法,既可以用于分类,也可以用于回归。

实现过程:
1.导入需要的包

            
              import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
from sklearn.svm import SVC
from sklearn.model_selection import cross_val_score
from sklearn import preprocessing
from sklearn.model_selection import GridSearchCV

            
          

2.读取数据特征和数据标签

            
              path1 = r"Test1_features.dat"
X = pd.read_csv(path1,engine ='python',header=None)
path2 = r"Test1_labels.dat"
Y = pd.read_csv(path2,engine ='python',header=None)

            
          

3.查看数据特征的统计信息
查看数据特征的基本统计信息会发现数据之间存在量级差异,因此选择对数据进行标准化(下图显示不完全)

            
              X.describe()

            
          

【Python】SVM实现数据分类案例(包含参数优化)_第1张图片
4.数据标准化

            
              #默认优化到取件[0,1]之间
X = preprocessing.scale(X)

            
          

5.选择网格优化的两个参数

            
              首先对于SVM来说,惩罚系数C是很重要的参数,肯定要选择;
其次这里的核函数选择的是RBF,因此另一个参数选择Gamma。

            
          

6.计算不同参数时的AUC指标

            
              x = y = z = []
for C in range(1,10,1):
    for gamma in range(1,11,1):
    	#参数scoring设置为roc_auc返回的是AUC,cv=5采用的是5折交叉验证
        auc = cross_val_score(SVC(C=C,kernel='rbf',gamma=gamma/10),X,Y,cv=5,scoring='roc_auc').mean()
        x.append(C)
        y.append(gamma/10)
        z.append(auc)

            
          

7.将list转换为二维数组

            
              x = np.array(x).reshape(9,10)
y = np.array(y).reshape(9,10)
z = np.array(z).reshape(9,10)

            
          

8.绘制三维网格优化图

            
              fig = plt.figure()
ax = Axes3D(fig)
ax.plot_surface(y, x, z, rstride=1, cstride=1, cmap=plt.get_cmap('rainbow'))
plt.xlabel('Gamma')
plt.ylabel('C')

            
          

当然,这里绘制的图跟想象的有点不一样,由于前面参数C和Gamma选择的原因。
【Python】SVM实现数据分类案例(包含参数优化)_第2张图片

欢迎添加个人微信号:liu2536036458。
想进入交流群的,备注: 数据分析交流群


更多文章、技术交流、商务合作、联系博主

微信扫码或搜索:z360901061

微信扫一扫加我为好友

QQ号联系: 360901061

您的支持是博主写作最大的动力,如果您喜欢我的文章,感觉我的文章对您有帮助,请请扫描上面二维码支持博主1元、2元、5元等您想捐的金额吧,狠狠点击下面给点支持吧

发表我的评论
最新评论 总共0条评论