使用Matlab完成,包括如下5个程序:
yxcSVMkernel.m,产生核函数矩阵,支持线性核,多项式核和RBF核.
yxcSVMtrain.m,SVM训练程序.
yxcSVMclassifer.m,SVM分类程序.
yxcSVMplot.m,SVM画图程序.
irisSVM.m,调用以上4个程序由花瓣长度和花瓣宽度解决Iris数据分类问题.
以上程序使用Matlab中quadprog函数解决二次规划问题,其它函数均自己编写.程序使用了网格选取得到最佳系数,再通过一对一算法将三类数据分开,并画出了0,-1,1三条分界线.由于此问题基本上线性可分,因此没有使用交叉验证方法对参数进行微调.具体源码请参照.m文件.
程序输出如下:
1,首先使用网格选取训练第一类和第二类数据.
.....................................................................
Training Isis-setosa(1) and Isis-versicolor(2) using grid search.
Please wait a while.
Error rate is %0, with C = 1, sigma = 1
There are 8 support vectors, 0 out of 100 are wrongly classified
由于第一类和第二类数据为线性可分,因此几乎对所有Sigma和C均可分.其中支持向量的个数为8.
2,其次使用网格选取训练第二类和第三类数据.
....................................................................
Training Isis-versicolor(2) and Isis-virginica(3) using grid search.
Please wait a while.
Error rate is %3, with C = 1000, sigma = 1
There are 13 support vectors, 3 out of 100 are wrongly classified
程序判定当C=1000,Sigma=1时可以达到最低错误率.此时有13个支持向量,3个点被错分.
注意,由于第二类的第21个数据和第三类的第27个数据一模一样,但属于不同类,因此第二类数据和第三类数据的不可能被100%分开.
3,然后使用网格选取训练第一类和第三类数据.
.....................................................................
Training Isis-setosa(1) and Isis-virginica(3) using grid search.
Please wait a while.
Error rate is %0, with C = 1, sigma = 1
There are 9 support vectors, 0 out of 100 are wrongly classified
由于第一类和第二类数据为线性可分,因此几乎对所有Sigma和C均可分.其中支持向量的个数为9.

4,最后通过一对一算法得出三类数据的分类图.
Matlab代码
iris_svm_matlab.zip
有用的链接
Support Vector Machines: Hype or Hallelujah
A Tutorial on Support Vector Machines for Pattern Recognition
Iris flower data set