Python 深入淺出支持向量機（SVM）算法
相比於邏輯回歸，在很多情況下，SVM算法能夠對數據計算從而產生更好的精度。而傳統的SVM只能適用於二分類操作，不過卻可以通過核技巧（核函數），使得SVM可以應用於多分類的任務中。
本篇文章只是介紹SVM的原理以及核技巧究竟是怎麼一回事，最後會介紹sklearn svm各個參數作用和一個demo實戰的內容，盡量通俗易懂。至於公式推導方面，網上關於這方面的文章太多了，這裏就不多進行展開了~
1.SVM簡介
支持向量機，能在N維平面中，找到最明顯得對數據進行分類的一個超平面！看下面這幅圖：
如上圖中，在二維平面中，有紅和藍兩類點。要對這兩類點進行分類，可以有很多種分類方法，就如同圖中多條綠線，都可以把數據分成兩部分。
但SVM做的，是找到最好的那條線（二維空間），或者說那個超平面（更高維度的空間），來對數據進行分類。這個最好的標準，就是最大間距。
至於要怎麼找到這個最大間距，要找到這個最大間距，這裏大概簡單說一下，兩個類別的數據，到超平面的距離之和，稱之為間隔。而要做的就是找到最大的間隔。
這最終就變成了一個最大化間隔的優化問題。
2.SVM的核技巧
核技巧，主要是為了解決線性SVM無法進行多分類以及SVM在某些線性不可分的情況下無法分類的情況。
比如下面這樣的數據：
這種時候就可以使用核函數，將數據轉換一下，比如這裏，我們手動定義了一個新的點，然後對所有的數據，計算和這個新的點的歐式距離，這樣我們就得到一個新的數據。而其中，離這個新點距離近的數據，就被歸為一類，否則就是另一類。這就是核函數。
這是最粗淺，也是比較直觀的介紹了。通過上面的介紹，是不是和Sigmoid有點像呢？都是通過將數據用一個函數進行轉換，最終得到結果，其實啊，Sigmoid就是一鍾核函數來着，而上面說的那種方式，是高斯核函數。
這裏補充幾點：
- 1.上面的圖中只有一個點，實際可以有無限多個點，這就是為什麼說SVM可以將數據映射到多維空間中。計算一個點的距離就是1維，2個點就是二維，3個點就是三維等等。。。
- 2.上面例子中的紅點是直接手動指定，實際情況中可沒辦法這樣，通常是用隨機產生，再慢慢試出最好的點。
- 3.上面舉例這種情況屬於高斯核函數，而實際常見的核函數還有多項式核函數，Sigmoid核函數等等。
OK，以上就是關於核技巧（核函數）的初步介紹，更高級的這裏也不展開了，網上的教程已經非常多了。
接下來我們繼續介紹sklearn中SVM的應用方面內容。
3.sklearn中SVM的參數
def SVC(C=1.0,
kernel='rbf',
degree=3,
gamma='auto_deprecated',
coef0=0.0,
shrinking=True,
probability=False,
tol=1e-3,
cache_size=200,
class_weight=None,
verbose=False,
max_iter=-1,
decision_function_shape='ovr',
random_state=None)
- C：類似於Logistic regression中的正則化係數，必須為正的浮點數，默認為 1.0，這個值越小，說明正則化效果越強。換句話說，這個值越小，越訓練的模型更泛化，但也更容易欠擬合。
- kernel：核函數選擇，比較複雜，稍後介紹
- degree：多項式階數，僅在核函數選擇多項式（即“poly”）的時候才生效，int類型，默認為3。
- gamma：核函數係數，僅在核函數為高斯核，多項式核，Sigmoid核（即“rbf“，“poly“ ，“sigmoid“）時生效。float類型，默認為“auto”（即值為 1 / n_features）。
- coef0：核函數的獨立項，僅在核函數為多項式核核Sigmoid核（即“poly“ ，“sigmoid“）時生效。float類型，默認為0.0。獨立項就是常數項。
- shrinking：不斷縮小的啟髮式方法可以加快優化速度。 就像在FAQ中說的那樣，它們有時會有所幫助，有時卻沒有幫助。 我認為這是運行時問題，而不是收斂問題。
- probability：是否使用概率評估，布爾類型，默認為False。開啟的話會評估數據到每個分類的概率，不過這個會使用到較多的計算資源，慎用！！
- tol：停止迭代求解的閾值，單精度類型，默認為1e-3。邏輯回歸也有這樣的一個參數，功能都是一樣的。
- cache_size：指定使用多少內存來運行，浮點型，默認200，單位是MB。
- class_weight：分類權重，也是和邏輯回歸的一樣，我直接就搬當時的內容了：分類權重，可以是一個dict（字典類型），也可以是一個字符串"balanced"字符串。默認是None，也就是不做任何處理，而"balanced"則會去自動計算權重，分類越多的類，權重越低，反之權重越高。也可以自己輸出一個字典，比如一個 0/1 的二元分類，可以傳入{0:0.1,1:0.9}，這樣 0 這個分類的權重是0.1，1這個分類的權重是0.9。這樣的目的是因為有些分類問題，樣本極端不平衡，比如網絡攻擊，大部分正常流量，小部分攻擊流量，但攻擊流量非常重要，需要有效識別，這時候就可以設置權重這個參數。
- verbose：輸出詳細過程，int類型，默認為0（不輸出）。當大於等於1時，輸出訓練的詳細過程。僅當"solvers"參數設置為"liblinear"和"lbfgs"時有效。
- max_iter：最大迭代次數，int類型，默認-1（即無限制）。注意前面也有一個tol迭代限制，但這個max_iter的優先級是比它高的，也就如果限制了這個參數，那是不會去管tol這個參數的。
- decision_function_shape：多分類的方案選擇，有“ovo”，“ovr”兩種方案，也可以選則“None”，默認是“ovr”，詳細區別見下面。
- random_state：隨時數種子。sklearn-SVM參數，kernel特徵選擇
kernel：核函數選擇，字符串類型，可選的有“linear”，“poly”，“rbf”，“sigmoid”，“precomputed”以及自定義的核函數，默認選擇是“rbf”。各個核函數介紹如下：
“linear”：線性核函數，最基礎的核函數，計算速度較快，但無法將數據從低維度演化到高維度
“poly”：多項式核函數，依靠提升維度使得原本線性不可分的數據變得線性可分
“rbf”：高斯核函數，這個可以映射到無限維度，缺點是計算量比較大
“sigmoid”：Sigmoid核函數，對，就是邏輯回歸裏面的那個Sigmoid函數，使用Sigmoid的話，其實就類似使用一個一層的神經網絡
“precomputed”：提供已經計算好的核函數矩陣，sklearn不會再去計算，這個應該不常用
“自定義核函數”：sklearn會使用提供的核函數來進行計算
說這麼多，那麼給個不大嚴謹的推薦吧
樣本多，特徵多，二分類，選擇線性核函數
樣本多，特徵多，多分類，多項式核函數
樣本不多，特徵多，二分類/多分類，高斯核函數
樣本不多，特徵不多，二分類/多分類，高斯核函數
當然，正常情況下，一般都是用交叉驗證來選擇特徵，上面所說只是一個較為粗淺的推薦。
sklearn-SVM參數，多分類方案
其實這個在邏輯回歸裏面已經有說過了，這裏還是多說一下。
原始的SVM是基於二分類的，但有些需求肯定是需要多分類。那麼有沒有辦法讓SVM實現多分類呢？那肯定是有的，還不止一種。
實際上二元分類問題很容易推廣到多元邏輯回歸。比如總是認為某種類型為正值，其餘為0值。
舉個例子，要分類為A，B，C三類，那麼就可以把A當作正向數據，B和C當作負向數據來處理，這樣就可以用二分類的方法解決多分類的問題，這種方法就是最常用的one-vs-rest，簡稱OvR。而且這種方法也可以方便得推廣到其他二分類模型中（當然其他算法可能有更好的多分類辦法）。
另一種多分類的方案是Many-vs-Many(MvM)，它會選擇一部分類別的樣本和另一部分類別的樣本來做二分類。
聽起來很不可思議，但其實確實是能辦到的。比如數據有A，B，C三個分類。
我們將A，B作為正向數據，C作為負向數據，訓練出一個分模型。再將A，C作為正向數據，B作為負向數據，訓練出一個分類模型。最後B，C作為正向數據，C作為負向數據，訓練出一個模型。
通過這三個模型就能實現多分類，當然這裏只是舉個例子，實際使用中有其他更好的MVM方法。限於篇幅這裏不展開了。
MVM中最常用的是One-Vs-One（OvO）。OvO是MvM的特例。即每次選擇兩類樣本來做二元邏輯回歸。
對比下兩種多分類方法，通常情況下，Ovr比較簡單，速度也比較快，但模型精度上沒MvM那麼高。MvM則正好相反，精度高，但速度上比不過Ovr。
4.sklearn SVM實戰
我們還是使用鳶尾花數據集，不過這次只使用其中的兩種花來進行分類。首先準備數據：
import matplotlib.pyplot as plt
import numpy as np
from sklearn import svm,datasets
import pandas as pd
tem_X = iris.data[:, :2]
tem_Y = iris.target
new_data = pd.DataFrame(np.column_stack([tem_X,tem_Y]))
#過濾掉其中一種類型的花
new_data = new_data[new_data[2] != 1.0]
#生成X和Y
X = new_data[[0,1]].values
Y = new_data[[2]].values
然後用數據訓練，並生成最終圖形
# 擬合一個SVM模型
clf = svm.SVC(kernel='linear')
clf.fit(X, Y)
# 獲取分割超平面
w = clf.coef_[0]
# 斜率
a = -w[0] / w[1]
# 從-5到5，順序間隔採樣50個樣本，默認是num=50
# xx = np.linspace(-5, 5) # , num=50)
xx = np.linspace(-2, 10) # , num=50)
# 二維的直線方程
yy = a * xx - (clf.intercept_[0]) / w[1]
print("yy=", yy)
# plot the parallels to the separating hyperplane that pass through the support vectors
# 通過支持向量繪製分割超平面
print("support_vectors_=", clf.support_vectors_)
b = clf.support_vectors_[0]
yy_down = a * xx + (b[1] - a * b[0])
b = clf.support_vectors_[-1]
yy_up = a * xx + (b[1] - a * b[0])
# plot the line, the points, and the nearest vectors to the plane
plt.plot(xx, yy, 'k-')
plt.plot(xx, yy_down, 'k--')
plt.plot(xx, yy_up, 'k--')
plt.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], s=80, facecolors='none')
plt.scatter(X[:, 0].flat, X[:, 1].flat, c='#86c6ec', cmap=plt.cm.Paired)
# import operator
# from functools import reduce
# plt.scatter(X[:, 0].flat, X[:, 1].flat, c=reduce(operator.add, Y), cmap=plt.cm.Paired)
plt.axis('tight')
plt.show()最終的SVM的分類結果如下：
以上~
本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】
※高價收購3C產品,價格不怕你比較
※如何讓商品強力曝光呢? 網頁設計公司幫您建置最吸引人的網站，提高曝光率!!
※網頁設計一頭霧水??該從何著手呢? 找到專業技術的網頁設計公司，幫您輕鬆架站!
※想知道最厲害的台北網頁設計公司推薦、台中網頁設計公司推薦專業設計師”嚨底家”!!