支持向量机简介
SVM是一个非常通用的机器学习模型，可以用于线性或非线性分类，回归，甚至异常分析。
是最流行的机器学习算法之一，
1.SVM 对特征缩放非常敏感，所以要引入standardScalar
具体是这样：
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
X_scaled = scaler.fit_transform(Xs)
svm_clf.fit(X_scaled, ys)
2.SVM中有 hard margin 和 soft margin 之分，一个边缘是硬的，一个是软的。
硬也就意味着对于异常值非常敏感，太软了又会发生欠拟合，所以为了更好的预测需要控制软和硬。
为了做到这一点，我们使用超参数 C 。
scaler = StandardScaler()
svm_clf1 = LinearSVC(C=1, loss="hinge", random_state=42)
svm_clf2 = LinearSVC(C=100, loss="hinge", random_state=42)
scaled_svm_clf1 = Pipeline([
("scaler", scaler),
("linear_svc", svm_clf1),
])
scaled_svm_clf2 = Pipeline([
("scaler", scaler),
("linear_svc", svm_clf2),
])
scaled_svm_clf1.fit(X, y)
scaled_svm_clf2.fit(X, y)
C=1与C=100之间的差距
这也意味着如果发生过拟合或者受到异常值的影响可以考虑减小C的值
如果想要做非线性回归，有三种方法
1.多项式特征=>多项式核
from sklearn.datasets import make_moons
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import PolynomialFeatures
polynomial_svm_clf = Pipeline([
("poly_features", PolynomialFeatures(degree=3)),
("scaler", StandardScaler()),
("svm_clf", LinearSVC(C=10, loss="hinge", random_state=42))
])
polynomial_svm_clf.fit(X, y)
多项式核
from sklearn.svm import SVC
poly_kernel_svm_clf = Pipeline([
("scaler", StandardScaler()),
("svm_clf", SVC(kernel="poly", degree=3, coef0=1, C=5))
])
poly_kernel_svm_clf.fit(X, y)
3.相似特征，高斯径向基函数（Gaussian RBF）=>高斯核
rbf_kernel_svm_clf = Pipeline([
("scaler", StandardScaler()),
("svm_clf", SVC(kernel="rbf", gamma=5, C=0.001))
])
rbf_kernel_svm_clf.fit(X, y)
不同的C和γ对高斯核的影响
高斯核有两个重要参数，C 和 γ（gama），C就是决定边缘软硬，γ 类似于正则化的超参数，γ 越大，决策边界最终就会变得越崎岖复杂，反之则会变光滑。
如何选择一个合适的核
首先要考虑linearSVC，因为最快，尤其是当训练集非常大的时候。
如果训练集不是很大，可以尝试使用高斯RBF核，如果还有其他时间再尝试别的核。
