机器学习有哪些算法

机器学习算法可以分为三个大类 —— 监督学习、无监督学习和强化学习。监督学习，对训练有标签的数据有用，但是对于其他没有标签的数据，则需要预估。无监督学习，用于对无标签的数据集（数据没有预处理）的处理，需要发掘其内在关系的时候。强化学习，介于两者之间，虽然没有精准的标签或者错误信息，但是对于每个可预测的步骤或者行为，会有某种形式的反馈。下面介绍监督学习和无监督学习的十大常用算法：

监督学习

1、决策树 (Decision Trees)决策树是一个决策支持工具，它用树形的图或者模型表示决策及其可能的后果，包括随机事件的影响、资源消耗、以及用途。请看下图，随意感受一下决策树长这样的：从商业角度看，决策树就是用最少的 Yes/No 问题，尽可能地做出一个正确的决策。它让我们通过一种结构化、系统化的方式解决问题，得到一个有逻辑的结论。

3、普通最小二乘回归 (Ordinary Least Squares Regression)如果你学过统计学，你可能听过线性回归。至少最小二乘是一种进行线性回归的方法。你可以认为线性回归就是让一条直线用最适合的姿势穿过一组点。有很多方法可以这样做，普通最小二乘法就像这样 —— 你可以画一条线，测量每个点到这条线的距离，然后加起来。最好的线应该是所有距离加起来最小的那根。线性法表示建模线性模型，而最小二乘法可以最小化该线性模型的误差。

5、支持向量机 (Support Vector Machines)SVM 是一种二分算法。假设在 N 维空间，有一组点，包含两种类型，SVM 生成 a (N-1) 维的超平面，把这些点分成两组。比如你有一些点在纸上面，这些点是线性分离的。SVM 会找到一个直线，把这些点分成两类，并且会尽可能远离这些点。从规模看来，SVM（包括适当调整过的）解决的一些特大的问题有：广告、人类基因剪接位点识别、基于图片的性别检测、大规模图片分类…

无监督学习

1、聚类算法 (Clustering Algorithms)聚类就是把一组对象分组化的任务，使得在同一组的对象比起其它组的对象，它们彼此更加相似。每种聚类算法都不同，下面是其中一些：基于图心（Centroid）的算法基于连接的算法基于密集度的算法概率论降维神经网络 / 深度学习

3、奇异值分解 (S坡纠课柩ingular Value Decomposition)线性代数中，SVD 是对一个特别复杂的矩阵做因式分解。比如一个 m*n 的矩阵 M，存在一个分解如 M = UΣV，其中 U 和 V 是酉矩阵，Σ 是一个对角矩阵。PCA 其实是种简单的 SVD。在计算机图形领域，第一个脸部识别算法就用了 PCA 和 SVD，用特征脸 (eigenfaces) 的线性结合表达脸部图像，然后降维，用简单的方法把脸部和人匹配起来。尽管如今的方法更加复杂，依然有很多是依靠类似这样的技术。