机械学习|决策树 到 XGBoost

关键词：决策树、ID3、C4.5、CART、随机森林、Adaboost、GBDT、XGBOOST

决策树

HMM/CRF 笔记 机器学习-白板推导系列(十四)-隐马尔可夫模型 HMM 机器学习-白板推导系列(十七)-条件随机场 CRF

机械学习基础。笔记思路参考了 shuhuai-白板机械学习 系列教程。

基础

极大似然估计

极大似然估计可以理解为：已知观测变量来源于分布 $f(\theta)$，求 $\theta$ 使得出现当前观测变量的概率最大。 解极大似然，可以先定义出似然函数，而后取对数再令导数为 0，得到似然方程并求解。

线性回归基础数学。笔记思路源于 shuhuai-白板机械学习 系列教程。

线性回归基础

最小二乘法

最小二乘法矩阵表达的损失函数：

$$L(W)=\sum_{i=1}^{N}\left\|W^{T} x_{i}-y_{i}\right\|^{2}$$

Expectation Maximization

EM 算法笔记，源于 机器学习-白板推导系列(十)-EM 算法（Expectation Maximization）

对于混合模型，如 GMM。使用 MLE 直接求极大似然的解析解是十分困难的。EM 解决的就是具有隐变量的混合模型的参数估计。

线性回归基础数学。笔记思路源于 shuhuai-白板机械学习 系列教程。

降维

维度灾难

特征数量的增加并不能保证模型效果更上一层楼，大量的特征可能导致样本稀疏率的增加，进而导致过拟合。 在高纬度的情况下，样本之间的欧式距离趋向于无法区分大小：