多元函数沿其负梯度方向下降最快
熵的本质：一个系统内在的混乱程度
机器学习是计算机基于数据构建概率统计模型并运用模型对数据进行预测分析的学科
线性回归假设输出变量是若干输入变量的线性组合，并根据这一关系求解线性组合中的最优系数 \(f(x) = w^Tx = \sum_{i=0}^n w_i \cdotp x_i\) 在训练集上确定系数$w_i$时，预测输出$f(x)$和真实输出$y$之间的误差是关注的核心指标。
抑制过拟合
根据训练数据计算后验概率，基于后验概率选择最佳决策
逻辑回归模型是对线性回归的改进，用于解决分类问题 逻辑回归输出的是实例属于每个类别的似然概率，似然概率最大的类别就是分类结果 在一定条件下，逻辑回归模型与朴素贝叶斯分类器是等价的 多分类问题是可以通过多次二分类逻辑回归或者使用Softmax回归解决
决策树算法采用树形结构，使用层层推理来实现最终的分类。适合探索式的知识发现。
*特征选择指标 信息增益、信息增益比、基尼系数
线性可分支持向量机通过硬间隔最大化求出划分超平面
线性支持向量机通过软间隔最大化求出划分超平面
非线性支持向量机利用核函数实现从低维原始空间到高维特征空间的转换，在高维空间上解决非线性分类问题。
支持向量机的学习是个凸二次规划问题，可以用SMO(序列最小最优化)算法快速求解
先通过改变训练数据的分布权重，训练出具有一系列具有粗糙规则的弱个体分类器，再基于这些弱分类器进行反复学习和组合，构造出具有精细规则的强分类器。 主要问题：训练数据权重调整的策略，弱分类器结果的组合策略 能力：随着训练过程的深入，弱学习器的训练重心逐渐被自动调整到分类器错误的样本上，进一步学习优化。
每棵决策树在选择划分属性时，首先从结点的属性集合中随机抽取出包含$K$个属性的一个子集，再在这个子集中选择最优的划分属性生成决策树
聚类分析是一种无监督学习方法，其目标是学习没有标签的训练样本，以揭示数据的内在性质和规律
\(dist_{mk}(X_i,X_j) = (\sum^N_{n=1}|x_{in} - x_{jn}|^p)^{\frac{1}{p}}\)
欧式距离：p = 2
基于概率模型的聚类，假定隐藏的类别是数据空间上的一个分布。
样本分布的密度能决定分类的结构
搜索新的特征子集和对搜索结果进行评估
- 方法
- 包裹法
- 过滤法
- 嵌入法
- 使用：
- LASSO方法：引入 $L_1$ 范式作为正则项
1、将高维的输入数据映射到低维空间上，起到降维作用
- 训练过程
- 竞争过程
- 找到输入模式与神经元之间的最佳匹配
- 内积最大化
- 合作过程
- 定界中心之外的拓扑邻域
- 自适应过程
- 排序过程
- 收敛阶段
- 应用
- 图像处理中检测和表述语义目标和目标类之间的存在关系
- 自然语言中单词的语言规则
深度学习实际上是具有多个隐藏层的神经网络。
网络架构的建立？ 损失函数的选择？ 输出单元和隐藏单元的设计？ 训练误差的处理？
正则化就是一类通过显式设计降低泛化误差，以提升算法通用性的策略的统称。
强化学习（reinforcement learning）实质上是智能系统从环境到行为的学习过程，智能体通过与环境的互动来改善自身的行为，改善准则是使某个累计奖励函数最大化。
| $P_a(s,s^\prime) = Pr(s_{t+1} = s^\prime | s_t = s,a_t = a)$: 智能体在t时刻做出的动作$a$ 使马尔可夫过程的状态从$t$ 时刻的$s$转移为$t+1$时刻的$s^\prime$的概率 |