时间: 2021-06-18 10:31:12 | 作者:一只傑尼傑尼龟 | 来源: 喜蛋文章网 | 编辑: admin | 阅读: 110次
机器学习:通过计算的手段,利用经验来改善系统自身的性能。经验以数据形式存储。
学习算法:learning algorithm,关于在计算机上从数据中产生模型(model)的算法。
泛化:generalization,学得模型适用于新样本的能力,具有强泛化能力的模型可以很好的适用于整个样本空间。
归纳:induction,从特殊到一般的泛化过程,即从具体的事实归结出一般性规律。
演绎:deduction,从一般到特殊的特化(sepcialization)过程,即从基础原理推演出具体情况。
归纳偏好:inductive bias,机器学习算法在学习过程中对某种类型假设的偏好。任何一个有效的机器学习算法必有其归纳偏好,否则它将被假设空间中看似在训练集上等效的假设所迷惑,而无法产生确定的学习结果,导致预测同一样本时一下判断为正例,一下判断为负例。
奥卡姆剃刀:Occam‘s razor,若多个假设与观察一致,则选最简单的那个。
没有免费的午餐定理:No Free Lunch Theorem, NFL,无论学习算法多聪明或多笨,他们的期望性能相同,但前提是所有问题出现的机会相同或所有问题同等重要,但实际情况并不是如此,我们只会关注自己正在尝试解决的问题。即脱离具体问题,空谈什么学习算法更好是毫无意义的。
通常假设样本空间中全样本服从一个未知分布(distribution),我们每个样本都是独立的从这个分布上采样获得的,即独立同分布(iid,independent and identically distributed)
全站搜索