《机器学习》读书笔记
第一章 绪论
基本术语
机器学习是基于数据产生模型的算法。
学习数据称为数据集(data set)，其中一条记录称为样本或示例，样本标注属性或特征，例如西瓜的色泽， 属性张成的空间称为属性空间、样本空间或输入空间，属性个数为维度。
为了预测结果，需要有结果的相关信息，称为label，例如好瓜，所有标记的集合称为标记空间或输出空间。
若预测离散label，例如好瓜、坏瓜称为分类（classification）。若预测连续结果称为回归（regression）
还可对西瓜进行聚类（clustering）,clustering与classification的区分是聚类自动进行区间划分，分类则人为标记。
根据训练数据是否有标记信息，学习任务大致分为监督学习(supervised learning)和无监督学习(unsupervized learning)
分类和回归是监督学习、聚类是无监督学习。
学得模型适用于新样本的能力称为 泛化（generalization）能力。
通常假设样本空间全体样本服从某未知分布，获得的每个样本之间独立，即独立同分布(independent and identically distributed, i.i.d.)
假设空间
把学习的过程看作一个在所有假设组成的空间中进行搜索的过程，搜索目标是找到与训练集匹配的假设。
归纳偏好
对一个具体的学习算法，必须要产生一个模型，但有时候有多种选择，算法中对某假设的偏好称为归纳偏好（inductive bias） 或偏好。
任何一个有效的机器学习算法必有归纳偏好。
归纳偏好可看作学习算法自身在一个可能很庞大的假设空间中对假设进行选择的启发式或“价值观”， 有一些指导原则，例如奥卡姆剃刀，当然其并非银弹。
总误差与学习算法无关，即某偏好适用于某特定问题，而另一种偏好适用于另一类问题，任何算法均成立。 但前提条件是所以问题出现的概率相同，但实际并非如此。
历史
1950s=1970s 推理期
仅具逻辑推理能力远实现不了人工智能。此时出现大量专家系统，但人把知识总结出来交给机器相当困难。