机器学习的过程可以看作是在所有「假设」（Hypothesis）组成的空间中进行搜索的过程，搜索目标是找到与训练集「匹配」（Fit）的假设。如果能够确定各种假设的具体表示，则可以确定相应的假设空间及其规模。
可以有许多策略对这个假设空间进行搜索，例如自顶向下、从一般到特殊，或是自底向上、从特殊到一般，搜索过程中可以不断删除与正例不一致的假设、和与反例一致的假设。最终将会获得与数据集一致的假设，这就是我们学得的结果
在这个过程中，若学习过程是基于有限样本集进行，可能学习到多个不同的模型，而且每个模型对应的假设都与训练集一致。如上图所示的三个模型都可以从训练集学习的到。但它们在面临新样本的时候，却可能产生不同的输出。