PAC学习理论是机器学习中最早出现的学习理论。总的来说，PAC出现的目标，是为了回答“能否学习”的问题。PAC学习理论大体是在说：对于一个PAC可学习的算法（这甚至包括一些非传统的机器学习算法）,只要样本的数量大于一个多项式，那么可以使得算法最终的泛化误差小于一个常数a的概率大于1减去某一个常数b。

从上面的论述，我们其实可以看到，PAC理论并没有对学习算法本身提出指导，它更多的是给算法一个数学上的保证。但是对于深度学习（DL），基本上所有的研究都集中在如何使得算法效果更好。

所以其实在我看来，传统ML理论的目标是回答“what is learning”而DL则是去回答“how can we perform learning”。或者说，DL假设了神经网络可以产生智能，然后在这个基础上去做研究，而ML则假设我们不知道可以产生智能的算法是什么样子的，但是我们可以描述这些智能算法需要满足的一些性质。一个是先射箭再画靶子，一个是盲人摸象。