AI还需要理论么？

在过去的十年里，机器学习理论并没有为人工智能的发展带来实质性的帮助，它只是在理论圈内自娱自乐的一种玩具。虽然这种说法有夸张的成分，但是它所表达的意义却无法反驳。如果我们把过去10年中90%以上的机器学习理论论文都删除，恐怕这几乎不会对人工智能的发展产生任何影响，也不会影响OpenAI推出ChatGPT。更直白地说，那些人工智能领域的专家们可能根本没有时间去阅读机器学习理论论文，因为他们需要忙于做真正能够推动人工智能前进的事情。虽然人工智能依然需要理论的支持，但是我们之前的理论研究方式存在问题。

AI理论应该长什么样子？

姚班的学生们常常会说：“我不想从事工程，我想从事偏理论的研究。”我常常思考：什么是理论？什么是工程？学生们往往是非常天真无邪的，就像孩子一样。孩子看到有胡子的人就以为是老爸，而学生们则认为只有用数学符号才能算是理论。这种想法本来是无可厚非的，但在如今人工智能领域的内卷化情况下，几乎每篇论文都会费尽心思地加上一些装饰性的数学公式，所以仅仅依靠数学符号来进行分类，效果并不太理想。因此，理论论文不仅需要数学符号，还需要定理和证明。此外，最好还应包括假设、断言、引理和推论。当然，还要有十种希腊符号以及一页以上的推导。这些推导可以是优化方面的导数分析，也可以是泛化方面的Rademacher复杂度求界。如果这些都有的话，那么这篇论文就像一道色香味俱全的佳肴，非常丰满。完成了上述步骤，可以说已经迈入了门槛，距离一篇顶会论文只有一步之遥。那么还需要什么呢？还需要论文的立意和创新点。

数学中可以证明的东西很多，但如果没有与机器学习算法建立实际联系，那么这篇论文就无法算上佳作。因此，理论论文的关键之处就是将理论与机器学习现象联系起来。这看起来是画龙点睛的一笔，但却成为了理论论文受人诟病的根源。原因很简单，将理论和实际联系起来，得到的结论往往只是对现象的解释，而很少能对未来提供实质性的预测或指引。当然，并不是说所有机器学习理论论文都无法导出新的算法；但实际上，绝大部分重要的人工智能算法都是实践派所得，而非理论学家的贡献。话说回来，这种比较也许并不公平：对于一个人工智能科学家来说，他提出一个新算法只需要做一些实验，证明有效即可；而理论学家的负担更重，除了要证明实验有效外，还需要有相应的理论证明。这就像在和别人比赛时背着一个铁球，难度增加了不少。因此，理论学家追赶人工智能大佬们的步伐非常辛苦，对人工智能大佬们提出的新概念了如指掌；但是人工智能大佬们却可以对理论工作视而不见，直接摆手说：那些东西我不太了解。