继李飞飞、Bengio、何恺明之后勾引 直男，在昨天的 NeurIPS 2024 中，Ilya Sutskever 最新演讲也来了。

固然时长仅有 15 分钟控制，但践诺依旧看头统统。

举例这一句：

Pre-training as we know it will end.

咱们所熟知的预熟悉行将斥逐。

而之于昔时，Ilya 还展望谈：

what comes next is superintelligence: agentic， reasons， understands and is self aware. 接下来将是超等智能：代理、推理、领路和自我意志。

为何会有如斯发言？咱们一谈来望望好意思满演讲。

回想十年工夫发展

Ilya 先是用一张十年前的 PPT 截图开启了此次演讲，那时，深度学习还处于探索阶段。

在 2014 年的蒙特利尔，他和团队（还有 Oriol Vinyals 和 Quoc Le）初次漠视了如今成为 AI 领域基石的深度学习理念。

Ilya 展示了其时的一张 PPT，揭示了他和团队的中枢使命：自记忆模子、大型神经聚积和大数据集的伙同。

在十年前，这些元素并不被庸俗看作得胜的保证，而今天，它们照旧成为东谈主工智能领域最阻挠的基础。

举例在谈到深度学习假定时，Ilya 强调了一个阻挠不雅点：

如若有一个 10 层的大型神经聚积，它就能在一秒钟内完成东谈主类能作念的任何事情。

他阐发说，深度学习的中枢假定是东谈主工神经元与生物神经元的相似性。

基于这一假定，如若东谈主类大要在 0.1 秒钟内完成某项任务，那么相通的任务，一个熟悉雅致的 10 层神经聚积也能完成。

这一假定激动了深度学习的筹谋，并最终扫尾了其时看似果敢的想法。

Ilya 还先容了自记忆模子的中枢想想：通过熟悉模子展望序列中的下一个 token，当模子展望得实足准确时，它就能捕捉到通盘序列的正确散播。

这一想想为自后的讲话模子奠定了基础，极度是在天然讲话惩办领域的诓骗。

天然除了"押对宝"的工夫以外，也有"押错"的。

LSTM（怀念期记念聚积）就是其中之一。

Ilya 提到，LSTM 是深度学习筹谋者在 Transformer 之前使用的主要工夫之一。

文爱电报

尽管 LSTM 在其时为神经聚积提供了强盛的智商，但它的复杂性和局限性也了然于目。

另一个就是并行化（parallelization）。

尽管当今咱们知谈，pipeline 并不是一个好主意，但其时，他们通过在每个 GPU 上启动一层聚积，扫尾了 3.5 倍的速率普及。

Ilya 觉得，领域假定（scaling hypothesis）是深度学习得胜的关节。

这一假定标明，如若你有一个特别大的数据集，并熟悉一个实足大的神经聚积，那么得胜险些是不错猜度的。

这个不雅点照旧成为今天深度学习领域的中枢规定。

Ilya 进一步发达了伙同主义的想想，觉得东谈主工神经元与生物神经元之间的相似性给了咱们信心，觉得即使不完全效法东谈主脑的结构，雄壮的神经聚积也能完成与东谈主类相似的任务。

预熟悉时间行将扫尾

上述工夫的发展也让咱们迎来了预熟悉的时间。

预熟悉是激动悉数超越的能源，包括大型神经聚积和大领域数据集。

但 Ilya 接下来展望说：

固然瞎想智商在不断增长，硬件和算法的超越使得神经聚积的熟悉后果赢得了普及，但数据的增长却已接近瓶颈。

他觉得，数据是 AI 的化石燃料，跟着环球数据的适度，昔时东谈主工智能将面对数据瓶颈。

固然现时咱们仍然不错使用现存数据进行有用熟悉，但 Ilya 觉得，这一增长趋势终将放缓，预熟悉的时间也会冉冉扫尾。

超等智能将是昔时

在谈到昔时的发展地点时，Ilya 提到了" Agent "和"合成数据"的观念。

好多众人齐在盘考这些话题，觉得 Agent 系统和合成数据将是阻扰预熟悉瓶颈的关节。

Agent 系统指的是大要自主推理和方案的东谈主工智能，而合成数据则不错通过模拟环境创造新的数据，弥补现实宇宙数据的不及。

Ilya 还援用了一个生物学上的例子，展示了哺乳动物体格与大脑大小的联系，暗意不同生物可能通过不同的"领域规定"进化出不同的智能阐发。

这一想想为深度学习领域的进一步彭胀提供了启示，标明东谈主工智能也许不错通过不同的花式阻扰面前的领域适度。

Ilya 终末谈到了超等智能的出路。

他指出，固然现时的讲话模子和 AI 系统在某些任务上阐发出超东谈主类的智商，但它们在推理时仍显得不领路和不可展望。

推理越多，系统变得越不可展望，这少许在一些复杂任务中阐发得尤为隆起。

他还提到：

面前的 AI 系统还弗成真是领路和推理，固然它们能模拟东谈主类的直观，但昔时的 AI 将会在推理和方案方面展现出愈加不可展望的智商。

Ilya 进一步预计，昔时的 AI 将不单是是实施任务的用具，而会发展成" Agent "，大要自主进行推理和方案，致使可能具备某种神气的自我意志。

这将是一个质的飞跃，AI 将不再是东谈主类的延长，而是一个具有孤苦智能的存在。

参考持续：https://x.com/vincentweisser/status/1867719020444889118

本文来自微信公众号：量子位勾引 直男，作家：金磊