后被连接并线性转换以创建多头注意力层的最终输出。看到这里，你可能已经怒了 —— 有这么比的吗？！你拿一个如此精致的模型 Gpt4All（70b）跟 Gpt-4 这样的大怪物去比。Gpt-4 胜之不武，我为 Gpt4All 鸣不平！且慢恼怒，我想表达的意思是这样的：如果一个模型真的能达到蒸馏浓缩的作用，那么显然体积的显着减是重大优势，毕竟这意味着训练和应用成本降低，速度显着提升。但如果模型缩以后在解决问答、解释和编程能力上和大模型相比差距显着，那么我们就不能武断地模型「性价比」更高了。有研究证实过在「有人类调教的情况下」，60 亿参数的模型甚至可以在某些任务上面击败 1750 亿参数的大模型 (ouya al. 2022)。只不过，这里的比较并不公平 —— 它指的是模型有人工调教，而大模型缺乏调教的情况。chatGpt 不缺乏调教，因此我们并没有看到 Gpt4All 能够以少量的参数达到 chatGpt 这么好的性能，即便它充分使用了 chatGpt 的输入输出数据。训练大语言模型时，多大的语料会使得模型对外部世界真实认知产生质的飞跃（可以在各项任务上都有好的表现）？目前的经验是 300 亿单词的输入量 (Zha al. 2020)。但是大语料需要足够高的模型复杂度来承载。模型相对输入数据过于复杂固然不好（过拟合，over-fittg）。然而一个太的模型在面对大数据的时候，也会力不从心（欠拟合）。大和是需要相对判断的。目前的 Gpt4All 在一众巨无霸面前，无论如何也是个模型。chatGpt 这样的大语言模型让人们惊诧的地方，在于它能够有自己的「顿悟时刻」。这种「顿悟时刻」如何出现的？现在学术界还在研究郑但是有很多证据指向一些提示语（例如「一步步来」step by step）能够激活大语言模型的 cha-of-thought (思维链），从而有助于解锁「顿悟」般的逻辑推理能力。不过研究者同样证明了，这种「魔法」提示语有效的前提，是模型的参数量需要达到 1000 亿的规模 (ei et al. 2023)。chatGpt 的参数超过了这个阈值，而 Gpt4All 还远得很。当然不是。如果你把 Gpt4All 看成某种终极形态，那么等待你的可能是从激动快速跌落到失望。但是比较一下初代 iphone 和 iphone 4S，你就能感受到短短几年间，技术进步带来的产品性能差地别。更何况，现在的 AI 进展速度，可不像 iphone 一样「一年一更」。即便从短期来看，Gpt4All 也有其用途。在我们的测试中，它在写作上还是有能力的。Gpt4All 不需要付费调用 token ，也不需要把数据传递到远端进行处理。对有些使用目的（例如保护公司机密数据）而言，Gpt4All 这样的模型出现，关乎的可不只是「好用」与「不好用」，而是「能用」和「不能用」的分水岭。对于很多机构的事务性工作而言，复杂的逻辑推理能力其实只是锦上添花。若是能完美解决日常单项任务，收益也已经十分显着。请你在试用之后，依然对Gpt4All保持一份耐心。也许不久以后，我们每个饶电脑和手机上，都能运行一