单卡就能跑的大模型等效GPT-3！Meta发布大语言模型LLaMA

　Pine 发自凹非寺

　　量子位公众号 QbitAI

　　ChatGPT 的热度稍有平息，蛰伏已久的 Meta 就迅速放出“大招”：一次性发布四种尺寸的大语言模型 LLaMA：7B、13B、33B 和 65B，用小杯、中杯、大杯和超大杯来解释很形象了有木有（Doge）。

　　还声称，效果好过 GPT，偏向性更低，更重要的是所有尺寸均开源，甚至 13B 的 LLaMA 在单个 GPU 上就能运行。

　　消息一出，直接在网上掀起一阵热度，不到一天时间，相关推文的浏览量就已经快破百万。

　　同在 Meta 的 LeCun 当然也得为这次大模型的热度“添油加柴”，LLaMA 直接给他写了段“AI”Rap：

We gotta think about the future, it’s gonna be heresoon

Maybe we can even put some AI in themoon

Think about the children, think about the nextgeneration

Let’s make sure we put the right systems in theirfoundation

（不得不说效果不错，还双押了，skr～）

　　不过话说回来，这次 Meta 的 LLaMA 模型到底如何？

　　一起来一探究竟。

　　数学编程写求职信统统都能拿下

　　Meta 发布的 LLaMA 是通用大语言模型，原理就不多赘述，和以往的大语言模型一样：将一系列单词作为输入，并预测下一个单词以递归生成文本。

　　这次，Meta 之所以一次给出不同大小的 LLaMA 模型，论文中给出了这样的解释：近来的研究表明，对于给定的计算预算，最佳性能不是由最大的模型实现的，而是由基于更多数据训练的更小的模型实现的。

　　也就是说，较小的模型规模加上比较大的数据集，获得的性能可能会比更大规模模型的要好很多。

　　一方面，小规模模型需要的计算能力和资源相对来说都会少很多，另一方面，它还能基于更多数据集训练更多 token，更容易针对特定的潜在产品用例进行重新训练和微调。

　　除了一把给出四种尺寸的 LLaMA，Meta 这次还直接开源了这个大语言模型。

　　更重要的是，Meta 为了让自己的工作与开源兼容，使用的都是公开的数据。

　　而这把开源，也不只利好开发人员，同样也利好 Meta。

　　LLaMA 模型也有着其他大语言模型的通病：会产生偏见性、有毒或者虚假的内容。开源吸引来的更多的研究可以帮助解决这个问题。

　　不过讲了这么多，Meta 的这个 LLaMA 模型到底能做啥？

　　扎克伯格直接在 Facebook 放出豪言，这是 AI 大语言模型里的新 SOTA：生成文本、进行对话、总结书面材料以及解决数学定理或预测蛋白质结构等它都能干。

　　论文的最后也给出了一些栗子：

　　比如说，给出几个数字，它直接就能找出其中的规律并续写，还 balabala 解释了一大通。

　　ChatGPT 之前擅长写的求职信 LLaMA 也能轻松拿下。

　　编程、写小说也是分分钟的事儿：

　　效果超越 GPT-3

　　当然按照惯例，在最后 LLaMA 还是得和其他大模型做做比较（是骡子是马，咱得拉出来遛遛）。

　　其中，大家比较熟悉的就是 GPT-3，直接看看它们俩之间的效果比较：

　　相较于有 1750 亿参数的 GPT-3，最多只有 650 亿参数 LLaMA 赢麻了：它在大多数基准上都要优于 GPT-3。

　　比如说常识推理：

　　或者说一些基础问题的解决：

　　又比如说阅读理解：

　　甚至，研究人员还提供了一组评估模型偏见性和毒性的基准，得分越高，偏见就越大：LLaMA 以 66.6 分险胜，偏见性略低于 GPT-3。

　　你对 Meta 这次的 LLaMA 怎么看呢？如果还想了解更多可以戳文末链接～

　　论文地址：

　　https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/

　　参考链接：

　　[1] https://ai.facebook.com/blog/large-language-model-llama-meta-ai/

　　[2] https://twitter.com/GuillaumeLample/status/1629151231800115202

　　[3]https://twitter.com/ylecun/status/1629243179068268548