马斯克的反击！全球最大开源模型Grok来了 参数超过OpenAI

　　来源： 潮新闻

　　当地时间3月17日，特斯拉首席执行官（CEO）马斯克的AI创企xAI正式发布3140亿参数的混合专家模型Grok-1。xAI官方网站称，其遵照Apache 2.0协议开放模型权重和架构。

　　3月17日，马斯克宣布开源Grok-1，这使得Grok-1成为当前参数量最大的开源大语言模型，拥有3140亿参数，远超OpenAI GPT-3.5的1750亿。

　　马斯克硬刚OpenAI

　　大模型开源与否，马斯克与OpenAI可谓针锋相对。

　　最近，马斯克一纸诉状将OpenAI告上法庭，指责其放弃了“创始协议”；但OpenAI则指出马斯克是在捏造事实，目的是为了“促进他自己的商业利益”。

　　在开源和非盈利的问题上，双方吵得不可开交。很快，马斯克便宣布了要开源Grok大模型，并宣称“OpenAI是一个谎言。”

　　Grok在宣布开源之后，ChatGPT账户评论说，“偷了我的整个笑话”。

　　3月17日，马斯克则在社交平台上对OpenAI进行了嘲讽：“告诉我们更多关于OpenAI开放部分的信息。”

　　据悉，Grok-1是一个混合专家（Mixture-of-Experts，MOE）大模型，由马斯克旗下的AI创企xAI在过去4个月里开发。

　　早在2023年11月，xAI官网发布文章，公布了Grok的详细进展。

　　文章称，Grok是一款仿照《银河系漫游指南》设计的AI，几乎可以回答任何问题，它甚至可以建议要问什么问题。“Grok回答问题时略带机智和叛逆，所以如果你讨厌幽默，请不要使用它”。

　　现在，xAI遵守Apache 2.0许可证来开源Grok-1的权重和架构。Apache 2.0许可证允许用户自由地使用、修改和分发软件，无论是个人还是商业用途。

　　记者注意到，在代码开放平台GitHub，开源几小时后，Grok已经揽获9600星标，热度还在持续增加。

　　社交网络上，不少人支持大模型开源，开源之后，意味着它允许用户自由地使用、修改和分发软件，无论是个人还是商业用途。许多人认为，这种开放性鼓励了更广泛的研究和应用开发。

　　迭代更快速可回答尖锐问题

　　按照xAI此前介绍，Grok-1将作为Grok背后的引擎，用于自然语言处理任务，包括问答、信息检索、创意写作和编码辅助。未来，长上下文的理解与检索、多模态能力都是该模型将会探索的方向之一。

　　官方介绍还说，Grok的一个独特且基本的优势是，它可以通过X平台实时了解世界。它还将回答被其它大多数AI系统拒绝的尖锐问题。

　　当然，Grok仍然是一个非常早期的测试版产品，是“我们在数月的训练中所能做到的最好产品，期望在您的帮助下每周都能快速改进”。

　　在研发的四个月中，Grok-1经历了多次迭代。“宣布创立xAI后，我们训练了一个330亿参数的LLM原型（Grok-0）。这个早期模型在标准LM测试基准上接近LLaMA 2（70B）的能力，但只使用了一半的训练资源。在过去两个月里，我们在模型的推理和编码能力方面取得了显著进步，Grok-1终于诞生。”

　　据介绍称，这是一款功能更为强大的SOTA语言模型，在HumanEval编码任务中达到了63.2%，在MMLU中达到了73%。

　　为了了解对Grok-1所做的性能改进，xAI使用了一些旨在衡量数学和推理能力的标准机器学习基准，对其进行一系列评估。

　　在这些基准测试中，Grok-1显示出了强劲的性能，超过了其计算类别中的所有其它模型，包括ChatGPT-3.5和Inflection-1。只有使用大量训练数据和计算资源训练的模型，例如GPT-4，才能超越它。“这展示了我们在高效训练LLM方面取得的快速进展”。

　　同时，官方介绍也指出，由于这些基准可以在网上找到，并且他们不能排除模型无意中进行了相应的训练。因此，他们在收集完数据集之后，根据去年5月底公布的2023年匈牙利全国高中数学期末考试题，对他们的模型（以及Claude-2和GPT-4模型）进行了人工评分。结果，Grok以C级（59%）通过考试，Claude-2也取得了类似的成绩（55%），而GPT-4则以68%的成绩获得了B级。文章称，他们没有为应对这个考试而特别准备或调整模型。