谷歌子公司 DeepMind 发布了 Gopher，这是一个 2800 亿参数的人工智能自然语言处理 (NLP) 模型。基于 Transformer 架构并在名为 MassiveText 的 10.5TB 语料库上进行训练，Gopher 在 124 项评估任务中的 100 项中优于当前其它先进的技术。
作为通用 AI 研究工作的一部分，DeepMind 团队训练了 Gopher 和几个较小的模型，以探索大型语言模型 (LLM) 的优缺点。特别是，研究人员确定了增加模型规模可以提高准确性的任务，例如阅读理解和事实检查，以及那些不能提高准确性的任务，例如逻辑和数学推理。该团队在大量 NLP 基准测试中评估了 Gopher，包括大规模多任务语言理解(MMLU) 和BIG-bench ，并将其性能与GPT-3等几个基准模型进行了比较。
我们注意到一个总体趋势，即 Gopher 在知识密集型任务上表现出持续改进，但在推理密集型任务上表现出较少。根据 DeepMind 团队的说法，Gopher 是为 DeepMind 的语言研究奠定了基础，特别是在将影响这些模型的评估和部署方式的领域……这种方法是创建服务于社会的大型语言模型的关键，进一步推动我们解决智能以推进科学的使命并造福人类。
语言模型预测下一个项目或标记 文本序列，考虑到以前的标记； 当迭代使用这样的模型时，将预测输出作为输入反馈，该模型称为自回归模型。基于 Transformer 深度学习架构的自回归语言模型在许多 NLP 任务上创造了最先进的性能记录，许多研究人员开发了非常大规模的模型。虽然 175B 参数 GPT-3 可能是最广为人知的，但已经训练了更多参数的模型，包括 178B 参数Jurassic-1和 530B 参数Megatron-Turing NLG。
收集用于训练此类模型的大型数据集是一项挑战。几个这样的数据集已经开源，例如Pile和C4，并包含从 Wikipedia 等网站上抓取的文档。DeepMind 团队担心，简单地不分青红皂白地爬网可能会污染他们的训练数据集和测试数据集以进行基准评估，因为这些数据集在网络上可用。为了防止这种情况，DeepMind 开发了一个数据准备管道和一个名为 MassiveText 的自定义训练数据集。从 C4、Wikipedia、GitHub 和其他来源的内容开始，管道过滤掉显式内容，执行文档重复数据删除，并过滤掉测试数据。
DeepMind 训练了 6 个不同大小的模型，从 44M 参数到 280B 参数的 Gopher 模型。他们在一组 152 个任务上评估了模型，其中 62 个来自 BIG-bench，57 个来自 MMLU，以及语言建模、阅读理解、事实检查、问答和常识的基准任务。对于其中 124 项任务，他们将自己的表现与已知的最先进的表现进行了比较，Gopher 打破了 100 项的记录。该团队还调查了他们的模型在不同规模上的表现，得出的结论是“[m]任何学术科目，连同一般知识，看到大的改进仅来自规模”，但规模对逻辑推理、常识和数学任务有“减少的好处”。
在 Hacker News关于 Gopher 的讨论中，一些评论者想知道它“挖掘”信息的能力是否激发了它的创建者给它起与前网络Gopher搜索系统相同的名称。其他人讨论了语言模型是否应该被视为“真正的”人工智能：
我们越接近人工智能，我们就越能提高人工智能的标准（我们应该这样做）。Gopher/GPT-3 在技术信息检索方面已经比普通人准确得多。
Gopher 在几个 NLP 基准测试中的排名可以在 Papers with Code 网站上找到。
