站长之家（ChinaZ.com）7月11日 消息:今天，SemiAnalysis 发布了一篇付费订阅的内容，「揭秘」了有关 GPT-4的信息，包括模型架构、训练成本、数据集等。
据称，GPT-4是由8个混合专家模型组成的集成系统，每个模型有2200亿个参数。推理过程中采用了混合专家模型，路由方式相对简单。训练数据集包含约13万亿个 token，训练时间为90到100天，成本达到6300万美元。推理成本为每1000个 token 约为0.0049美分。
文章还提到了 GPT-4的视觉多模态、推测式解码等特点。这些揭秘的数据对理解 OpenAI 的架构决策非常有意义。
此外，文章还介绍了 A100上 GPT-4的训练和推理成本，以及如何拓展到下一代模型架构 H100。
（举报）
自动摘要技术取得了长足的进步，这主要归功于范式的转变——从在标注数据集上进行有监督微调转变为使用大语言模型进行零样本prompt，例如GPT-4。不需要额外的训练，细致的prompt就能实现对摘要长度、主题、风格等方面特征的精细控制。更多论文细节，可参考原论文。
智源研究院发布面向中英文语义向量模型训练的大规模文本对数据集MTP。这是全球最大的中、英文文本对训练数据集，数据规模达3亿对，希望推动解决中文模型训练数据集缺乏问题。作为中国大模型开源生态圈的代表机构，智源持续进行包括数据在内的大模型全栈技术开源，推动人工智能协同创新。
对标GPT-4代码解释器，港中大最新研究放了个“大招”:他们开发了一个叫做MathCoder的大模型，数学能力直接在竞赛级“题库”Math上超过GPT-4。做到这一点靠的就是无缝集成代码的能力——在遇到数学问题时，它不仅能用自然语言推理能自动编写和执行代码来建模、推导公式与方程。通讯作者为李鸿升，为港中大电子工程系副教授，同时也就职于上海人工智能研究室。
谷歌联合多所高校的一项最新研究，让大模型开始拥有了人类的“心智”。在新的提示策略下，大模型不仅能推测出人类所面临的问题学会了用推测的结论调整自己的行为。来自谷歌、卡耐基梅隆大学和的芝加哥大学的学者也参与了本项目。
智谱AI发布MathGLM数学模型，旨在增强大模型在数学推理方面的性能。它能够精确计算算术运算，包括基础算术运算和复杂混合运算，并提升模型的中文数学解决能力。MathGLM还在解决不同年级数学问题和数学应用题上进行了实验，取得了较好的结果。
【新智元导读】谷歌研究院和斯坦福HAI的两位专家发文称，现在最前沿的AI模型，未来将会被认为是第一代AGI。最前沿的LLM已经用强大的能力证明，AGI即将到来!通用人工智能，其实已经实现了?最近，来自谷歌研究院和斯坦福HAI的大佬发文称，现在的大预言模型就是通向AGI的正确方向现在最前沿的模型，已经拥有AGI的能力了!这两位作者都是AI业界大佬，BlaiseAgüerayArcas现在是Google
作为自然语言生成中的一项任务，主要用来将一大段长文本压缩为简短的摘要，例如新闻文章、源代码和跨语言文本等多种内容都能用到。随着大模型的出现，传统的在特定数据集上进行微调的方法已经不在适用。本文还发现微调模型生成的摘要往往具有固定且严格的长度LLM能够根据输入信息调整输出长度。
StableDiffusion是目前最强开源文本生成图片的扩散模型之一，但对于那些没有A100、H100的中小企业、个人开发者来说有一个很大缺点，需要花费高昂的训练成本。为了解决这一痛点，Wuerstchen开源模型采用了一种全新的技术架构，在保证图片质量的情况下实现了42倍极限压缩。Wuerstchen生成图片展示根据Wuerstchen展示的案例，该模型对文本的理解能力非常好，生成的质量效果也能媲美StableDiffusion等目前最强开源扩散模型。
GitHubRepo上的一个名为Odin的新项目引起了业界的广泛关注。该项目的主要功能是利用GPT-4技术从用户的数据中生成知识图谱。这是Obsidian社区一个非常有前景的插件。
Elicit公司机器学习工程师CharlieGeorge在LangChain博客上发表文章介绍了他们使用合成数据微调ChatGPT在新闻摘要任务上超越GPT-4的研究成果。文章提到，尽管GPT-4被公认为世界上最强大的语言模型，但其调用限制、高成本和高延迟也限制了其实际应用。这为新一代AI应用大规模部署提供了路径。
