站长之家 2 月 9 日讯：据澎湃新闻报道，目前，快手正在开展大规模语言模型（LLM，Large Language Model）相关的研究，并启动了相应专项，覆盖LLM模型训练、文案自动创作与生成、对话系统开发等领域。
（举报）
快手称正在开展大规模语言模型研究
- 相关推荐
-
OpenLM：一个专为中等规模语言模型设计的模型训练库
OpenLM是一个旨在训练中等规模语言模型的PyTorch代码库，它强调了最大化GPU利用率和训练速度的设计。该库已经通过训练OpenLM-1B和OpenLM-7B两个语言模型，分别在1.6T和1.25T的文本标记上进行验证，取得了令人瞩目的成果。OpenLM的团队成员和致谢也在文章中列出，表明了该项目的合作性质和开源精神。
-
谷歌、CMU研究表明：语言模型通过使用良好的视觉tokenizer首次击败了扩散模型
来自谷歌、CMU的研究发现，语言模型在图像、视频生成领域的性能一直不如扩散模型，主要原因是缺乏有效的视觉表示。通过引入一种名为MAGVIT-v2的视频tokenizer，采用无查找量化和增强功能的设计，研究者成功改进了图像和视频生成的质量，超越了现有技术。通过这一研究，我们可以看到语言模型在视觉生成领域的潜力，以及如何通过创新的设计和改进来实现更好的性能。
-
AI研究人员发现了主要大语言模型中关键漏洞 可低成本复制
大型语言模型如ChatGPT和Bard在全球范围内引起了广泛的关注，众多公司投资数百万美元用于开发这些人工智能工具一些领先的AI聊天机器人的估值已达到了数十亿美元。这些LLM主要被应用于AI聊天机器人，它们通过整合互联网上的大量信息来学习和为用户提供请求的答案，这些请求通常被称为“提示”。”这项研究为我们提醒了虽然AI技术带来了巨大的机会，但也伴随着一系列潜在的威胁，因此必须谨慎行事。
-
微软研究人员用儿童故事进行训练：微型语言模型进入成熟期
学习英语并不容易，许多学生都深有体会。但当学生是一台计算机时，有一种方法表现出奇地出色：只需将大量来自互联网的文本输入到一个名为神经网络的巨大数学模型中。他们的研究结果暗示了可能有助于训练更大型模型并理解其行为的新研究方向。
-
用PIT框架提升大型语言模型的质量
传统方法中，提高LLMs性能需要通过人工注释来收集更多多样化和高质量的训练数据，但这是一项资源密集型的任务，尤其是对于专业领域言。为了解决这个问题，来自伊利诺伊大学厄巴纳-香槟分校和Google的研究人员提出了“ImplicitSelf-Improvementframework”。通过从人类偏好数据中学习改进目标，PIT解决了传统提示方法的限制，并展示了在各种数据集和条件下提高LLMs响应质量的有效性。
-
Headless语言模型：通过捆绑嵌入提高模型的训练速度
研究人员发现了一种改进语言模型性能的方法——Headless语言模型，即将输入嵌入与模型的其他嵌入捆绑在一起，并使用对比损失。通常情况下，语言模型的输入和输出嵌入层是分开的，但这种新方法通过捆绑它们，提高了模型的训练速度和准确性。这项工作为以对比学习取代交叉熵作为自监督预训练目标开辟了道路，为语言表示学习提供了一种高效可行的替代方案。
-
DistilBERT：更小、更快、更便宜的大型语言模型压缩方法
大型语言模型的发展迅猛，BERT成为其中最受欢迎和高效的模型，但其复杂性和可扩展性成为问题。为了解决这些问题，市面上目前由三种常见的模型压缩技术:知识蒸馏、量化和剪枝。DistilBERT通过知识蒸馏技术在保持性能的同时显著压缩了大型语言模型，为在资源受限设备上的部署提供了可能性。
-
Hugging Face 大语言模型三大优化技术
大语言模型的生产部署面临着两个主要挑战:一是需要庞大的参数量，二是需要处理超长的上下文信息输入序列。HuggingFace基于他们在提供大型模型服务方面的经验，分享了一些应对这些难题的技术。文章深入剖析了大语言模型优化的关键技术点，对于产业实践具有重要参考价值。
-
使用AI语言模型有助于诊断精神分裂症
伦敦大学学院神经学院的科学家开发了一些新的工具，这些工具基于AI语言模型，可以特征化被诊断患有精神分裂症的患者语音中的细微特征。这项发表在《美国国家科学院院刊》上的研究，旨在了解自动语言分析如何帮助医生和科学家诊断和评估精神疾病。如果这些工具被证明是安全和可靠的，他预计它们会在未来十年开始应用于临床。
-
荐秒懂生成式AI—大语言模型是如何生成内容的？
备受关注的大语言模型，核心是自然语言的理解与文本内容的生成，对于此，你是否好奇过它们究竟是如何理解自然语言并生成内容的，其工作原理又是什么呢?要想了解这个，我们就不得不先跳出大语言模型的领域，来到机器翻译这里。传统的机器翻译方式是采用RNN循环神经网络。以上就是大语言模型的工作原理了，强大Transformer的实用性还不止于在自然语言处理领域，包括�