站长之家（ChinaZ.com）10月13日 消息:今日，微信官方宣布上线大规模语言模型WeLM，全名Well-Read Language Model。
据介绍，WeLM通过学习包括中文网页、大量书籍、新闻、论坛数据和学术论文等百亿级的参数，最终锻炼成了一个学富五车的有文化、高情商的“语言大师”。
有了WeLM，不仅可以跟女孩轻松对话，还能跟古人对话。此外还可以实现跨语言聊天。
微信表示，WeLM最多可以同时干14件事情。目前WeLM还在持续变强，WeLM线上Demo释出的功能包括:对话-采访、阅读理解、翻译、改写、续写以及自由任务。
用户可以通过以下方式进行体验:
体验链接:
https://welm.weixin.qq.com/docs/playground/
API接口:
https://welm.weixin.qq.com/docs/api/
论文地址:
https://arxiv.org/abs/2209.10372
（举报）
OpenLM是一个旨在训练中等规模语言模型的PyTorch代码库，它强调了最大化GPU利用率和训练速度的设计。该库已经通过训练OpenLM-1B和OpenLM-7B两个语言模型，分别在1.6T和1.25T的文本标记上进行验证，取得了令人瞩目的成果。OpenLM的团队成员和致谢也在文章中列出，表明了该项目的合作性质和开源精神。
伦敦大学学院神经学院的科学家开发了一些新的工具，这些工具基于AI语言模型，可以特征化被诊断患有精神分裂症的患者语音中的细微特征。这项发表在《美国国家科学院院刊》上的研究，旨在了解自动语言分析如何帮助医生和科学家诊断和评估精神疾病。如果这些工具被证明是安全和可靠的，他预计它们会在未来十年开始应用于临床。
备受关注的大语言模型，核心是自然语言的理解与文本内容的生成，对于此，你是否好奇过它们究竟是如何理解自然语言并生成内容的，其工作原理又是什么呢?要想了解这个，我们就不得不先跳出大语言模型的领域，来到机器翻译这里。传统的机器翻译方式是采用RNN循环神经网络。以上就是大语言模型的工作原理了，强大Transformer的实用性还不止于在自然语言处理领域，包括�
大型语言模型如ChatGPT和Bard在全球范围内引起了广泛的关注，众多公司投资数百万美元用于开发这些人工智能工具一些领先的AI聊天机器人的估值已达到了数十亿美元。这些LLM主要被应用于AI聊天机器人，它们通过整合互联网上的大量信息来学习和为用户提供请求的答案，这些请求通常被称为“提示”。”这项研究为我们提醒了虽然AI技术带来了巨大的机会，但也伴随着一系列潜在的威胁，因此必须谨慎行事。
传统方法中，提高LLMs性能需要通过人工注释来收集更多多样化和高质量的训练数据，但这是一项资源密集型的任务，尤其是对于专业领域言。为了解决这个问题，来自伊利诺伊大学厄巴纳-香槟分校和Google的研究人员提出了“ImplicitSelf-Improvementframework”。通过从人类偏好数据中学习改进目标，PIT解决了传统提示方法的限制，并展示了在各种数据集和条件下提高LLMs响应质量的有效性。
研究人员发现了一种改进语言模型性能的方法——Headless语言模型，即将输入嵌入与模型的其他嵌入捆绑在一起，并使用对比损失。通常情况下，语言模型的输入和输出嵌入层是分开的，但这种新方法通过捆绑它们，提高了模型的训练速度和准确性。这项工作为以对比学习取代交叉熵作为自监督预训练目标开辟了道路，为语言表示学习提供了一种高效可行的替代方案。
大语言模型的生产部署面临着两个主要挑战:一是需要庞大的参数量，二是需要处理超长的上下文信息输入序列。HuggingFace基于他们在提供大型模型服务方面的经验，分享了一些应对这些难题的技术。文章深入剖析了大语言模型优化的关键技术点，对于产业实践具有重要参考价值。
来自谷歌、CMU的研究发现，语言模型在图像、视频生成领域的性能一直不如扩散模型，主要原因是缺乏有效的视觉表示。通过引入一种名为MAGVIT-v2的视频tokenizer，采用无查找量化和增强功能的设计，研究者成功改进了图像和视频生成的质量，超越了现有技术。通过这一研究，我们可以看到语言模型在视觉生成领域的潜力，以及如何通过创新的设计和改进来实现更好的性能。
【新智元导读】谷歌DeepMind提出了一个全新的优化框架OPRO，仅通过自然语言描述就可指导大语言模型逐步改进解决方案，实现各类优化任务。「深呼吸，一步一步地解决这个问题。这项研究首次提出并验证了使用大语言模型进行优化的有效性，为利用LLM进行更广泛优化任务提供了框架和经验，是这个新的研究方向的开拓性工作，具有重要意义。
大语言模型在改变人们的生活和职业方面影响越来越大，因为它们实现了编程助手和通用聊天机器人等新应用。这些应用的运行需要大量硬件加速器如GPU，操作成本非常高。更大的模型、更复杂的解码算法和更长的序列会导致更明显的改进。
