站长之家（ChinaZ.com）8月31日 消息:最近，北大硕士通过DeepSpeed-Chat框架训练了一个RLHF对话模型。他在知乎分享了自己的实践过程，总结了原理，代码以及踩坑与解决方案。
在训练奖励模型时，作者使用Cohere提供的问答数据，构造了2万个优质答案和劣质答案的组合，通过排序任务训练奖励模型给答案打分。在强化学习阶段，作者采用Actor-Critic框架，分别训练策略模型、价值模型、参考模型和奖励模型。学习过程包含生成经验和更新模型两步。
在模型训练过程中，作者分享了一些常见错误和解决方法。主要问题有DeepSpeed引发的生成问题、强制最大长度造成的偏差、Critic loss发散等。他通过关闭引擎、修改最大长度、缩放奖励等方式解决了这些问题。最后作者还尝试了一些trick来提高模型性能，如归一化优势、增加策略熵、缩放奖励等。
通过解决 above 问题，作者最终成功地训练出了自己的RLHF对话模型。本文对RLHF在对话系统中的应用进行了较为系统和详细的介绍，对相关研究具有很好的参考价值。（感兴趣的可以点此查看原文）
（举报）
11.11云上盛惠！海量产品 · 轻松上云！云服务器首年1.8折起，买1年送3个月！超值优惠，性能稳定，让您的云端之旅更加畅享。快来腾讯云选购吧！
腾讯云
12-20
谷歌DeepMind发布了一种名为Gecko的文本嵌入模型，专注于文档检索、语义相似度和分类等多种任务。文本嵌入模型在自然语言处理中扮演着重要角色，通过将文本转换为高维向量空间中的向量表示，实现捕捉文本的语义信息。Gecko的出现为改善信息检索系统提供了一种强大的替代方案，同时在分类、STS和摘要方面也达到了新的SOTA水平。
谷歌在周四宣布将整合旗下专注于构建人工智能模型的两个内部团队。Alphabet和谷歌CEO桑达尔・皮查伊在公司网站上发布了一篇博客文章，解释了将AI模型构建团队整合到谷歌DeepMind团队内的决定，其中包括来自公司研究部门的团队。公司还将其他责任团队划归到其中央信任与安全团队，公司正在加大对AI测试和评估的投资。
DeepMind这篇论文一出，人类标注者的饭碗也要被砸了吗?大模型的幻觉终于要终结了?今日，社媒平台reddit上的一则帖子引起网友热议。帖子讨论的是谷歌DeepMind昨日提交的一篇论文《Long-formfactualityinlargelanguagemodels》，文中提出的方法和结果让人得出大胆的结论:对于负担得起的人来说，大语言模型幻觉不再是问题了。更多技术细节和实验结果请参阅原论文。
随着生成式AI技术的发展，Deepfake已成为一种新型的网络犯罪手段，给数字世界的安全带来了严峻挑战。蚂蚁数科旗下生物识别品牌ZOLOZ近日正式发布了针对Deepfake的综合防控产品ZOLOZDeeper。为进一步完善ZOLOZDeeper，蚂蚁集团还通过"蚂蚁集团安全响应中心"官网，设立了超百万的奖金池，鼓励"安全极客"参与漏洞挖掘，助力产品不断优化升级。
【新智元导读】模仿人类阅读过程，先分段摘要再回忆，谷歌新框架ReadAgent在三个长文档阅读理解数据集上取得了更强的性能，有效上下文提升了3-20倍。基于Transformer的大语言模型具有很强的语言理解能力，但LLM一次能够读取的文本量仍然受到极大限制。还可以看到ReadAgentS大大优于ReadAgent-P，性能改进的代价是检索阶段的请求数量增加了六倍。
英国政府最近宣布，谷歌旗下人工智能子公司DeepMind的首席执行官兼创始人之一德米斯·哈萨比斯因其在人工智能领域的杰出贡献被授予爵士爵位。此举反映了英国对人工智能发展的重视，并表彰了哈萨比斯在推动人工智能技术进步方面所做的努力。随着人工智能在全球范围内的迅速发展，英国政府希望将自己置于该领域的前沿，并表彰那些在推动人工智能技术发展方面做出卓越贡献的人士。
谷歌的AI业务负责人表示，该公司将在未来投入超过1000亿美元开发人工智能技术，这是硅谷正在进行的投资竞赛的又一迹象。在温哥华举行的TED大会上，谷歌DeepMind首席执行官DemisHassabis被问及有关微软公司和OpenAI正在规划的一台名为“星门”的潜在价值1000亿美元的超级计算机的问题。”OpenAI的ChatGPT引发的全球兴趣表明，公众已经准备接受人工智能系统，即使这些系统仍然存在缺陷和错误。
站长之家（ChinaZ.com）4月9日 消息:微软宣布在伦敦开设一个以前 Google DeepMind 研究人员领导的人工智能研究和开发中心。该中心将专注于推动这家软件巨头不断增长的机器学习工具组合。微软与 OpenAI 的长期合作已将人工智能整合到各种产品中，包括 Windows、Bing、Github 和 Office365。微软已经投入数十亿美元支持 OpenAI 模型的发展，但据报道，将这些投资转化为盈利仍面临困难，例�
一款名为DeepFaceLive的工具引起了广泛关注。这款工具可以在直播过程和视频通话时进行实时换脸，为用户提供了全新的视觉体验。这一功能为用户提供了更多的创作可能性，使得用户可以更加自由地表达自己。
4月2日，昆仑万维AI音乐生成大模型「天工SkyMusic」即日起面向社会开启免费邀测。昆仑万维已打造了集AI搜索、AI写作、AI长文本阅读、AI对话、AI语音合成、AI图片生成、AI漫画创作、AI图片识别、AI音乐生成、AI代码写作、AI表格生成等多项能力于一体的「天工3.0」多模态“超级模型”，成为AI行业全新里程碑。未申请邀测的用户也可在4月17日免费下载最新版“天工AI智能助手”APP，感受「天工3.0」与「SkyMusic」带来的颠覆性AI体验。
Chat With Llama 3 是一个开源的聊天机器人，由Meta AI开发。它能够进行多种智能对话，包括解释复杂概念、创作诗歌、编写代码、解决逻辑谜题，甚至帮助用户给宠物起名。这个聊天机器人的主要优点在于它的多功能性和开源性，使其可以被广泛地应用于各种场景，并且可以根据需要进行定制和改进。
AI图片生成与搜索是一个在线平台，利用先进的人工智能技术，允许用户快速生成或搜索各种风格的AI图片。该技术的重要性在于它能够极大提高设计和创意工作的效率，同时降低成本。产品的主要优点包括丰富的图片资源、高效的生成速度、以及用户友好的界面。产品背景信息显示，这是一个面向广大创意工作者和设计师的工具，旨在帮助他们快速实现创意构想。目前，该产品提供免费试用，但具体价格和定位信息未在页面中提供。
OpenPerplex是一个提供广泛知识资源的在线平台，它通过整合多种信息源，为用户提供了一个便捷的知识获取渠道。该产品以其丰富的信息量、高效的检索能力和友好的用户界面而受到用户的青睐。它不仅适用于个人学习，也适合专业人士进行深入研究。
JavaVision是一个基于Java开发的全能视觉智能识别项目，它不仅实现了PaddleOCR-V4、YoloV8物体识别、人脸识别、以图搜图等核心功能，还可以轻松扩展到其他领域，如语音识别、动物识别、安防检查等。项目特点包括使用SpringBoot框架、多功能性、高性能、可靠稳定、易于集成和灵活可拓展。JavaVision旨在为Java开发者提供一个全面的视觉智能识别解决方案，让他们能够以熟悉且喜爱的编程语言构建出先进、可靠且易于集成的AI应用。
AI-Powered Background Removal（AI驱动的背景移除）是一款基于AI技术的在线工具，它能够快速且高效地从用户上传的图片中移除背景。该工具的主要优点在于其隐私保护和本地执行能力，即图片处理在用户设备上完成，无需上传至互联网，保证了数据的安全性和处理速度。此外，作为一款开源且完全免费的工具，它极大地释放了用户的创造力，无需担心成本问题。
SearchForJohn是一个在线搜索工具，旨在帮助用户快速找到所需的信息。它以简洁的界面和高效的搜索算法为特点，为用户提供了一个便捷的信息检索平台。该产品的主要优点包括快速响应、准确的搜索结果和用户友好的界面设计。SearchForJohn的背景信息显示，它是由一群对搜索技术充满热情的开发者创建的，旨在解决用户在信息过载时代中寻找特定信息的难题。目前，该产品提供免费试用，但具体价格和定位信息未在页面上明确展示。
OpenBioLLM-8B是由Saama AI Labs开发的先进开源语言模型，专为生物医学领域设计。该模型在大量高质量的生物医学数据上进行了微调，能够理解并生成具有领域特定准确性和流畅性的文字。它在生物医学基准测试中的表现超越了其他类似规模的开源生物医学语言模型，并与更大的专有和开源模型如GPT-3.5和Meditron-70B相比也展现出更好的结果。
小悟空是一个集成了多种智能工具的网站，旨在提高个人和团队的创作效率和运营效果。它通过提供诸如文章生成、视频脚本创作、笔记创作等多样化功能，满足不同用户在内容创作、个人表达、学习教育等方面的需求。产品背景基于人工智能技术，结合大数据分析，为用户提供个性化、高质量的服务。价格定位为免费试用，部分功能付费，以适应不同用户的需求。
Jasper Chat是一个先进的人工智能聊天工具，它通过数十亿的文章、论坛、视频文字稿和网络内容的学习，能够就复杂主题进行详细对话。它的设计易于使用，能够记住对话内容，快速生成有用、适用且独特的内容，并且支持30多种语言。Jasper Chat不仅功能强大，而且使用起来充满乐趣，可以用于写作诗歌、讲笑话、制作剧本或生成日常星座运势等。
YouTube Transcript Generator可以下载任何YouTube视频的转录文本，并提供复制、下载、搜索和转换等功能。通过AI将YouTube转录文本转换为文章或博客帖子。
Undress AI Tool是一款强大的深度脱衣应用程序，可以修改图像，使人们看起来像是没有穿衣服。它使用先进的技术准确地修改照片，生成DeepNude和AI成人图像。该工具的主要优点是可以快速准确地创建深度脱衣图像。
TinderProfile.ai是一个使用AI技术分析用户自拍和照片，生成一组高质量、专业外观的图片，以确保在约会档案上留下良好的第一印象，增加用户获得更多匹配的机会。
OpenBioLLM-70B是由Saama AI Labs开发的先进开源语言模型，专为生物医学领域设计。该模型在大量高质量的生物医学数据上进行了微调，能够理解和生成具有领域特定准确性和流畅性的文字。它在生物医学基准测试中展示了超越其他类似规模开源生物医学语言模型的优越性能，并且在与更大的专有和开源模型如GPT-4、Gemini、Medtron-70B、Med-PaLM-1和Med-PaLM-2的比较中也展现了更好的结果。
FunGifts.AI是一个提供个性化AI生成的记忆游戏的平台。用户可以上传照片，通过AI生成独特的艺术作品，并打印成为一款记忆卡片游戏。这款游戏拥有30张卡片，印有训练人物的AI艺术作品。FunGifts.AI提供快速的打印和寄送服务，为用户打造一款独一无二的记忆游戏。
Lawdeck是一款利用人工智能技术的在线法律平台，旨在自动化律师事务所的80%例行工作。它可以通过分析输入的详细信息，为用户提供最佳的法律策略，并生成完整的文件供用户编辑和共享。
ChatALL是一款桌面客户端软件，它允许用户同时与多个大型语言模型（LLMs）基础的AI聊天机器人进行对话，帮助用户发现最佳的对话结果。这款软件的主要优点在于其能够并发发送提示给不同的AI机器人，从而快速比较它们在不同任务上的表现，并找到最适合的机器人。产品背景信息显示，ChatALL适合于希望从LLMs中找到最佳答案或创作的专家、研究人员以及LLM应用的开发者。目前，ChatALL是免费提供给用户的。
TTS Generator AI是一款创新的免费在线文本转语音工具，利用先进的AI技术将书面文本转换为高质量、自然流畅的音频。该工具适用于各种用户，包括需要听觉学习材料的学生、想要听长篇文件的研究人员以及希望使其书面内容更易访问的专业人士。TTS工具的一大亮点是它能够支持各种文本格式，从简单的文本文件到复杂的PDF文件，使其非常灵活。
Neopaths是一款游戏化的个人成长平台，通过智能任务管理和微学习等功能，帮助用户开发潜力。该平台采用科学方法，提供个人成长和教育支持。Neopaths可以帮助用户提高注意力、支持长期记忆，并通过引入游戏元素和机制，使非游戏化内容更加有趣。Neopaths提供免费、有趣和简单的个人成长方法。
Illusion Diffusion是一款免费创新的AI工具，通过Stable Diffusion和Controlnet AI模型，将普通照片转化为艺术品，提供文本提示来生成视觉错觉和超现实图像。
Datascale是一个AI SQL知识库，帮助数据团队跟踪所有用于数据分析的查询。它将保存的查询转化为知识，从分散的分析中提取表格洞见和可视化关系。
