Transformer 架构已经在现代机器学习领域得到了广泛的应用。注意力是 transformer 的一大核心组件，其中包含了一个 softmax，作用是产生 token 的一个概率分布。softmax 有较高的成本，因为其会执行指数计算和对序列长度求和，这会使得并行化难以执行。Google DeepMind 想到了一个
......
本文由站长之家合作伙伴自媒体作者“机器之心公众号”授权发布于站长之家平台，本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间，为了保证文章信息的及时性，内容观点的准确性，平台将不提供完全的内容展现，本页面内容仅为平台搜索索引使用。需阅读完整内容的用户，请查看原文，获取内容详情。
（举报）
11.11云上盛惠！海量产品 · 轻松上云！云服务器首年1.8折起，买1年送3个月！超值优惠，性能稳定，让您的云端之旅更加畅享。快来腾讯云选购吧！
腾讯云
12-20
谷歌在周四宣布将整合旗下专注于构建人工智能模型的两个内部团队。Alphabet和谷歌CEO桑达尔・皮查伊在公司网站上发布了一篇博客文章，解释了将AI模型构建团队整合到谷歌DeepMind团队内的决定，其中包括来自公司研究部门的团队。公司还将其他责任团队划归到其中央信任与安全团队，公司正在加大对AI测试和评估的投资。
【新智元导读】模仿人类阅读过程，先分段摘要再回忆，谷歌新框架ReadAgent在三个长文档阅读理解数据集上取得了更强的性能，有效上下文提升了3-20倍。基于Transformer的大语言模型具有很强的语言理解能力，但LLM一次能够读取的文本量仍然受到极大限制。还可以看到ReadAgentS大大优于ReadAgent-P，性能改进的代价是检索阶段的请求数量增加了六倍。
谷歌终于更新了Transformer架构。最新发布的Mixture-of-Depths，改变了以往Transformer计算模式。这篇论文目前被引次数超过3500次，论文核心定义了Inductivebias概念。
站长之家（ChinaZ.com）4月9日 消息:微软宣布在伦敦开设一个以前 Google DeepMind 研究人员领导的人工智能研究和开发中心。该中心将专注于推动这家软件巨头不断增长的机器学习工具组合。微软与 OpenAI 的长期合作已将人工智能整合到各种产品中，包括 Windows、Bing、Github 和 Office365。微软已经投入数十亿美元支持 OpenAI 模型的发展，但据报道，将这些投资转化为盈利仍面临困难，例�
谷歌DeepMind发布了一种名为Gecko的文本嵌入模型，专注于文档检索、语义相似度和分类等多种任务。文本嵌入模型在自然语言处理中扮演着重要角色，通过将文本转换为高维向量空间中的向量表示，实现捕捉文本的语义信息。Gecko的出现为改善信息检索系统提供了一种强大的替代方案，同时在分类、STS和摘要方面也达到了新的SOTA水平。
3月29日，知名AI研究实验室AI21在官网开源了，首个基于SSM-Transformer混合架构的商业大模型——Jamba。ChatGPT、StableDifusion、Lyria等产品使用的皆是Transformer架构，虽然在捕捉序列内长距离依赖关系、泛化能力、特征提取等方面非常优秀，但在处理长序列、训练大参数模型时存在AI算力消耗大、过拟合、内存占用大等缺点。耐克、Zoom、沃尔玛、三星、阿迪达斯、airbnb等知名企业在使�
英国政府最近宣布，谷歌旗下人工智能子公司DeepMind的首席执行官兼创始人之一德米斯·哈萨比斯因其在人工智能领域的杰出贡献被授予爵士爵位。此举反映了英国对人工智能发展的重视，并表彰了哈萨比斯在推动人工智能技术进步方面所做的努力。随着人工智能在全球范围内的迅速发展，英国政府希望将自己置于该领域的前沿，并表彰那些在推动人工智能技术发展方面做出卓越贡献的人士。
【新智元导读】AI在学会工作之后，终于也能和人一样玩游戏了!DeepMind的SIMA是一个可以感知和理解各种环境的AI代理，能够在多种视频游戏设置中执行任务，未来甚至可能可以与任何虚拟环境进行互动。谷歌DeepMind在AI和游戏方面有着悠久的历史。SIMA只是刚刚开始，我们可以期待在更多的训练环境中继续建立SIMA，并整合更有能力的模型，让它变得更具泛化性和多功能性不仅仅局限于游戏。
DeepMind这篇论文一出，人类标注者的饭碗也要被砸了吗?大模型的幻觉终于要终结了?今日，社媒平台reddit上的一则帖子引起网友热议。帖子讨论的是谷歌DeepMind昨日提交的一篇论文《Long-formfactualityinlargelanguagemodels》，文中提出的方法和结果让人得出大胆的结论:对于负担得起的人来说，大语言模型幻觉不再是问题了。更多技术细节和实验结果请参阅原论文。
谷歌DeepMind的研究团队发布了一项新研究，介绍了一种名为“Search-AugmentedFactualityEvaluator”的人工智能系统。该系统利用大型语言模型将生成的文本分解成个别事实，并利用谷歌搜索结果来确定每个声明的准确性。我们才能评估自动事实检查对打击错误信息的实际影响。
SearchForJohn是一个在线搜索工具，旨在帮助用户快速找到所需的信息。它以简洁的界面和高效的搜索算法为特点，为用户提供了一个便捷的信息检索平台。该产品的主要优点包括快速响应、准确的搜索结果和用户友好的界面设计。SearchForJohn的背景信息显示，它是由一群对搜索技术充满热情的开发者创建的，旨在解决用户在信息过载时代中寻找特定信息的难题。目前，该产品提供免费试用，但具体价格和定位信息未在页面上明确展示。
OpenBioLLM-8B是由Saama AI Labs开发的先进开源语言模型，专为生物医学领域设计。该模型在大量高质量的生物医学数据上进行了微调，能够理解并生成具有领域特定准确性和流畅性的文字。它在生物医学基准测试中的表现超越了其他类似规模的开源生物医学语言模型，并与更大的专有和开源模型如GPT-3.5和Meditron-70B相比也展现出更好的结果。
小悟空是一个集成了多种智能工具的网站，旨在提高个人和团队的创作效率和运营效果。它通过提供诸如文章生成、视频脚本创作、笔记创作等多样化功能，满足不同用户在内容创作、个人表达、学习教育等方面的需求。产品背景基于人工智能技术，结合大数据分析，为用户提供个性化、高质量的服务。价格定位为免费试用，部分功能付费，以适应不同用户的需求。
Jasper Chat是一个先进的人工智能聊天工具，它通过数十亿的文章、论坛、视频文字稿和网络内容的学习，能够就复杂主题进行详细对话。它的设计易于使用，能够记住对话内容，快速生成有用、适用且独特的内容，并且支持30多种语言。Jasper Chat不仅功能强大，而且使用起来充满乐趣，可以用于写作诗歌、讲笑话、制作剧本或生成日常星座运势等。
YouTube Transcript Generator可以下载任何YouTube视频的转录文本，并提供复制、下载、搜索和转换等功能。通过AI将YouTube转录文本转换为文章或博客帖子。
Undress AI Tool是一款强大的深度脱衣应用程序，可以修改图像，使人们看起来像是没有穿衣服。它使用先进的技术准确地修改照片，生成DeepNude和AI成人图像。该工具的主要优点是可以快速准确地创建深度脱衣图像。
TinderProfile.ai是一个使用AI技术分析用户自拍和照片，生成一组高质量、专业外观的图片，以确保在约会档案上留下良好的第一印象，增加用户获得更多匹配的机会。
OpenBioLLM-70B是由Saama AI Labs开发的先进开源语言模型，专为生物医学领域设计。该模型在大量高质量的生物医学数据上进行了微调，能够理解和生成具有领域特定准确性和流畅性的文字。它在生物医学基准测试中展示了超越其他类似规模开源生物医学语言模型的优越性能，并且在与更大的专有和开源模型如GPT-4、Gemini、Medtron-70B、Med-PaLM-1和Med-PaLM-2的比较中也展现了更好的结果。
FunGifts.AI是一个提供个性化AI生成的记忆游戏的平台。用户可以上传照片，通过AI生成独特的艺术作品，并打印成为一款记忆卡片游戏。这款游戏拥有30张卡片，印有训练人物的AI艺术作品。FunGifts.AI提供快速的打印和寄送服务，为用户打造一款独一无二的记忆游戏。
Lawdeck是一款利用人工智能技术的在线法律平台，旨在自动化律师事务所的80%例行工作。它可以通过分析输入的详细信息，为用户提供最佳的法律策略，并生成完整的文件供用户编辑和共享。
ChatALL是一款桌面客户端软件，它允许用户同时与多个大型语言模型（LLMs）基础的AI聊天机器人进行对话，帮助用户发现最佳的对话结果。这款软件的主要优点在于其能够并发发送提示给不同的AI机器人，从而快速比较它们在不同任务上的表现，并找到最适合的机器人。产品背景信息显示，ChatALL适合于希望从LLMs中找到最佳答案或创作的专家、研究人员以及LLM应用的开发者。目前，ChatALL是免费提供给用户的。
TTS Generator AI是一款创新的免费在线文本转语音工具，利用先进的AI技术将书面文本转换为高质量、自然流畅的音频。该工具适用于各种用户，包括需要听觉学习材料的学生、想要听长篇文件的研究人员以及希望使其书面内容更易访问的专业人士。TTS工具的一大亮点是它能够支持各种文本格式，从简单的文本文件到复杂的PDF文件，使其非常灵活。
Neopaths是一款游戏化的个人成长平台，通过智能任务管理和微学习等功能，帮助用户开发潜力。该平台采用科学方法，提供个人成长和教育支持。Neopaths可以帮助用户提高注意力、支持长期记忆，并通过引入游戏元素和机制，使非游戏化内容更加有趣。Neopaths提供免费、有趣和简单的个人成长方法。
Illusion Diffusion是一款免费创新的AI工具，通过Stable Diffusion和Controlnet AI模型，将普通照片转化为艺术品，提供文本提示来生成视觉错觉和超现实图像。
Datascale是一个AI SQL知识库，帮助数据团队跟踪所有用于数据分析的查询。它将保存的查询转化为知识，从分散的分析中提取表格洞见和可视化关系。
NextChat是一个多功能的AI聊天服务平台，支持与领先的大型语言模型（LLMs）兼容，允许用户轻松部署团队范围内的AI辅助工具。它提供了一个优雅的用户界面，集中管理所有数据，并提供统计追踪团队AI使用情况的功能。此外，它还包括反馈分析工具，帮助用户聆听并分析其受众。NextChat支持OpenAI和Gemini模型，是一个面向所有人的AI基础设施，旨在提供个性化的AI聊天服务。
Spark是一款智能、专注的电子邮件应用，帮助您掌控收件箱。通过智能筛选，快速了解重要内容，并快速清理其余邮件。Spark还提供AI助手帮助您快速编写完美的电子邮件。
Chatbox是一个易于使用的人工智能解决方案，支持多平台，帮助提升工作和学习效率。它具备本地数据存储，确保隐私和轻松访问，同时支持多种尖端人工智能模型，提供多样化、适应性和智能化的用户互动。Chatbox还具备强大的提示功能，释放创造力，支持Markdown、引用、令牌估计等功能，为思维提供广阔的发展空间。
ChatX是一个基于先进AI技术的客户端应用，它通过高速API服务器提供极速体验，支持iPhone、iPad和macOS设备间的云同步。用户可以利用它完成各种AI任务，如文本生成、图片生成等，显著提高工作效率。产品的主要优点包括高速访问、自定义功能、经济的按字数消耗模式以及丰富的高级功能，如AI参数微调、Siri朗读等。ChatX的背景是AI技术的快速发展和用户对于高效、智能工具的需求。目前，产品在Mac App Store上免费提供，但提供App内购买项目。
RAGFlow是一个开源的RAG（Retrieval-Augmented Generation）引擎，基于深度文档理解，提供流线型的RAG工作流程，适用于各种规模的企业。它结合了大型语言模型（LLM）提供真实的问答能力，支持从各种复杂格式数据中引用确凿的引文。
