首页 > 业界 > 关键词  > 谷歌研究人员最新资讯  > 正文

谷歌AI推出新型评分器Cappy 助力多任务语言模型性能提升

2024-03-19 14:24 · 稿源:站长之家

站长之家(ChinaZ.com) 3月19日 消息:最新的研究论文中,谷歌研究人员引入了一种名为Cappy的预训练评分器模型,旨在增强和超越大型多任务语言模型的性能。这项研究旨在解决大型语言模型(LLM)所面临的挑战,其中包括高昂的计算资源成本和效率低下的训练和推理过程。

谷歌 (2)

目前,多任务法学硕士如T0、FLAN和OPT-IML等被广泛应用于各种自然语言处理任务,并在统一的指令跟踪框架下进行训练。然而,这些模型由于巨大的规模和硬件要求,使得它们在适应下游应用程序时面临着挑战。为了应对这些挑战,Cappy被引入作为一种轻量级的预训练评分器,旨在提高多任务法学硕士的性能和效率。

Cappy的架构基于RoBERTa,顶部有一个用于回归的线性层,利用多样化的数据集集合进行预训练,确保覆盖广泛的任务类型。研究人员还提出了一种数据构建方法,以满足预训练数据中标签多样性的需求,并生成一个大型有效的回归预训练数据集。Cappy的应用程序涉及一种候选者选择机制,可独立运行于分类任务,也可作为生成任务的辅助组件,增强现有多任务LLM的解码。

通过引入轻量级预训练评分器Cappy,这项研究解决了在多任务场景中有效利用大型语言模型的挑战,展示了其在各种任务上的参数效率和性能的优越性,同时强调了在实际应用中简化大型语言模型采用的潜力。

举报

  • 相关推荐
  • 苹果自研AI模型难产:改用第三方大语言模型

    苹果可能会跟OpenAI或Anthropic合作,双方正在谈判讨论一项潜在交易,苹果希望调用OpenAI或Anthropic的第三方大语言模型来为Siri提供技术支持。 据悉,OpenAI或Anthropic正在训练适配苹果私有云计算服务器的模型,苹果也在进行测试,目前苹果发现Anthropic的AI模型最适合Siri,且与Anthropic初步讨论了一些财务条款,消息称Anthropic要求苹果每年支付数十亿美元的费用,且该费用会随时间�

  • 腾讯云TencentOS Server AI,助力荣耀打造高性能AI底座

    随着生成式AI技术爆发式增长,AI大模型开始渗透至手机领域。荣耀基于腾讯云TencentOS Server AI的TACO-LLM加速模块部署DeepSeek-R1等开源大模型,在内部场景应用中实现稳定性、可靠性和推理性能的大幅提升。测试显示,使用TACO-LLM后,首Token延迟最高降低6.25倍,吞吐提升2倍,端到端延迟降低100%。TACO-LLM通过投机采样技术实现大模型"并行"解码,从根本上解决计算密度问题,大幅提升解码效率。荣耀表示该方案打造了高性能AI底座,提供高吞吐低延迟的优化方案,能无缝整合现有大模型部署方案。腾讯云TACO-LLM针对企业级AI模型私有化部署挑战,专门优化了大语言模型内核运行效率。

  • Soul App全双工语音大模型升级,让AI在交互中拥有“主动性”

    社交平台Soul App近日升级端到端全双工语音通话大模型,重新定义"全双工"交互模式。新模型突破传统语音交互依赖VAD机制与延迟控制逻辑的局限,赋予AI自主决策对话节奏的能力,实现主动打破沉默、适时打断用户、边听边说、时间语义感知等类人交互体验。同时具备多维度感知、口语化表达、音色复刻等功能,让AI更具"真人感"。该技术将应用于虚拟人实时通话、AI匹配1V1互动等场景,并探索多人互动场景应用。Soul CTO陶明表示,社交是情绪价值和信息价值的双向关系,平台将持续通过技术创新为用户提供更智能、沉浸的社交体验。数据显示,71.1%年轻人愿意和AI做朋友建立情感连接,AI社交正成为重要趋势。

  • AI日报:Midjourney重磅推出视频生成模型V1;OpenAI将在今年夏季发布GPT-5;谷歌推Search Live语音搜索功能

    本期AI日报聚焦多项AI领域重要进展:1) Midjourney推出首款视频生成模型V1,支持21秒视频生成;2) OpenAI CEO确认GPT-5将于今夏发布;3) Google上线语音对话搜索功能Search Live;4) OpenAI开源客户服务代理框架;5) MiniMax发布智能代理Agent;6) 恶意工具WormGPT出现新变种;7) OpenAI推出企业版ChatGPT折扣;8) DeepSite V2支持3D网页动画生成;9) AI工具可秒变PPT;10) 比亚迪与字节跳动合作开发动力电池技术;11) 马斯克否认xAI巨额亏损传闻。

  • AI日报:豆包大模型1.6发布;OpenAI推o3-pro模型、o3价格暴降80%;Figma官方MCP重磅上线

    【AI日报】今日AI领域重要动态:1)火山引擎发布豆包大模型1.6和视频生成模型Seedance1.0pro,性能显著提升;2)OpenAI推出o3-pro模型,专注可靠性但响应较慢;3)Figma推出Dev Mode MCP服务,实现设计到代码一键转换;4)Krea AI发布图像生成模型Krea1,解决传统AI绘图问题;5)火山引擎豆包日调用量突破16.4万亿次;6)法国Mistral发布推理模型Magistral;7)苹果系统整合ChatGPT图像生成功能;8)OpenAI大幅下调o3价格80%并推出o3-pro;9)Hugging Face开源榜单显示中国团队Qwen与DeepSeek进入全球前15;10)阿里开源MaskSearch框架,提升AI解决复杂问题能力。

  • iPad多任务处理为何直到现在才出现 苹果高管解释原因

    在iPadOS 26中,苹果终于带来了革命性的多任务界面,苹果软件主管Craig Federighi接受了媒体采访,首度揭开了iPad多任务功能姗姗来迟的背后原因。 Craig Federighi表示,早期iPad存在两大先天不足:一是处理器性能无法支撑多窗口流畅运行;二是触控优先的交互模式对响应速度有极致要求,当用户手指触碰屏幕的瞬间,系统必须立即响应,任何延迟都会影响用户体验。 此前苹果针�

  • Soul App:以AI为驱动,构建多元社交生态

    Soul App是中国首个基于虚拟形象进行社交互动的平台,致力于打造温暖多元的社交空间。平台通过兴趣图谱建立关系,采用游戏化设计,主张不看脸的灵魂社交。近年来,Soul持续创新AI技术应用,推出自研语言大模型Soul X和语音生成模型,实现更真实的交互体验。2024年升级为多模态端到端大模型,支持文字对话、语音通话等功能。同时推出"数字分身"等创新功能,帮助用户高效社交。平台还通过主题群聊派对、瞬间广场等多元场景满足年轻人社交需求,并积极履行社会责任,打造健康文明的社交环境。

  • AI日报:美团No Code平台免费开放;豆包App升级“一句话P图”功能;苹果Xcode 26内置ChatGPT等AI功能

    本文介绍了AI领域多项重要进展:1)美团推出No Code平台和1680个AI应用;2)豆包App升级"一句话P图"功能;3)苹果发布内置ChatGPT的Xcode26开发工具;4)iOS26新增视觉智能功能;5)讯飞星火X1升级版即将发布;6)比亚迪接入阿里通义大模型;7)DeepSeek支持本地工具调用;8)开源框架Rowboat支持快速构建智能助手;9)X平台整合Grok AI优化内容推荐;10)港科大开发进化搜索技术提升小模型图像生成能力;11)硅基流动完成数亿元融资;12)港大与英伟达合作开发新型视觉注意力机制。这些创新展示了AI技术在各领域的快速发展和应用突破。

  • AI日报:腾讯元宝升级一句话搜索图片视频;微信支付MCP上线;谷歌在全球推出 Veo 3

    【AI日报】今日AI领域重要动态:1)腾讯元宝升级,支持一句话搜索呈现图文视频;2)微信支付MCP上线,AI与支付结合开启商业新纪元;3)谷歌Veo3视频生成模型向Pro/Ultra会员开放,新增"照片生成视频"功能;4)开源DeepSeek R1增强版推理效率提升200%;5)美图WHEE推出"一句话修图"功能;6)芯片公司Ambiq申请美国IPO,受益生成式AI需求;7)昆仑万维开源奖励模型Skywork-Reward-V2;8)Kyutai发布超低延迟开源语音合成技术;9)Figma拟以200亿美元估值登陆纽交所;10)字节跳动开源Trae-Agent智能开发工具。

  • AI日报:MiniMax推视频生成模型Hailuo 02;Cursor Pro取消500次请求限制;谷歌发布AI模型 Gemini 2.5 Flash-Lite

    本文汇总了AI领域最新动态:1)Cursor Pro取消500次请求限制;2)稀宇科技推出视频生成模型Hailuo02;3)谷歌发布轻量级AI模型Gemini2.5Flash-Lite;4)科大讯飞星火X1升级版7月上线;5)腾讯元宝推出AI编程模式;6)OpenAI将下架GPT-4.5 API;7)苹果Speech API转录速度超Whisper 55%;8)百度推出数字人互动直播间;9)Meta曾试图高薪挖角OpenAI人才;10)Krea1公测开放,解决"AI感"问题;11)特斯拉Grok车载AI助手即将上线;12)谷歌Gemini新增视频分析功能。