11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
ModelScope推出了预训练大语言模型推理引擎DashInfer,支持C和Python语言接口,可在多种CPU架构上高效推理大模型。DashInfer采用CRuntime编写,支持连续批处理和多NUMA推理,能充分利用服务器级CPU的算力,为推理14B及以下的LLM模型提供更多硬件选择。性能测试结果表明,DashInfer在ARM和x86CPU上具有良好的推理性能,能够有效提升大模型推理效率。
近日,百度深度学习平台飞桨(PaddlePaddle)发布Paddle Lite端侧推理引擎,旨在推动人工智能应用在端侧更好落地。目前,Paddle Lite已经支持了ARM CPU,Mali GPU,Adreno GPU,华为NPU以及FPGA等诸多硬件平台,是目前首个支持华为NPU在线编译的深度学习推理框架。
英特尔正式发布了全新酷睿Ultra移动处理器,代号为MeteorLake。酷睿Ultra的设计目标是在能效、制造工艺和性能方面实现突破。它的AI性能在各个方面都遥遥领先竞品,比如在GIMPStableDiffusion中,性能提升达到了竞品的5.4倍。
HuggingFace的diffusers轻量快速推理引擎已经在GitHub上发布。这个引擎通过一系列小幅改进,已经实现了显著提高推理速度的目标,宣称每秒可达到60步,较之前的23步有了显著提升。stable-fast准备为深度学习从业者的推理优化带来革命性的速度和效率。
OnnxStream是一款专注于减少内存占用、提高推理效率的机器学习推理引擎。它的设计目标是在资源受限的环境中运行深度学习模型,如树莓派Zero2,该设备只有512MB的RAM。它的跨平台性使得用户可以在不同的设备上灵活使用。
在人工智能数十年的发展历程中,打破低潮走向辉煌的关键点在于突破计算性能桎梏、深度学习等。而在当下,最受业界关注的人工智能细分技术之一,则是神经网络推理引擎。比如此前谷歌旗下的DeepMind研发了模块化、具有关系推理能力的深度神经网络架构RN,以“即插即用”的特性受到业界关注。而国内芯片厂商也不遑多让,福州瑞芯微电子日前就基于旗下RK3399芯片,推出率先支持Tengine神经网络推理引擎的平台——Rock960。 据了解,Ten
在人工智能知识工程领域,产业界和学术界第一次联手发布了知识引擎研究计划。4月21日,阿里巴巴宣布联合清华大学、浙江大学、中国科学院自动化所、中科院软件所、苏州大学5所高校发布藏经阁(知识引擎)研究计划。该计划以结构化的形式描述客观世界中概念、实体及其之间的关系,将互联网信息内容表达成更接近人类认知世界的形式,从而使计算机具备类脑推理能力。同时,阿里还宣布打算用一年时间初步建成首个开放的知识引擎服务平台
谷歌旗下的DeepMind团队近期在国际数学奥林匹克中取得了令人瞩目的成绩。DeepMind的两款人工智能模型——AlphaProof和AlphaGeometry2,成功解决了本年度比赛中的四个难题,达到了银牌水平。OpenAI正在开发名为“Strawberry”的新型AI模型,以显著提升AI的推理能力;Meta公司也推出了最新的AI模型Llama3.1,推动开源AI的发展。
云天励飞推出IPU-X6000加速卡。该产品具备256T算力、128GB显存容量、486GB/S显存带宽;采用C2CMesh互联技术,可实现卡间高速互联,带宽达64GB/s,最大可实现64张卡的互联;可应用于语言、视觉、多模态等各类大模型的推理加速,目前已适配云天天书、通义千问、百川智能、Llama2/3等近10个主流大模型。未来X6000将进一步支撑云天励飞智算运营业务,为行业带来更丰富的算力服务。
阿里云推出全面升级的GPU云服务,通过全新优化GPU套件,多GPU推理服务性能可最大提升100%。针对调用GPU算力最常用的容器技术,阿里云推出ACK云原生AI套件,帮助开发者及企业更高效地开发和部署AI应用,加速大模型应用落地。小鹏汽车、联想、德勤、微博、完美世界、喜马拉雅等已接入阿里云通义大模型,在阿里云上为消费者和客户提供丰富的AI应用服务。
「因果推理」绝对是当前GenAI热潮下的小众领域,但是它有一个大佬级的坚定支持者——YannLeCun。他在推特上的日常操作之一,就是炮轰Sora等生成模型,并为自己坚信的因果推理领域摇旗呐喊。受JudeaPearl愿景的启发,这项工作代表着一个潜在的新科学前沿——因果关系研究和语言模型的交叉点上。
OpenAI被曝出了新项目「草莓」,据悉能提前计划,自主浏览网页能进行深度研究。草莓由大量通用数据上后训练成,推理能力显著提高。在产品层面,OpenAI已经做到了如此先进的地步,如果再加上Strawberry的推理能力,OpenAI离AGI的实现,恐怕是要很近了。
在每天刷视频的时代,我们如何快速创作360度全方位理解的视频内容?TwelveLabs,一家旧金山初创公司,是由一支年轻的工程师团队JaeLee和AidenL创立,该产品可在视频中提取特定视频瞬间,包括视觉、音频、文本和上下文信息,以实现语义搜索、分析和洞察。该公司的愿景是创建用于多模式视频理解的基础设施,其自研模型可用于媒体分析并自动生成精彩片段。视频内容的深度分析和理解,将为我们打开一个全新的视角,让我们以前所未有的方式探索和理解世界。
月之暗面和清华KVCache.ai团队的最新论文,首次揭秘了Kimi背后的推理架构!要知道Kimi是国产大模型的当红炸子鸡,火到可以说从来没缺过流量,甚至还经常出现过载。随着论文的发布,这泼天的流量到底如何被Kimi接住的问题,也有了答案。对于月之暗面的发展方向,则是由许欣然做了解答——分布式策略的实施,也意味着未来月之暗面的整个系统,将往“算力/$”和“带宽/$”两个方向独立发展,从对硬件优化更加友好。
7月3日,微软在官网开源了基于图的RAG——GraphRAG。为了增强大模型的搜索、问答、摘要、推理等能力,RAG已经成为GPT-4、Qwen-2、文心一言、讯飞星火、Gemini等国内外知名大模型标配功能。同时GraphRAG对tokens的需求很低,也就是说可以帮助开发者节省大量成本。
随着AI热潮席卷各行各业,其落地应用已经成为企业技术研发升级的工作重心。人工智能应用的升级不仅需要软件层面的升级迭代需要大规模基础设施的支撑。英特尔与腾讯云的成果也将惠及更多游戏企业,持续为他们提供助力,满足轻资产、重人力类型的游戏厂商在激烈的竞争环境中降本增效的迫切需求。
在最近的一项由北卡罗莱纳大学教堂山分校和艾伦AI研究所共同进行的研究中,人工智能的道德推理能力再次得到了令人瞩目的展现。特别是OpenAI的新型聊天机器人GPT-4o,在道德推理和提供道德建议方面,已经超越了公认的道德专家。研究人员也提醒我们,尽管AI在道德推理方面表现出色,但在实际应用中仍需谨慎对待其建议,特别是在缺乏人类监督的情况下。
什么AI应用每秒处理20000个AI推理请求,达到2024年谷歌搜索流量的1/5?答案是独角兽Character.ai,由Transformer作者NoamShazeer创办。沙哥公布了推理优化独门秘诀,迅速引起业界热议。最近有消息称,Meta与马斯克的𝕏都在争取与他们合作,把聊天机器人引入社交平台。
Anthropic公司最新发布的Claude3.5Sonnet模型,在人工智能领域引起了广泛关注。这款新模型在推理、知识掌握和编码能力等多个评估方面,都超越了之前的版本和市场上的竞争对手,包括GPT-4o模型。Claude3.5系列的其他版本,如Haiku和Opus,预计将于今年晚些时候发布,并将继续开发新的功能和特性,以满足市场的不断需求。
OpenAI和谷歌接连两场发布会,把AI视频推理卷到新高度。但业界还缺少可以全面评估大模型视频推理能力的基准。综合实验结果可以看出,当前的多模态大模型在视频理解,尤其是长视频理解方向仍然有很长进步空间,一方面是要提升模型的多模态长上下文理解能力,Gemini1.5Pro最高支持百万长度的上下文窗口,这是其表现优异的依仗,另一方面也亟需构建相应的高质量长视频理解数据集,这方面当下仍处于空白。
苹果一出手,在手机等移动设备上部署大模型不可避免地成为行业关注焦点。目前在移动设备上运行的模型相对较小,并且消耗大量内存,这在很大程度上限制了其应用场景。如果PowerInfer-2.0能够与手机厂商进一步紧密合作,相信可以加速相关技术走出实验室,落地到各种真实场景。
【新智元导读】在基准测试上频频屠榜的大模型们,竟然被一道简单的逻辑推理题打得全军覆没?最近,研究机构LAION的几位作者共同发表了一篇文章,以「爱丽丝梦游仙境」为启发涉及了一系列简单的推理问题,揭示了LLM基准测试的盲区。一道简单的逻辑问题,竟让几乎所有的LLM全军覆没?对于人类来说,这个名为「爱丽丝梦游仙境」的测试并不算很难——「爱丽丝有N个兄弟,
【新智元导读】最近,德国研究科学家发表的PANS论文揭示了一个令人担忧的现象:LLM已经涌现出「欺骗能力」,它们可以理解并诱导欺骗策。相比前几年的LLM,更先进的GPT-4、ChatGPT等模型在欺骗任务中的表现显著提升。」「试图用人类意图来解释模型行为,是一种范畴误用。
【新智元导读】24点游戏、几何图形、一步将死问题,这些推理密集型任务,难倒了一片大模型,怎么破?北大、UC伯克利、斯坦福研究者最近提出了一种全新的BoT方法,用思维模板大幅增强了推理性能。Llama3-8B在BoT的加持下,竟多次超越Llama3-70B!大语言模型不擅长推理怎么办?用思维缓冲区来解决!最近,北大、UC伯克利、斯坦福的研究人员提出了一种元缓冲区。他担任/曾担任中�
新加坡国立大学联合加州大学圣芭芭拉分校与奥克兰大学的研究人员提出了一种名为SymbCoT的全新推理框架,旨在提升大语言模型的符号逻辑推理能力。这一框架结合了符号化逻辑表达式与思维链,极大提升了推理的质量、鲁棒性与可信度。不同LLM的影响:SymbCoT与更先进的模型之间的协同效应更为显著。
2024年6月3日,昆仑万维宣布开源2千亿稀疏大模型 Skywork-MoE , 性能强劲, 同时推理成本更低。Skywork-MoE 基于之前昆仑万维开源的 Skywork-13B 模型中间 checkpoint 扩展而来,是首个完整将 MoE Upcycling 技术应用并落地的开源千亿 MoE大模型,也是首个支持用单台4090服务器推理的开源千亿 MoE大模型。
【新智元导读】研究人员提出了一种新的大型语言模型训练方法,通过一次性预测多个未来tokens来提高样本效率和模型性能,在代码和自然语言生成任务上均表现出显著优势,且不会增加训练时间,推理速度还能提升至三倍。大型语言模型,例如GPT和Llama,主要是根据「前文的单词序列」对「下一个token」进行预测的方式来训练。在摘要任务中,使用了8个不同的基准测试,并通
【新智元导读】刚刚,谷歌DeepMind、JHU、牛津等发布研究,证实GPT-4的心智理论已经完全达到成年人类水平,在更复杂的第6阶推理上,更是大幅超越人类!此前已经证实,GPT-4比人类更能理解语言中的讽刺和暗示。在心智理论上,人类是彻底被LLM甩在后面了。她在牛津大学获得了考古学与人类学的学士学位。
每个token只需要5.28%的算力,精度就能全面对标Llama3。开源大模型,再添一位重量级选手——来自浪 潮信息的32专家MoE模型,源2.0-M32。从创新研发到开源开放,浪 潮信息将坚持致力于研发基础大模型,为企业用户降低大模型使用门槛,加速推进产业智能化升级。
据来自Cartesia的最新消息,他们今天发布了Sonic,这是他们在构建实时多模态智能时代的第一步。Sonic是一个极速的生成语音模型和API,拥有令人惊叹的低延迟,栩栩如生的声音效果,目前只支持英文。在这个快速发展的多模态智能时代,Cartesia的Sonic将引领行业,为用户带来全新的体验和可能性。