11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
ModelScope推出了预训练大语言模型推理引擎DashInfer,支持C和Python语言接口,可在多种CPU架构上高效推理大模型。DashInfer采用CRuntime编写,支持连续批处理和多NUMA推理,能充分利用服务器级CPU的算力,为推理14B及以下的LLM模型提供更多硬件选择。性能测试结果表明,DashInfer在ARM和x86CPU上具有良好的推理性能,能够有效提升大模型推理效率。
近日,百度深度学习平台飞桨(PaddlePaddle)发布Paddle Lite端侧推理引擎,旨在推动人工智能应用在端侧更好落地。目前,Paddle Lite已经支持了ARM CPU,Mali GPU,Adreno GPU,华为NPU以及FPGA等诸多硬件平台,是目前首个支持华为NPU在线编译的深度学习推理框架。
英特尔正式发布了全新酷睿Ultra移动处理器,代号为MeteorLake。酷睿Ultra的设计目标是在能效、制造工艺和性能方面实现突破。它的AI性能在各个方面都遥遥领先竞品,比如在GIMPStableDiffusion中,性能提升达到了竞品的5.4倍。
HuggingFace的diffusers轻量快速推理引擎已经在GitHub上发布。这个引擎通过一系列小幅改进,已经实现了显著提高推理速度的目标,宣称每秒可达到60步,较之前的23步有了显著提升。stable-fast准备为深度学习从业者的推理优化带来革命性的速度和效率。
OnnxStream是一款专注于减少内存占用、提高推理效率的机器学习推理引擎。它的设计目标是在资源受限的环境中运行深度学习模型,如树莓派Zero2,该设备只有512MB的RAM。它的跨平台性使得用户可以在不同的设备上灵活使用。
在人工智能数十年的发展历程中,打破低潮走向辉煌的关键点在于突破计算性能桎梏、深度学习等。而在当下,最受业界关注的人工智能细分技术之一,则是神经网络推理引擎。比如此前谷歌旗下的DeepMind研发了模块化、具有关系推理能力的深度神经网络架构RN,以“即插即用”的特性受到业界关注。而国内芯片厂商也不遑多让,福州瑞芯微电子日前就基于旗下RK3399芯片,推出率先支持Tengine神经网络推理引擎的平台——Rock960。 据了解,Ten
在人工智能知识工程领域,产业界和学术界第一次联手发布了知识引擎研究计划。4月21日,阿里巴巴宣布联合清华大学、浙江大学、中国科学院自动化所、中科院软件所、苏州大学5所高校发布藏经阁(知识引擎)研究计划。该计划以结构化的形式描述客观世界中概念、实体及其之间的关系,将互联网信息内容表达成更接近人类认知世界的形式,从而使计算机具备类脑推理能力。同时,阿里还宣布打算用一年时间初步建成首个开放的知识引擎服务平台
苹果一出手,在手机等移动设备上部署大模型不可避免地成为行业关注焦点。目前在移动设备上运行的模型相对较小,并且消耗大量内存,这在很大程度上限制了其应用场景。如果PowerInfer-2.0能够与手机厂商进一步紧密合作,相信可以加速相关技术走出实验室,落地到各种真实场景。
【新智元导读】在基准测试上频频屠榜的大模型们,竟然被一道简单的逻辑推理题打得全军覆没?最近,研究机构LAION的几位作者共同发表了一篇文章,以「爱丽丝梦游仙境」为启发涉及了一系列简单的推理问题,揭示了LLM基准测试的盲区。一道简单的逻辑问题,竟让几乎所有的LLM全军覆没?对于人类来说,这个名为「爱丽丝梦游仙境」的测试并不算很难——「爱丽丝有N个兄弟,
【新智元导读】最近,德国研究科学家发表的PANS论文揭示了一个令人担忧的现象:LLM已经涌现出「欺骗能力」,它们可以理解并诱导欺骗策。相比前几年的LLM,更先进的GPT-4、ChatGPT等模型在欺骗任务中的表现显著提升。」「试图用人类意图来解释模型行为,是一种范畴误用。
【新智元导读】24点游戏、几何图形、一步将死问题,这些推理密集型任务,难倒了一片大模型,怎么破?北大、UC伯克利、斯坦福研究者最近提出了一种全新的BoT方法,用思维模板大幅增强了推理性能。Llama3-8B在BoT的加持下,竟多次超越Llama3-70B!大语言模型不擅长推理怎么办?用思维缓冲区来解决!最近,北大、UC伯克利、斯坦福的研究人员提出了一种元缓冲区。他担任/曾担任中�
新加坡国立大学联合加州大学圣芭芭拉分校与奥克兰大学的研究人员提出了一种名为SymbCoT的全新推理框架,旨在提升大语言模型的符号逻辑推理能力。这一框架结合了符号化逻辑表达式与思维链,极大提升了推理的质量、鲁棒性与可信度。不同LLM的影响:SymbCoT与更先进的模型之间的协同效应更为显著。
2024年6月3日,昆仑万维宣布开源2千亿稀疏大模型 Skywork-MoE , 性能强劲, 同时推理成本更低。Skywork-MoE 基于之前昆仑万维开源的 Skywork-13B 模型中间 checkpoint 扩展而来,是首个完整将 MoE Upcycling 技术应用并落地的开源千亿 MoE大模型,也是首个支持用单台4090服务器推理的开源千亿 MoE大模型。
【新智元导读】研究人员提出了一种新的大型语言模型训练方法,通过一次性预测多个未来tokens来提高样本效率和模型性能,在代码和自然语言生成任务上均表现出显著优势,且不会增加训练时间,推理速度还能提升至三倍。大型语言模型,例如GPT和Llama,主要是根据「前文的单词序列」对「下一个token」进行预测的方式来训练。在摘要任务中,使用了8个不同的基准测试,并通
【新智元导读】刚刚,谷歌DeepMind、JHU、牛津等发布研究,证实GPT-4的心智理论已经完全达到成年人类水平,在更复杂的第6阶推理上,更是大幅超越人类!此前已经证实,GPT-4比人类更能理解语言中的讽刺和暗示。在心智理论上,人类是彻底被LLM甩在后面了。她在牛津大学获得了考古学与人类学的学士学位。
每个token只需要5.28%的算力,精度就能全面对标Llama3。开源大模型,再添一位重量级选手——来自浪 潮信息的32专家MoE模型,源2.0-M32。从创新研发到开源开放,浪 潮信息将坚持致力于研发基础大模型,为企业用户降低大模型使用门槛,加速推进产业智能化升级。
据来自Cartesia的最新消息,他们今天发布了Sonic,这是他们在构建实时多模态智能时代的第一步。Sonic是一个极速的生成语音模型和API,拥有令人惊叹的低延迟,栩栩如生的声音效果,目前只支持英文。在这个快速发展的多模态智能时代,Cartesia的Sonic将引领行业,为用户带来全新的体验和可能性。
5月21日,针对这一轮大模型降价,零一万物CEO李开复表示,中国大模型与美国大模型的差距已经从一年多前的7-10年缩小到6个月,这是一个巨大的进步。他认为中国的技术实力在追赶全球并不落后中国在大模型领域已经有了令人自豪的成绩。零一万物会继续发布性能最高、推理成本最低的大模型,同时也不会放过任何尺寸上的机会,以满足不同应用场景的需求。
纽约大学的最新研究对当前流行的思维链技术提出了挑战,该技术原本被认为能够提升大模型的推理能力。使用省略号代替具体的推理步骤,模型的推理结果并没有显著差异,这意味着增加计算量非推理步骤本身可能是提升性能的关键。也引发了关于AI安全性和未来发展的进一步思考。
零一万物近日发布了其模型家族的新成员——Yi-1.5,并宣布这些模型均采用Apache2.0许可开源。Yi-1.5是Yi模型的升级版,它在编码、数学、推理和指令遵循能力方面展现出更强的性能,同时保持了在语言理解、常识推理和阅读理解方面的卓越能力。模型性能:Yi-1.5在多个基准测试中展现了其强大的性能,特别是在处理复杂任务时。
据韩媒ZDNetKorea援引的消息透露,三星电子正计划利用其4nm工艺进行AI推理芯片Mach-1的原型试产,采用MPW方式。尽管三星已具备3nm代工技术,但出于项目执行稳定性的考虑,公司决定在Mach-1上采用更为成熟的4nm或5nm工艺。外界消息显示,三星在4月份发布了8个与Mach-1芯片相关的招聘岗位,显示了公司对该项目的重视。
AI做数学题,真正的思考居然是暗中“心算”的?纽约大学团队新研究发现,即使不让AI写步骤,全用无意义的“……”代替,在一些复杂任务上的表现也能大幅提升!一作JacabPfau表示:只要花费算力生成额外token就能带来优势,具体选择了什么token无关紧要。让Llama34M回答一个简单问题:自然常数e的前6位数字中,有几个大于5的?AI直接回答约等于瞎捣乱,只统计前6位数字居然统计出7�
【新智元导读】就在昨夜,整个AI社区都被一个神秘大模型震撼到了:它名为gpt2-chatbot,性能直接超越很多开源模型和GPT-4!网友们展开猜测,有说它是GPT-4.5的,有说是GPT-5的有人猜它是GPT-4Q*,或GPT-2Q*。奥特曼也卖起了关子:「我确实对gpt-2gpt2情有独钟。GPT-2最初的预训练放到今天仍然令人惊叹,比很多4年后的模型都好,这也未免太传奇了。
Meta公司最新发布了LayerSkip,这是一款端到端的解决方案,专门设计用于提升大型语言模型的推理速度。这一技术在不同规模的Llama模型上经过了广泛的训练实验,并在多个任务上展现了显著的性能提升。未来展望:随着LayerSkip技术的不断完善和应用,预计将为大语言模型的部署和使用带来更多可能性,特别是在需要快速处理大量语言数据的场合。
在深度学习领域,扩散模型作为生成建模的前沿方法已经得到广泛应用。DMs的一个关键缺点是其较慢的采样速度,这主要是由于需要通过大型神经网络进行多次顺序函数评估。在视频生成方面进行了研究,发现使用优化计划可以在视频生成过程中产生更加稳定的视频,减少随时间推移的颜色失真。
字节跳动的Lightning团队发布的新图像模型蒸馏算法Hyper-SD,是一项在图像处理和机器学习领域的重要进展。这项技术通过创新的方法提升了模型在不同推理步骤下的性能,同时保持了模型大小的精简。随着进一步的研究和开发,Hyper-SD及其衍生技术有望在多个领域内推动AI技术的发展和应用。
欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。新鲜AI产品点击了解:https://top.aibase.com/1、BlockadeLabs发布全新模型Model3本文介绍了知名生成式AI平台BlockadeLabs发布的全新模型Model3,该模型实现了生成效果的质的提升,支持超高清8192x4096分辨率,提升了文本提示器描述生
阿里云百炼大模型服务平台近期宣布了一项重要的支持计划,即为Meta公司最新开源的Llama3系列大语言模型提供全方位的支持。这项服务包括限时免费的模型训练、部署和推理服务,旨在帮助企业和开发者在阿里云平台上构建和优化自己的专属大模型。通过结合阿里云强大的云计算资源和Llama3模型的先进性能,企业和开发者将能够开发出更加智能和高效的AI应用,加速AI技术的创
Meta公司发布了全新的Llama3系列阿里云魔搭社区迅速响应,将这一系列的四款模型全部上架。阿里云百炼大模型服务平台更是宣布,将提供针对Llama3系列的限时免费训练、部署和推理服务,旨在帮助企业和开发者利用这一强大工具,快速构建属于自己的专属大模型。企业和开发者只需在阿里云百炼模型广场进行申请,一旦通过,便能迅速体验Llama3的卓越性能,并与其他模型进行直观的比较。
近日,Meta重磅推出其80亿和700亿参数的MetaLlama3开源大模型。该模型引入了改进推理等新功能和更多的模型尺寸,并采用全新标记器,旨在提升编码语言效率并提高模型性能。即使80亿参数的Llama3模型比70亿参数的Llama2模型参数更高,在AWSm7i.metal-48xl实例上运行BF16推理时,整体prompt的推理时延几乎相同。