11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
欢迎来到【AI视野】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。
Groq公司推出了一款号称性价比高达英伟达GPU100倍的AI推理芯片,引起了广泛关注。运行其最快AI推理芯片LIama2所需的成本高达1171万美元,让业内人士开始对其效益进行热议。Groq推出的AI推理芯片在性能上取得了突破,但成本问题仍需解决。
百度发布Apollo开放平台9.0,全面升级自动驾驶开发领域,包括工程、算法和工具三方面,重构12万行代码,新增20万行。工程框架拆分成小软件包,提高灵活性;算法优化感知算法,支持4D毫米波雷达;工具升级包括高精地图、传感器标定等,提升Dreamview效率。项目网址:https://julian-parker.github.io/stemgen/论文网址:https://arxiv.org/abs/2312.08723👨�
美国芯片初创公司EtchedAI近日宣称,他们成功开创了一项新的技术,将Transformer架构直接“烧录”到了芯片中,创造出了世界上最强大的专门用于Transformer推理的服务器Sohu。这项技术可以运行万亿参数的模型,甩英伟达几百条街。这一突破性技术的问世,将为Transformer架构的应用带来新的可能性。
在上周举办的2019云栖大会上,阿里巴巴旗下平头哥半导体公司发布了阿里巴巴第一款芯片——含光800,号称全球最高性能AI推理芯片。
在9月25日的 2019 云栖大会上,阿里巴巴“平头哥”正式发布了最强AI芯片“含光800”,据介绍, 1 颗含光 800 的算力相当于 10 颗GPU,“含光800”集成达摩院的创新算法,深度优化CNN及视觉类算法,可大幅提升视觉计算效率。
今天, 2019 阿里云栖大会正式在杭州开幕。在会上,阿里巴巴正式对外发布全新的含光800AI芯片。据称,这是全球性能最高的AI推理芯片。
9月25日杭州云栖大会上,阿里巴巴正式发布含光800AI芯片,官方称全球性能最高AI推理芯片。阿里巴巴集团CTO兼阿里云智能总裁张建锋表示“这是互联网公司研发的第一款芯片,这是万里长征第一步”,张建锋称,阿里巴巴有足够的能力去做传统公司的事情,“我们用一年半时间,就完成了芯片的制作。所以,阿里巴巴将成为软硬件一体化协同发展的公司”。
阿里云推出了第八代企业级通用计算实例ECSg8i,采用了阿里云自研的「飞天CIPU」架构体系和第五代英特尔至强可扩展处理器。新款实例的整机性能最高提升85%,AI推理性能最高提升7倍,可以支持高达72B参数的大语言模型。阿里云表示,ECSg8i实例的强劲表现证明了以CPU为中心的计算体系同样具备加速AI推理的潜力,公共云不仅可以胜任超大规模的AI模型为AI应用加速落地提供了新的路径。
英特尔正式发布了全新酷睿Ultra移动处理器,代号为MeteorLake。酷睿Ultra的设计目标是在能效、制造工艺和性能方面实现突破。它的AI性能在各个方面都遥遥领先竞品,比如在GIMPStableDiffusion中,性能提升达到了竞品的5.4倍。
正在举行的微软Iginte全球技术大会上,微软发布一系列AI相关的全新优化模型、开发工具资源,帮助开发者更深入地释放硬件性能,拓展AI场景。尤是对于当下在AI领域占据绝对主导地位的NVIDIA来说,微软这次送上了一份大礼包,无论是面向OpenAIChatAPI的TensorRT-LLM封装接口是RTX驱动的性能改进DirectMLforLlama2,以及其他热门大语言模型,都可以在NVIDIA硬件上获得更好的加速和应用。目前已经有400多个合作伙伴发布了支持RTXGPU加速的AI应用、游戏随着模型易用性的不断提高,相信会有越来越多的AIGC功能出现在WindowsPC平台上。
Meta公司的生成式人工智能工程总监谢尔盖·埃杜诺夫在硅谷数字工人论坛上透露,为满足明年全球不断增长的人工智能应用推理需求,仅需新增两座核电站的发电量即可。埃杜诺夫表示,他仅通过简单的数学计算得出这个结果。但创新如Salesforce的Blib-2等仍在继续,或可通过提高效率绕开限制。
12月7日,AI创业公司燧原科技(Enflame)发布了第二代云端AI推理加速卡云燧i20”。这是继今年7月的云端AI训练加速卡云燧T20”之后,燧原科技新一代针对云端推理场景的AI加速产品。云燧i20最大亮点就是拥有迄今最大的AI加速卡存储带宽,通过HBM2e内存达到了819GB/s,可为云端推理业务提供高吞吐、低延时的性能。目前,以语音识别、图片识别、视频内容分析为主的感知类应用,内容推荐、欺诈交易拦截等决策类应用,在云端大部分都是以实
9月19日据科创板日报报道,华为Cloud & AI产品与服务总裁侯金龙今日在华为HC(全联接)大会上透露,ETC应用了AI推理和训练卡Atlas 300。华为Atlas智能计算平台基于华为昇腾系列AI处理器和业界主流异构计算部件。
在人工智能知识工程领域,产业界和学术界第一次联手发布了知识引擎研究计划。4月21日,阿里巴巴宣布联合清华大学、浙江大学、中国科学院自动化所、中科院软件所、苏州大学5所高校发布藏经阁(知识引擎)研究计划。该计划以结构化的形式描述客观世界中概念、实体及其之间的关系,将互联网信息内容表达成更接近人类认知世界的形式,从而使计算机具备类脑推理能力。同时,阿里还宣布打算用一年时间初步建成首个开放的知识引擎服务平台
欢迎来到【AI视野】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。
【新智元导读】最近,两位哈佛辍学生共同创立的AI芯片公司,估值已达3400万美元,并计划明年交付一款名为「Sohu」的AI推理加速芯片——其LLM推理性能达到H100的10倍单价吞吐量更是高达140倍。像Pika一样的神级创业故事又要再次上演了?两位哈佛退学的年轻人,想要制造一款专用于大语言模型加速的AI加速器芯片,将于2024年第三季度交付,推理性能达H100的10倍。CerebrasSystems的CEO
【新智元导读】刚刚,英伟达发布了目前世界最强的AI芯片H200,性能较H100提升了60%到90%能和H100兼容。大科技公司们又要开始疯狂囤货了。我们能知道的是,等到明年第二季度H200上市,届时必将引发新的风暴。
最新MLPerf推理测试结果公布,墨芯人工智能再次夺冠,其S30计算卡在GPT-J大模型的单卡、4卡、8卡推理性能均位居第一。此前墨芯已在MLPerf上连续两届夺冠。MLPerf成绩是对墨芯产品实力的肯定,也印证稀疏计算将助力大模型算力实现根本性变革。
IBM研究人员近日在《自然电子学》杂志上发表了一篇文章,介绍了一款用于深度学习推理的模拟人工智能芯片。该芯片采用模拟内存计算的方法,使用纳米级的相变存储器将突触权重存储为电导值。这一研究为未来实现软件等效的神经网络准确性奠定了基础。
智能手机领域现在正在经兴起芯片AI化的浪潮,很多手机都搭载了AI芯片。在AI芯片的加持下,诸如AI美颜拍照、AI语音助手、安全支付等手机AI应用都能轻松实现,大大优化了智能手机的使用体验。高通作为移动芯片的领军者,在AI领域积累了深厚的技术和经验,骁龙AI芯片的广泛使用推动了近几年来AI功能在智能手机中的普及。高通在AI方面的布局由来已久,早在 2007 年,高通便开始探索面向计算机视觉和运动控制应用的机器学习脉冲神经方法
ReadAgent是一个简单的提示系统,利用大型语言模型的先进语言能力来决定存储哪些内容在记忆集中,并将这些记忆集压缩成称为要点记忆的短篇回忆。当ReadAgent需要提醒自己相关细节以完成任务时,会查阅原始文本。请访问官方网站以获取更多详细信息。
不会写代码,也能训练AI绘画模型了!只要借助这个框架,从训练到推理都能一站式搞定能一次管理多个模型。阿里巴巴团队推出并开源了这款万能图片生成工作台SCEPTERStudio。整个过程中,只有安装部署的环节需要用到一些简单的代码,之后的一切过程就都可以在Web界面里直接操作了。
谷歌AI研究团队最近提出了SpatialVLM,这是一种旨在增强视觉语言模型空间推理能力的创新系统。尽管先进的模型如GPT-4V在人工智能驱动任务中取得了显著进展,但它们在空间推理方面仍存在显著局限。-SpatialVLM的开发标志着人工智能技术的重大进步。
国产开源项目SwiftInfer实现了无限流式输入推理,成功提升了大模型推理性能46%。这是一个重大突破,可以为多轮对话场景提供高效可靠的落地方案。Colossal-AI目前已获得GitHub星数三万五千多颗,位列全球TOP400,细分赛道排名世界第一,可通过高效多维并行、异构内存等,降低AI大模型训练/微调/推理的开发与应用成本,提升模型任务表现,降低GPU需求。
根据Databricks的最新研究,英特尔的Gaudi2技术在大规模语言模型推理方面与业界领先的英伟达AI加速器相媲美。该研究发现,Gaudi2在解码方面的延迟与英伟达H100系统相当,并且优于英伟达A100。我们的总体策略是提供一系列解决方案。
英伟达日前发布了全新的NVIDIAL40SGPU,以及搭载该加速卡的NVIDIAOVX服务器系统。这款全新的GPU和OVX服务器适用于人工智能大模型训练和推理、三维设计和可视化、视频处理、工业数字化等多种用途。这些服务器将有助于推动人工智能的发展和应用。
Text-Generation-Inference是HuggingFace今年早些时候启动的一个项目,作为支持HuggingFaceInferenceAPI和后来的HuggingChat上的LLM推理的内部工具,旨在支持大型语言模型的优化推理。该项目迅速流行,并被Open-Assistant和nat.dev等其他开源项目采用。立法者一直过于关注特定的价值链和特定的模型,大多是API模型——这种关注在开源背景下并不真正适用。
AWS用户现在可以访问AI训练和推理领域业界基准测试中展示的领先性能。图片来自NVIDIA这家云计算巨头正式推出了由英伟达H100TensorCoreGPU提供支持的新AmazonEC2P5实例。该软件可在AWSMarketplace上获得,提供持续的安全监控、定期修补常见漏洞、API稳定性、企业支持以及访问英伟达AI专家的机会。
根据国际数据公司最新发布的《中国边缘云市场跟踪研究,2022H2》报告,中国的边缘云市场规模在2022年下半年达到了46亿元人民币,同比增长53.5%。边缘公有云服务、边缘专属云服务和边缘云解决方案市场规模分别为23.2亿元、6.7亿元和16.1亿元人民币。这些方式已成为本地客户轻量级业务系统上云的重要选择。