首页 > 传媒 > 关键词  > 边缘AI最新资讯  > 正文

破解云端大模型瓶颈,边缘AI驶入发展快车道

2024-08-27 14:52 · 稿源: 站长之家用户

当前,随着终端应用场景不断扩展,数据即时处理需求水涨船高。云端大模型落地行业逐渐面临日趋明显的数据缺失、反馈缓慢、成本过高等许多挑战,与云端AI相辅相成又优势明显的边缘AI成为攻克瓶颈的关键。意识到这一点的科技巨头们纷纷入局低成本、有效率且更具隐私性的边缘 AI,也让业内惊呼,边缘AI正进入发展快车道。

以国内抢先发力边缘AI的领军企业云天励飞为列,其 8 月 26 日发布的 2024 年半年度报告显示,云天励飞 2024 上半年营业收入达到2. 89 亿元,同比增长97%。其主要业绩均来自于基于边缘AI平台的智能硬件、智算运营和智慧行业三大业务领域,也再次验证了边缘AI未来的广阔市场前景。

边缘AI进入加速发展期

和人们更为熟知的云端AI相比,边缘AI发展初期并未受到同等的重视。不过,边缘AI固有的更低成本、更好的数据隐私保护以及更快的响应速度,使其在近年来吸引了越来越多行业巨头的关注。大模型方面,谷歌、微软、Meta以及云天励飞都推出了轻量化大模型支撑边缘AI的应用;芯片方面,苹果、英伟达等巨头先后推出边缘AI芯片,应用在AI 手机和机器人上,云天励飞也在 2022 年底推出DeepEdge10 系列芯片,以支撑边缘端的大模型运行。

有了成熟大模型的支撑以及性能不断提升的芯片,边缘AI的应用变得更加广泛和实用。边缘设备需要处理更加复杂的任务,反过来也促进了边缘AI技术的发展。良性循环为边缘AI的行业发展提供了加速度。

以既有自研大模型又有自研芯片的云天励飞为例,其在今年 7 月由中国信息通信研究院承办的WAIC 2024“迈向AGI:大模型焕新与产业赋能”论坛上公开的边缘AI战略即显示,将依托多模态大模型、NPU加速计算平台这两大平台,发展智能硬件、智算运营、智慧行业三大主营业务,并确定了个人、家庭、城市三个应用方向。

从云天励飞刚刚发布的半年报来看,三大主营业务都有不错成绩,其边缘AI战略初见成效。

边缘智能硬件未来增长态势惊人

在边缘AI应用方面,边缘智能硬件是最贴近广大用户,也是增长态势最为迅猛的智能设备领域之一。据市场研究报告显示,预计到 2025 年,全球智能硬件市场规模将达到数千亿美元规模,年复合增长率保持在两位数以上。特别是,随着技术进步和产品创新,物联网升级成AIoT,加上国家相关产业政策的大力扶持,预计未来 3 年边缘智能硬件设备将保持50%以上的复合增长率。

从云天励飞的半年报来看,如今市面上可应用智能硬件的场景十分丰富,与从前相比实用领域也有了明显扩展。云天励飞基于自研“云天天书”大模型和神经网络处理器,打造面向各类边缘AI场景的各类硬件设备并对外销售,包括 AI 芯片、与华为昇腾合作打造的“天舟”大模型一体机等。报告期内,云天励飞还推出了融合“云天天书”多模态大模型能力的警务安全智能终端,具备万物识别、自然语言检索、警务知识咨询等功能,可全面助力基层警务人员提升执法水平。

此外,云天励飞还收购了智能穿戴方案设计头部公司岍丞技术。岍丞技术主要产品包括智能蓝牙耳机PCBA、智能手表PCBA、智能音箱PCBA等IoT产品,主要应用在华为、荣耀、OPPO、VIVO、安克、boAt、Noise等品牌的终端产品上。行业领先企业对于“大模型+智能可穿戴”相关产品的积极探索和加速布局,也使得边缘AI赋能下游终端应用渐呈百花齐放。

自研大模型+自研芯片是云天励飞边缘AI业绩增长底气

智慧行业是边缘AI可发挥作用的重要领域之一。从云天励飞半年报可见,目前云天励飞已形成了城市治理、智慧交通、智慧应急、智慧城管、智慧园区、智慧社区、智慧泛商业、智慧道路巡检、智慧警务、低空经济、智慧教育等行业产品与解决方案体系,并结合多模态大模型技术特点和行业需求,持续拓展创新业务。

另一主营业务智算运营也是相当发展前景的潜力股。今年 6 月,云天励飞与德元方惠签署AI算力运营合作协议。德元方惠将向云天励飞购买AI训练及推理异构算力服务,总算力规模约4000 PFLOPS,该协议在未来三年服务期内将为云天励飞贡献约 16 亿的营收。

无论是智慧行业,还是智算运营,想要在边缘AI领域有所建树,都离不开成熟的大模型技术以及性能足够强大的芯片支持。

以大模型为例,云天励飞自主研发了千亿级大模型“云天天书”。今年中国信通院发布《 2024 大模型示范应用案例》,云天励飞与深圳市龙岗区打造的数字政务行业大模型入选。在智慧交通和智慧警务解决方案中,云天天书大模型助力城市实现了交通的智能调控以及公共安全事件的有效预防;在智慧商业领域,大模型通过分析客流动线等信息,为商业智能体的运营决策提供了有力支撑;在智慧教育方面,云天励飞提出了 Fly计划,致力于构建全面、立体的人工智能教育生态系统。

再以芯片为例,云天励飞去年底发布了大模型推理芯片DeepEdge10;今年推出采用D2D Chiplet技术,基于DeepEdge10 芯片平台打造的大算力芯片DeepEdge200,并打造了IPU-X6000 加速卡,可应用于语言、视觉、多模态等各类大模型的推理加速,目前已适配云天天书、通义千问、百川智能、Llama2/ 3 等近 10 个主流大模型。

可以预见,未来云天励飞会利用这些技术优势,将自研大模型与自研芯片更好结合,进一步促进行业边缘AI发展。

长远来看,我们必将进入一个由云端AI+边缘AI的混合式AI时代。而在这一过程中,离不开边缘AI的重要支撑。目前,无论是从自动驾驶、机器人/具身智能到 AI PC/phone,基于设备端智能化的边缘 AI 正逐步发展壮大,并显现出蓬勃发展的积极活力。显然,把握边缘AI的发展趋势,加速其技术与产业的深度融合,将是推动未来智能科技革命的重要力量。而如何更好地制订边缘AI战略,在这一过程中分到更多的蛋糕,正是业内应该深入思考的重要议题。




推广

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 大家在看
  • Anon:AI助手,隐私保护

    Anon是一个注重隐私的AI助手,类似于ChatGPT,但默认提供隐私保护。它允许用户在不登录、无追踪的情况下自由使用,所有对话都保留在本地设备上。Anon由先进的技术如Llama 3.1 405B和FLUX提供支持,旨在为用户提供一个安全、私密的AI对话环境。

  • PodcastWorld:AI驱动的播客对话搜索引擎

    PodcastWorld是一个利用人工智能技术,通过分析数百万播客对话来帮助用户找到所需答案的搜索引擎。用户可以询问问题,并直接收听播客中回答该问题的确切片段。这个平台不仅提供了一个与播客内容互动的新方式,还通过聊天功能,使用户能够与播客创作者进行更深入的交流。PodcastWorld通过提供播客摘要、音频片段和完整的对话记录,满足了用户对信息获取和知识分享的需求。

  • Chat with your Database:与数据库对话,用自然语言查询数据。

    Chat with your Database 是一个创新的数据库交互工具,它允许用户通过自然语言与Postgres数据库进行交互。利用AI技术,用户可以轻松地查询、分析和操作数据库,而无需编写复杂的SQL代码。该产品支持开源,鼓励社区参与开发和贡献,代码在GitHub上公开,用户可以自由探索、贡献或定制以满足特定需求。

  • AI Comic Factory.ai:在线AI漫画生成器,快速将创意转化为漫画故事。

    AI Comic Factory是一个创新的在线平台,旨在帮助用户轻松创建独特的漫画。用户可以通过输入描述性的提示或上传图片来生成各种风格的漫画,包括角色、场景和对话的选项。该平台提供定制选项,如版式布局、角色设计和对话生成,以增强漫画的视觉效果。凭借用户友好的步骤和可调设置,实现高质量的结果变得简单。无论是个人娱乐还是创意项目,AI Comic Factory都使得漫画创作过程变得高效且愉快。

  • AutoArena:自动化的生成式AI评估平台

    AutoArena是一个自动化的生成式AI评估平台,专注于评估大型语言模型(LLMs)、检索增强生成(RAG)系统和生成式AI应用。它通过自动化的头对头判断来提供可信的评估,帮助用户快速、准确、经济地找到系统的最佳版本。该平台支持使用来自不同供应商的判断模型,如OpenAI、Anthropic等,也可以使用本地运行的开源权重判断模型。AutoArena还提供了Elo评分和置信区间计算,帮助用户将多次头对头投票转化为排行榜排名。此外,AutoArena支持自定义判断模型的微调,以实现更准确、特定领域的评估,并可以集成到持续集成(CI)流程中,以自动化评估生成式AI系统。

  • GodmodeHQ:销售和市场营销AI,自动增长您的业务。

    GodmodeHQ是一个AI驱动的销售和市场营销平台,旨在通过自动化的方式帮助企业提高销售效率和市场覆盖。它通过集成多个B2B数据库,利用自然语言处理技术,帮助用户寻找和验证潜在客户,生成个性化的营销信息,并管理整个销售流程。产品的主要优点包括节省时间、提高销售团队的工作效率、以及通过个性化的营销信息提高转化率。GodmodeHQ的背景信息显示,它是由一群对销售和市场营销有深刻理解的团队开发的,旨在解决传统销售过程中的痛点,如寻找潜在客户、客户资格审查、个性化营销等。产品的价格策略是免费试用,之后根据功能的不同,提供不同的付费套餐。

  • Echo:使用AI整理和提炼你的想法的语音和文本笔记应用

    Echo是一款结合了人工智能技术的语音和文本笔记应用,它通过AI技术帮助用户组织和提炼思考。Echo利用GPT-4o大型语言模型进行转录、回忆和洞察力生成,能够准确转录用户的语音输入,并根据用户过去的想法提供有意义的答案,使日记体验更具互动性和吸引力。该产品注重隐私和安全性,笔记加密,不查看用户数据,也不使用数据训练AI,遵循行业最佳实践进行数据保护。目前Echo处于免费测试阶段,未来计划引入高级功能。

  • JobJump:个性化AI面试助手,助你在面试中脱颖而出。

    JobJump - AI Interview Copilot是一款专为求职者设计的Chrome插件,它通过人工智能技术提供个性化的面试辅导。这款插件能够识别面试官的问题,并即时生成定制化的答案提示,帮助用户更自信地回答问题。它支持50多种面试语言,并针对200多个行业和角色进行了定制化。JobJump插件易于安装和使用,用户可以通过Google账号注册并免费开始使用。它适用于多种在线面试平台,能够帮助用户在面试中更好地展示自己,提高获得理想工作的机会。

  • Coverr AI Workflows:利用AI技术提升视频创作效率

    Coverr AI Workflows是一个专注于AI视频生成的平台,提供多种AI工具和工作流程,帮助用户通过简单的步骤生成高质量的视频内容。该平台汇集了AI视频专家的智慧,通过社区分享的workflows,用户可以学习如何使用不同的AI工具来创作视频。Coverr AI Workflows的背景是基于人工智能技术在视频制作领域的应用日益广泛,它通过提供易于理解和操作的工作流程,降低了视频创作的技术门槛,使得非专业人士也能创作出专业级别的视频内容。Coverr AI Workflows目前提供免费的视频和音乐资源,定位于满足创意工作者和小型企业的视频制作需求。

  • Emploio:AI驱动的员工成长平台

    Emploio是一个利用人工智能技术来支持个人成长、增强职业发展,并培养一个充满活力的工作场所文化的平台。它通过提供AI驱动的洞察力来最大化团队潜力,帮助企业跟踪员工成长和团队表现,分享跨部门的洞察力,并构建完美的团队。此外,Emploio还提供一对一的协助,确保每个团队成员都能获得成功所需的指导。它还可以与日常使用的工具集成,优化生产力,并通过统一的仪表板与团队保持联系。

  • Handinger:从互联网提取数据的简单且经济的方式

    Handinger是一个提供数据提取服务的网站,它允许用户通过HTTP端点轻松提取网页内容,包括Markdown、截图、元数据和HTML等格式。这种服务对于训练大型语言模型、存储内容或获取网页特定内容非常有用。Handinger的价格非常低廉,每URL的成本仅为0.0005美元,且每月前2000个URL免费,没有前期成本,也无需复杂的API积分。该服务支持所有类型的网站,并且为用户提供了慷慨的速率限制,每分钟可进行1000次请求。

  • 笔灵AI小说生成器:智能AI辅助小说创作工具

    AI小说生成器是一个专为小说创作者设计的智能AI辅助工具,它通过提供各种写作模板、灵感词库、人物设定、剧情生成等功能,帮助作者快速构思和创作小说。该产品背景信息显示,它由上海简办网络科技有限公司开发,旨在解决作者在创作过程中遇到的灵感枯竭、写作效率低下等问题。产品的主要优点包括丰富的写作模板、AI智能生成和改写功能、以及对不同小说类型的全面支持。价格方面,产品提供终身会员服务,每月只需极低的费用,性价比极高。

  • Swarm:多智能体系统构建、编排和部署框架

    Swarm是由OpenAI Solutions团队管理的实验性框架,旨在构建、编排和部署多智能体系统。它通过定义智能体(Agent)和交接(handoffs)的抽象概念,实现了智能体之间的协调和执行。Swarm框架强调轻量级、高可控性和易于测试,适用于需要大量独立功能和指令的场景,允许开发者拥有完全的透明度和对上下文、步骤和工具调用的细粒度控制。Swarm框架目前处于实验阶段,不推荐在生产环境中使用。

  • AI Hairstyle:AI驱动的发型变换和发色更换工具

    AI 发型是一个在线平台,利用人工智能技术为用户提供个性化的发型和发色更换体验。用户可以通过上传自己的照片,尝试不同的发型和颜色,无需实际剪发或染发即可预览效果。该平台的AI技术能够分析用户的面部特征,推荐最适合的发型和颜色,帮助用户在做出实际改变前做出更明智的决定。AI 发型的主要优点包括:个性化推荐、真实预览效果、云端存储生成的图片、用户友好的界面以及多种发型和颜色选择。产品背景信息显示,AI 发型已经拥有超过10K+用户和2M+生成的发型数量,显示了其受欢迎程度。价格方面,AI 发型提供免费计划,同时也提供不同级别的付费计划,以满足不同用户的需求。

  • Enjoy App:AI辅助的英语学习应用,专注发音训练和记忆提升。

    Enjoy App是一款专注于英语学习的应用程序,它通过AI技术帮助用户纠正发音,提供学习记录跟踪,并利用丰富的在线素材进行语言学习。该应用提倡直接上手学习,忽略繁琐的方法论,旨在通过1000小时的专注训练帮助用户掌握英语技能。它支持音频和视频的可视化跟读,AI自然对话,以及记忆增强系统,是学习英语的有力工具。Enjoy App的价格策略是按使用功能计费,新用户有初期余额,之后可以通过充值享受更多服务。

  • AI视频生成神器:利用AI技术快速生成视频内容

    AI视频生成神器是一款利用人工智能技术,将图片或文字转换成视频内容的在线工具。它通过深度学习算法,能够理解图片和文字的含义,自动生成具有吸引力的视频内容。这种技术的应用,极大地降低了视频制作的成本和门槛,使得普通用户也能轻松制作出专业级别的视频。产品背景信息显示,随着社交媒体和视频平台的兴起,用户对视频内容的需求日益增长,而传统的视频制作方式成本高、耗时长,难以满足快速变化的市场需求。AI视频生成神器的出现,正好填补了这一市场空白,为用户提供了一种快速、低成本的视频制作解决方案。目前,该产品提供免费试用,具体价格需要在网站上查询。

  • AI答案生成器:免费无需注册的智能问答系统,为营销人员提供AI驱动的洞察和解决方案。

    AI答案生成器是一个专为营销人员设计的智能问答系统,它利用先进的人工智能技术,为用户提供关于数字营销趋势和策略的最新信息。该产品的主要优点包括免费使用、无需注册、用户友好界面、精确的语言模型、独特和创意的答案以及节省时间的解决方案。它适用于SEO优化、社交媒体内容规划、电子邮件营销等多种营销需求,帮助用户提高工作效率,快速生成营销策略和内容创意。

  • 派欧算力云:AI云端一体化解决方案,提供模型API、Serverless和GPU租赁服务。

    派欧算力云是一个一站式AIGC云服务平台,提供高性价比的GPU基础设施和无缝集成的最前沿AI推理技术。它全面覆盖不同业务阶段的AI需求,加速业务发展。派欧算力云的主要优点包括:高性能的云服务产品、无需管理和运维GPU基础设施、自动弹性扩缩容、全球覆盖的GPU容器实例、7X24小时客户服务。产品背景信息显示,派欧算力云旨在为AI应用开发者提供强大的算力支持,降低开发成本,提高开发效率。

  • FLUX.1-dev-LoRA-One-Click-Creative-Template:一键式创意图像生成模型

    FLUX.1-dev-LoRA-One-Click-Creative-Template 是一个基于 LoRA 训练的图像生成模型,由 Shakker-Labs 提供。该模型专注于创意照片生成,能够将用户的文本提示转化为具有创意性的图像。模型使用了先进的文本到图像的生成技术,特别适合需要快速生成高质量图像的用户。它是基于 Hugging Face 平台,可以方便地进行部署和使用。模型的非商业使用是免费的,但商业使用需要遵守相应的许可协议。

  • rag-chatbot:一个可以本地与多个PDF文件进行对话的聊天机器人。

    rag-chatbot是一个基于人工智能技术的聊天机器人模型,它能够让用户通过自然语言与多个PDF文件进行交互。该模型使用了最新的机器学习技术,如Huggingface和Ollama,来实现对PDF内容的理解和回答生成。它的重要性在于能够处理大量文档信息,为用户提供快速、准确的问答服务。产品背景信息表明,这是一个开源项目,旨在通过技术创新提升文档处理的效率。目前该项目是免费的,主要面向开发者和技术爱好者。

今日大家都在搜的词: