首页 > 传媒 > 关键词  > 生成式AI最新资讯  > 正文

联发科天玑AI开发套件:加速大模型终端部署,从数周可加速到一天

2024-05-08 16:24 · 稿源: 站长之家用户

联发科天玑开发者大会2024(MDDC)在深圳盛大召开,以“AI予万物”为主题,汇聚了众多移动生态领域的领军企业和开发者。在本次大会上,与会者深入探讨了端侧生成式AI技术与生成式AI手机的未来发展,并分享了联发科的天玑AI生态战略。为助力终端生成式AI应用的研发,联发科推出了“天玑AI开发套件”。此外,联发科还携手业界生态伙伴共同发布了《生成式AI手机产业白皮书》,并向全球开发者推出“天玑AI先锋计划”,旨在定义生成式AI手机,推动移动生态的创新发展,并加速生成式AI技术的广泛应用。

目前,生成式AI应用的体验提升已成为行业与用户共同追求的目标,而智能终端则是实现生成式AI普及的关键途径。鉴于智能手机具有便携性、个性化、多模态感知及强大的AI算力和通信功能,它无疑成为端侧生成式AI应用落地的理想选择。随着生成式AI与智能手机的深度融合,智能手机迎来了继触控屏幕之后的又一次技术革新。在联发科等业界先锋的推动下,我们迎来了“生成式AI手机”的时代。

天玑AI开发套件,为广大开发者提供“快、全、强、易”的专业开发体验

很多开发者都面临着终端生成式AI应用开发起步期的多元挑战,联发科不仅研发出领先的天玑芯片,更重要的是,帮助开发者在搭载天玑芯片的终端上打造出更具创新性的生成式AI用户体验,从而推动整个AI新生态的繁荣与发展。会上,联发科隆重推出了“天玑AI开发套件”,为广大开发者提供终端生成式AI应用开发的一站式解决方案。天玑AI开发套件包含四大模块,包括快速有效的GenAI最 佳实践、覆盖全球主流大模型的GenAI Model Hub、有效提升性能的GenAI优化技术和Neuron Studio一站式视觉化开发环境等四大模块,为广大开发者提供“快、全、强、易”的专业开发体验,赋能终端生成式AI应用开发全流程。

其中,GenAI 最 佳实践,它可以提升大模型的终端部署速度,从原先的数周加速到一天即可完成部署。在模型的量化、编译、推理方面,为开发者提供先进的INT4量化技术、内存压缩技术、Token加速技术、最 优缓存配置,还可以开放端侧部署源码。让开发者在与时间赛跑的创新竞赛中,抢得先机,更好地把握创新机遇。

全面的GenAI Model Hub ,是联发科为开发者打造的模型库,目前已适配包括:Meta Llama、百川大模型、阿里云通义千问在内的全球主流大模型。开发者可以轻松获取并使用这些不断新增的大模型,进而大幅降低模型部署的难度和复杂性。

强大的GenAI优化技术,是生成式AI应用体验的关键。目前已导入了多项业界最 新、最快的软件优化技术,包括“推测解码加速”和“LoRA Fusion”等等,可显著提升AI应用的生成速度,功能包所占用的存储空间也可以大幅减少。

易用的Neuron Studio 集成开发环境,跳出传统的代码开发环境,可为开发者提供高度集成的,一站式、可视化开发环境 ,带来“所见即所得”般更易用的开发体验,让开发过程变得更加直观、易用。

目前天玑AI开发套件,已覆盖包括智能手机、智能汽车、物联网、个人电脑等智能终端设备,推动这些领域的AI应用快速创新和落地。

从应用落地成果来看,联发科凭借其优秀的AI平台能力,已携手阿里云通义千问、Cocos、Honor of Kings、虎牙直播、酷狗音乐、美图、全民K歌、RWKV、Soul、腾讯AI Lab、小红书等数十家生态伙伴共创体验更精彩的生成式AI应用。

联合产业伙伴发布《生成式AI手机产业白皮书》,共同定义“生成式AI手机”

在天玑开发者大会上,联发科联合Counterpoint并携手阿里云通义千问、百川大模型、虎牙、酷狗音乐、零一万物、OPPO、Soul、腾讯AI Lab、腾讯混元、vivo行业头部伙伴联合发布《生成式AI手机产业白皮书》,共同定义了“生成式AI手机”的概念和典型特征。《白皮书》提到:生成式AI手机是利用大规模、预训练的生成式AI模型,实现多模态内容生成、情境感知,并具备不断增强的类人能力。生成式AI手机开启了智能手机发展的新周期,长远看,智能手机将会发展为移动智能体。

同时,《白皮书》这样定义了生成式AI手机的典型特征:在未来,生成式AI手机将具备强大的AI算力,支持大模型的本地部署,或是通过云端协同的方式执行复杂的生成式AI任务,无需完全依赖云端服务器。同时将具备多模态能力,处理文本、图像、语音等多种形式的内容输入,以生成各种形式的输出,确保流畅、无缝的用户体验,设备能够以自然而直观的交互方式,快速响应用户的请求。而为了实现这一目标,生成式AI手机将需要强大的硬件支持,包括但不限于基于领先工艺和先进架构设计的移动计算平台,集成或者独立的神经网络运算单元(如APU/NPU/TPU),大容量和高带宽的内存,以及稳定和高速的连接,硬件级和系统级的安全防御。

从《白皮书》中可以预见,未来的手机将成为一个能够理解并预测用户需求、提供创造性解决方案的智能伙伴,搭载多个AI智能体的生成式AI手机将成为用户访问数字生态的超 级入口,端侧的AI应用将进入人们日常生活的购物、旅游、游戏等场景,扮演购物达人、私人顾问、互动NPC等专属角色,实现用户体验的优化与飞跃。

天玑AI先锋计划启动,助力开发者打造创新用户体验

然而目前,由于生成式AI模型积累不足、硬件多样移植难度大、开发界面不统一等问题,生成式AI普及仍面临由点向面发展的巨大挑战。为促进产业共创实现生态共赢,联发科在天玑开发者大会上联合阿里云、百川智能、传音、零一万物、OPPO、荣耀、vivo、小米面向全球开发者启动“天玑AI先锋计划”,提供基于模型化、算力化和软硬件等方面的开发资源和支持,并提供广泛的商业机遇。通过天玑AI先锋计划,开发者可以充分发挥天玑移动平台的优势,加速端侧生成式AI应用的开发与落地,为用户打造独具创新的AI体验。

为实现这一长期计划和全场景生成式AI愿景,联发科在大会上提出了天玑生态战略,从芯片、模型、应用三个层面,联合产业伙伴和开发者共同探索端侧AI技术路线,推进颠覆性的端侧AI应用和服务创新。

天玑9300+全大核旗舰亮相,AI芯更强

本届MDDC2024上,联发科还重磅发布旗舰5G生成式AI移动平台天玑9300+,以先进架构和强劲算力为生成式AI手机提供硬件支持。天玑9300+率先支持AI推测解码加速技术,同时支持天玑AI LoRA Fusion2.0技术,为用户带来高速和个性化的生成式AI体验。天玑9300+还支持AI框架ExecuTorch,可加速端侧生成式AI应用的开发进程。此外,这款旗舰芯支持多种前沿主流AI大模型,包括阿里云通义千问大模型、百川大模型、文心大模型、谷歌Gemini Nano、零一万物终端大模型、Meta Llama2& Llama3等。用一句话概括天玑9300+就是,不仅拥有卓越的全大核性能和低功耗设计,还具备多项业界领先的生成式AI技术,以及联发科与生态伙伴共创的优质游戏体验,无疑是当下生成式AI手机的优选。

可以看到,联发科展示了其前瞻性的技术领导力和卓越的产品优势,进一步揭示了其天玑生态战略的深远影响。此次大会标志着联发科在生成式AI产业的角色转变,从参与者晋升为引领者,并促进了生成式AI在端侧的发展和普及。与此同时,联发科与产业伙伴共同探索了生成式AI的新路径,为其未来的发展和应用奠定了坚实的基础。

推广

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 大家在看
  • JASCO:音乐生成模型,结合文本和音频条件进行控制。

    JASCO是一个结合了符号和基于音频的条件的文本到音乐生成模型,它能够根据全局文本描述和细粒度的局部控制生成高质量的音乐样本。JASCO基于流匹配建模范式和一种新颖的条件方法,允许音乐生成同时受到局部(例如和弦)和全局(文本描述)的控制。通过信息瓶颈层和时间模糊来提取与特定控制相关的信息,允许在同一个文本到音乐模型中结合符号和基于音频的条件。

  • prism-alignment:探索大型语言模型的偏好和价值观对齐。

    prism-alignment 是一个由 HannahRoseKirk 创建的数据集,专注于研究大型语言模型(LLMs)的偏好和价值观对齐问题。数据集通过调查问卷和与语言模型的多轮对话,收集了来自不同国家和文化背景的参与者对模型回答的评分和反馈。这些数据对于理解和改进人工智能的价值观对齐至关重要。

  • LoRA Studio:探索多样化的AI模型。

    LoRA Studio 是一个在线平台,提供多种AI模型供用户探索和使用。这些模型涵盖了从动漫风格到抽象艺术的不同领域,可以用于生成艺术作品、设计元素等。平台的主要优点包括模型多样性、用户友好的界面以及创意的无限可能性。

  • Unstract:无代码LLM平台,用于结构化非结构化文档。

    Unstract是一个无代码的LLM(大型语言模型)平台,它允许用户通过简单的无代码方法启动APIs和ETL管道来处理非结构化文档。它支持从多种云文件/对象存储系统中读取复杂文档,并将结构化数据写入流行的数据仓库和数据库。Unstract利用大型语言模型的能力,超越了传统的RPA(机器人流程自动化),实现了机器到机器的自动化。

  • Woy AI:2024年顶级AI工具目录

    Woy.ai是一个AI工具目录,提供2024年最新的AI工具列表。它为技术爱好者、开发者和企业提供了一个平台,以发现和利用人工智能的最新进展。

  • Sparkpage:AI驱动的新型网页,重构信息互动。

    Sparkpage 是由 Genspark 推出的革命性网页形式,致力于通过 AI 技术改善用户在线获取信息的方式。它通过内容蒸馏和整合,提供无商业影响和编辑偏见的丰富、可靠信息。内置的 AI 助手能够动态响应用户查询,提供个性化的见解和信息。

  • Helix Free User Persona Generator:生成用户画像,助力市场洞察

    Helix是一个专注于用户画像生成的在线工具,能够帮助企业或个人快速理解目标受众的特征和需求。它通过分析用户数据,生成详细的用户画像,帮助产品或服务更好地定位市场和用户。

  • Promoted:提升市场搜索、推荐和原生广告的排名

    Promoted是一个专注于市场搜索、推荐和原生广告排名的解决方案,通过先进的机器学习技术和大型语言模型搜索相关性AI技术,显著提升转化率和广告质量。它为市场平台提供了统一的搜索、推荐和广告服务,帮助企业实现更好的匹配和更高的收益。

  • Index-1.9B-Pure:轻量级大语言模型,专注于文本生成。

    Index-1.9B-Pure是Index系列模型中的轻量版本,专为文本生成而设计。它在2.8T的中英文语料上进行了预训练,与同等级模型相比,在多个评测基准上表现领先。该模型特别过滤了所有指令相关数据,以验证指令对benchmark的影响,适用于需要高质量文本生成的领域。

  • Index-1.9B-Character:19亿参数规模的角色扮演模型,支持few shots角色定制。

    Index-1.9B-Character是由Index团队自主研发的大型语言模型,专注于角色扮演领域,拥有19亿参数规模。该模型支持用户通过上传角色对话语料实现快速的角色定制,具备较高的角色一致性、对话能力和角色扮演吸引力。在CharacterEval权威benchmark评估中,整体均分排名第九,表现优于同量级模型。

  • Index-1.9B-Chat:基于19亿参数的对话生成模型

    Index-1.9B-Chat是一个基于19亿参数的对话生成模型,它通过SFT和DPO对齐技术,结合RAG实现fewshots角色扮演定制,具有较高的对话趣味性和定制性。该模型在2.8T中英文为主的语料上预训练,并且在多个评测基准上表现领先。

  • Llama3-70B-SteerLM-RM:70亿参数的多方面奖励模型

    Llama3-70B-SteerLM-RM是一个70亿参数的语言模型,用作属性预测模型,一个多方面的奖励模型,它在多个方面对模型响应进行评分,而不是传统奖励模型中的单一分数。该模型使用HelpSteer2数据集训练,并通过NVIDIA NeMo-Aligner进行训练,这是一个可扩展的工具包,用于高效和高效的模型对齐。

  • ComfyUI.org:开源AI工具,推动AI民主化。

    ComfyUI是一个开源AI模型,致力于推动AI工具的民主化和开源化。它由一个团队创建和维护,旨在为AI社区提供易于使用、安全和可靠的工具。ComfyUI支持通过各种工具,如节点管理器、节点注册表、命令行界面、自动化测试和公共文档来支持其生态系统。团队相信开源模型将在长期内胜过封闭模型,并致力于通过社区驱动的方式推动AI工具的发展。

  • Hedra:创造实验室,打造下一代人类叙事产品

    Hedra是一个创新的创造实验室,专注于将基础模型转化为产品,以驱动下一代的人类叙事技术。它提供了一个平台,让用户能够创造具有表达力和可控性的人物角色视频,并构建能够捕捉想象力的虚拟世界。Hedra的使命是通过提供完整的创意控制,让用户想象世界、角色和故事。

  • L4GM:4D重建模型,快速生成动画对象

    L4GM是一个4D大型重建模型,能够从单视图视频输入中快速生成动画对象。它采用了一种新颖的数据集,包含多视图视频,这些视频展示了Objaverse中渲染的动画对象。该数据集包含44K种不同的对象和110K个动画,从48个视角渲染,生成了12M个视频,总共包含300M帧。L4GM基于预训练的3D大型重建模型LGM构建,该模型能够从多视图图像输入中输出3D高斯椭球。L4GM输出每帧的3D高斯Splatting表示,然后将其上采样到更高的帧率以实现时间平滑。此外,L4GM还添加了时间自注意力层,以帮助学习时间上的一致性,并使用每个时间步的多视图渲染损失来训练模型。

  • Grazias:自动化收集和分享客户反馈。

    Grazias是一个免费的在线工具,用于自动化收集客户的推荐信,并集中管理这些推荐信,同时可以方便地在任何地方分享。它提供了一系列功能,包括简单的表单收集、自定义表单、自动跟进邮件以及详细的分析和图表,帮助企业更好地管理和利用客户反馈。

  • Olvy AI:客户反馈的智能管理助手

    Olvy AI是一个先进的客户反馈管理平台,它通过AI技术整合来自不同渠道的客户声音,包括调查、访谈、评论、支持票据和销售电话等,帮助企业快速获取洞察力。它通过自动化和智能化的方式,将客户反馈转化为可操作的见解,帮助企业做出更明智、更快速的决策。Olvy AI的主要优点包括提高团队生产力、节省时间、提供精准的数据驱动见解,以及保持与用户需求的紧密联系。

  • Aware:智能孕期社区应用

    Aware.ai Pregnancy App是一个为孕妇设计的智能社区应用,通过AI技术为孕妇提供个性化的社区推荐和资源。它通过匹配孕妇的背景和孕期目标,帮助她们找到合适的社区和资源,分享孕期故事和经验,并通过一对一连接获得其他孕妇的见解和建议。

  • VidAU:AI驱动的视频和音频生成平台,简化内容创作。

    VidAU AI Video & Audio Creator是一个AI驱动的视频和音频生成平台,它通过简化从构思到制作的整个内容创作过程,使得用户能够轻松创建引人入胜的视频。平台提供多种AI工具,包括视频更换、视频翻译、字幕翻译和去除、AI虚拟形象发言人以及文本转音频等功能,帮助用户提升视频内容的质量和吸引力。VidAU支持120多种语言的视频翻译,覆盖150多个国家,能够节省90%以上的视频制作时间。

  • The Prompt Report:系统性调研生成式AI的提示技术

    The Prompt Report 是一份系统性调研报告,专注于生成式人工智能(GenAI)的提示技术。它通过结合人类和机器的努力,从多个数据库中处理了4797条记录,提取出1565篇相关论文。报告提供了58种基于文本的技术,并补充了多模态和多语言技术的广泛集合。其目标是提供一个易于理解和实施的提示技术目录,并回顾了作为提示扩展的代理,包括评估输出和设计有助于安全性和安全性的提示的方法。此外,报告还应用提示技术在两个案例研究中进行了实践。

今日大家都在搜的词: