首页 > 关键词 > 量化模型最新资讯
量化模型

量化模型

元象大模型开源了30款量化版本,支持vLLM和llama.cpp等主流框架的量化推理,无条件免费商用。对量化前后的模型能力、推理性能进行评估,以XVERSE-13B-GPTQ-Int4量化版本为例,量化后模型权重压缩了72%,总吞吐提高了1.5倍,同时保留了95%的能力。元象大模型的开源量化版本提供了方便快捷的部署方式,可以根据需求选择不同的框架和精度模型进行部署和推理。...

特别声明:本页面标签名称与页面内容,系网站系统为资讯内容分类自动生成,仅提供资讯内容索引使用,旨在方便用户索引相关资讯报道。如标签名称涉及商标信息,请访问商标品牌官方了解详情,请勿以本站标签页面内容为参考信息,本站与可能出现的商标名称信息不存在任何关联关系,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述反馈文件后,将会依法依规核实信息,第一时间沟通删除相关内容或断开相关链接。

与“量化模型”的相关热搜词:

相关“量化模型” 的资讯4359篇

  • 元象大模型开源30款量化版本 可更低成本部署

    元象大模型开源了30款量化版本,支持vLLM和llama.cpp等主流框架的量化推理,无条件免费商用。对量化前后的模型能力、推理性能进行评估,以XVERSE-13B-GPTQ-Int4量化版本为例,量化后模型权重压缩了72%,总吞吐提高了1.5倍,同时保留了95%的能力。元象大模型的开源量化版本提供了方便快捷的部署方式,可以根据需求选择不同的框架和精度模型进行部署和推理。

  • 让大模型“瘦身”90%!清华&哈工大提出极限压缩方案:1bit量化,能力同时保留83%

    对大模型进行量化、剪枝等压缩操作,是部署时最常见不过的一环了。这个极限究竟有多大?清华大学和哈工大的一项联合研究给出的答案是:90%。作者进一步分析了这种极低比特量化模型的能力和前景,并为未来的研究提供了指导。

  • LQ-LoRA:通过低秩量化矩阵分解实现高效的语言模型微调

    在人工智能领域,大语言模型的迅速发展已经改变了机器与人之间的互动方式。将这些庞大的语言模型适应新数据集时面临内存和费用的挑战。LQ-LoRA标志着语言模型领域的一个重要转折,其内存高效适应和数据感知考虑,以及动态量化参数调整,有望引领人工智能领域的变革。

  • 零一万物Yi-34B-Chat微调模型及量化版开源

    11月24日,零一万物基正式发布并开源微调模型Yi-34B-Chat,可申请免费商用。零一万物还为开发者提供了4bit/8bit量化版模型,Yi-34B-Chat4bit量化版模型可以直接在消费级显卡上使用。Yi系列模型已在ModelScope社区开源,开发者可以在社区中下载、推理和训练这些模型。

  • 亚马逊研究人员推 Fortuna:提高模型预测准确性和量化不确定性能力

    人工智能和机器学习领域的最新进展使人们的生活变得更加便利。凭借其令人难以置信的能力,人工智能和机器学习正在涉足各个行业并解决问题。Fortuna为模型预测的不确定性量化提供了一个一致的框架,无疑是机器学习领域中的一个有用的补充。

  • 低成本轻量化大模型部署方案:Giiso大模型一体机

    人工智能已经成为当今世界的主流技术,引领各领域创新。大模型兴起,实现自动化决策,对社会、数字系统产生深远影响。无论是处理常见问题还是解决复杂的疑问,智能客服都可以为用户提供更便捷、高效的客户支持体验。

  • 智源团队Aquila2-34B双语对话模型推出Int4量化版本

    智源团队最近发布了中英双语基础模型Aquila2-34B和中英双语对话模型AquilaChat2-34B。这两个模型在中英双语主/客观综合评测中表现优秀,超过了其他全球开源模型,包括LLama-70B等。通过使用Int4量化和QLoRA微调技术,用户可以在低资源环境中运行大参数模型。

  • 联发科宣布与 OPPO ColorOS 合作 共建轻量化大模型端侧部署方案

    MediaTek携手@OPPO@ColorOS,合作共建轻量化大模型端侧部署方案,共同推动大模型能力在端侧逐步落地。图片来自@联发科技官方微博MediaTek先进的AI处理器APU与AI开发平台NeuroPilot,构建了完整的终端侧AI与生成式AI计算生态,可加速边缘AI计算的应用开发与落地,强化大语言模型和生成式AI应用的性能。OPPO此前表示,未来,该模型将持续加持OPPO智能助手小布的AI能力,逐步应用于更多

  • 蚂蚁集团开源代码大模型CodeFuse-CodeLlama-34B 4bits量化版本

    蚂蚁集团代码大模型CodeFuse-CodeLlama-34B4bits量化版本发布。CodeFuse-CodeLlama-34B-4bits是CodeFuse-CodeLlama-34B模型的4bits量化版本,后者是通过QLoRA对基座模型CodeLlama-34b-Python进行多代码任务微调得到的代码大模型,模型输入长度为4K。CodeFuse是蚂蚁自研的代码生成专属大模型,根据开发者的输入提供智能建议和实时支持,帮助开发者自动生成代码、自动增加注释,自动生成测试用例,修复和优化代码等,以提升研发效率。

  • 中国科学院团队首篇LLM模型压缩综述:细聊剪枝、知识蒸馏、量化技术

    随着LLM的突破性工作逐渐放缓,对于如何让更多人使用LLM成为时下热门的研究方向,模型压缩可能是LLM未来的一个出路。此前OpenAI首席科学家IlyaSutskever表示可以通过压缩的视角来看待无监督学习。常用基准包括但不限于HULK和ELUE。

    LLM
  • 雷军:小米大模型技术未来主要突破方向是「轻量化、本地部署」

    小米新品发布会昨晚在北京国家会议中心举行,小米集团创始人、董事长兼CEO雷军第四次做年度公开演讲,分享了他在过去36年中,几次关键成长的经历和感悟。在发布会上,雷军正式宣布小米科技战略升级,并公布了小米的科技理念:选择对人类文明有长期价值的技术领域,坚持长期持续投入。小米也公布了其「MiLM-6B」大模型,在「C-EVAL榜单」、「CMLLU榜单」的百亿内参数大模型中排名第一。

  • 探秘懿元3D OFD模型轻量化处理

    懿元3D+OFD由湖南华自卓创智能技术有限公司研发,已于+2023+年+3+月+3+日正式全球首+发。+懿元3D+OFD以国家标准OFD版式文件为底座,与国产自主定义3D轻量化中性容器数据格式相结合,致力于打造为新一代交互式版式文件。懿元3D+OFD经过自研AMRT三维模型格式加持,定会在版式文件带来全新的交互体验。

  • 量化派入选证券日报“2023ESG先锋践行者案例”,践行科技向善

    近年来,在“双碳”战略大浪潮下,ESG发展越来越受到社会各界的广泛关注。一方面,监管政策快速跟进,对企业履行ESG理念不断提出新要求;另一方面,金融市场积极拥抱ESG理念,越来越多的投资者将ESG作为企业可持续发展能力的衡量指标。近期,由《证券日报》社主办、国新咨询协办的首届“2023环境、社会及公司治理发展交流大会”在北京举办。会上,《中国式现代化背景

  • 量化派创始人&CEO周灏获评2023数字经济年度人物奖

    近日,由数央网、数央公益联合国内众媒体共同举办的STIF2023第四届国际科创节暨DSC2023国际数字服务大会(数服会)在北京举行。在大会现场,正式公布了三十项奖项的STIF奖项评选结果。其中,量化派荣获2023年度数字经济影响力品牌奖,同时,量化派的创始人兼CEO周灏也荣获2023数字经济年度人物奖。据悉,本届STIF线上线下汇聚了1000余位科技创新和数智化领域的参会代表,300

  • 德邦证券在深圳拉开“乘长会客厅”的序幕,深入讨论量化投资机会

    德邦证券与非凸科技共同主办了深圳峰会,深入讨论了量化投资的机会和生态伙伴关系。巨量均衡、海浦投资、光大期货、澎湃基金、拓璞投资、深圳本地资本等管理人员和资方出席了会议。在数字化的大环境下,非凸科技将会不断地对用户的需求进行更深层次的了解,向用户提供优质的产品、解决方案和服务,坚持以技术为核心,做好支持工作,帮助行业伙伴在新的时代中不断发展。

  • 旷视科技天元 MegEngine 开源 CUDA INT4 量化源码实现

    当下人工智能技术正加速发展,渗透到云、边、端和应用的各个层面,与海量IoT设备进行深度融合,不断拓展应用场景。然在AIoT场景中,嵌入式设备往往算力有限,难以承载庞大的AI模型。旷视将继续支持和拥抱开源,并将自身在开源领域积累的技术和经验与业界共享,推动人工智能技术创新和行业发展。

  • 科技驱动的数字服务业态,量化派入选2023年中国产业电商“百强榜”

    近日,“一带一路”TOP10影响力社会智库网经社电子商务研究中心联合网经社产业电商台发布《2023年中国产业电商“百强榜”》。榜单根据行业分为:综合B2B、钢铁电商、塑化电商、纺服B2B、印包电商、快消品B2B、工业品电商、元器件电商、农业B2B、批发电商、建材家装、其他B2B及B2B服务商等进行分类构成共100家企业,上榜企业均为各领域的国内领先平台。其中,作为中国领先�

  • 量化派不忘初心,荣获“2023年度责任科技公司”奖项

    近期,以“共创责任现代化”为主题,汇集了众多行业大咖、领导、专家学者、社会组织、企业代表、媒体领 袖等各界嘉宾的第六届社会责任大会暨“ 2023 奥纳奖颁奖典礼”在北京召开,大会隆重发布了“2023SRC·HONOUR”奖的荣誉榜单,共有 167 家企业脱颖而出,在“影响力”“责任感”“可持续”“公益性”等方面充分展现了它们履行社会责任的担当,发挥示范引领作用。其�

  • 量化派为数字经济发展贡献力量,入选界面新闻2023“REAL 100创新家”

    2023年,科技与商业的迭代发展速度依然强劲,并显露出愈加猛烈的未来潜力。在全球创新舞台上,中国的创新者们阔步前行,以迎接新一代信息技术与先进制造技术的融合发展。作为一家以AI技术为核心驱动的流量运营科技公司,量化派通过领先的AI科技能力、便捷的数字化线上场景和丰富的流量运营经验,为各行各业的企业完成线上流量的引入和智能分发工作,已与众多企业和机构客户达成深度业务合作,亦致力与合作伙伴一同打造更具活力的共赢生态,通过场景化数字赋能美好生活,推动数字经济可持续发展。

  • 数字科技助力消费产业变革,量化派荣登AIGC TOP30榜单

    2023 消费产业独角兽峰会在北京圆满落幕,这场由蓝鲨消费联合新浪财经、新潮传媒及 60 余家一线消费VC和CVC投资机构共同发起的盛会,不仅汇聚了消费行业的精英,更展示了消费的力量和未来的趋势。峰会上,著名经济学家、泽平宏观创始人任泽平以“我们都是时代的产物,都被时代洪流裹挟着,大家要顺势而为,选择优于努力”为主题,分享了他的洞见。他认为,在数字经

  • 华为实现全国首个省域轻量化5G全网覆盖:较4G可提升10倍 功耗低20%

    近日天津移动联合华为,全网开通5GRedCap特性,将天津打造成全国首个省域RedCap物联之城。作为3GPPR17协议中面向中高速物联的关键技术,RedCap被业内称为轻量化的5G。RedCap可降低80%的5GeMBB模组成本,终端功耗较4G可降低20%,网络容量较4G可提升10倍以上。

  • 量化派登榜界面新闻2023“REAL 100创新家”

    以“AI时代·智未来”为主题,界面新闻在北京举办了第三届REAL科技大会。界面新闻发布了“REAL100创新家”“REAL100创新机构”“REALCompany”三大榜单。作为数字浪潮下的“先行者”,量化派也将继续秉承“数字驱动世界,智能点亮生活”的企业使命,始终以“创新者”姿态,以前沿科技为产业数字化赋能。

  • 千峰竞秀,量化派获2023千峰奖产业数字科技TOP30

    作为产业互联网领域年度风向标会议, 2023 亿邦产业互联网年会于 12 月 1 日在上海举办,会议同期还发布了《 2023 产业互联网发展报告》。当天晚,在 2023 亿邦产业互联网年会千峰之夜颁奖晚宴上,在一百余位产业互联网企业决策人、投资人及业界人士的共同见证下, 2023 产业互联网千峰奖正式揭晓。本届千峰奖主题为“谁在重构产业链”,企业分为数字供应链、产业数字科�

  • 量化派:用科技赋能民生,让生活更美好

    随着数字化时代的到来,人工智能作为数据经济的主要产业之一,正引领着全球范围内的技术创新和经济转型。在数字经济发展的大趋势下,国家的支持进一步促进了包括人工智能在内核心科技的应用,近些年来,包括人工智能在内的数字技术也已经开始在企业发展的各个环节当中发挥巨大作用,消费、汽车、电商、外卖等行业都能看到数字技术的缩影。未来量化派的价值链及解决方案产品将继续扩充,通过应用场景的创新与实体经济深度融合,构建价值链生态,促进人工智能产业生态的内部开放与外部协同,以科技赋能民生。

  • 这项AI研究引入 Atom:一种低位量化技术,可实现高效、准确LLM服务

    大型语言模型是人工智能领域最新的引入,已经席卷全球。这些模型以其令人难以置信的能力,被人们广泛使用,无论是研究人员、科学家还是学生。对Atom的性能进行了全面评估,结果显示Atom极大地提高了LLM服务的吞吐量,吞吐量增益最多可达到7.7倍,同时仅有微小的准确性损失。

  • 量化派接连获奖,自身优势正不断增进

    在数字经济的大潮中,国家对人工智能等核心技术的支持推动了实体行业的数字化转型。人工智能等数字技术在消费、汽车、电商和外卖等行业得到了广泛应用,成为这些行业发展的缩影。量化派始终秉承“数字驱动世界智能点亮生活”的使命,坚持以技术创新为本,以优质服务为链接,致力于成为全球领先的场景化数字赋能公司。

  • 当代婚礼观:百合佳缘报告指引婚礼轻量化和个性化新趋势

    2023年11月13日,百合佳缘集团发布了最新的婚恋观调查报告,《那些关于婚礼的小九九》。这份《报告》通过深入调研20-40岁未婚人群,从“办不办婚礼?”、“如何办婚礼?”、“关于份子钱”等多个层面,全面揭示了当代社会婚礼的各种“盘算”和最新趋势。旗下包含了艾恩、汇爱、喜铺、喜庄、爱菲尔、星享非凡、蘭club和百合爱旅八大核心品牌,业务全面覆盖海外婚礼、个性化订制婚礼、婚礼堂婚礼等婚嫁全产业链服务,同时还可根据B端和C端用户不同需求提供定制化服务,可以完全满足不同消费者的多样性需求。

  • 盲订两天破10000!星纪魅族首款轻量化AR智能眼镜官宣新功能:真无线

    魅族在10月30日正式官宣了首款轻量化AR智能眼镜,上线两天盲订订单量就突破了10000,非常火爆。官方对于新品再度预热,剧透该机将支持真无线连接,主打无牵无挂”更轻量化的双模真无线,在极致的重量控制下,提供更全面的无线通讯功能。作为星纪魅族集团推出的全新智能产品品类,可以期待后续它与魅族手机及Flyme生态的深度协同,以及更多出色功能的亮相。

  • 华为这次又领先了 工信部发文推进5G轻量化技术演进

    工信部近日印发《关于推进5G轻量化技术演进和应用创新发展的通知》,推进5GRedCap技术演进、产品研发及产业化,促进5G应用规模化发展。《通知》提出,到2025年,5GRedCap产业综合能力显著提升,新产品、新模式不断涌现,融合应用规模上量,安全能力同步增强。全球已有7个国家超过10家运营商完成RedCap商用试点,连接数有望在未来三年突破1亿。

  • 小天才携手中国移动产业伙伴联合发布《5G轻量化可穿戴类终端技术要求白皮书》

    金秋10月,以“算启新程智享未来”为主题的2023中国移动全球合作伙伴大会于10月11-13日在广州保利世贸博览馆举办。小天才作为中国移动战略合作伙伴,受邀参加本次大会。依托于20余年在智能产品科技研发、精密制造、供应链管理、品质严控、海量用户大数据和持续消费者研究方面的深耕与积淀,更具国际化视野的小天才将持续为全球消费者提供令人向往的高品质产品与服�