首页 > 业界 > 关键词  > GLM130最新资讯  > 正文

不输ChatGPT 国产AI大模型开测:为中文优化、支持国产CPU训练

2023-03-15 09:30 · 稿源: 快科技

ChatGPT今天升级了GPT-4模型AI能力更加强大,国内在这方面也在迅速追赶,有国歌国产版ChatGPT问世了,现在清华大学教授唐杰宣布由该校AI成果转化的ChatGLM开始内测。

据介绍,对话机器人 ChatGLM(alpha内测版:QAGLM),这是一个初具问答和对话功能的千亿中英语言模型, 并针对中文进行了优化,现已开启邀请制内测,后续还会逐步扩大内测范围。

不输ChatGPT 国产AI大模型开测:为中文优化、支持国产CPU训练

与此同时,继开源 GLM-130B 千亿基座模型之后,我们正式开源最新的中英双语对话 GLM 模型: ChatGLM-6B,结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。

经过约 1T 标识符的中英双语训练,辅以监督微调、 反馈自助、人类反馈强化学习等技术的加持,62 亿参数的 ChatGLM-6B 虽然规模不及千亿模型,但大大降低了用户部署的门槛,并且已经能生成相当符合人类偏好的回答。

ChatGLM 参考了 ChatGPT 的设计思路,在千亿基座模型 GLM-130B1中注入了代码预训练,通过有监督微调(Supervised Fine-Tuning)等技术实现人类意图对齐。

ChatGLM 当前版本模型的能力提升主要来源于独特的千亿基座模型 GLM-130B。它是不同于 BERT、GPT-3 以及 T5 的架构,是一个包含多目标函数的自回归预训练模型。

2022年8月,我们向研究界和工业界开放了拥有1300亿参数的中英双语稠密模型 GLM-130B1,该模型有一些独特的优势:

双语:同时支持中文和英文。

高精度(英文):在公开的英文自然语言榜单 LAMBADA、MMLU 和 Big-bench-lite 上优于 GPT-3 175B(API: davinci,基座模型)、OPT-175B 和 BLOOM-176B。

高精度(中文):在7个零样本 CLUE 数据集和5个零样本 FewCLUE 数据集上明显优于 ERNIE TITAN 3.0 260B 和 YUAN 1.0-245B。

快速推理:首个实现 INT4 量化的千亿模型,支持用一台 4 卡 3090 或 8 卡 2080Ti 服务器进行快速且基本无损推理。

可复现性:所有结果(超过 30 个任务)均可通过我们的开源代码和模型参数复现。

跨平台:支持在国产的海光 DCU、华为昇腾 910 和申威处理器及美国的英伟达芯片上进行训练与推理。

2022年11月,斯坦福大学大模型中心对全球30个主流大模型进行了全方位的评测2,GLM-130B 是亚洲唯一入选的大模型。

在与 OpenAI、谷歌大脑、微软、英伟达、脸书的各大模型对比中,评测报告显示 GLM-130B 在准确性和恶意性指标上与 GPT-3 175B (davinci) 接近或持平,鲁棒性和校准误差在所有千亿规模的基座大模型(作为公平对比,只对比无指令提示微调模型)中表现不错(下图)。

不输ChatGPT 国产AI大模型开测:为中文优化、支持国产CPU训练

图1. 斯坦福大学基础模型中心对全球 30 个大模型的评测结果(2022年11月)

举报

  • 相关推荐
  • OpenAI最强模型!Gpt-5.6系列发布:Codex、ChatGpt Work智能体三合一

    OpenAI全面开放GPT-5.6系列模型,采用Sol、Terra、Luna三档分层体系,旗舰Sol在编程测试中刷出高分,相较竞品输出Token减少54%、耗时缩短57%,Terra性能打平上代旗舰但价格减半。同步上线ChatGPT Work原生智能体,可跨软件自主执行复杂任务,并整合独立编码工具Codex至统一桌面客户端,聊天、办公与代码开发一站汇聚。

  • 集运系统渗透率头部品牌!1300+集运同行为何认准易境通?

    易境通深耕跨境物流数字化十年,不靠烧钱获客,以技术打磨产品立足。自2014年推出首款微信集运系统,经11代迭代,已服务全球167国超2800家企业,仅集运系统客户就突破1300家,覆盖国内华南、华东、华北三大核心产业带。系统通过OCR、AI客服等技术,可降低80%人工耗时和约三成人力成本,并内置分销与会员体系,助力客户获客成本降至行业均值1/3、复购提升340%。凭借标杆地位,“做集运数字化优先考察易境通”已成行业共识。

  • 漫步者30周年免票音乐会6月13日开唱 京东直播间享好物限时半价

    漫步者30周年庆典音乐会将于6月13日在北京京东MALL南三环店举办,现场同步线上直播。活动三小时,特邀三位原创音乐人献唱潮汕方言、流行甜歌等多元曲风,现场扫码即可参与抽奖赢取蓝牙音箱等好礼。直播间半价开售热门音频产品,并提供红包雨、限时周边等福利。京东APP搜索“漫步者30年”一键参与,共贺盛典。

  • 综合续航1330km 小鹏MONA L03增程版将冲刺超千公里实测

    小鹏汽车安排了一场超级增程万里远征活动,一共六款增程车型从江西瑞金出发,沿路经过多种复杂路况,最终抵达延安。 其中MONA L03会单独完成超过一千公里的续航实测,直观展示实际续航能力。 这场实测直播定在6月30日早上7点半,感兴趣的小伙伴可以看看实测路况下车辆的能耗、续航和静音表现,直观了解这台面向年轻人的SUV真实实力。 这台车是MONA系列首款兼顾纯电�

  • 折叠屏平均一年贬值64.6%!iPhone Ultra一年后爆亏1300美元

    二手设备交易平台SellCell近期发布旗舰手机一年保值率调研数据,对比苹果、三星、谷歌、摩托罗拉、一加多款机型二手行情,得出折叠屏手机是所有手机品类中贬值速度最快的结论。 普通直板手机一年平均留存原价44.7%,折叠机型仅剩余35.4%,平均一年贬值64.6%。 购机用户平均亏损997.69美元,和普通旗舰手机近400美元的亏损差距十分明显。 市场普遍传闻苹果首款折叠iPhone命

  • 豆包正式上线三档付费订阅服务:高级版500元/月 低于ChatGPT

    豆包正式上线了三档付费订阅服务,档位定价分别为标准版68元每月、加强版200元每月、高级版500元每月。 报道中提到,这次付费体系落地之后,豆包全线产品已经整体接入最新的豆包2.1系列大模型,全链路的模型运行性能和内容输出质量都有明显提升。 官方同步确认普通免费用户的日常使用权益不会受到任何影响,业内传闻许久的豆包付费服务这只靴子,终于正式平稳落�

  • 第二轮涨价来袭 REDMI Note 15全系上涨300元 1399元起

    红米Note 15系列等今日调价,全系涨300元,K90标准版涨200元,为年内第二轮。因存储芯片涨价,内存价飙升近4倍。博主称国产手机将迎第二轮涨价潮,涨幅200-800元。消费者换机成本增加,厂商需平衡成本与定价。

  • AI日报:阿里发布HappyHorse 1.1;字节豆包灰测网约车服务;三星12万员工全面接入ChatGPT

    欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。新鲜AI产品点击了解:https://app.aibase.com/zh1、阿里巴巴发布HappyHorse 1.1 视频生成模型 多维度系统性升级阿里巴巴发布HappyHorse 1.1视频生成模型,实现多维度系统性升级,包括动态表现力、主体一致性、指令遵循、视觉质感

  • AI日报:iOS 27支持自由切换ChatGPT;百度文心网站全面扩容;Google Gemini 3.5 Flash发布

    苹果iOS 27为Siri引入独立应用并支持与ChatGPT自由切换。谷歌Gemini 3.5 Flash展示直接操控电脑能力。百度文心5.1发布,打造一站式AI入口。索尼PS6爆料将搭载AI帧生成等技术。腾讯Marvis实现全平台桌面级远控。Figma更新原生代码层等提升协作。影眸科技3D生成技术获英伟达认可与巨额融资。RoboScience发布具身大模型Visics,提升机器人泛化能力。

  • 奢侈定制品牌Caviar替苹果率先发布iPhone Ultra折叠机:售价10万起

    苹果官方尚未发布传闻中的折叠iPhone Ultra,但奢侈定制品牌Caviar已抢先推出Flagship限定系列,主打超高端定制市场。该系列基于供应链和网络泄露信息设计,共四款机型,每款全球限量19台。设计强调打破苹果常规色彩与材质局限,后盖均融入风格鲜明的立体浮雕苹果标识。其中Titan款售价约10万元,采用黑钛机身配鳄鱼皮;Dark Cherry款约10.3万元,以酒紫鳄鱼皮搭配24K金饰件;Silver款约11.1万元,上半部升级为纯银材质;定位最高的Gold款约11.3万元,中框镀24K金,背板浮雕Logo为18K实心金铸造。

今日大家都在搜的词:

热文

  • 3 天
  • 7天