首页 > 业界 > 关键词  > 模型最新资讯  > 正文

Allen人工智能研究所推开源模型LLM OLMo 提供模型数据、训练代码等

2024-02-02 10:30 · 稿源:站长之家

站长之家(ChinaZ.com)2月2日 消息:Allen人工智能研究机构在Hugging Face和GitHub上发布了首个开放语言模型OLMo,意在通过提供数据、代码、模型和评估工具的开放访问,促进人工智能领域的共同研究。

这一举措的首批模型包括7B和1B规模的变体,覆盖不同架构和训练硬件,为未来更大规模、指令调整等模型的发布奠定基础。每个模型都提供全面的训练数据、权重、代码和评估工具,并在Apache2.0许可证下发布,鼓励合作构建全球最佳的开放语言模型。

image.png

截图来自官方

为了创建强大的开放模型,A12在设计中吸取了多个开放和部分开放模型的经验教训,包括EleutherAI的Pythia Suite、MosaicML的MPT模型、TII的Falcon模型和Meta的Llama系列。

对OLMo7B型号进行的评估显示,在生成任务和阅读理解上,它在许多任务上领先于Llama2,但在一些流行的问答任务上略显落后。通过与不同模型进行比较,OLMo展现出自己的优势和劣势,成为Llama2等流行模型的有力替代品。

在技术方面,OLMo的架构遵循了最新文献的趋势,包括不使用偏差、SwiGLU激活函数、Rotary位置嵌入(RoPE)等。通过一系列实验和调整,AI2发布了OLMo的第一个版本,并鼓励阅读技术报告以深入了解模型架构和培训方法。

未来,A12计划在OLMo家族中推出不同模型尺寸、模态、数据集、安全措施和评估方法,以共同构建全球最佳的开放语言模型。

OLMo的推出标志着AI2在开放研究领域的重要一步,其框架和模型的开放性为学者和研究人员提供了广泛的研究问题,推动了人工智能领域的不断发展。通过提供权重的开放访问,并鼓励合作,Allen致力于共同构建全球最卓越的开放语言模型,助力人工智能技术的进步。

举报

  • 相关推荐
  • “人工智能强化学习可持续发展计划”发布,“教育普惠+标准共建”助力全球人工智能体系构建

    6月11日,第二届"一带一路"科技交流大会人工智能赋能可持续发展论坛在成都举行。腾讯联合多家机构发起"人工智能强化学习可持续发展计划",包含AI教育普惠和强化学习标准共建两大板块。该计划将面向全球高校开放《人工智能通识课》和《人工智能强化学习专业课》教学资源,助力构建高质量AI教学体系。同时,腾讯开悟人工智能全球公开赛颁奖典礼作为"学赛研产"联动的重要环节,吸引了19个国家和地区的近400所高校队伍参赛。2025年赛事将首次联合全国高校计算机能力挑战赛,围绕AI前沿产业真实场景设置赛题。腾讯还通过"青云计划"为全球顶尖AI人才提供就业机会,推动人才与产业高质量发展。北京大学等机构牵头制定了强化学习系统系列技术标准,填补了领域内标准空白。

  • GAITC2025全球人工智能技术大会 | 每日互动方毅:开源大模型+闭源小数据是AI时代的重要路径

    文章探讨了"人工智能"更应称为"人造智能",对应"神造智能"的概念。作者指出AI模拟了神造智慧过程中的规律,人类可从AI身上重新学习"神"的智慧。通过三种棋类游戏分析AI发展:五子棋代表专注规则,深蓝代表深度思考,AlphaGo代表强化学习。数据是AI的重要命脉,需通过可信数据空间转化使用。AI已在交通安全、医疗健康、反诈宣传等领域带来改变,如高速视觉AI检测、脑卒中早筛模型等。未来最重要的是个人知识库和提问能力,人类需学会驾驭AI而非被其取代,2%的人将成为定义问题的深度思考者,98%则是幸福生活者。技术应成为托举大众的方舟而非割裂世界的鸿沟。

  • 极光GPTBots成功完成“生成式人工智能服务登记”

    极光旗下AI开发平台GPTBots.ai近日在广东省网信部门完成生成式人工智能服务登记,成为合规经营的AI服务提供商。该平台严格遵循国家《互联网信息服务深度合成管理规定》和《生成式人工智能服务管理暂行办法》等法规要求,标志着其在技术创新、服务模式和数据安全等方面获得关键合规认可。此次登记体现了极光对法律法规的严格遵守和对安全责任的高度重视,为区域AI生态发展注入新活力。未来,极光将继续优化技术与服务,保障用户权益,推动生成式AI技术的健康规范发展。

  • 寒武纪荣获2025人工智能领域金牛上市公司科创奖

    2025科创金牛奖获奖名单揭晓,寒武纪凭借在人工智能芯片领域的卓越表现,荣获人工智能领域金牛奖。该奖项由中国证券报打造,是中国资本市场最具影响力的奖项之一。寒武纪专注AI芯片研发,提供云边端一体化智能芯片产品和平台化基础系统软件,其通用型智能芯片产品技术壁垒高、应用场景广。2024年公司研发投入达10.72亿元,新增专利授权314项。此次获奖既是对其科技创新成果的肯定,也是对其推动AI技术产业化应用的认可。未来寒武纪将加速产品迭代升级,为我国人工智能产业发展筑牢技术根基。

  • 人工智能创新创业大赛进入关键评审阶段,前沿AI项目角逐决赛席位

    "智汇运河·智算未来"人工智能创新创业大赛进入关键阶段。经过全球征集筛选,50个代表AI前沿创新的项目脱颖而出,涵盖智能制造、智慧城市、生命健康、智慧物流四大"AI+"赛道。赛事聚焦技术突破性、模式创新性和产业落地潜力,旨在推动AI技术从实验室走向应用场景。杭州拱墅区通过大赛汇聚全球智慧,加速构建人工智能产业高地。7月6日决赛将展现顶尖项�

  • 专业AI工具导航与人工智能学习平台AIbase.cn 连接现在与AI未来的智能桥梁

    AI技术正重塑各行各业,从语音助手到自动驾驶,从医疗诊断到金融分析,已从科幻变为现实。面对AI快速发展,许多人感到迷茫:如何跟上技术前沿?如何在AI浪潮中找到机遇?AIbase.cn应运而生,致力于成为连接现在与未来的智能桥梁。平台汇聚全球最新AI资讯、实用技术资源和前沿行业洞察,为新手、开发者和企业家提供一站式解决方案。核心服务体系包括:前沿资讯精选、精品AI工具库、系统化教程、商业化指南和开发者生态支持。通过专业内容与活跃社区,帮助用户在快速变化的AI领域保持敏锐洞察力,实现从概念到应用的跨越。AIbase.cn已成为数万AI从业者的首选平台,期待与您共同探索智能时代的无限可能。

  • 广东省人工智能与机器人产业联盟成立大会启幕:九四智能等共筑全球产业创新引擎

    广东省人工智能与机器人产业联盟于6月6日在广州成立,旨在落实国家发展战略,整合产业链资源,构建产学研协同创新平台。联盟将聚焦核心技术攻关、高端人才培养、应用场景拓展及产业生态完善,推动AI与机器人技术在制造、医疗、教育等领域的深度融合。通过政策咨询、标准制定和国际合作,助力广东建设科技强省、数字经济强省和制造强省。首批成员单位包括政府、高校、科研机构及行业领军企业,将共同破解产业"卡脖子"难题,打造具有全球竞争力的人工智能与机器人产业集群。

  • 倍孜网络CEO聂子尧主持虎啸盛典AI论坛并发布《2025中国数字营销行业人工智能应用趋势研究报告》

    本文聚焦AI营销创新,重点呈现了2025虎啸盛典上发布的《中国数字营销行业人工智能应用趋势研究报告》核心内容。报告指出AI营销正从效率工具向价值引擎跃迁,倍孜网络CEO聂子尧提出AI应释放人类潜能而非替代创造力。报告展示了三大趋势:1)技术融合:AIGC+元宇宙+Web3协同创新;2)行业重构:AI深度赋能金融、零售、快消领域;3)战略升级:数据资产化与算法进化。典型案例包括12306智能投放系统提升触达精准度,可口可乐"未来3000年"跨模态营销实现189万次用户互动。报告强调AI营销需警惕"幻觉效应",应通过"模法"建立可持续的智能营销生态。

  • 国内有哪些AI新闻网站?2025年最全人工智能资讯平台推荐

    本文介绍了国内优质AI新闻网站,帮助读者快速掌握人工智能领域最新动态。重点推荐了AIbase.cn、机器之心、量子位和AI工具集四个平台,分别从资讯全面性、技术深度、行业洞察和工具导航等角度分析其特色。文章指出,在AI技术快速迭代的背景下,专业AI新闻网站能提供更及时、深入的行业资讯,建议读者根据需求选择合适平台,建立日常阅读习惯,多元化获取信息,并积极参与社区讨论,以保持对行业趋势的敏锐度。

  • 微算法科技(NASDAQ:MLGO)将人工智能驱动的任务调度策略与边缘计算区块链集成,增强物联网系统稳定性

    物联网(IoT)技术快速发展,边缘计算成为解决海量数据处理的关键方案。微算法科技(NASDAQ:MLGO)创新性地将AI驱动的CO-ETS任务调度策略与区块链技术结合,构建了智能、安全、高效的物联网任务调度系统。该系统通过模拟棕熊觅食行为的优化算法,动态调整任务分配,最小化能耗并最大化执行效率;同时利用区块链技术确保任务调度的透明性和不可篡改性。该方案可广泛应用于智慧城市、工业物联网和智能家居等领域,显著提升系统性能和安全性,为物联网发展带来革命性突破。